animate (emilkowalski/skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três tarefas de construção, cada uma um arquivo HTML autocontido com CSS e JS inline: um menu suspenso, um modal com fundo escurecido e toasts que se empilham, todos com animações de abrir/fechar ou entrar/sair. Os prompts não mencionam regras de movimento. O prompt de uma frase lista as regras em uma só frase.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 22.0 / 30, veredito Situacional.

Veredito: Situacional (22.0 / 30). Fonte: emilkowalski/skills, skills/animate, fixada no commit a81dbca. Instalação: npx skills@latest add emilkowalski/skills --skill animate. Licença: MIT (LICENSE do repositório).

O que é

A skill animate (emilkowalski/skills): regras de movimento para criar animações de interface: anime só com propósito, use um cubic-bezier ease-out personalizado (nunca ease-in nem o padrão), 150-300 ms, apenas transform e opacity, feedback ao pressionar com scale(0.97), nunca comece de scale(0), entradas em cascata, transições interrompíveis, prefers-reduced-motion, hover condicionado a (hover: hover).

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC Windows dedicado a testes, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (grupo com skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pela formulação indicada abaixo).

Três tarefas de construção, cada uma um arquivo HTML autocontido com CSS e JS inline: um menu suspenso, um modal com fundo escurecido e toasts empilháveis, todos com animações de abrir/fechar ou entrar/sair. Os prompts não mencionam regras de movimento. A frase única lista as regras em uma sentença.

1. Menu suspenso animado — Crie menu.html: um botão que abre um menu suspenso com 5 itens, com animações de abrir e fechar. Escreva um único arquivo HTML autocontido (CSS e JS inline, sem bibliotecas).
2. Modal animado — Crie modal.html: um botão que abre um modal com fundo escurecido, com animações de abrir e fechar. Escreva um único arquivo HTML autocontido (CSS e JS inline, sem bibliotecas).
3. Notificações toast — Crie toasts.html: três botões que exibem cada um uma notificação toast que se empilha e se descarta sozinha, com animações de entrada e saída. Escreva um único arquivo HTML autocontido (CSS e JS inline, sem bibliotecas).

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer nota.

Resultados

A frase única dada ao terceiro grupo: "Anime como um engenheiro de design: anime só o que tem propósito, use um cubic-bezier ease-out personalizado (nunca ease-in nem o padrão), 150-300 ms, apenas transform e opacity, feedback ao pressionar com scale(0.97), nunca comece de scale(0), entradas em cascata, transições interrompíveis, respeite prefers-reduced-motion e condicione o hover a (hover: hover)."

Nota média: 3.71 sem vs 4.36 com a skill (delta +0.64). Tokens por execução: 78k vs 132k (1.68x); tempo 82s vs 81s. Grupo de uma frase: 5.0 (ganho da skill sobre a frase: -0.64; ganho da própria frase sobre sem skill: +1.29); tokens da frase: 105k por execução, então a skill custa 1.25x a frase.

O que aconteceu

• Controle 3.71, skill 4.36, frase 5.0 (n=6 cada). Uma verificação de movimento baseada em regras conta quantas das 10 regras a página segue. O controle chegou a 6-8 de 10, a skill a 8-9, e a frase única satisfez todas as verificações nas 6 execuções.
• As regras que o controle mais errou: feedback ao pressionar (um scale no :active) em 3 de 6 execuções, além de entradas em cascata e easing não padrão em algumas execuções. A skill ainda errou o feedback ao pressionar em 2 execuções e as entradas em cascata ou o easing em várias; na tarefa de toast, sua nota foi 4.14 e 4.57 contra 4.14 do controle.
• Tokens: skill 132k, frase 105k, controle 78k por execução (1.7x o controle, 1.3x a frase). A skill foi lida em 6/6 execuções com a skill; ela usa mais comandos (9.3 por execução contra 4.7).
• As execuções com a skill adicionam cerca de 3 arquivos novos (a cópia da skill na pasta de trabalho) por execução.

Notas por dimensão

Limitações deste teste

• Verificações baseadas em regras sobre o texto do código de um único arquivo HTML; as animações não foram renderizadas nem cronometradas no navegador, então suavidade e qualidade visual não são avaliadas.
• A frase única é uma paráfrase próxima do próprio checklist da skill, e as verificações espelham a mesma lista de regras.
• n=2 por célula.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não avalia gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Varredura: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que a skill é segura.

Conclusão

A skill melhora a adesão às regras de movimento quando não há orientação, mas as mesmas regras em uma única frase alcançam nota máxima com menos tokens, então o benefício só aparece diante de um prompt sem orientação.