improve-animations (emilkowalski/skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC Windows dedicado a testes, um projeto temporário novo e HOME/TMPDIR/caches temporários por execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill condensado em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto o texto indicado abaixo). Um pequeno app web (am_app) com 8 problemas de movimento inseridos de propósito. Tarefas: auditar o projeto inteiro, auditar apenas o dropdown e o modal, e corrigir cinco problemas nomeados. Os prompts dizem “animações e movimento” sem citar nenhuma regra. O prompt de uma frase lista as regras e pede valores de substituição exatos.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 25.5 / 30, veredito Recomendado.

Veredicto: Recomendado (25.5 / 30). Fonte: emilkowalski/skills, skills/improve-animations, fixado no commit a81dbca. Instalação: npx skills@latest add emilkowalski/skills --skill improve-animations. Licença: MIT (LICENSE do repositório).

O que é

A skill improve-animations (emilkowalski/skills): um guia de auditoria de design de movimento: curvas ease-out personalizadas em vez de ease-in/padrão, durações de 150-300 ms, apenas transform e opacity, nada de transition: all, nenhum início com scale(0), transform-origin no gatilho, suporte a movimento reduzido e nenhuma animação em ações de alta frequência.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Um app web pequeno (am_app) com 8 problemas de movimento plantados. Tarefas: auditar o projeto inteiro, auditar apenas o dropdown e o modal, e corrigir cinco problemas nomeados. Os prompts dizem "animações e movimento" sem citar nenhuma regra. A frase única lista as regras e pede valores de substituição exatos.

1. Auditar o código de movimento — Audite as animações e o movimento deste projeto. Me dê uma lista priorizada do que corrigir, cada item com o arquivo e os valores de substituição exatos. Não altere nenhum arquivo.
2. Auditar dois componentes — Audite apenas as animações do dropdown e do modal em styles.css. O que está errado e o que exatamente deveriam ser? Não altere nenhum arquivo.
3. Principais correções para outra pessoa implementar — Vou passar as correções de movimento para um colega que não viu este projeto. Liste as 5 correções de animação de maior impacto com o CSS exato a escrever para cada uma, para que ele possa implementá-las sem me perguntar nada. Não altere nenhum arquivo.

A pontuação é programática (testes ocultos / identificação de problemas plantados / verificações de restrições / renderização + OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

A frase única dada ao terceiro grupo: "Audite o código de movimento como um engenheiro de design sênior: sinalize curvas ease-in e padrão, transition: all, inícios com scale(0), animação de propriedades de layout, falta de movimento reduzido, animação em ações de alta frequência, transform-origin errado e durações lentas; para cada item, dê a substituição exata (cubic-bezier ease-out personalizado, 150-300 ms, apenas transform/opacity) para que outra pessoa possa aplicar, e não altere nenhum arquivo-fonte."

Pontuação média: 3.15 sem a skill vs. 4.81 com a skill (delta +1.66). Tokens por execução: 65k vs. 78k (1.20x); tempo 48s vs. 49s. Grupo de uma frase: 4.94 (ganho da skill sobre a frase única: -0.13; ganho da própria frase única sobre sem skill: +1.79); 65k tokens por execução no grupo de uma frase, então a skill custa 1.19x a frase única.

O que aconteceu

• Controle 3.15, skill 4.81, frase única 4.94 (n=6 cada). Sem orientação, o Codex encontrou 3-7 dos 8 problemas plantados e não deu nenhum cubic-bezier nem curva de easing exata em 5 de 6 execuções.
• A skill fecha essa lacuna: 5.0 nas duas execuções focadas; o controle errou o início com scale(0) do modal nas duas, e todas as auditorias da skill trazem curvas exatas. A frase única chega ao mesmo resultado.
• Na tarefa das cinco correções, a skill ficou um pouco atrás da frase única (4.62 vs. 5.0): as duas execuções de tratamento perderam o hover de cartão com 700 ms linear, e cada uma perdeu outro problema plantado (scale(0) do modal, ou transition: all).
• Tokens: skill 78k, frase única 65k, controle 65k (1.2x o controle). A skill foi lida em 6/6 execuções com a skill sem ser nomeada.

Pontuação por dimensão

Limites deste teste

• Verificações de recall no texto da auditoria e verificações por regex no CSS alterado; nada foi renderizado ou medido no navegador.
• A frase única é uma paráfrase próxima da própria checklist da skill, o que a torna uma comparação forte.
• Um único fixture; n=2 por célula.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação por regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Consulte security.md. Scan: 0 CRITICAL / 2 HIGH / 0 MEDIUM. Veredicto: segura para execução (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

A skill supera claramente uma auditoria sem prompt, principalmente por sempre fornecer curvas e durações concretas. Uma única frase listando as mesmas regras faz o mesmo por menos, então o ganho é sobre a ausência de orientação, não sobre um bom prompt.