review-animations (emilkowalski/skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo com prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Um change.diff que adiciona animações com 7 problemas plantados. Tarefas: revisar o diff inteiro antes do merge, revisar apenas as regras do toast e responder 'devo fazer merge assim?' (responda primeiro, depois explique por quê). Os prompts não citam nenhuma regra. O prompt de uma frase é o checklist em uma frase e pede substituições exatas.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 24.9 / 30, veredito Recomendado.

Veredicto: Recomendado (24.9 / 30). Fonte: emilkowalski/skills, skills/review-animations, fixado no commit a81dbca. Instalação: npx skills@latest add emilkowalski/skills --skill review-animations. Licença: MIT (LICENSE do repositório).

O que é

A skill review-animations (emilkowalski/skills): uma checklist de análise para mudanças de animação em um diff: por padrão, sinalizar curvas de UI ease-in/ease-in-out, transition: all, inícios com scale(0), animação de propriedades de layout, animação em ações de alta frequência, stagger sem efeito, falta de movimento reduzido e durações acima de 300 ms, com valores de substituição exatos.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Um change.diff que adiciona animações com 7 problemas plantados. Tarefas: analisar o diff inteiro antes do merge, analisar apenas as regras do toast e responder "devo fazer o merge assim?" (responda primeiro, depois o porquê). Os prompts não citam nenhuma regra. A frase única é a checklist em uma frase e pede substituições exatas.

1. Analisar um diff de movimento — Analise as mudanças de animação em change.diff antes de eu fazer o merge. Não altere nenhum arquivo.
2. Analisar apenas as regras do toast — Analise apenas as regras de animação .toast em change.diff. Não altere nenhum arquivo.
3. Veredicto de merge — Devo fazer o merge das mudanças de animação em change.diff como estão? Responda primeiro, depois explique o porquê. Não altere nenhum arquivo.

A pontuação é programática (testes ocultos / identificação de problemas plantados / verificações de restrições / renderização + OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

A frase única dada ao terceiro grupo: "Analise o código de movimento com um padrão elevado de acabamento e, por padrão, sinalize: curvas de UI ease-in ou ease-in-out, transition: all, inícios com scale(0), animação de propriedades de layout, animação em ações frequentes, stagger sem efeito, falta de movimento reduzido, durações acima de 300 ms; dê os valores de substituição exatos para cada achado."

Pontuação média: 2.86 sem a skill vs. 4.38 com a skill (delta +1.52). Tokens por execução: 53k vs. 63k (1.18x); tempo 30s vs. 32s. Grupo de uma frase: 4.93 (ganho da skill sobre a frase única: -0.55; ganho da própria frase única sobre sem skill: +2.08); 48k tokens por execução no grupo de uma frase, então a skill custa 1.30x a frase única.

O que aconteceu

• Controle 2.86, skill 4.38, frase única 4.93 (n=6 cada). Sem orientação, a análise do diff inteiro encontrou 3 de 7 problemas plantados em uma execução e 1 de 7 na outra, e não deu valores de substituição em 2 de 2 execuções.
• Análise apenas do toast: o controle perdeu transition: all e não deu correção exata nas duas execuções (2.2); skill e frase única marcaram 5.0 nas quatro execuções.
• Análise do diff inteiro: a skill encontrou 5-6 de 7 problemas, mas foi inconsistente (4.18 e 3.16); perdeu a paleta de comandos de alta frequência em uma execução e o stagger sem efeito na outra. A frase única marcou 5.0 e 4.59.
• Tarefa de veredicto: o controle já dá uma resposta bem fundamentada (5.0 e 4.64), a skill 4.64 e 4.29, a frase única 5.0 nas duas.
• Tokens: skill 63k, frase única 48k, controle 53k por execução (1.19x o controle, 1.3x a frase única). A skill foi lida em 6/6 execuções com a skill.

Pontuação por dimensão

Limites deste teste

• Verificações de recall no texto da análise: itens encontrados entre os plantados e presença de valores concretos; a qualidade das explicações não foi julgada.
• A frase única é uma paráfrase próxima da própria checklist da skill.
• Um único diff de teste; n=2 por célula.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação por regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Consulte security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredicto: segura para execução (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

A skill melhora claramente uma análise de movimento em relação a nenhuma orientação, principalmente por trazer substituições concretas e pegar os itens menos óbvios. A mesma checklist em uma única frase foi melhor e mais barata neste teste, então o benefício é sobre a ausência de orientação, não sobre um bom prompt.