review-animations (emilkowalski/skills)

Reseña

Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en un PC Windows de prueba dedicado, con un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales en cada ejecución, la skill instalada (grupo con skill), sin ella (control) o sin ella pero con el requisito central de la skill comprimido en una frase añadida al prompt (grupo del prompt de una frase), 2 ejecuciones por grupo y tarea, red desactivada y escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo la formulación indicada más abajo). Un change.diff que añade animaciones con 7 problemas plantados. Tareas: revisar todo el diff antes de fusionar, revisar solo las reglas de toast y responder a «¿debo fusionar tal cual?» (primero la respuesta y después el porqué). Los prompts no nombran ninguna regla. El prompt de una frase es la lista de comprobación en una sola frase y pide reemplazos exactos.

Comparación de tres ramas

Medido con Codex CLI en 18 ejecuciones, puntuado con comprobaciones basadas en reglas y sin juez LLM. Total 24.9 / 30, veredicto Recomendada.

Veredicto: Recomendado (24.9 / 30). Fuente: emilkowalski/skills, skills/review-animations, fijado en el commit a81dbca. Instalación: npx skills@latest add emilkowalski/skills --skill review-animations. Licencia: MIT (LICENSE del repositorio).

Qué es

El skill review-animations (emilkowalski/skills): una lista de comprobación para revisar cambios de animación en un diff: por defecto, señalar curvas de UI ease-in/ease-in-out, transition: all, arranques con scale(0), animación de propiedades de layout, animación en acciones de alta frecuencia, stagger sin efecto, falta de movimiento reducido y duraciones superiores a 300 ms, con valores de sustitución exactos.

Cómo lo probamos

Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en un PC de pruebas Windows dedicado, un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales en cada ejecución, skill instalado (grupo con skill), ausente (grupo de control) o ausente con el requisito central del skill comprimido en una frase añadida al prompt (grupo de una frase), 2 ejecuciones por grupo y tarea, red desactivada, escrituras en /tmp bloqueadas. Los prompts nunca mencionan el skill (salvo la formulación indicada abajo).

Un change.diff que añade animaciones con 7 problemas sembrados. Tareas: revisar todo el diff antes de fusionar, revisar solo las reglas del toast y responder «¿debería fusionar tal cual?» (respuesta primero, luego el porqué). Los prompts no nombran ninguna regla. La frase resume la lista de comprobación en una sola oración y pide sustituciones exactas.

1. Revisar un diff de movimiento — Revisa los cambios de animación de change.diff antes de fusionarlo. No cambies ningún archivo.
2. Revisar solo las reglas del toast — Revisa solo las reglas de animación .toast de change.diff. No cambies ningún archivo.
3. Veredicto de fusión — ¿Debería fusionar los cambios de animación de change.diff tal como están? Responde primero y luego explica por qué. No cambies ningún archivo.

La puntuación es programática (tests ocultos / detección de problemas sembrados / comprobaciones de restricciones / renderizado+OCR cuando corresponde), de 0 a 5 por ejecución. Ningún juez LLM decidió ninguna puntuación.

Resultados

La frase única que recibió el tercer grupo: "Revisa el código de movimiento con un estándar de calidad alto y señala por defecto: curvas de UI ease-in o ease-in-out, transition: all, arranques con scale(0), animación de propiedades de layout, animación en acciones frecuentes, stagger sin efecto, falta de movimiento reducido, duraciones superiores a 300 ms; da los valores de sustitución exactos para cada hallazgo."

Puntuación media: 2.86 sin vs 4.38 con el skill (delta +1.52). Tokens por ejecución: 53k vs 63k (1.18x); tiempo 30s vs 32s. Grupo de una frase: 4.93 (la mejora del skill frente a la frase: -0.55; la mejora de la frase frente a no usar skill: +2.08); la frase usa 48k tokens por ejecución, así que el skill consume 1.30 veces sus tokens.

Qué ocurrió

• Control 2.86, skill 4.38, frase 4.93 (n=6 cada uno). Sin orientación, la revisión del diff completo encontró 3 de 7 problemas sembrados en una ejecución y 1 de 7 en la otra, y no dio valores de sustitución en 2 de 2 ejecuciones.
• Revisión solo del toast: el control se perdió transition: all y no dio una corrección exacta en ambas ejecuciones (2.2); skill y frase puntuaron 5.0 en las cuatro ejecuciones.
• Revisión del diff completo: el skill encontró 5-6 de 7 problemas pero fue inconsistente (4.18 y 3.16); se perdió la paleta de comandos de alta frecuencia en una ejecución y el stagger sin efecto en la otra. La frase puntuó 5.0 y 4.59.
• Tarea de veredicto: el control ya da una respuesta bien fundamentada (5.0 y 4.64), skill 4.64 y 4.29, frase 5.0 en ambas.
• Tokens: skill 63k, frase 48k, control 53k por ejecución (1.19x el control, 1.3x la frase). El skill se leyó en 6/6 ejecuciones con skill.

Puntuación por dimensiones

Límites de esta prueba

• Comprobaciones de recuperación sobre el texto de la revisión: elementos encontrados entre los sembrados y presencia de valores concretos; no se juzgó la calidad de las explicaciones.
• La frase es una paráfrasis muy cercana de la propia lista de comprobación del skill.
• Un único diff de prueba; n=2 por celda.
• n = 2 por grupo y tarea: las diferencias de menos de ~1 punto son ruido.
• La puntuación basada en reglas mide lo que las comprobaciones pueden ver; no puede juzgar el gusto ni si un resultado es el mejor posible.

Seguridad

Véase security.md. Escaneo: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredicto: seguro de ejecutar (sandbox sin red). Un escaneo limpio no demuestra que un skill sea seguro.

Conclusión

El skill mejora claramente una revisión de movimiento frente a no tener orientación, sobre todo porque consigue sustituciones concretas y detecta los elementos menos obvios. La misma lista de comprobación en una sola frase lo hizo mejor y más barato en esta prueba, así que el beneficio es frente a la ausencia de orientación, no frente a un buen prompt.