improve-animations (emilkowalski/skills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Eine kleine Web-App (am_app) mit 8 eingebauten Motion-Problemen. Aufgaben: das gesamte Projekt prüfen, nur Dropdown und Modal prüfen und fünf benannte Probleme beheben. Die Prompts sagen „Animationen und Motion“, ohne eine Regel zu nennen. Der One-Liner listet die Regeln auf und verlangt exakte Ersatzwerte.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 25.5 / 30, Urteil Empfohlen.

Urteil: Empfohlen (25.5 / 30). Quelle: emilkowalski/skills, skills/improve-animations, gepinnt auf Commit a81dbca. Installation: npx skills@latest add emilkowalski/skills --skill improve-animations. Lizenz: MIT (Repo-LICENSE).

Worum es geht

Der Skill improve-animations (emilkowalski/skills): ein Audit-Leitfaden für Motion Design: eigene Ease-out-Kurven statt ease-in/Default, 150-300 ms Dauer, nur transform und opacity, kein transition: all, keine Starts bei scale(0), transform-origin am Auslöser, Unterstützung für reduzierte Bewegung und keine Animationen bei häufig ausgeführten Aktionen.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Eine kleine Web-App (am_app) mit 8 eingebauten Motion-Problemen. Aufgaben: das gesamte Projekt auditieren, nur Dropdown und Modal auditieren und fünf benannte Probleme beheben. Die Prompts sagen „Animationen und Motion“, ohne eine Regel zu nennen. Die Ein-Satz-Version listet die Regeln auf und verlangt exakte Ersatzwerte.

1. Den Motion-Code auditieren — Auditiere die Animationen und Motion in diesem Projekt. Gib mir eine priorisierte Liste der Dinge, die behoben werden sollten, jeweils mit Datei und exakten Ersatzwerten. Ändere keine Dateien.
2. Zwei Komponenten auditieren — Auditiere nur die Dropdown- und die Modal-Animationen in styles.css. Was ist falsch, und was genau sollten sie stattdessen sein? Ändere keine Dateien.
3. Top-Fixes für eine andere Person zur Umsetzung — Ich gebe die Motion-Fixes an eine Kollegin weiter, die dieses Projekt nicht gesehen hat. Liste die 5 wirkungsvollsten Animations-Fixes mit dem exakten CSS, das jeweils zu schreiben ist, damit sie umgesetzt werden können, ohne mich etwas fragen zu müssen. Ändere keine Dateien.

Die Bewertung ist programmatisch (versteckte Tests / Erkennung eingebauter Probleme / Constraint-Checks / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat einen Score vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Auditiere den Motion-Code wie ein Senior Design Engineer: Melde ease-in und Default-Kurven, transition: all, scale(0)-Starts, Animation von Layout-Eigenschaften, fehlende Reduced-Motion-Unterstützung, Animationen bei häufig ausgeführten Aktionen, falschen transform-origin und zu lange Dauern; gib für jeden Punkt den exakten Ersatz an (eigene Ease-out-Cubic-Bezier, 150-300 ms, nur transform/opacity), damit jemand anders ihn anwenden kann, und ändere keine Quelldateien.“

Durchschnittsscore: 3.15 ohne vs. 4.81 mit dem Skill (Delta +1.66). Tokens pro Lauf: 65k vs. 78k (1.20x); Zeit 48s vs. 49s. Ein-Satz-Gruppe: 4.94 (Gewinn des Skills gegenüber der Ein-Satz-Version: -0.13; Gewinn der Ein-Satz-Version gegenüber ohne Skill: +1.79); Ein-Satz-Version 65k Tokens pro Lauf, der Skill kostet also 1.19x so viel wie die Ein-Satz-Version.

Was passiert ist

• Kontrolle 3.15, Skill 4.81, Ein-Satz 4.94 (n=6 je Gruppe). Ohne Anleitung fand Codex 3-7 der 8 eingebauten Probleme und gab in 5 von 6 Läufen keine Cubic-Bezier- oder exakte Easing-Kurve an.
• Der Skill schließt diese Lücke: 5.0 in beiden Fokus-Läufen; die Kontrolle verpasste dort in beiden den scale(0)-Start des Modals, und jedes Audit liefert exakte Kurven. Die Ein-Satz-Version erreicht dasselbe Ergebnis.
• Bei der Fünf-Fixes-Aufgabe lag der Skill leicht hinter der Ein-Satz-Version (4.62 vs. 5.0): Beide Skill-Läufe verpassten den 700-ms-linearen Karten-Hover, und jeder verpasste ein weiteres eingebautes Problem (scale(0)-Modal oder transition: all).
• Tokens: Skill 78k, Ein-Satz 65k, Kontrolle 65k (1.2x Kontrolle). Der Skill wurde in 6/6 Skill-Läufen gelesen, ohne genannt zu werden.

Dimensionsbewertungen

Grenzen dieses Tests

• Recall-Prüfungen auf dem Text des Audits und Regex-Prüfungen auf dem geänderten CSS; nichts wurde gerendert oder im Browser gemessen.
• Die Ein-Satz-Version ist eine nahe Paraphrase der Checkliste des Skills selbst, was sie zu einem starken Vergleich macht.
• Ein Fixture; n=2 pro Zelle.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Prüfungen sehen können; sie kann keinen Geschmack beurteilen oder ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 2 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Der Skill schlägt ein unangeleitetes Audit deutlich, vor allem weil er immer konkrete Kurven und Dauern liefert. Ein einzelner Satz mit denselben Regeln leistet dasselbe für weniger, der Gewinn liegt also gegenüber keiner Anleitung, nicht gegenüber einem guten Prompt.