review-animations (emilkowalski/skills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Eine change.diff, die Animationen mit 7 eingebauten Problemen hinzufügt. Aufgaben: den gesamten Diff vor dem Merge reviewen, nur die Toast-Regeln reviewen und „soll ich so mergen?“ beantworten (Antwort zuerst, dann Begründung). Die Prompts nennen keine Regel. Der One-Liner ist die Checkliste in einem Satz und verlangt exakte Ersatzwerte.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 24.9 / 30, Urteil Empfohlen.

Urteil: Empfohlen (24.9 / 30). Quelle: emilkowalski/skills, skills/review-animations, gepinnt auf Commit a81dbca. Installation: npx skills@latest add emilkowalski/skills --skill review-animations. Lizenz: MIT (Repo-LICENSE).

Worum es geht

Der Skill review-animations (emilkowalski/skills): eine Review-Checkliste für Animationsänderungen in einem Diff: standardmäßig ease-in/ease-in-out-UI-Kurven melden, transition: all, scale(0)-Starts, Animation von Layout-Eigenschaften, Animationen bei häufig ausgeführten Aktionen, wirkungsloses Stagger, fehlende Reduced-Motion-Unterstützung, Dauern über 300 ms, jeweils mit exakten Ersatzwerten.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Ein change.diff, der Animationen mit 7 eingebauten Problemen hinzufügt. Aufgaben: den gesamten Diff vor dem Merge prüfen, nur die Toast-Regeln prüfen und „soll ich so mergen?“ beantworten (erst die Antwort, dann die Begründung). Die Prompts nennen keine Regel. Die Ein-Satz-Version ist die Checkliste in einem Satz und verlangt exakte Ersatzwerte.

1. Einen Motion-Diff prüfen — Prüfe die Animationsänderungen in change.diff, bevor ich merge. Ändere keine Dateien.
2. Nur die Toast-Regeln prüfen — Prüfe nur die .toast-Animationsregeln in change.diff. Ändere keine Dateien.
3. Merge-Urteil — Soll ich die Animationsänderungen in change.diff so mergen? Erst die Antwort, dann die Begründung. Ändere keine Dateien.

Die Bewertung ist programmatisch (versteckte Tests / Erkennung eingebauter Probleme / Constraint-Checks / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat einen Score vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Prüfe den Motion-Code an einem hohen handwerklichen Maßstab und melde standardmäßig: ease-in- oder ease-in-out-UI-Kurven, transition: all, scale(0)-Starts, Animation von Layout-Eigenschaften, Animationen bei häufigen Aktionen, wirkungsloses Stagger, fehlende Reduced-Motion-Unterstützung, Dauern über 300 ms; gib für jeden Befund die exakten Ersatzwerte an.“

Durchschnittsscore: 2.86 ohne vs. 4.38 mit dem Skill (Delta +1.52). Tokens pro Lauf: 53k vs. 63k (1.18x); Zeit 30s vs. 32s. Ein-Satz-Gruppe: 4.93 (Gewinn des Skills gegenüber der Ein-Satz-Version: -0.55; Gewinn der Ein-Satz-Version gegenüber ohne Skill: +2.08); Ein-Satz-Version 48k Tokens pro Lauf, der Skill kostet also 1.30x so viel wie die Ein-Satz-Version.

Was passiert ist

• Kontrolle 2.86, Skill 4.38, Ein-Satz 4.93 (n=6 je Gruppe). Ohne Anleitung fand das Review des gesamten Diffs in einem Lauf 3 von 7 eingebauten Problemen und im anderen 1 von 7 und gab in 2 von 2 Läufen keine Ersatzwerte an.
• Toast-Only-Review: Die Kontrolle verpasste transition: all und gab in beiden Läufen keinen exakten Fix (2.2); Skill und Ein-Satz erzielten in allen vier Läufen 5.0.
• Review des gesamten Diffs: Der Skill fand 5-6 von 7 Problemen, war aber inkonsistent (4.18 und 3.16); er verpasste die häufig genutzte Befehlspalette in einem Lauf und das wirkungslose Stagger im anderen. Die Ein-Satz-Version erzielte 5.0 und 4.59.
• Urteilsaufgabe: Die Kontrolle liefert bereits eine gut begründete Antwort (5.0 und 4.64), der Skill 4.64 und 4.29, die Ein-Satz-Version in beiden 5.0.
• Tokens: Skill 63k, Ein-Satz 48k, Kontrolle 53k pro Lauf (1.19x Kontrolle, 1.3x Ein-Satz). Der Skill wurde in 6/6 Skill-Läufen gelesen.

Dimensionsbewertungen

Grenzen dieses Tests

• Recall-Prüfungen des Review-Texts: gefundene Punkte unter den eingebauten und Vorhandensein konkreter Werte; die Qualität der Erklärungen wurde nicht beurteilt.
• Die Ein-Satz-Version ist eine nahe Paraphrase der Checkliste des Skills selbst.
• Ein Fixture-Diff; n=2 pro Zelle.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Prüfungen sehen können; sie kann keinen Geschmack beurteilen oder ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Der Skill verbessert ein Motion-Review deutlich gegenüber keiner Anleitung, vor allem weil er konkrete Ersatzwerte liefert und die weniger offensichtlichen Punkte erkennt. Dieselbe Checkliste als einzelner Satz schnitt in diesem Test besser und günstiger ab, der Nutzen liegt also gegenüber keiner Anleitung, nicht gegenüber einem guten Prompt.