writing-skills (obra/superpowers)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei Aufgaben: einen Commit-Message-Skill aus vier Regeln schreiben, eine aufgeblähte AGENTS.md straffen, ohne das Wesentliche zu verlieren, und einen Bug-Triage-Skill schreiben (S1/S2/S3 plus „zuerst nach fehlenden Repro-Schritten fragen“). Die Kontrolle erhält nur die Aufgabe. Der One-Liner ergänzt einen Satz mit der Beschreibungsregel, einer kurzen SKILL.md und einem konkreten Beispiel.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 17.6 / 30, Urteil Situativ.

Urteil: Situativ (17.6 / 30). Quelle: obra/superpowers, skills/writing-skills, gepinnt auf Commit 2ce8aa1. Installation: npx skills@latest add obra/superpowers --skill writing-skills. Lizenz: MIT (Repo-LICENSE).

Worum es geht

Der Skill writing-skills (obra/superpowers): ein Leitfaden zum Verfassen von Agent Skills, aufgebaut um testgetriebenes Schreiben (den Fehlschlag als Baseline erfassen, den minimalen Skill schreiben, Schlupflöcher schließen). Er legt Regeln fest für die Frontmatter-Beschreibung (nur Auslösebedingungen, beginnend mit „Use when“, niemals den Workflow zusammenfassen), die Dateistruktur, Token-Effizienz und Querverweise. Enthält einen Helfer render-graphs.js und lange Referenzdateien.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Drei Aufgaben: einen Commit-Message-Skill aus vier Regeln schreiben, eine aufgeblähte AGENTS.md straffen, ohne das Wesentliche zu verlieren, und einen Bug-Triage-Skill schreiben (S1/S2/S3 plus „zuerst nach fehlenden Reproduktionsschritten fragen“). Die Kontrolle bekommt nur die Aufgabe. Die Ein-Satz-Version ergänzt einen Satz mit der Beschreibungsregel, einer kurzen SKILL.md und einem konkreten Beispiel.

1. Einen Commit-Message-Skill schreiben — Schreibe einen Skill (eine SKILL.md) unter skills/commit-writer/SKILL.md, der unsere Coding-Agenten Commit-Nachrichten nach diesen Regeln schreiben lässt: Der Betreff ist imperativ, unter 50 Zeichen, ohne Punkt am Ende; dann eine Leerzeile und ein Textkörper mit Umbruch bei 72 Zeichen …
2. Eine AGENTS.md straffen — AGENTS.md ist so sehr gewachsen, dass niemand sie mehr liest. Schreibe sie an Ort und Stelle so kurz wie möglich um, ohne etwas zu verlieren, was ein Agent tatsächlich braucht.
3. Einen Bug-Triage-Skill schreiben — Schreibe einen Skill (eine SKILL.md) unter skills/bug-triage/SKILL.md, der Agenten eingehende Bug-Reports als S1 (Datenverlust oder Ausfall), S2 (ein wichtiges Feature ist kaputt, aber es gibt einen Workaround) oder S3 (klein oder kosmetisch) einstufen und zuerst nach den fehlenden Reproduktionsschritten fragen lässt …

Die Bewertung ist programmatisch (versteckte Tests / Erkennung eingebauter Probleme / Constraint-Checks / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat einen Score vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Die Beschreibung eines Skills sagt nur, wann er zu verwenden ist (Auslösebedingungen, beginnend mit ‚Use when‘, unter etwa 400 Zeichen, niemals den Workflow zusammenfassen); halte SKILL.md kurz und imperativ, lagere umfangreiche Referenzen aus und füge ein konkretes Beispiel statt Erzähltext ein.“

Durchschnittsscore: 4.43 ohne vs. 4.88 mit dem Skill (Delta +0.45). Tokens pro Lauf: 64k vs. 163k (2.56x); Zeit 34s vs. 52s. Ein-Satz-Gruppe: 4.71 (Gewinn des Skills gegenüber der Ein-Satz-Version: +0.17; Gewinn der Ein-Satz-Version gegenüber ohne Skill: +0.29); Ein-Satz-Version 66k Tokens pro Lauf, der Skill kostet also 2.45x so viel wie die Ein-Satz-Version.

Was passiert ist

• Skill 4.88, Ein-Satz 4.71, Kontrolle 4.43 (n=6 je Gruppe). Der Gewinn liegt in der Beschreibung: Die Beschreibungen der Kontrolle fassen den Workflow zusammen („Triage incoming bug reports by requesting missing reproduction steps and classifying severity as S1, S2, or S3“), was das Anti-Muster ist, vor dem der Skill warnt, und beide Bug-Triage-Skills der Kontrolle erzielten 5/7 bei der Qualitätsprüfung („wann zu verwenden“-Formulierung und ein konkretes Beispiel). Die Skill- und Ein-Satz-Gruppen schrieben „Use when …“-Beschreibungen und erzielten 7/7 in allen 4 ihrer Triage- und Commit-Message-Läufe.
• Kosten: 163k Tokens pro Lauf für den Skill gegenüber 64k Kontrolle und 66k Ein-Satz (2.5x). Bei der Commit-Skill-Aufgabe verbrauchten beide Skill-Läufe 243-255k Tokens (und bis zu 229k bei Triage) für das Lesen der langen Referenzdateien; bei der AGENTS.md-Straffungsaufgabe, die nichts mit Skills zu tun hat, wurden 68-85k verbraucht.
• Beim Commit-Message-Skill ließ die Kontrolle die Regel „erkläre warum, Umbruch bei 72“ in beiden Läufen weg (3/4 Regeln), während Skill- und Ein-Satz-Läufe alle vier beibehielten.
• Das Straffen von AGENTS.md (Aufgabe 2) ergibt in allen Gruppen dieselben 4.64, mit einem Ein-Satz-Lauf bei 3.64 (er ließ die Regel „Migrationen sind append-only“ fallen und behielt den veralteten Docs-Verweis): Der Skill machte die gestraffte Datei hier nicht besser. Eine Prüfung, die in AGENTS.md wiederholte package.json-Befehle zählt, schlägt in allen 18 Läufen fehl, ist also eine defekte Prüfung und wurde ignoriert.
• Sein Helfer (render-graphs.js, führt dot über execFileSync aus) wurde nicht ausgeführt.

Dimensionsbewertungen

Grenzen dieses Tests

• Regelbasierte Prüfungen der generierten SKILL.md-Dateien (Frontmatter, Beschreibungsformulierung, Länge) und Recall der Regeln; es wurde nicht getestet, ob die geschriebenen Skills tatsächlich das Verhalten eines Agenten ändern, was die Methode des Skills selbst verlangt.
• Eine Prüfung (package.json-Befehle in AGENTS.md) ist defekt und schlägt überall fehl.
• n=2 pro Zelle.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Prüfungen sehen können; sie kann keinen Geschmack beurteilen oder ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 1 HIGH / 1 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Er lehrt tatsächlich die eine Regel, die für das Auslösen am wichtigsten ist (Beschreibungen, die sagen, wann ein Skill zu verwenden ist, nicht was er tut), und erzeugt ordentlichere Skill-Dateien, aber mit 2.5x so vielen Tokens, und ein einzelner Satz erreicht fast alles davon. Lesen Sie den Leitfaden; laden Sie ihn nicht für jede kleine Skill-Bearbeitung.