writing-plans (obra/superpowers)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei kleine Python-Projekte (Todo-CLI, Report-Modul, Notes-API), jeweils mit einer spec.md. Der Prompt verlangt nur einen Implementierungsplan in plan.md und verbietet das Schreiben von Code. Er beschreibt das Planformat nicht. Der One-Liner beschreibt das gesamte Format: kleine Schritte von 2–5 Minuten, exakte Pfade, zuerst ein fehlschlagender Test mit vollständigem Code, exakter Befehl mit erwarteter Ausgabe, minimale Implementierung, Git-Commit, keine Platzhalter.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 25.3 / 30, Urteil Empfohlen.

Urteil: Empfohlen (25.3 / 30). Quelle: obra/superpowers, skills/writing-plans, festgeschrieben auf Commit 2ce8aa1. Installation: npx skills@latest add obra/superpowers --skill writing-plans. Lizenz: MIT (LICENSE im Repo).

Was es ist

Der Skill writing-plans (obra/superpowers) verwandelt eine Spezifikation in einen Umsetzungsplan mit kleinen Schritten: exakte Dateipfade, zuerst ein fehlschlagender Test, der genaue Ausführungsbefehl mit erwartetem Ergebnis, minimale Implementierung, ein Commit-Schritt pro Aufgabe, Checkbox-Schritte, keine TBD-Platzhalter.

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt sowie temporäre HOME/TMPDIR/Caches, Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten erwähnten Formulierung).

Drei kleine Python-Projekte (Todo-CLI, Report-Modul, Notes-API), jeweils mit einer spec.md. Der Prompt verlangt nur einen Umsetzungsplan in plan.md und verbietet das Schreiben von Code. Er beschreibt das Planformat nicht. Der Ein-Satz-Prompt beschreibt das ganze Format: kleine Schritte von 2-5 Minuten, exakte Pfade, zuerst der fehlschlagende Test mit vollständigem Code, der genaue Befehl mit erwarteter Ausgabe, minimale Implementierung, git commit, keine Platzhalter.

1. Fälligkeitsdaten für eine CLI planen — spec.md beschreibt ein Feature für diese kleine Todo-CLI. Schreibe den Umsetzungsplan dafür in plan.md in diesem Ordner. Schreibe keinen Code im Projekt, nur den Plan.
2. Einen CSV-Export planen — spec.md beschreibt ein Feature für dieses Report-Modul. Schreibe den Umsetzungsplan dafür in plan.md in diesem Ordner. Schreibe keinen Code im Projekt, nur den Plan.
3. API-Rate-Limiting planen — spec.md beschreibt ein Feature für diese Notes-API. Schreibe den Umsetzungsplan dafür in plan.md in diesem Ordner. Schreibe keinen Code im Projekt, nur den Plan.

Die Bewertung erfolgt programmatisch (versteckte Tests / Erkennung eingepflanzter Fehler / Constraint-Checks / Rendering+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Bewertung entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Schreibe den Plan als kleine Aufgaben (jeder Schritt 2-5 Minuten): exakte Dateipfade, zuerst der fehlschlagende Test mit vollständigem Code, der genaue Befehl mit seiner erwarteten Ausgabe, die minimale Implementierung mit vollständigem Code, dann ein git-commit-Schritt; keine Platzhalter wie TBD oder ‚Validierung hinzufügen‘."

Durchschnittswert: 1.56 ohne vs. 4.43 mit dem Skill (Delta +2.87). Token pro Lauf: 88k vs. 119k (1.34x); Zeit 66s vs. 102s. Ein-Satz-Gruppe: 4.21 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: +0.22; Gewinn des Ein-Satz-Prompts gegenüber ohne Skill: +2.65); Ein-Satz-Token 127k pro Lauf, der Skill kostet also 0.93x so viel wie der Ein-Satz-Prompt.

Was passiert ist

• Kontrolle 1.56, Skill 4.43, Ein-Satz 4.21 (je n=6). Die Pläne der Kontrolle sind kurze Prosa-Gliederungen (46-71 Zeilen): keine Schritte mit fehlschlagendem Test zuerst, keine erwartete Ausgabe und keine Commit-Schritte in allen 6 Läufen, und jeweils nur ein Ausführungsbefehl.
• Die Pläne mit dem Skill haben 110-142 Zeilen im Checkbox-Format mit einem Schritt für den fehlschlagenden Test, einem Ausführungsschritt mit der Markierung „Expect failure“ oder „Expect all tests to pass“ und einem Commit pro Aufgabe in der CSV-Aufgabe. Sie haben weiterhin Lücken: In 4 von 6 Läufen fehlt ein git-commit-Schritt, und Codeblöcke erscheinen in 2-3 Schritten statt in jedem Schritt.
• Die Ein-Satz-Pläne haben etwa 350 Zeilen mit vollständigem Code in jedem Schritt sowie allen geforderten Commits und Befehlen, aber in 6/6 keine Checkboxen (ein skill-spezifisches Format) und in 3 von 6 Läufen weniger als 4 Ausführungsbefehle, weil sie PowerShell-Formulierungen verwendeten.
• Token: Skill 119k, Ein-Satz 127k, Kontrolle 88k pro Lauf (1.35x Kontrolle). Der Skill wurde in 6/6 Treatment-Läufen gelesen.

Dimensionswerte

Grenzen dieses Tests

• Regelbasierte Checks am Text von plan.md: Anzahl von Pfaden, Befehlen, Commits, Checkboxen und Codeblöcken. Die Planqualität und ob der Plan wirklich funktionieren würde, wurden nicht beurteilt.
• Ich habe die Checks nach der ersten Bewertung geändert und jeden Lauf unter denselben neuen Regeln neu bewertet: (1) Der Check „keine Platzhalter“ traf auf das Wort TODO zu, den Produktnamen in der Todo-CLI-Aufgabe (TODO aus dem Muster entfernt); (2) die Muster für „fehlschlagender Test zuerst“ und „erwartete Ausgabe“ wurden erweitert, um „Expect failure“ und „Expect all tests to pass“ zu akzeptieren; (3) die Commit-Schwelle sank von 3 auf 2 (die Skill-Pläne haben zwei Aufgaben) und die Checkbox-Schwelle von 12 auf 8. Vor dieser Änderung erreichte der Skill 2.98 und der Ein-Satz-Prompt 4.04; danach 4.43 und 4.21. Die Kontrolle blieb in beiden Fällen bei 1.4-1.6.
• Der Checkbox-Check zählt ein Format, das der Skill verwendet und das der Ein-Satz-Prompt nie verlangte, was den Skill begünstigt.
• n=2 pro Zelle; kleine Testprojekte.
• n = 2 pro Gruppe und Aufgabe: Abweichungen unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Checks sehen können; sie kann weder Geschmack beurteilen noch, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Ohne Hilfe schreibt Codex eine lockere Gliederung; mit dem Skill schreibt es echte TDD-Schritte. Ein Absatz, der dasselbe Format nennt, leistet fast genauso viel und erzeugt vollständigeren Code pro Schritt; der Skill ist vor allem ein bequemes Bündel dieses Absatzes.