brainstorming (obra/superpowers)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Die Prompts sind einzeilige, vage Anfragen mit einem leeren Ordner („add a dark mode to my web app“, „help me put together a talk“, „let's build a small CLI that tracks my expenses“). Geprüft wird der Prozess: Hat der Agent angehalten und in einer kurzen Antwort 1–3 Fragen gestellt und keinen Code geschrieben?

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 27.7 / 30, Urteil Empfohlen.

Urteil: Empfohlen (27.7 / 30). Quelle: obra/superpowers, skills/brainstorming, festgehalten auf Commit 2ce8aa1. Installation: npx skills@latest add obra/superpowers --skill brainstorming. Lizenz: MIT (Repo-LICENSE).

Was es ist

Der Skill brainstorming aus obra/superpowers: „du MUSST das vor jeder kreativen Arbeit verwenden“, in Software und außerhalb. Etwa 2.400 Wörter Markdown: Kontext lesen, den Menschen fragen, was er eigentlich will und warum (eine Frage nach der anderen), 2-3 Ansätze mit Abwägungen vorschlagen, ein Design genehmigen lassen, bevor irgendetwas gebaut wird, dazu einen optionalen visuellen Begleitserver (ein kleiner lokaler Webserver zum Zeigen von Mock-ups) und einen Reviewer-Prompt. Außerdem einige Hilfsskripte für diesen Server.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedrige Denkstufe) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts erwähnen den Skill nie (außer der unten genannten Formulierung).

Die Prompts sind einzeilige, vage Anfragen bei leerem Ordner („füge meiner Web-App einen Dark Mode hinzu“, „hilf mir, einen Vortrag zusammenzustellen“, „lass uns ein kleines CLI bauen, das meine Ausgaben verfolgt“). Geprüft wird der Prozess: Hat der Agent innegehalten und in einer kurzen Antwort 1-3 Fragen gestellt und keinen Code geschrieben?

1. Feature-Anfrage — Ich möchte meiner Web-App einen Dark Mode hinzufügen.
2. Kreative Arbeit außerhalb von Software — Ich halte bei einem lokalen Meetup einen 10-Minuten-Vortrag über mein erstes Jahr als Solo-Gründer. Hilf mir, ihn zusammenzustellen.
3. Bau-Anfrage — Lass uns ein kleines CLI-Tool bauen, das meine Ausgaben verfolgt.

Die Bewertung erfolgt programmatisch (versteckte Tests / Recall eingeschleuster Probleme / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Punktzahl vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Lies vor dem Bauen den vorhandenen Kontext, stelle eine klärende Frage dazu, was genau gewollt ist und warum, lege dann 2-3 Ansätze mit Abwägungen und eine Empfehlung vor und lass ein kurzes Design genehmigen, bevor du implementierst.“

Mittelwert: 2.33 ohne vs. 5.0 mit Skill (Delta +2.67). Token pro Lauf: 51k vs. 42k (0.82x); Zeit 43s vs. 21s. Ein-Satz-Gruppe: 4.67 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: +0.33; Gewinn des Ein-Satz-Prompts gegenüber dem Lauf ohne Skill: +2.33); Token des Ein-Satz-Prompts 45k pro Lauf, der Skill kostet also 0.93x des Ein-Satz-Prompts.

Was dabei herauskam

• Das ist der bisher deutlichste Effekt. Ohne den Skill stellte der Agent in 5 von 6 Läufen keine klärende Frage; bei der CLI-Anfrage bauten beide Kontrollläufe einfach das Tool (je 4 Dateien, mit Tests), ohne eine einzige Frage. Mit dem Skill stellte jeder der 6 Läufe 1-3 Fragen in einer kurzen Antwort und schrieb nichts (Mittelwert 5.0 vs. 2.33 von 5).
• Eine Ein-Satz-Version der Regel des Skills („Kontext lesen, eine Frage dazu stellen, was gewollt ist und warum, 2-3 Ansätze vorlegen, vor dem Implementieren genehmigen lassen“) schnitt fast genauso gut ab: 4.67. In 5 von 6 Läufen stellte sie Fragen; einmal (Dark-Mode-Aufgabe) ging sie direkt zu einem Plan über, ohne zu fragen.
• Der Skill wurde in 6/6 Läufen gelesen und senkte die Kosten, statt sie zu erhöhen: 42k Token pro Lauf gegenüber 51k ohne (0.82x), weil die Kontrolle Dinge baut und der Skill innehält, um zu fragen. Gegenüber dem Ein-Satz-Prompt kostet er 0.93x.
• Bei der CLI-Anfrage tauchte in einer Skill-Antwort außerdem eine Zeile zum „Ausstieg aus den Fragen“ auf, mit der der Agent dem Nutzer die eigene Regel des Skills zitierte. Genau solches Verhalten sollte man kennen: Der Agent hält inne, auch wenn man es eilig hat.
• Die schwereren Teile des Skills (visueller Begleitserver, Review-Schleife für das Design-Dokument, Reviewer-Prompt) wurden nie erreicht: Das Gespräch endet wie vorgesehen bei der ersten Frage.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Wir testen nur den ersten Turn. Wir beantworteten die Fragen nicht und folgten dem Skill nicht durch Design-Genehmigung und Implementierung, können also nicht sagen, ob der vollständige Workflow bessere Software produziert.
• Das Verhalten ist eine Abwägung, kein offensichtlicher Gewinn: Wer will, dass der Agent einfach baut, zahlt mit einem Skill, der auf Fragen besteht, einen zusätzlichen Durchlauf.
• Drei vage Prompts; eine detaillierte Spezifikation löst den gleichen Stopp möglicherweise aus oder auch nicht.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; sie kann weder Geschmack noch beurteilen, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 18 CRITICAL / 19 HIGH / 11 MEDIUM. Urteil: sicher ausführbar (Offline-Sandbox). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Bei vagen „bau mir X“-Anfragen ändert der Skill das Verhalten zuverlässig vom sofortigen Bauen zum Stellen einer guten Frage, und das günstig. Dasselbe Verhalten erreicht aber ein Satz im eigenen Prompt; der Wert des Skills liegt also darin, dass man nicht daran denken muss zu fragen. Empfohlen, wenn der Agent vor dem Bauen klären soll; überspringen, wenn er lieber zuerst handeln soll.