receiving-code-review (obra/superpowers)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei kleine Python-Module (pricing, report, inventory), jeweils mit einer REVIEW.md aus Kommentaren, die korrekte mit falschen oder unklaren Punkten mischen (zum Beispiel eine noch verwendete Funktion löschen, ein Redis-Cache, „make this more robust“, numpy, wo es nicht verfügbar ist, eine Umbenennung, die Aufrufer bricht). Der Prompt lautet nur „Address the review feedback in REVIEW.md“ plus der Testbefehl. Der One-Liner nennt das Prinzip „erst bewerten, dann handeln“.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 23.9 / 30, Urteil Situativ.

Urteil: Situativ (23.9 / 30). Quelle: obra/superpowers, skills/receiving-code-review, gepinnt auf Commit 2ce8aa1. Installation: npx skills@latest add obra/superpowers --skill receiving-code-review. Lizenz: MIT (Repo-LICENSE).

Was es ist

Der Skill receiving-code-review (obra/superpowers): wie man auf Code-Review-Feedback reagiert: jeden Kommentar am Code prüfen, nur das Richtige umsetzen, bei falschen oder unnötigen Punkten mit einem konkreten Grund widersprechen, bei Unklarheiten nachfragen und keine performative Zustimmung. Er sagt „STOP - do not implement anything yet“, sobald ein Punkt unklar ist.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, low reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Mit-Skill-Gruppe) oder nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Drei kleine Python-Module (pricing, report, inventory), jedes mit einer REVIEW.md voller Kommentare, die richtige Punkte mit falschen oder unklaren mischen (zum Beispiel das Löschen einer noch verwendeten Funktion, ein Redis-Cache, „make this more robust“, numpy, wo es nicht verfügbar ist, eine Umbenennung, die Aufrufer bricht). Der Prompt lautet nur „Gehe das Review-Feedback in REVIEW.md an“ plus der Testbefehl. Der Ein-Satz-Prompt nennt das Prinzip, erst zu bewerten, dann zu handeln.

1. Review mit einer falschen Dead-Code-Behauptung — Gehe das Review-Feedback in REVIEW.md für pricing.py an. Tests: python -m unittest.
2. Review mit einem falschen numpy- und Rundungsvorschlag — Gehe das Review-Feedback in REVIEW.md für report.py an. Tests: python -m unittest.
3. Review mit einer Umbenennung und einer verfrühten Sperre — Gehe das Review-Feedback in REVIEW.md für inventory.py an. Tests: python -m unittest.

Die Bewertung erfolgt programmatisch (versteckte Tests / Trefferquote bei eingebauten Problemen / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat eine Punktzahl entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Bewerte jeden Review-Kommentar technisch, bevor du handelst: prüfe ihn am Code, setze nur das Richtige um, widersprich allem Falschen oder Unnötigen mit einem konkreten Grund, frage bei allem Unklaren nach und beginne nicht mit performativer Zustimmung wie „you’re absolutely right“."

Durchschnitt: 3.38 ohne vs. 3.66 mit Skill (Delta +0.29). Token pro Lauf: 84k vs. 86k (1.02x); Zeit 41s vs. 34s. Ein-Satz-Gruppe: 4.21 (Zuwachs des Skills gegenüber dem Ein-Satz-Prompt: -0.55; Zuwachs des Ein-Satz-Prompts gegenüber ohne Skill: +0.83); Token des Ein-Satz-Prompts 90k pro Lauf, der Skill kostet also 0.95x so viel wie der Ein-Satz-Prompt.

Was dabei herauskam

• Kontrolle 3.38, Skill 3.66, Ein-Satz 4.21 (n=6 je Gruppe). Die Punktzahl mischt versteckte Tests für die gültigen Punkte, die Frage, ob der falsche Punkt umgesetzt wurde, und die Frage, ob die Abschlussnachricht mit einem technischen Grund widerspricht.
• Inventory-Aufgabe: Die Kontrolle setzte die schlechte Umbenennung in 2/2 Läufen um (je 11 Treffer des kaputten Musters) und bestand 0 von 6 versteckten Tests; Skill und Ein-Satz erzielten in beiden Läufen 3.5 und setzten sie nicht um. Das ist der klarste Nutzen.
• Pricing-Aufgabe: Kontrolle 4.0 und 5.0, Ein-Satz 4.5, Skill 2.86 in beiden Läufen. Die Abschlussnachricht des Skills sagt korrekt, dass die Legacy-Funktion noch von invoice.py verwendet wird und Redis nicht nötig ist, aber weil ein Punkt („make this more robust“) unklar war, folgte er dem „STOP - do not implement anything yet“ des Skills, änderte keine Dateien und stellte eine Frage. Die versteckten Tests für die gültigen Punkte bestanden dann nur 4 von 7.
• Report-Aufgabe: Skill 4.25 und 5.0, Ein-Satz 4.25 und 5.0, Kontrolle 3.5 und 4.25. Das Widersprechen mit Grund bei den falschen Punkten ist die Schwachstelle jeder Gruppe (numpy wurde in den meisten Läufen übersehen).
• Keine Gruppe begann mit performativer Zustimmung. Die Token sind etwa gleich (Skill 86k, Ein-Satz 90k, Kontrolle 84k pro Lauf). Der Skill wurde in 6/6 Mit-Skill-Läufen gelesen.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Die Pricing-Punktzahl bestraft das bewusste „Anhalten und fragen“ des Skills; ein Mensch würde dieses Verhalten vielleicht bevorzugen, und die Prüfung fragt schlicht, ob gültige Punkte in einem Durchgang umgesetzt werden.
• Recall-Prüfungen der Abschlussnachricht und versteckte Unit-Tests für die gültigen Punkte; die Codequalität der Änderungen wurde nicht beurteilt.
• Die Regexe für Widersprüche in den einzelnen Fixtures können andere gültige Formulierungen übersehen.
• n=2 pro Zelle; kleine Module.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; Geschmack oder ob ein Ergebnis das bestmögliche ist, lässt sich so nicht beurteilen.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Der Skill verhindert die Umsetzung falscher Kommentare (Inventory), lässt den Agenten im Pricing-Fall aber anhalten, der Nettozuwachs gegenüber keiner Anleitung ist also klein, und ein Satz mit demselben Prinzip punktet hier höher. Lohnt sich, wenn der Agent fragen statt raten soll; nicht, wenn Sie einen Durchgang wollen.