diagnosing-bugs (Matt Pocock)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Die Prompts nennen den Skill nie. Die Bewertung ist programmatisch (versteckte Tests / Trefferquote eingebauter Probleme / Constraint-Prüfungen / Rendern+OCR wo relevant), 0–5 pro Lauf. Keine Punktzahl wurde von einem LLM-Richter vergeben.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 22.9 / 30, Urteil Situativ.

Urteil: Situativ (22.9 / 30). Quelle: mattpocock/skills, skills/engineering/diagnosing-bugs, gepinnt auf Commit 4ae2317. Installation: npx skills@latest add mattpocock/skills --skill diagnosing-bugs. Lizenz: MIT (Repo-LICENSE).

Worum es geht

Der Skill diagnosing-bugs aus Matt Pococks Skills-Repo (Engineering). Eine Disziplin für schwierige Bugs: Phase 1 ist der Aufbau einer engen Bestanden/Nicht-bestanden-Rückmeldungsschleife (fehlschlagender Test, curl-Skript, CLI-Diff, Headless-Browser, wieder abgespielter Trace), danach rangierte Hypothesen, die einzeln getestet werden, Instrumentierung, ein Regressionstest und Aufräumen. Rund 1,000 Wörter Markdown, eine Hilfsvorlage hitl-loop.template.sh und die Regel, Geheimnisse zu schwärzen, bevor Ausgaben gezeigt werden. Er löst bei „diagnose“, „debug this“ oder „something is broken/failing“ aus.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie.

1. Off-by-one in einer kleinen Funktion — moving_average in movavg.py liefert falsche Zahlen: moving_average([2, 4, 6, 8, 10], 3) sollte [2, 3, 4, 6, 8] ergeben, aber die späteren Werte stimmen nicht. Finde die Ursache und behebe sie. Tests: python3 -m unittest.
2. Datumsfehler über mehrere Dateien — Unsere Wochenbericht-Überschriften zeigen um den Jahreswechsel falsche Daten, z. B. sollte header('2026-W01') 'Week 2026-W01: Dec 29 - Jan 04, 2026' ergeben. Finde die Ursache und behebe sie.
3. Reihenfolgeabhängiger Testfehler — Die Tests in tests/test_settings.py bestehen einzeln, aber test_b schlägt fehl, wenn die ganze Datei läuft, und Konfigurationen scheinen Tags aus früheren Aufrufen mitzutragen. Diagnostiziere und behebe das.

Die Bewertung ist programmatisch (versteckte Tests / Erkennung eingebauter Probleme / Constraint-Checks / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat einen Score vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Baue zuerst eine schnelle, deterministische Bestanden/Nicht-bestanden-Rückmeldungsschleife, die bei genau diesem Bug rot wird (ein fehlschlagender Test ist am besten), bilde dann rangierte Hypothesen und teste sie einzeln mit Belegen, bevor du etwas behebst, und führe die Schleife erneut aus, um die Behebung zu bestätigen.“

Durchschnittsscore: 4.31 ohne vs. 4.58 mit dem Skill (Delta +0.28). Tokens pro Lauf: 77k vs. 133k (1.71x); Zeit 38s vs. 51s. Ein-Satz-Gruppe: 4.72 (Gewinn des Skills gegenüber der Ein-Satz-Version: -0.14; Gewinn der Ein-Satz-Version gegenüber ohne Skill: +0.42); Ein-Satz-Version 126k Tokens pro Lauf, der Skill kostet also 1.05x so viel wie die Ein-Satz-Version.

Was passiert ist

• Die endgültige Korrektheit war in allen drei Gruppen gleich: Die versteckten Tests bestanden in 18/18 Läufen, und jeder Diff blieb innerhalb des Limits für kleine Diffs. Diese drei eingebauten Bugs (Off-by-one, Datumslogik über Dateigrenzen, reihenfolgeabhängige Testverschmutzung) sind einfach genug, dass reines Codex sie behebt.
• Das Einzige, was sich bewegte, ist die Prozessprüfung „Tests vor dem Bearbeiten des Codes ausgeführt“, also zuerst reproduzieren. Ohne den Skill taten es 1/6 Läufe; mit der Ein-Satz-Fassung der ersten Skill-Regel 4/6; mit installiertem Skill 4/6. Der eine Satz reproduzierte also den gesamten Effekt.
• Der Skill wurde in 6/6 Skill-Läufen gelesen, obwohl kein Prompt ihn nannte (er löst bei „debug this“ aus). Er ließ den Agenten mehr arbeiten: 18 Befehle pro Lauf gegenüber 8 ohne den Skill und 13 mit der Ein-Satz-Version.
• Kosten: 133k Tokens pro Lauf mit dem Skill gegenüber 77k ohne (1.71x) und 126k mit der Ein-Satz-Version (1.05x). Die Ein-Satz-Gruppe selbst kostete 1.64x der Kontrolle, weil die Anweisung, zuerst eine Schleife zu bauen, den Agenten mehr Schritte ausführen lässt.
• Ein Skill-Lauf (Aufgabe mit gemeinsamem Zustand) behob den Bug und bestand die versteckten Tests, aber seine Antwort passte nicht zu unserer Grundursachen-Prüfung (sie sucht die Nennung der Ursache); der einzige Lauf in allen Gruppen, der sie verfehlte.

Dimensionsbewertungen

Grenzen dieses Tests

• Drei kleine Python-Bugs in einer Datei, die durch Lesen des Codes auffindbar sind. Der Skill ist für schwierige Bugs gebaut (flaky, Performance-Regressionen, Bugs, die ein Harness brauchen); nichts davon wurde getestet.
• Die übrigen Werkzeuge des Skills (HTTP-/Browser-Schleifen, Trace-Replay, Bisection, Instrumentierungs-Tags) können in einer Sandbox ohne Netzwerk und ohne App, die man steuern kann, nicht laufen.
• Die Prüfung „Tests vor der Bearbeitung ausgeführt“ vergleicht die Reihenfolge des ersten Testbefehls und des ersten Schreibvorgangs im Event-Log; sie beurteilt nicht die Qualität der Reproduktion.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Prüfungen sehen können; sie kann keinen Geschmack beurteilen oder ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Die Grundidee des Skills ist eine gute Gewohnheit, und Codex befolgt sie, wenn man es ihm sagt; ein Satz davon erzielte jedoch dasselbe Reproduzieren-zuerst-Verhalten und dieselbe Bestehensquote zu etwa denselben Kosten, und bei einfachen Bugs behebt der Agent die Dinge ohnehin. Behalten Sie ihn installiert, wenn Sie schwierige, flaky Bugs debuggen und die vollständige Disziplin möchten; bei kleinen Bugs reicht es, seine erste Regel in den Prompt zu schreiben.