systematic-debugging (obra/superpowers)

評測

在 Mac 測試機上執行 Codex CLI 0.166（gpt-6-astra，低推理），每次執行都使用全新的暫存專案與暫存的 HOME/TMPDIR/快取，技能分為已安裝（實驗組）、未安裝（對照組），以及未安裝但把技能核心要求濃縮成一句話附加在提示詞後（一句話提示組），每個任務的每個組別執行 2 次，關閉網路，封鎖 /tmp 寫入。提示詞從未提到技能（除了下方註明的措辭）。評分以程式化方式進行（隱藏單元測試／植入問題召回率／限制條件檢查／視情況加上渲染與 OCR 檢查），每次執行 0–5 分。沒有任何分數是由 LLM 評審決定。

三組對照

以 Codex CLI 執行 18 次，採規則式檢查評分，不經 LLM 評審。總分 22.4 / 30，評級為 視情況推薦。

判定：視情況而定（22.4 / 30）。 來源：obra/superpowers，skills/systematic-debugging，固定於提交 2ce8aa1。安裝：npx skills@latest add obra/superpowers --skill systematic-debugging。授權條款： MIT（儲存庫 LICENSE）。

這是什麼

來自 obra/superpowers 的 systematic-debugging 技能：「遇到任何錯誤、測試失敗或非預期行為時，在提出修正之前使用」。四個階段（調查根本原因、尋找模式、提出假設、修正）、一條禁止疊加修正的規則，以及輔助說明（根本原因追蹤、縱深防禦、基於條件的等待），加上測試壓力情境與一支 shell 指令碼（find-polluter.sh，對測試檔案進行本機二分搜尋）。

我們如何測試

在 Mac 測試機上使用 Codex CLI 0.166（gpt-6-astra，低推理），每次執行都使用全新的暫存專案與暫存 HOME/TMPDIR/快取，安裝技能（實驗組）、未安裝（對照組），或未安裝但將技能核心要求濃縮成一句話附加在提示詞後（一句話提示組），每個任務每組執行 2 次，網路關閉，/tmp 寫入封鎖。提示詞從未提及技能。

1. 小型函式中的差一錯誤 — movavg.py 中的 moving_average 回傳錯誤的數字：moving_average([2, 4, 6, 8, 10], 3) 應該是 [2, 3, 4, 6, 8]，但後面的值算錯了。找出原因並修正。測試：python3 -m unittest。
2. 跨檔案日期錯誤 — 我們的週報標題在跨年期間顯示錯誤日期，例如 header('2026-W01') 應該是 'Week 2026-W01: Dec 29 - Jan 04, 2026'。找出原因並修正。
3. 依賴順序的測試失敗 — tests/test_settings.py 中的測試單獨執行會通過，但整份檔案執行時 test_b 會失敗，而且設定似乎會帶著先前呼叫的標籤。診斷並修正。

評分方式為程式化檢查（隱藏測試／植入問題召回／限制條件檢查／視情況進行渲染與 OCR），每次執行 0–5 分。沒有任何 LLM 評審決定分數。

結果

提供給第三組的一句話提示：「有系統地除錯：先重現失敗，在改程式碼之前調查根本原因，一次只提出一個有證據支持的假設，針對根本原因做最小的修正（不要疊加猜測），並用測試驗證。」

平均分數：未使用技能 4.45，使用技能 4.45（差異 +0.0）。每次執行 Token 數：75k 對 99k（1.33 倍）；時間 34 秒對 45 秒。一句話提示組：4.86（技能相較一句話提示的增益：-0.42；一句話提示相較無技能的增益：+0.42）；一句話提示每次執行 98k Token，因此技能的成本是一句話提示的 1.01 倍。

實際發生了什麼

• 結果：兩組的每一次執行都通過隱藏測試，因此正確性沒有差異。
• 流程檢查「在編輯程式碼之前先執行測試」（先重現）：對照組 6 次中有 4 次未做到，實驗組 6 次中也有 4 次未做到。技能的第一階段是「重現」，但使用技能的代理仍經常在執行任何東西之前就開始修補。
• 技能在 6/6 次實驗組執行中被讀取，因此觸發不是問題；它只是沒有改變處理這些小型錯誤的行為（這些錯誤光讀程式碼就能找到）。
• 成本：每次執行約 1.3 倍 Token（89k 對 67k）。
• 一句話版本（先重現、一次一個假設、最小修正、驗證）：平均 4.86，對照組 4.45、技能組 4.45；每次執行 98k Token，對照組 75k（1.3 倍），技能組 99k（1.0 倍）。
• 差異在於編輯前先執行測試：6 次一句話提示執行中有 5 次這麼做，對照組 6 次中有 2 次，技能組 6 次中也有 2 次。技能沒有改變這個行為；是點明這件事的那句話改變了它。每一組在每次執行中都說明了根本原因，也通過每一項隱藏測試，程式碼差異很小。

各面向分數

這項測試的限制

• 三個小型植入錯誤（差一錯誤、跨檔案日期邏輯、依賴順序的測試污染）——全都簡單到基準代理就能修正。
• 技能是為困難、需要多次嘗試的錯誤而設計；我們沒有測試那些。
• find-polluter.sh 並未實際演練。
• 每項任務每組 n = 2：約 1 分以下的差異屬於雜訊。
• 規則式評分只能衡量檢查看得到的部分；無法評判品味，也無法判斷結果是否為最佳可能。

安全性

見 security.md。掃描：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：可安全執行（網路關閉的沙箱）。乾淨的掃描結果不能證明技能安全。

總結

在三個小型錯誤上，技能增加了約 1.3 倍 Token，卻沒有可測量的改變：對照組與技能組都得到 4.45，而且都只在 6 次執行中的 2 次於編輯前先執行測試。說出「先重現」的一句話版本表現更好（4.86，6 次中有 5 次）。它在更困難的錯誤上或許能回本，而我們沒有測試那些。