brainstorming (obra/superpowers)
在開始任何創作、功能或計畫之前,與你一起釐清需求與可選方案。
superpowers brainstorming:會先把「幫我做 X」變成一個問題,而一句話版本的效果幾乎相同
Codex CLI · gpt-6-astra
27.7 / 30
相對未使用技能的提升:+2.67 · 推薦 · 18 次執行
推薦:總分 27.7/30 至少 22,產出品質 5.0 至少 3.5,提升幅度 +2.67 至少 +1.0。
SOTA
透過使用 Codex 測試。
涵蓋 Codex, Claude Code
Codex CLI 0.166(SOTA 等級):18 次評分執行。依我們的等級規則,在這裡通過也涵蓋 Claude Code;但這不代表第二等級的結果。
分數
每個維度為 0 到 5 分,六個維度相加即為滿分 30 的總分。每個維度都是 5 分最好。成本 5 分代表便宜又快速;安裝 5 分代表容易安裝。
- 觸發可靠性
- 5.0
- 相對未使用技能的提升
- 4.7
- 產出品質
- 5.0
- Token 與時間成本
- 5.0
- 安裝與可攜性
- 4.0
- 安全性
- 4.0
安全審查
注意靜態掃描:18 CRITICAL / 19 HIGH / 11 MEDIUM。人工審查:可執行,但有隱私方面的注意事項。掃描結果不能證明技能一定安全。
安裝
npx skills@latest add obra/superpowers --skill brainstorming
固定 Commit: 2ce8aa15d05bd57213e6f746f953aafb7ded7a8b
測試日期: 2026-11-02
我們測了什麼
- 功能需求 — 我想為我的網頁應用程式加上深色模式。
- 非軟體的創意工作 — 我要在本地聚會做一場 10 分鐘的演講,談我獨自創業的第一年。幫我籌備。
- 開發需求 — 我們來做一個小型 CLI 工具,用來追蹤我的支出。
優點
- 相對未使用技能,平均分數從 2.33 提升到 5.0(+2.67)。
- 技能即使未被點名也會被採用:6/6 次實驗組執行都讀取了技能檔案。
- 沒有額外 Token 負擔:Token 用量是未使用技能的 0.82 倍。
- 比把自身規則濃縮成一句話的版本高 +0.33。
- 使用技能後的絕對品質很高:5.0 / 5。
缺點
- 每個任務的每個組別 n=2;約 1 分以內的差異屬於雜訊。
評測
在 Mac 測試機上執行 Codex CLI 0.166(gpt-6-astra,低推理),每次執行都使用全新的暫存專案與暫存的 HOME/TMPDIR/快取,技能分為已安裝(實驗組)、未安裝(對照組),以及未安裝但把技能核心要求濃縮成一句話附加在提示詞後(一句話提示組),每個任務的每個組別執行 2 次,關閉網路,封鎖 /tmp 寫入。提示詞從未提到技能(除了下方註明的措辭)。提示詞都是只有一行、模糊的需求,搭配一個空資料夾(「幫我的網頁應用程式加上深色模式」、「幫我籌備一場演講」、「我們來做一個追蹤支出的小型 CLI」)。檢查的重點是過程:代理是否停下來,用簡短回覆詢問 1-3 個問題,而且沒有寫任何程式碼?
三組對照
| 組別 | 平均分數(0-5) | 每次執行 Token 用量 |
|---|---|---|
| 未使用技能 | 2.33 | 51k |
| 一句話提示 | 4.67 | 45k |
| 使用技能 | 5.0 | 42k |
以 Codex CLI 執行 18 次,採規則式檢查評分,不經 LLM 評審。總分 27.7 / 30,評級為 推薦。
判定:推薦(27.7 / 30)。 來源:obra/superpowers,skills/brainstorming,固定於提交 2ce8aa1。安裝:npx skills@latest add obra/superpowers --skill brainstorming。授權條款: MIT(儲存庫 LICENSE)。
這是什麼
obra/superpowers 的 brainstorming 技能:「任何創意工作開始前,你都必須使用它」,不論是否與軟體有關。約 2,400 字的 Markdown:閱讀脈絡、詢問人類真正想要什麼與為什麼(一次一個問題)、提出 2-3 個方案與取捨、在建置任何東西前先取得設計核准,另有一個選用的視覺輔助伺服器(一個用來展示 mock-up 的小型本地網頁伺服器)與一段審查者提示。還有幾個給該伺服器用的輔助腳本。
我們如何測試
在 Mac 測試機上使用 Codex CLI 0.166(gpt-6-astra,低推理),每次執行都使用全新的暫存專案與暫存 HOME/TMPDIR/快取,安裝技能(實驗組)、未安裝(對照組),或未安裝但將技能核心要求濃縮成一句話附加在提示詞後(一句話提示組),每個任務每組執行 2 次,網路關閉,/tmp 寫入封鎖。提示詞從未提及技能(以下註明的措辭除外)。
提示詞都是一行、含糊的請求,資料夾是空的(「幫我的網頁應用程式加上深色模式」、「幫我整理一場演講」、「我們來做一個追蹤開支的小型 CLI」)。檢查重點是流程:agent 是否停下來,在簡短回覆中問 1-3 個問題,且沒有寫任何程式碼?
- 功能請求 — 我想幫我的網頁應用程式加上深色模式。
- 非軟體的創意工作 — 我要在本地聚會做一場 10 分鐘的演講,談我當獨立創辦人的第一年。幫我整理。
- 建置請求 — 我們來做一個追蹤開支的小型 CLI 工具。
評分方式為程式化檢查(隱藏測試/預埋問題召回/限制條件檢查/視情況進行渲染與 OCR),每次執行 0–5 分。沒有任何 LLM 評審決定分數。
結果
提供給第三組的一句話提示:「建置任何東西之前,先閱讀既有脈絡,問一個釐清問題以了解他們真正想要什麼與為什麼,接著列出 2-3 個方案、取捨與建議,並在實作前取得簡短設計的核准。」
| 任務 | 對照組分數 | 一句話提示 | 使用技能 | 對照組 Token 數 | 一句話提示 Token 數 | 使用技能 Token 數 | 技能讀取 |
|---|---|---|---|---|---|---|---|
| t1-dark-mode | 3.0 | 4.0 | 5.0 | 64k | 52k | 51k | 2/2 |
| t2-talk | 3.0 | 5.0 | 5.0 | 29k | 37k | 32k | 2/2 |
| t3-cli | 1.0 | 5.0 | 5.0 | 57k | 44k | 40k | 2/2 |
平均分數:未使用技能 2.33,使用技能 5.0(差異 +2.67)。每次執行 Token 數:51k 對 42k(0.82 倍);時間 43 秒對 21 秒。一句話提示組:4.67(技能相較一句話提示的增益:+0.33;一句話提示相較無技能的增益:+2.33);一句話提示每次執行 45k Token,因此技能的成本是一句話提示的 0.93 倍。
實際發生了什麼
- 這是目前為止最明確的效果。沒有技能時,agent 在 6 次執行中有 5 次沒有問任何釐清問題;在 CLI 請求中,對照組兩次都直接建好工具(各 4 個檔案,附測試),一個問題也沒問。使用技能時,6 次執行全都在簡短回覆中問了 1-3 個問題,什麼也沒寫(平均 5.0 對 2.33,滿分 5)。
- 一句話版的技能規則(「閱讀脈絡、問一個關於他們想要什麼與為什麼的問題、提出 2-3 個方案、實作前先取得核准」)表現幾乎一樣好:4.67。6 次執行有 5 次問了問題;有一次(深色模式任務)直接提出計畫,沒有問問題。
- 技能在 6/6 次執行中被讀取,而且降低成本而非提高:每次執行 42k Token,未使用時 51k(0.82 倍),因為對照組會直接建置,而技能會停下來問。相對一句話提示則是 0.93 倍。
- 在 CLI 請求中,有一次技能回覆還出現了「可選擇不回答這些問題」的句子,向使用者引用技能自身的規則。這正是你會想知道的行為:即使你很趕,agent 還是會停下來。
- 技能較重的部分(視覺輔助伺服器、設計文件審查迴圈、審查者提示)從未走到:對話在設計上就結束於第一個問題。
各面向分數
| 面向 | 分數 | 原因 |
|---|---|---|
| 1_輸出品質 | 5.0 | 使用技能時平均分數 5.00/5(程式化檢查,見各任務 表格)。 |
| 2_相較無技能的提升 | 4.67 | 相較未使用技能的 2.33,+2.67 分(每項任務 n=2;約 1 分以下 屬於雜訊)。 |
| 3_觸發 | 5.0 | 技能檔案在 6/6 次實驗組執行中被讀取。 |
| 4_指令可攜性 | 4 | 為 Claude Code 風格的技能而寫;視覺輔助需要 node 與瀏覽器;其餘是純 Markdown。 |
| 5_效率 | 5 | 0.82 倍 Token(每次執行 42k 對 51k)與 0.49 倍時間(21 秒對 43 秒)。 |
| 6_安全性與衛生 | 4 | Markdown 加上一個本地視覺輔助伺服器(node,綁定 127.0.0.1, 僅在使用者同意下啟動);其頁面會從作者網域載入一張帶版本標記的標誌圖片 (一種遙測信標),除非設定 SUPERPOWERS_DISABLE_TELEMETRY=1。我們設定了 該變數,且從未啟動伺服器。 |
這項測試的限制
- 我們只測試第一輪。我們沒有回答問題、也沒有跟著技能走完設計核准與實作,因此無法說整套流程是否產出更好的軟體。
- 這種行為是取捨,不是明顯的勝利:如果你希望 agent 直接建置,堅持先問問題的技能會讓你多花一來一回。
- 三個含糊的提示;詳細的規格可能觸發、也可能不觸發同樣的停頓。
- 每項任務每組 n = 2:約 1 分以下的差異屬於雜訊。
- 規則式評分只能衡量檢查看得到的部分;無法評判品味,也無法判斷結果是否為最佳可能。
安全性
見 security.md。掃描:CRITICAL 18 / HIGH 19 / MEDIUM 11。判定:可安全執行(網路關閉的沙箱)。乾淨的掃描結果不能證明技能安全。
總結
對於含糊的「幫我做 X」請求,技能能可靠地把行為從立刻建置轉為先問一個好問題,而且成本很低。但同樣的行為用提示詞裡的一句話就能重現,因此技能的價值在於你不必記得要問。若你希望 agent 在建置前先釐清,推薦使用;若你偏好它先動手,則可略過。
完整紀錄
執行日誌:brainstorming (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) 欄位:任務、組-輪次、得分(0-5)、token、秒、通過的檢查、代理開啟的 skill 檔案。 t1-dark-mode control-1: 得分 3.0, token 63726, 秒 40.4, 檢查 2/3, 未開啟 t1-dark-mode control-2: 得分 3.0, token 65953, 秒 33.4, 檢查 2/3, 未開啟 t1-dark-mode oneliner-1: 得分 5.0, token 44490, 秒 20.0, 檢查 3/3, 未開啟 t1-dark-mode oneliner-2: 得分 3.0, token 59849, 秒 30.6, 檢查 2/3, 未開啟 t1-dark-mode treatment-1: 得分 5.0, token 51573, 秒 23.4, 檢查 3/3, 開啟 brainstorming t1-dark-mode treatment-2: 得分 5.0, token 51475, 秒 16.2, 檢查 3/3, 開啟 brainstorming t2-talk control-1: 得分 4.0, token 29770, 秒 32.1, 檢查 2/3, 未開啟 t2-talk control-2: 得分 2.0, token 29728, 秒 33.5, 檢查 1/3, 未開啟 t2-talk oneliner-1: 得分 5.0, token 44545, 秒 20.1, 檢查 3/3, 未開啟
18 次執行、3 個產出檔案
範例產出
SOTA · 装了 skill:final message(t1-dark-mode,第 1 次,Codex)
I don’t see any app files in this workspace yet. Where is your web app’s source code? Once it’s available, I can inspect its styling. If you’d prefer I just dive in, say so; I’d default to a Light / Dark / System setting that remembers the user’s choice.