brainstorming (obra/superpowers)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。プロンプトは空のフォルダに対する 1 行のあいまいな依頼です（「私のウェブアプリにダークモードを追加して」「講演をまとめるのを手伝って」「経費を記録する小さな CLI を作ろう」）。チェック対象はプロセスです：エージェントは立ち止まって短い返信で 1〜3 個の質問をし、コードを一切書かなかったか？

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 27.7 / 30、判定は 推奨。

判定：推奨（27.7 / 30）。 出典：obra/superpowers、skills/brainstorming、コミット 2ce8aa1 に固定。インストール：npx skills@latest add obra/superpowers --skill brainstorming。ライセンス： MIT（リポジトリの LICENSE）。

概要

obra/superpowers の brainstorming スキル：ソフトウェアかどうかを問わず「あらゆるクリエイティブ作業の前に必ず使う」もの。約 2,400 語の Markdown：コンテキストを読み、人間に実際に何が欲しいのか・なぜかを尋ね（一度に 1 問ずつ）、トレードオフ付きで 2〜3 のアプローチを提案し、何かを構築する前にデザインの承認を得る。加えて、任意のビジュアルコンパニオンサーバー（モックアップ表示用の小さなローカル Web サーバー）とレビュアープロンプトがあります。そのサーバー用のヘルパースクリプトもいくつかあります。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

プロンプトは空のフォルダに対する 1 行の漠然とした依頼です（「Web アプリにダークモードを追加して」「トークをまとめるのを手伝って」「経費を記録する小さな CLI を作ろう」）。チェック対象はプロセスです：エージェントは立ち止まり、短い返答で 1〜3 問の質問をし、コードを書かなかったか？

1. 機能リクエスト — Web アプリにダークモードを追加したい。
2. ソフトウェア以外のクリエイティブ作業 — 地元のミートアップで、ソロ創業者としての最初の 1 年について 10 分のトークをします。まとめるのを手伝ってください。
3. ビルド依頼 — 経費を記録する小さな CLI ツールを作りましょう。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第 3 群に与えた一文プロンプト：「何かを構築する前に、既存のコンテキストを読み、実際に何が欲しいのか・なぜかについて明確化の質問を 1 つ行い、トレードオフと推奨を添えて 2〜3 のアプローチを示し、実装前に短いデザインの承認を得る。」

平均スコア：スキルなし 2.33 に対しスキルあり 5.0（差 +2.67）。1実行あたりのトークン：51k 対 42k（0.82x）。時間：43s 対 21s。一文プロンプト群：4.67（一文プロンプトに対するスキルの上積み：+0.33。一文プロンプト自身のスキルなしに対する上積み：+2.33）。一文プロンプトのトークンは 1実行あたり 45k なので、スキルは一文プロンプトの 0.93 倍のコストになります。

何が起きたか

• これは今のところ最も明確な効果です。スキルなしでは、エージェントは 6 実行中 5 実行で明確化の質問をしませんでした。CLI 依頼では、対照群の両実行が 1 問も質問せずに単純にツールを構築しました（各 4 ファイル、テスト付き）。スキルありでは、6 実行すべてが短い返答で 1〜3 問の質問をし、何も書きませんでした（平均は 5 点中 5.0 対 2.33）。
• スキルのルールの一文版（「コンテキストを読み、何が欲しいのか・なぜかを 1 問尋ね、2〜3 のアプローチを示し、実装前に承認を得る」）はほぼ同程度の 4.67。6 実行中 5 実行で質問し、1 回（ダークモードタスク）は質問なしで直接プランに進みました。
• スキルは 6/6 実行で読み込まれ、コストを上げるどころか下げました：1実行あたり 42k トークン、スキルなし 51k（0.82x）。対照群は構築するのに対し、スキルは立ち止まって尋ねるためです。一文プロンプトに対しては 0.93x です。
• CLI 依頼では、1 つのスキルの返答が「質問をスキップする」という行も提示し、スキル自身のルールをユーザーに引用しました。これは知っておきたい挙動です：急いでいる時でもエージェントは立ち止まります。
• スキルの重い部分（ビジュアルコンパニオンサーバー、デザインドキュメントのレビューループ、レビュアープロンプト）には到達しませんでした：会話は設計どおり最初の質問で終わります。

評価項目スコア

このテストの限界

• テストしたのは最初のターンだけです。質問に答えてデザイン承認から実装までスキルを追うことはしなかったため、ワークフロー全体がより良いソフトウェアを生むかは言えません。
• この挙動は明白な勝利ではなくトレードオフです：エージェントに単に構築してほしいなら、まず尋ねることに固執するスキルは 1 往復のコストをかけます。
• 漠然としたプロンプト 3 つ。詳細な仕様では同じ停止が起きるかどうかは分かりません。
• タスクごとに各群 n=2。約 1 点未満の差はノイズです。
• ルールベースの採点はチェックが見られるものだけを測ります。好みや、結果が可能な限り最善かどうかは判断できません。

セキュリティ

security.md を参照。スキャン：CRITICAL 18 / HIGH 19 / MEDIUM 11。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

結論

漠然とした「X を作って」という依頼では、このスキルは挙動を「即座に構築する」から「良い質問を 1 つする」へ確実に変え、しかも安価です。しかし同じ挙動はプロンプトの 1 文で再現できるため、スキルの価値は「質問することを覚えておかなくてよい」ことにあります。構築前に明確化させたいなら推奨。まず行動させたいならスキップしてください。