receiving-code-review (obra/superpowers)

レビュー

専用の Windows テスト PC 上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。3つの小さな Python モジュール（pricing、report、inventory）。それぞれに、正しい項目と誤った・不明瞭な項目が混在するコメントを記した REVIEW.md があります（例: まだ使われている関数の削除、Redis キャッシュ、「もっと堅牢にする」、利用できない環境での numpy、呼び出し元を壊すリネーム）。プロンプトは「REVIEW.md のレビューフィードバックに対処する」という指示とテストコマンドのみです。一文プロンプトは「実行前に評価する」原則を述べます。

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 23.9 / 30、判定は 状況次第。

判定：状況次第（23.9 / 30）。 ソース：obra/superpowers、skills/receiving-code-review、コミット 2ce8aa1 に固定。インストール：npx skills@latest add obra/superpowers --skill receiving-code-review。ライセンス： MIT（リポジトリの LICENSE）。

概要

receiving-code-review スキル（obra/superpowers）は、コードレビューのフィードバックへの対応方法を定めます：各コメントをコードと照合して検証する、正しいものだけを実装する、誤りや不要な項目には具体的な理由を挙げて反論する、不明な点は質問する、そしておざなりの同意をしない。何かが不明な場合は 'STOP - do not implement anything yet' と述べます。

テスト方法

専用の Windows テスト PC 上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

3 つの小さな Python モジュール（pricing、report、inventory）それぞれに、正しい項目と誤り・不明瞭な項目が混在するコメントの REVIEW.md を用意しました（例：まだ使われている関数の削除、Redis キャッシュ、'make this more robust'、利用できない環境での numpy、呼び出し側を壊すリネーム）。プロンプトは「REVIEW.md のレビューフィードバックに対応する」とテストコマンドのみです。一文プロンプトは、行動前に評価する原則を述べます。

1. 誤ったデッドコード指摘を含むレビュー — pricing.py について、REVIEW.md のレビューフィードバックに対応してください。テスト：python -m unittest。
2. 誤った numpy と丸めの提案を含むレビュー — report.py について、REVIEW.md のレビューフィードバックに対応してください。テスト：python -m unittest。
3. リネームと時期尚早なロックを含むレビュー — inventory.py について、REVIEW.md のレビューフィードバックに対応してください。テスト：python -m unittest。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第 3 の群に与えた一文プロンプト："各レビューコメントを行動前に技術的に評価してください：コードと照合し、正しいものだけを実装し、誤りや不要なものには具体的な理由を挙げて反論し、不明な点は質問し、'you're absolutely right' のようなおざなりの同意から始めないこと。"

平均スコア：スキルなし 3.38 に対しスキルあり 3.66（差 +0.29）。1実行あたりのトークン：84k に対し 86k（1.02 倍）。所要時間 41 秒に対し 34 秒。一文プロンプト群：4.21（一文プロンプトに対するスキルの上乗せ：-0.55、スキルなしに対する一文プロンプトの上乗せ：+0.83）。一文プロンプトのトークンは 1実行あたり 90k で、スキルは一文プロンプトの 0.95 倍のトークンを消費します。

何が起きたか

• 対照群 3.38、スキルあり 3.66、一文プロンプト 4.21（それぞれ n=6）。スコアは、有効な項目の隠しテスト、誤った項目が適用されたか、最終メッセージが技術的な理由で反論しているかを組み合わせたものです。
• 在庫タスク：対照群は 2/2 実行で誤ったリネームを適用し（それぞれ壊れたパターンが 11 件一致）、6 つの隠しテスト中 0 件しか合格しませんでした。スキルありと一文プロンプトは両方の実行で 3.5 を取り、リネームを適用しませんでした。これが最も明確な利点です。
• 価格タスク：対照群 4.0 と 5.0、一文プロンプト 4.5、スキルありは両方の実行で 2.86。スキルありの最終メッセージは、レガシー関数がまだ invoice.py で使われており Redis は不要だと正しく述べています。しかし、ある項目（'make this more robust'）が不明瞭だったため、スキルの 'STOP - do not implement anything yet' に従ってファイルを変更せず、質問を返しました。その結果、有効な項目の隠しテストは 7 件中 4 件しか合格しませんでした。
• レポートタスク：スキルあり 4.25 と 5.0、一文プロンプト 4.25 と 5.0、対照群 3.5 と 4.25。誤った項目への理由付きの反論は、どの群にとっても弱点でした（numpy はほとんどの実行で見落とされました）。
• どの群もおざなりの同意で始めませんでした。トークンはほぼ同じです（1実行あたりスキルあり 86k、一文プロンプト 90k、対照群 84k）。スキルはスキルあり群 6/6 実行で読み込まれました。

ディメンション別スコア

本テストの限界

• 価格タスクのスコアは、スキルの意図的な「停止して質問する」振る舞いを減点します。人間はその振る舞いを好むかもしれません。チェックは単に、有効な項目が 1 回のパスで実装されるかを見ています。
• 最終メッセージの再現チェックと、有効な項目の隠しユニットテストです。変更のコード品質は判定していません。
• 各フィクスチャの反論用正規表現は、他の妥当な言い回しを見落とす可能性があります。
• セルごとに n=2。小さなモジュールです。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックが検出できるものだけを測ります。センスや、結果が最善かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

結論

スキルは誤ったコメントの適用を防ぎます（在庫）が、価格のケースではエージェントを停止させます。そのため、無ガイドに対する正味の利得は小さく、同じ原則を述べた一文の方がここでは高得点でした。推測せず質問させたいなら価値があります。1 回のパスで済ませたいなら価値はありません。