grill-me (Matt Pocock)

レビュー

毎回、新規の一時プロジェクトで Codex CLI 0.166（モデル gpt-6-astra、低推論）を実行しました。スキルをインストールまたはスキルなし、各群 2 実行、ネットワークアクセス無効。3つのタスクを使用しました。スキルなしの対照群には、同じ依頼を "Grill me on this" という表現で提示しました。出力は 0〜5 でブラインド採点（ID はシャッフル、どの群かのヒントなし）し、ルーブリックに照らしました：アドバイスではなくインタビューになっているか、質問が具体的か、網羅性が広いか、答えやすいか、計画に飛びつかないか。

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 20.6 / 30、判定は 状況次第。

判定：状況次第（20.6 / 30）。 出典：mattpocock/skills、コミット 4ae2317 に固定。インストール：npx skills@latest add mattpocock/skills --skill grill-me --skill grilling。

概要

grill-me は、プランにコミットする前にそれを徹底的に叩いて検証するためのものです。ファイルを見ると奇妙な点があります。SKILL.md 全体が 1 行だけで、「Call the Skill tool with grilling.」と書かれています。実際の手順は、grilling という兄弟スキルにあります。そのスキルは、エージェントにラウンド単位であなたへインタビューするよう求めます。各ラウンドでは、前提条件が整ったすべての質問を投げかけ、それらに番号を振り、「はい」で受け入れられるように表現された推奨回答を提示します。質問に環境からの事実が必要な場合は、あなたに尋ねるのではなく、エージェントが自ら調べるべきとされています。

両スキルとも、メタデータ（disable-model-invocation、allow_implicit_invocation: false）によれば明示的な呼び出し専用です。Codex では $grill-me、Claude Code では /grill-me と入力します。

テスト方法

毎回新規の一時プロジェクトで、スキルをインストールした場合としなかった場合で、Codex CLI 0.166（モデル gpt-6-astra、低推論）を実行しました。各群 2 実行、ネットワークアクセスは無効。使用したタスクは 3 つです：

1. 漠然としたアイデア（飲食店の食品ロス削減アプリ）に対して $grill-me。
2. リスクのあるエンジニアリング計画（4 人で Django モノリスを Kubernetes マイクロサービスに分割）に対して $grill-me。
3. スキル名を含まない平易な英語の依頼「質問で私のプランを徹底的にストレステストして」（仕事を辞めて有料ハイキングニュースレターを始める）。

スキルなしの対照群には、同じ依頼を「Grill me on this」と言い換えて渡しました。出力は 0〜5 でブラインド採点（ID をシャッフルし、どの群か分からないように）し、ルーブリックに照らしました：助言ではなくインタビューをしているか、質問が具体的か、カバレッジが広いか、答えやすいか、プランへ飛びつかないか。

何が起きたか

スキルは言ったとおりのことを毎回実行します。 6 回のスキルあり実行すべてで、エージェントはスタブのポインタに従って grilling ファイルを読み込み、番号付きの ❓ 質問ブロックと ➡️ の推奨回答を生成しました（1 実行あたり 3〜5 問）。6 回の対照群実行ではその形式は一度も現れませんでした。私たちの形式チェックは、スキルあり実行ではすべて合格し、対照群実行ではすべて不合格でした。

対照群はすでにまずまずのインタビュアーでした。 スキルなしでも、Codex は 1〜2 問（漠然としたアイデアのタスク）から 8〜9 問（エンジニアリングのタスク）を尋ね、ときには番号付きリストにし、同じ弱点を繰り返し突きました。エンジニアリング計画のタスクでは、対照群の方が実際に高得点でした（4.5 vs 4.0）。その質問はより技術的でした：「どの顧客操作が複数のテーブルを更新し、一方のサービスが成功して他方がタイムアウトしたら何が起きるか？」「Kubernetes のネットワーク障害を午前 3 時にデバッグするのは誰か？」スキルの質問はより広範で、「〜しますか？はい、なぜなら…」という表現だったため、答えやすいものの鋭さは劣りました。漠然としたレストランのアイデアでは、対照群は 1〜2 問しか尋ねず（平均 2.75）、スキルが明確に助けになりました（3.5）。全実行の平均はスキルあり 3.83、スキルなし 3.58。セルごとに 2 実行のため、この差はノイズの範囲内です。

宣伝されているよりも広くトリガーされます。 grill-me は明示専用ですが、grilling は違います。その説明文は「ユーザーが … 何らかの 'grill' トリガーフレーズを使うとき」に使うよう促し、メタデータに制限がありません。平易な英語のタスク（$grill-me なし）でも、両方のスキルあり実行がスキルを読み込み、❓/➡️ 形式で回答しました。両方をインストールして「プランをストレステストして」と言えば、発火するものと考えてください。

トークンを消費します。 スキルあり実行は約 31,900 トークン（対照群は 14,800、2.15 倍）を使い、所要時間は約 40 秒（対照群は 21 秒）でした。増分の大半は、エージェントが 2 つ目のスキルファイルを読むために費やす追加ターンです。絶対量は小さいものの、この比率が効率で 5 点中 1 点となる理由です。

移植性の注意点

スタブは Claude Code の概念である「Skill tool」を名指しします。Codex にはそのようなツールがありません。モデルはファイルをパスで読み込むことで復旧したため、ここでは動作しましたが、弱いエージェントでは動かない可能性があります。grill-me は grilling に依存するため、片方だけインストールすると、どこも指さないスタブか、$grill-me ショートカットのないスキルのどちらかになります。

安全性レビュー

何かを実行する前に、すべてのファイルをスキャンして読みました。2 つの SKILL.md ファイルと小さなエージェントメタデータファイルのみで、スクリプトなし、URL なし、バイナリなし、隠し文字なし、シークレットを読ませたりユーザーから何かを隠したりする指示もありません。MIT ライセンス。security.md を参照。クリーンなスキャン結果はスキルの安全性を証明しませんが、害を及ぼしうるものはほとんどありません。

スコア

誰が使うべきか

番号付きの質問をいくつか投げられ、「はい」と答えて妥当なデフォルトを受け入れるスタイルが好きなら、grill-me はそれを確実に、オンデマンドで提供します。プランの穴を賢いエージェントに突いてほしいだけなら、「grill me on this」のような素のプロンプトでも、私たちの実行では同等の深さ、ときにはそれ以上を、半分のトークンで達成しました。能力のアップグレードというより、形式の好みと捉えてください。

このテストの限界

タスク・群ごとに 2 実行、低推論の 1 モデル、単一ターンの 3 タスク。実際のグリルセッションは何ラウンドも続きますが、私たちが見たのは最初のラウンドだけです。当サイトのルールでは、Codex ティアは Codex と Claude Code をカバーします。

更新（2026年11月2日）：一文プロンプト群を追加

第 3 群：スキルなしで、一文を追加（「このプランのあらゆる側面について容赦なくインタビューしてください。一度に 1 問ずつ、決定木の各分岐をたどり、各質問に推奨回答を提示してください … 作り始めないでください。」）。6 実行、Windows マシンで実行、ネットワーク無効、同じルーブリックでブラインド採点。

この一文は指示を文字どおりに実行します：どの実行も正確に 1 問だけを尋ねて推奨回答を提示し、コストは対照群とほぼ同じ（16k トークン、スキルの 32k の半分）。これは弱点でもあります。スキルの 3〜5 問の番号付きラウンドは 1 ターンでより多くの分岐をカバーし、平易な英語の 3 実行のうち 2 つは、質問する前に判定（「退職を〜を条件にする」）で始めたため、ルーブリックで減点されました。一文プロンプトに対するスキルの上乗せ：+0.33、ノイズの範囲内、トークンは 2.0 倍。一度に 1 問ずつ、推奨回答付きで尋ねたいだけなら、この一文で十分です。