prototype (mattpocock/skills)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。3つのタスク: 支払い失敗を含むサブスクリプションのライフサイクルをモデル化する（状態の質問）、静的な料金セクションの選択肢を比較する（見た目の質問。実際のプラン内容は維持）、コーディング前に割引スタックのルールを試せるようにする（ロジックの質問。prototype/ に保存）。ルールチェックには、自己完結型 HTML、5つの状態の表示、イベントごとのボタン、ガイド付きシナリオ、プロトタイプであることの明示、テストファイルなし、料金タスクでは少なくとも3つのバリアント、?variant= URL パラメータ、固定のフローティングスイッチャーが含まれます。

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 27.2 / 30、判定は 推奨。

判定：推奨（27.2 / 30）。 出典：mattpocock/skills、skills/engineering/prototype、コミット 4ae2317 時点。インストール：npx skills@latest add mattpocock/skills --skill prototype。ライセンス： MIT（リポジトリの LICENSE）。

概要

mattpocock/skills の prototype スキル。デザイン上の問いに答える使い捨てのプロトタイプを作ります。ロジックや状態の問いには、状態パネル、自由に遊べるボタン、ガイド付きのウォークスルーを備えた HTML ファイル 1 つを作ります。見た目の問いには、1 つのルート上に根本的に異なる複数のバリエーションを作り、URL パラメーターと画面下部のフローティングバーで切り替えます。ルール：使い捨てであることを明示する、実行が簡単、永続化なし、磨き上げなし、テストなし。SKILL.md に LOGIC.md と UI.md を加えて、合計約 2,600 語。Markdown のみです。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

タスクは 3 つ。支払い失敗を伴うサブスクリプションのライフサイクルのモデル化（状態の問い）、静的な価格セクションの選択肢の比較（見た目の問い。実際のプラン内容は残す）、コーディング前に割引の重ね合わせルールを試す（ロジックの問い。prototype/ に保存）。ルールチェックには、自己完結の HTML、5 つの状態の表示、イベントごとのボタン、ガイド付きシナリオ、プロトタイプとしての明示、テストファイルなし、そして価格タスクでは少なくとも 3 つのバリエーション、?variant= URL パラメーター、固定のフローティングスイッチャーが含まれます。

1. サブスクリプションの状態モデルのプロトタイプ — 支払いが失敗したときに、サブスクリプションのライフサイクルが理にかなっているか判断できません。状態：trial、active、past_due、paused、canceled。イベント：trial ends、payment succeeds、payment fails、user pauses、user resumes、user cancels、user reactivates。ルール：2 回失敗…
2. 価格ページのバリエーションのプロトタイプ — この小さな静的サイトの pricing.html（3 つのプラン）について、プランをどう提示すべきか迷っています。このセクションのデザイン案をいくつか作って、ブラウザで比較できるようにしてください。実際の価格内容は残すこと。ビルド手順はなし。
3. 割引の重ね合わせルールのプロトタイプ — 割引の重ね合わせは妥当ですか？ 現時点のルール：クーポン SAVE10 は 10% オフ、クーポン HALF は 50% オフ、$50 超の注文は送料無料、ロイヤルティ会員はさらに 5% オフ。適用順や、どれが重ねられるかを決められません。ケースを試して何が起きるか確認した…

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第3群に与えた一文プロンプト："1 つの明確な問いに答える使い捨てのプロトタイプを作る：ロジックや状態の問いには、問いの明示、クリックのたびに再レンダリングされる読みやすい現在状態パネル、アクションごとに 1 つのボタン、ガイド付きのウォークスルーシナリオ（正常系、エッジケース、不正な操作）を備えた自己完結の HTML ファイル 1 つ。見た目の問いには、1 つのページ上で ?variant= URL パラメーターと画面下部のフローティングバーで切り替える、根本的に異なる 3 つのバリエーション。テストなし、磨き上げなし。"

平均スコア：スキルなし 3.71 対 スキルあり 4.95（差分 +1.23）。1 実行あたりのトークン：133k 対 136k（1.02 倍）、時間 186 秒 対 149 秒。一文プロンプト群：4.72（一文プロンプトに対するスキルの上乗せ：+0.23、スキルなしに対する一文プロンプト自身の上乗せ：+1.01）。一文プロンプトのトークンは 1 実行あたり 89k で、スキルのコストは一文プロンプトの 1.52 倍です。

何が起きたか

• 平均スコアは対照群 3.71、一文版 4.72、スキルあり 4.95。スキルは対照群より +1.24、一文プロンプトより +0.23。1 実行あたりのトークンは 136k で、対照群の 133k（1.02 倍）、一文プロンプトの 89k（1.5 倍）に対してです。
• 見た目のタスクが効果を示しています。スキルは 2 実行とも、画面下部のフローティングスイッチャーと URL で切り替え可能な 3 つのバリエーションを作りました（私たちのチェックでは 5.0 と 5.0）。対照群は 4.0 と 1.0。どちらの実行にもフローティングバーがなく、1 実行ではスイッチと URL パラメーター付きの 3 レイアウトがあったものの、もう 1 実行ではなく、さらに 1 実行ではプランの価格がページから欠けていました。
• ロジックの 2 タスクでは、対照群もすでにインタラクティブな HTML を作っていました（サブスクリプションモデルで 4.4〜4.8、割引の重ね合わせで 4.0）。スキルが加えるのはウォークスルーのシナリオとプロトタイプのラベルです。シナリオはスキルあり 4 実行中 4 実行に現れ、対照群では 4 実行中 2 実行でした。
• 一文版は価格タスクで同等でした。ロジックのタスクでは、ファイルをプロトタイプと常には明示しなかった（4 実行中 2 実行）ため、少し劣りました。

次元別スコア

このテストの限界

• 機能（バリエーション、フローティングバー、シナリオ）のルールベースのチェック。デザインの質や、プロトタイプが問いに答えているかは人間が判定していません。
• 採点は分析中に 2 回修正しました。バリエーションは別の CSS/JS ファイルに置いてもよく、レイアウトの切り替えもバリエーションとして数える、としました。最初のパスではこれらを過小評価していたため、以前の数値は使用していません。
• プロトタイプを使い捨てブランチにコミットし、issue にポインタを残すというスキルの助言は、スクラッチフォルダではテストできません。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックで見えるものだけを測ります。センスや、その結果が可能な限り最良かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：1 CRITICAL / 1 HIGH / 0 MEDIUM。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

まとめ

スキルは、Codex に、その記述どおりのプロトタイプ（URL で切り替え可能なバリエーション、フローティングバー、ガイド付きシナリオ）を、素の依頼では作れない場面で、トークンの追加コストなしに確実に作らせます。一文の要約でもその挙動の大部分は得られますが、スキルはロジックのウォークスルーとプロトタイプのラベル付けという詳細を加えます。