方法論

各スキルのテスト方法：3群、Codex でのルール採点 18 実行、セキュリティレビュー、そして文章による判定。

掲載される条件

スキルは、私たちが実際に実行した後でのみ掲載されます。SKILL.md ファイルの寄せ集めはレビューではありません。このリポジトリのサンプルページは下書きであり、公開されません。実行するには危険と判断したスキルは実行しません。

プロトコル

各スキルは、3つの小さなタスクを3群で実行します：スキルなし（対照群）、スキルなしだがスキルの中核ルールをプロンプト内の一文として書いたもの（一文プロンプト群）、そしてスキルをインストールしたもの（スキルあり群）。プロンプトはスキル名に一切言及しません。各タスク・各群は2回実行するため、完全なレビューは採点対象 18 実行になります。実行では、新規の一時プロジェクト、一時 HOME とキャッシュを使用し、ネットワークは使いません。

採点はルールベースです：隠しユニットテスト、仕込み問題の検出、制約チェック、またはレンダリングと OCR のチェックで、実行ごとに 0〜5 点。スコアはどの言語モデルも決めません。n=2 では、1 ポイント未満の差はノイズです。

各ページのスコアは 30 点満点の合計です：6つの次元がそれぞれ 0〜5 点で、合算されます。次元は、出力品質、スキルなしに対するリフト、スキルのトリガーの信頼性、インストールと移植性、トークンと時間のコスト（5 が安くて速い）、そして安全性の衛生です。合計の隣には、ページがリフトを表示します：0〜5 のタスク尺度における、スキルありの平均タスクスコアからスキルなしの平均を引いた値です。

判定はテストパイプラインが示し、ページに表示された数値を使用します。推奨には3つすべてが必要です：合計 30 点満点中 22 点以上、出力品質 3.5 以上、リフト +1.0 以上。非推奨は、合計が 30 点満点中 14 点未満、出力品質が 2.5 未満、またはスキルがスキルなしより丸1ポイント低い場合に適用されます。それ以外はすべて状況次第です。したがって、スキルは 30 点満点中 24 点を取っても、リフトが +1.0 未満なら状況次第になることがあります。各ページは、どの基準を満たしていないかを示します。一文プロンプト群は、スキルがそのルールを1行貼り付けたものより優れているかを示すもので、スコアには算入されません。

各ページは、事後に変更された内容を列挙します。例えば、緩和して再採点されたチェック、完了しなかった実行、古いコミットでテストされたスキルなどです。

ティア

すべてのスキルは Codex でテストされます。そこでの合格は Claude Code もカバーします。私たちはその結果を他のエージェントにコピーしません。

| ティア | テスト対象 | 合格がカバーするもの | | ----------------- | ---------- | -------------------- | | SOTA エージェント | Codex | Claude Code |

より安価なモデル（DeepSeek Flash）の第2ティアは再テスト中で、完了次第追加されます。それまでは未テストと表示されます。

レビューページは出力を並べて表示します：ファイル、スクリーンショット、ビフォー/アフターの抜粋、そしてプレイヤー付きの動画です。動画生成は最上位のカテゴリです。

セキュリティレビュー

各スキルは、静的監査と、サンドボックスでの実行が実際に行ったことから、セキュリティレビューも受けます。

• 静的監査：スキルファイルがエージェントに何をするよう求めているか。
• 危険な権限：監査がフラグしたものを列挙します。ネットワークやワークスペース外の読み取りなどです。
• ネットワークとファイルアクセス：スキルの実行中に私たちが観察したものです。
• バッジ：安全、注意、危険。同じバッジが一覧カードにも表示されます。

公開されるもの

判定、スコア、文章レビュー、そしてページに埋め込まれた出力は公開されます。トランスクリプト、ダウンロード可能な実行ファイル、各実行の生スコアは Pro です。

レビューの追加

実際のレビューはテストパイプラインから生成されます。ディレクトリ構成は README を参照してください。レビューは、実行が本物になるまで draft のままです。