測試方法

每個技能如何測試：三組實驗、18 次以規則評分的 Codex 執行、安全審查，以及書面評語。

收錄標準

技能必須實際跑過才會收錄。一個塞滿 SKILL.md 的儲存庫不算評測。這個儲存庫裡的範例頁面是草稿，不會發布。我們判斷為不安全、不該執行的技能，就不會執行。

測試流程

每個技能都會在三組情況下，各跑三個小型任務：未使用技能（對照組）、未使用技能但把技能的核心規則寫成一句話加進提示詞（一句話提示組），以及安裝技能（實驗組）。提示詞從不指名技能。每個任務的每個組別各跑兩次，因此一次完整評測是 18 次評分執行。每次執行都使用全新的暫存專案、暫存的 HOME 與快取，且不連網。

評分採規則式：隱藏單元測試、植入問題召回率、限制條件檢查，或渲染與 OCR 檢查，每次執行 0 到 5 分。分數不由語言模型決定。在 n=2 的情況下，約 1 分以內的差異屬於雜訊。

每個頁面上的分數是總分 30 分：六個維度各自 0 到 5 分，加總而成。這六個維度是產出品質、相對未使用技能的提升幅度、技能觸發的可靠度、安裝與可攜性、Token 與時間成本（5 分代表便宜又快速），以及安全習慣。總分旁邊會顯示提升幅度：使用技能時的平均任務分數，減去未使用技能時的平均分數，兩者都以 0 到 5 分的任務尺度計算。

評級由測試流程判定，並採用頁面上顯示的數字。推薦必須同時符合三項條件：總分至少 22/30、產出品質至少 3.5，以及提升幅度至少 +1.0。總分低於 14/30、產出品質低於 2.5，或技能比未使用技能低整整 1 分時，則為不推薦。其餘情況都是視情況推薦。因此，一個技能可能拿到 24/30 卻仍是視情況推薦，因為提升幅度低於 +1.0；每個頁面都會說明它未符合哪一項條件。一句話提示組用來顯示技能是否勝過把規則貼成一行；這一組不計入分數。

每個頁面都會列出事後調整的內容，例如放寬並重新評分的檢查、未完成的執行，以及在較舊 commit 上測試的技能。

等級

每個技能都會在 Codex 上測試。在這裡通過，也同時涵蓋 Claude Code。我們不會把這個結果套用到其他代理。

| 等級 | 測試工具 | 通過也涵蓋 | | --------- | -------- | ----------- | | SOTA 代理 | Codex | Claude Code |

第二個等級使用較便宜的模型（DeepSeek Flash），目前正在重新測試，完成後會加入。在那之前，它會顯示為未測試。

評測頁面會並排顯示產出：檔案、截圖、前後對照節錄，以及附播放器的影片。影片生成是頂層分類。

安全審查

每個技能也會接受安全審查，來源包括靜態稽核，以及沙箱執行期間實際發生的行為。

• 靜態稽核：技能檔案要求代理做什麼。
• 風險權限：稽核標示出的名稱，例如網路存取或讀取工作區以外的檔案。
• 網路與檔案存取：技能執行時我們觀察到的行為。
• 徽章：安全、注意或不安全。列表卡片上會顯示相同的徽章。

公開範圍

評級、分數、書面評測，以及頁面上嵌入的產出都是公開的。完整紀錄、可下載的執行檔案，以及每次執行的原始分數屬於 Pro。

新增評測

真實評測來自測試流程。目錄結構請見 README。在執行是真實的之前，評測會一直維持 draft 狀態。