测试方法

每项技能如何测试：三组对比、Codex 上 18 次规则评分、安全审查，以及书面结论。

什么会上架

只有我们实际跑过的技能才会列出。一仓库的 SKILL.md 不是评测。本仓库里的示例页面是草稿，不会发布。

流程

每项技能在三个小任务上跑三组：不装技能（对照）、不装技能但把技能的核心规则写成一句话放进提示（一句话提示）、装上技能（实验组）。提示里从不点名技能。每个任务每组跑两次，一篇完整评测是 18 次评分运行。每次运行都用全新的临时项目、临时 HOME 和缓存，并且断网。

评分由规则脚本完成：隐藏单元测试、埋点召回、约束检查，或渲染加 OCR 检查，每次 0 到 5 分。没有语言模型决定分数。n=2 时，1 分以内的差距属于噪声。

页面上的分数是满分 30 的总分：六个维度各 0 到 5 分，相加得到总分。六个维度是输出质量、相对不装技能的提升、技能触发的可靠程度、安装与可移植性、token 与时间成本（5 表示又便宜又快）、安全卫生。总分旁边还显示提升：装技能的平均任务分减去不装的平均任务分，按 0 到 5 的任务分计。

结论由测试流水线给出，用的就是页面上显示的数字。推荐需要同时满足三条：总分至少 22/30、输出质量至少 3.5、提升至少 +1.0。总分低于 14/30、输出质量低于 2.5，或者技能比不装技能整整低 1 分，是不推荐。其余是看情况。所以一个技能可以显示 24/30 却仍是看情况，因为它的提升不到 +1.0；每个页面都会写明它没达到哪一条。一句话提示组用来看技能是否比直接粘贴一句规则更好，不计入分数。

每个页面都会列出事后做过的改动，例如放宽并重打分的检查、没跑完的运行、测的是旧提交的技能。

分档

每项技能都在 Codex 上测试，通过同时覆盖 Claude Code。我们不会把这个结果套到其他代理上。

| 档位 | 测试代理 | 通过同时覆盖 | | --------- | -------- | ------------ | | SOTA 代理 | Codex | Claude Code |

第二档（DeepSeek Flash 档，更便宜的模型）正在重测，测完后再加上。在此之前显示为未测试。

评测页会把各项产出并排展示：文件、截图、修改前后摘录，以及带播放器的视频。视频生成是一个顶层分类。

安全审查

每项技能还有一份安全审查，来自静态审计，以及沙箱运行里实际发生的事。

• 静态审计：技能文件要求代理做什么。
• 风险权限：审计标出的名称，例如网络，或读取工作区以外的文件。
• 网络和文件访问：技能运行时我们观察到的行为。
• 徽章：安全、注意、不安全。列表卡片上是同一枚徽章。

哪些是公开的

结论、分数、书面评测，以及页面上嵌入的产出是公开的。完整记录、可下载的运行文件，以及每一次的原始分数属于 Pro。

如何新增评测

正式评测来自测试流水线。目录结构见 README。在跑出真实结果之前，评测保持 draft。