全部技能

grill-me (Matt Pocock)

圍繞計畫、決策或想法持續追問,壓力測試你的思路是否站得住腳。

grill-me 評測:花費兩倍 Token,只換來結構化訪談的小幅提升

視情況推薦安全

Codex CLI · gpt-6-astra

20.6 / 30

相對未使用技能的提升:+0.25 · 視情況推薦 · 18 次執行

視情況推薦:總分 20.6/30 低於 22,並且提升幅度 +0.25 低於 +1.0。推薦條件為總分至少 22/30、產出品質至少 3.5、提升幅度至少 +1.0。

SOTA

透過

使用 Codex 測試。

涵蓋 Codex, Claude Code

Codex CLI 0.166(SOTA 等級):18 次評分執行。依我們的等級規則,在這裡通過也涵蓋 Claude Code;但這不代表第二等級的結果。

分數

每個維度為 0 到 5 分,六個維度相加即為滿分 30 的總分。每個維度都是 5 分最好。成本 5 分代表便宜又快速;安裝 5 分代表容易安裝。

觸發可靠性
5.0
相對未使用技能的提升
2.3
產出品質
3.8
Token 與時間成本
1.0
安裝與可攜性
3.5
安全性
5.0

安全審查

安全

靜態掃描:0 CRITICAL / 0 HIGH / 0 MEDIUM。人工審查:可安全執行(未發現問題)。掃描結果乾淨,不代表技能一定安全。

安裝

npx skills@latest add mattpocock/skills --skill grill-me --skill grilling

來源

固定 Commit: 4ae2317ddb22b046e26455e4f9c9b3aaaf62212d

測試日期: 2026-11-02

我們測了什麼

  • 對一個模糊的想法使用 $grill-me(一個減少餐廳食物浪費的 App)。
  • 對一個高風險的工程計畫使用 $grill-me(用四個人把 Django 單體拆成 Kubernetes 微服務)。
  • 用白話提出請求:「用問題不斷壓力測試我的計畫」(辭掉工作去經營付費的登山電子報),完全沒有提到技能名稱。

優點

  • 技能即使未被點名也會被採用:明確寫出 `$grill-me` 時 4/4 成功(代理依路徑讀取了同系列的 `grilling` 技能)。自然語言「用問題壓力測試我的計畫」也同樣觸發了 `grilling` 2/2,儘管 grill-me 本身只支援明確呼叫。
  • 比把自身規則濃縮成一句話的版本高 +0.33。

缺點

  • 相對未使用技能沒有可測量的提升(+0.25,落在雜訊範圍內)。
  • Token 用量是未使用技能的 2.15 倍。
  • 每個任務的每個組別 n=2;約 1 分以內的差異屬於雜訊。

評測

我們每次都開啟全新的暫存專案,執行 Codex CLI 0.166(模型 gpt-6-astra,低推理),技能分為已安裝與未安裝兩種情況,每個組別各執行 2 次,關閉網路存取。我們用了三個任務:未使用技能的對照組拿到同樣的請求,只是改寫成「Grill me on this」。產出以 0 到 5 分盲評(打亂 ID,不提示所屬組別),評分標準為:它是否以訪談而非直接給建議、問題是否具體、涵蓋範圍是否夠廣、是否容易回答、是否避免直接跳到計畫。

三組對照

組別平均分數(0-5)每次執行 Token 用量
未使用技能3.5815k
一句話提示3.516k
使用技能3.8332k

以 Codex CLI 執行 18 次,採規則式檢查評分,不經 LLM 評審。總分 20.6 / 30,評級為 視情況推薦。

評定:視情況(20.6 / 30)。 來源:mattpocock/skills,固定於 commit 4ae2317。安裝指令為 npx skills@latest add mattpocock/skills --skill grill-me --skill grilling。

這是什麼

grill-me 的用途是在你下定決心之前,對計畫做壓力測試。打開檔案會發現一件奇怪的事:整個 SKILL.md 只有一行:「Call the Skill tool with grilling.」真正的指示放在一個名為 grilling 的姊妹技能裡。那個技能要求 agent 分回合訪談你。每一回合會問出所有前置條件已確定的問題、為問題編號,並給出措辭設計成回答「是」即可採用的建議答案。如果某個問題需要環境中的事實,agent 應該自己去查,而不是問你。

根據中繼資料,這兩個技能都只能明確叫用(disable-model-invocation、allow_implicit_invocation: false)。你在 Codex 輸入 $grill-me,在 Claude Code 輸入 /grill-me。

我們如何測試

我們每次都在一片全新的臨時專案中執行 Codex CLI 0.166(模型 gpt-6-astra、低推理強度),技能不是安裝就是不安裝,每組執行兩次,關閉網路。我們用了三個任務:

  1. 對一個模糊的想法使用 $grill-me(一個減少餐廳食物浪費的應用程式)。
  2. 對一份有風險的工程計畫使用 $grill-me(四個人要把 Django 單體拆成 Kubernetes 微服務)。
  3. 一個不含技能名稱的白話請求:「用問題毫不留情地壓力測試我的計畫」(辭職去創辦一份付費登山電子報)。

沒有技能的對照組收到同樣的請求,但措辭改成「針對這件事質問我」。輸出以 0 到 5 分盲評(打亂 ID,不提示所屬組別),評分規準為:是訪談而非給建議、問題是否具體、涵蓋範圍是否廣泛、是否容易回答、是否避免直接跳到計畫。

實際情況

技能每次都照它說的做。 六次使用技能組執行中,agent 都依循 stub 的指引,讀取 grilling 檔案,並產出編號的 ❓ 問題區塊與 ➡️ 建議答案(每次執行 3 到 5 個問題)。六次對照組執行都沒產出這種格式。我們的格式檢查在每次使用技能組執行都通過,在每次對照組執行都未通過格式測試。

對照組本來就是還不錯的訪談者。 沒有技能時,Codex 從一、兩個問題(模糊想法任務)到八、九個問題(工程任務)都有,有時用編號清單,而且經常追問同樣的弱點。在工程計畫任務上,對照組其實得分更高(4.5 對 4.0)。它的問題更技術性:「哪個客戶操作會更新多個資料表,當一個服務成功、另一個逾時時會怎樣?」「誰會在凌晨三點除錯 Kubernetes 網路故障?」技能的問題涵蓋面更廣,措辭是「你會……嗎?是,因為……」,回答起來很快,但比較軟。在模糊的餐廳想法上,對照組只問了一、兩個問題(平均 2.75),技能則明顯有幫助(3.5)。所有執行的平均是使用技能 3.83、未使用技能 3.58。每個組合只有兩次執行,這個差距落在雜訊範圍內。

它的觸發範圍比宣稱的更廣。 grill-me 只能明確叫用,但 grilling 不是:它的描述歡迎在「使用者……使用任何『grill』觸發語句」時使用,而且中繼資料沒有任何限制。在白話任務中(沒有 $grill-me),兩次使用技能組執行都讀了技能,還是用 ❓/➡️ 格式回答。如果你兩個都安裝,然後說「壓力測試我的計畫」,就要預期它會觸發。

它會消耗 token。 使用技能組每次執行約用 31,900 token,對照組 14,800(2.15x),時間約 40 秒對 21 秒。多出來的部分主要是 agent 多花一回合讀第二個技能檔案。絕對數量不大,但這個倍數就是效率只拿 1 分(滿分 5 分)的原因。

可攜性說明

stub 指名「Skill tool」,這是 Claude Code 的概念。Codex 沒有這種工具;模型改以路徑讀取檔案,所以在這裡可行,但較弱的 agent 可能做不到。由於 grill-me 依賴 grilling,只裝其中一個,你要嘛得到一個指向虛空的 stub,要嘛得到一個沒有 $grill-me 捷徑的技能。

安全性審查

執行任何東西之前,我們掃描並讀過每個檔案。兩份 SKILL.md 加上小型 agent 中繼資料檔案,沒有腳本、沒有網址、沒有二進位檔、沒有隱藏字元,也沒有要求 agent 讀取機密或對使用者隱瞞任何事。MIT 授權。請見 security.md。掃描乾淨並不代表技能安全,但這裡幾乎沒有能造成傷害的東西。

分數

面向分數原因
輸出品質3.83一致且格式良好的訪談
相對未使用技能的提升2.25平均 +0.25,落在雜訊範圍內
觸發5.0明確叫用 4/4 成功;自然措辭也觸發 2/2
指示與可攜性3.5一行 stub、Claude 專屬工具名稱、需要兩次安裝
效率12.15x token
安全性與衛生5未發現問題

誰適合使用

如果你喜歡被問幾個編號問題,而且只要回答「是」就能接受合理的預設值,grill-me 能可靠地隨需提供這種體驗。如果你只是想要一個聰明的 agent 挑出計畫的漏洞,像「針對這件事質問我」這樣的單純提示在我們的執行中能達到相當的深度,有時甚至更好,token 還只要一半。把它當成一種格式偏好,而不是能力升級。

這項測試的限制

每個任務的每組兩次執行、一個模型以低推理強度執行、三個單回合任務。真正的 grilling 會進行很多回合,我們只看到第一回合。依本站規則,Codex 等級涵蓋 Codex 與 Claude Code。

更新(2026 年 11 月 2 日):新增一句話組

第三組:沒有技能,附加一句話(「就這個計畫的每個面向毫不留情地訪談我,一次問一個問題,沿著決策樹的每個分支走,並為每個問題給出你建議的答案……不要開始動手實作。」)。6 次執行,在 Windows 機器上執行,關閉網路,以相同評分規準盲評。

組別盲評平均分數(0-5)每次執行 token
沒有技能3.5815k
一句話3.5016k
安裝技能3.8332k

那句話照字面執行:每次執行都只問一個問題並提供建議答案,成本大約和對照組相同(16k token,是技能 32k 的一半)。這也是它的弱點:技能每回合問 3 到 5 個編號問題,涵蓋更多分支;而三次白話執行中有兩次在提問前先給了結論(「把辭職建立在……的條件上」),評分規準會因此扣分。技能相對一句話提示的增益:+0.33,落在雜訊範圍內,token 卻是 2.0 倍。如果你只想要一次一個問題並附建議答案,那句話就夠了。

完整紀錄

執行日誌:grill-me (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.)
欄位:任務、組-輪次、得分(0-5)、token、秒、通過的檢查、代理開啟的 skill 檔案。

t1-vague-idea control-1: 得分 3, token 14640, 秒 12.2, 檢查 1/3, 未開啟
t1-vague-idea control-2: 得分 2.5, token 14621, 秒 12.9, 檢查 1/3, 未開啟
t1-vague-idea oneliner-1: 得分 3.5, token 15868, 秒 16.6, 檢查 1/3, 未開啟
t1-vague-idea oneliner-2: 得分 3.5, token 15838, 秒 15.1, 檢查 1/3, 未開啟
t1-vague-idea treatment-1: 得分 3.5, token 38789, 秒 27.0, 檢查 3/3, 開啟 grilling
t1-vague-idea treatment-2: 得分 3.5, token 30414, 秒 27.0, 檢查 3/3, 開啟 grilling
t2-engineering-plan control-1: 得分 4.5, token 15059, 秒 38.0, 檢查 1/3, 未開啟
t2-engineering-plan control-2: 得分 4.5, token 15133, 秒 37.6, 檢查 1/3, 未開啟
t2-engineering-plan oneliner-1: 得分 4, token 15901, 秒 17.8, 檢查 1/3, 未開啟

18 次執行、3 個產出檔案

範例產出

SOTA · 装了 skill:final message(t1-vague-idea,第 1 次,Codex)

❓ **Q1** - **Define success**: Shall we make the primary goal reducing restaurants’ avoidable food costs, with food waste reduction measured alongside it? Or is environmental impact your priority even when the restaurant saves little money? ➡️ I recommend starting with measurable savings for the restaurant. That gives us a concrete reason for owners to adopt and pay for the product. --- ❓ **Q2** - **Narrow the first customer**: Shall we target a single type of independently owned restaurant in one neighbourhood for the first pilot, rather than treating all small restaurants as one customer group? If you already have a particular type or neighbourhood in mind, name it. ➡️ I recommend one tightly defined group you can visit regularly and observe during actual kitchen work. --- ❓ **Q3** - **Challenge the app assumption**: Are you willing to test a manual service with restaurant staff before committing to building software—even if that reveals that an app adds little value? ➡️ I recommend yes. The first thing to prove is that we can change a recurring decision that causes waste, and that staff will sustain the change.

檢視 Pro