caveman (JuliusBrussee/caveman, SKILL.md only)

評測

Codex CLI 0.166（gpt-6-astra，低推理）在 Mac 測試機上執行，每次執行都使用全新的暫存專案與暫存 HOME/TMPDIR/快取；技能已安裝（實驗組）、未安裝（對照組），或未安裝但把技能的核心要求壓縮成一句話附加到提示詞（一句話提示組）。每個任務的每個組別執行 2 次，關閉網路，封鎖 /tmp 寫入。提示詞從未提及技能（除下方註明的措辭外）。每個提示詞都是一個技術問題（useEffect 無限迴圈、緩慢的 Postgres 查詢、共用分支上該用 merge 還是 rebase），結尾是「Be brief; I'm paying per token.」。這句話本身就是技能的觸發詞之一，而對照組也會得到同一句話。因此這個測試要問的是：在單純要求「簡短」之上，技能還能多加什麼。

三組對照

以 Codex CLI 執行 18 次，採規則式檢查評分，不經 LLM 評審。總分 21.7 / 30，評級為 視情況推薦。

判定：視情況而定（21.7 / 30）。 來源：JuliusBrussee/caveman，skills/caveman，固定於提交 9b68f7e。安裝：npx skills@latest add JuliusBrussee/caveman --skill caveman。授權條款： MIT（儲存庫 LICENSE；儲存庫中的 hooks 與安裝程式並未安裝或執行）。

這是什麼

caveman 技能（僅 skills/caveman/SKILL.md；儲存庫的 hooks 與安裝程式未安裝）。這是一種精簡回覆風格：先講答案、刪掉問候與重述、使用簡短詞彙、省略冠詞但絕不省略否定詞、程式碼／路徑／數字與錯誤訊息保持原樣、警告與不可逆操作則用平實的文字說明。它會在「caveman mode」、「be brief」、「less tokens」時觸發。約 600 字的 Markdown，沒有指令碼。

我們如何測試

在 Mac 測試機上使用 Codex CLI 0.166（gpt-6-astra，低推理），每次執行都使用全新的暫存專案與暫存 HOME/TMPDIR/快取，安裝技能（實驗組）、未安裝（對照組），或未安裝但將技能核心要求濃縮成一句話附加在提示詞後（一句話提示組），每個任務每組執行 2 次，網路關閉，/tmp 寫入封鎖。提示詞從未提及技能（以下註明的措辭除外）。

每個提示詞都是一個技術問題（無限迴圈的 useEffect、緩慢的 Postgres 查詢、共享分支上的 merge 與 rebase 之爭），結尾都是「請簡短；我按 Token 付費。」這句話是技能自身的觸發語之一，對照組也會收到同一句話。因此這項測試要問的是：在單純要求簡短之外，技能還額外帶來什麼。

1. 解釋無限迴圈的 useEffect — 在一個 React 元件中，我有 const fetchData = async () => { const r = await fetch('/api/items'); setItems(await r.json()); } 以及 useEffect(() => { fetchData(); }, [fetchData]);。元件會陷入無止境的重複抓取。為什麼，該怎麼修？請簡短…
2. 修正緩慢的 Postgres 查詢 — Postgres：SELECT id, total FROM orders WHERE customer_id = 42 ORDER BY created_at DESC LIMIT 20; 在只有主鍵索引的 5,000 萬列 orders 資料表上要花好幾秒。我該怎麼做？請簡短；我按 Token 付費。
3. 共享分支上該 merge 還是 rebase — 我的團隊在一個共享功能分支上工作，其他人已經拉取過該分支。我想把最新的 main 帶進來。我該用 git merge 還是 git rebase，為什麼？請簡短；我按 Token 付費。

評分方式為程式化檢查（隱藏測試／植入問題召回／限制條件檢查／視情況進行渲染與 OCR），每次執行 0–5 分。沒有任何 LLM 評審決定分數。

結果

提供給第三組的一句話提示：「簡潔回答：先講答案，不要問候、填充語、模糊保留或重述，省略不必要的冠詞，每個技術事實、程式碼、數字與否定詞都要保持精確。」

平均分數：未使用技能 4.67，使用技能 4.67（差異 +0.0）。每次執行 Token 數：14k 對 31k（2.20 倍）；時間 12 秒對 19 秒。一句話提示組：4.5（技能相較一句話提示的增益：+0.17；一句話提示相較無技能的增益：-0.17）；一句話提示每次執行 14k Token，因此技能的成本是一句話提示的 2.20 倍。

實際發生了什麼

• 未使用技能時，代理在被要求簡短後就已經只回答約 59 個字（45-70）；使用技能時為 52 個字（39-64），使用一句話版本時為 54 個字。7 個字的差距落在每次執行的變異範圍內。沒有任何一組使用填充式的開場或結尾；全部 18 則回答都保留了程式碼、指令與關鍵事實。
• 事實保留程度相同：每一組的每則回答都保留了 5 項必要技術事實中的 3-5 項（保留比例：對照組 87%、一句話提示 80%、技能組 87%）。代理經常漏掉的那一項事實（狀態更新會讓元件重新渲染並重新執行 effect），三組都同樣漏掉。「不要對共享分支 rebase」這一點，我們的檢查在對照組 2 則中匹配 1 則、一句話提示 2 則中匹配 0 則、技能組 2 則中匹配 1 則；在我們閱讀的回答中，全部都建議 merge，並將 rebase 保留給私人或尚未發布的工作，因此那些未匹配有一部分是措辭造成的。
• 技能在 6/6 次執行中被讀取，因為提示詞包含它的觸發語。每次執行花費 31k Token，對照組為 14k（2.2 倍），因為代理會先載入技能並執行兩個指令讀取它，才回答一個它原本就能直接回答的問題。一句話提示的成本與對照組相同。
• 閱讀回答後，風格如出一轍：先講答案、片段式語句、簡短的程式碼區塊。我們無法分辨技能組與對照組的回答。

各面向分數

這項測試的限制

• 這項測試衡量的是技能在明確「請簡短」要求之上額外帶來的效果。技能的真正用途是持續性的：它會在整個工作階段中保持開啟，讓你不必每次都重複要求，而這項只有三個問題的測試並未涵蓋這一點。
• 這裡計算的 Token 成本是每次對話一次性載入技能；在長時間的工作階段中，若每則回答能省下幾個字，長期下來可能回本；我們沒有測量這一點。
• 只檢查了三個技術問題的聊天回答；提交訊息、程式碼審查留言與長時間的代理工作階段（技能在其中還有其他規則）並未測試。
• 儲存庫的 hooks、狀態列與其他 caveman 技能並未安裝或執行。
• 每項任務每組 n = 2：約 1 分以下的差異屬於雜訊。
• 規則式評分只能衡量檢查看得到的部分；無法評判品味，也無法判斷結果是否為最佳可能。

安全性

見 security.md。掃描：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：可安全執行（網路關閉的沙箱）。乾淨的掃描結果不能證明技能安全。

總結

在單純的「請簡短」要求之上，caveman 並沒有以我們能測量的方式讓回答更短或更不準確，而載入它卻讓一則簡短回答的 Token 數翻倍。如果你希望代理在整個工作階段都保持精簡、不必每次要求，這項技能辦得到；如果你只是需要某個問題的回答簡短，直接在提示詞裡說就好。