copywriting (coreyhaines31/marketingskills)
撰寫與改寫首頁、定價頁、功能頁等行銷文案,避免 AI 腔調。
coreyhaines31 copywriting:在有資料表的文案任務上沒有可測量的增益(全部都得 5/5),Token 用量約 1.5 倍
Codex CLI · gpt-6-astra
24.0 / 30
相對未使用技能的提升:+0.00 · 視情況推薦 · 18 次執行
視情況推薦:提升幅度 +0.00 低於 +1.0。推薦條件為總分至少 22/30、產出品質至少 3.5、提升幅度至少 +1.0。
SOTA
透過使用 Codex 測試。
涵蓋 Codex, Claude Code
Codex CLI 0.166(SOTA 等級):18 次評分執行。依我們的等級規則,在這裡通過也涵蓋 Claude Code;但這不代表第二等級的結果。
分數
每個維度為 0 到 5 分,六個維度相加即為滿分 30 的總分。每個維度都是 5 分最好。成本 5 分代表便宜又快速;安裝 5 分代表容易安裝。
- 觸發可靠性
- 5.0
- 相對未使用技能的提升
- 2.0
- 產出品質
- 5.0
- Token 與時間成本
- 3.0
- 安裝與可攜性
- 4.0
- 安全性
- 5.0
安全審查
安全靜態掃描:0 CRITICAL / 0 HIGH / 0 MEDIUM。人工審查:可在無網路沙箱中安全執行(未發現問題)。掃描結果乾淨,不代表技能一定安全。
安裝
npx skills@latest add coreyhaines31/marketingskills --skill copywriting
固定 Commit: 88c79f6528a9347420e57ceb1fff9a60de651768
測試日期: 2026-11-02
我們測了什麼
- 依資料表撰寫著陸頁文案 — 為 Tidepool 撰寫著陸頁文案(所有事實都在 product.md 中,只能使用這些內容)。包含:主視覺標題 + 副標 + CTA、三個效益區塊、三個 FAQ 項目。存到 copy.md。最多 300 字。
- 短版廣告變體 — 為 Tidepool 撰寫 3 個 Facebook 廣告變體,只能使用 product.md 中的事實。每個變體都要有「Primary text:」(最多 125 個字元)與「Headline:」(最多 40 個字元)兩行。存到 ads.md。
- 改寫平淡的文案 — 把 bland.txt 中的段落改寫成更俐落的主視覺區塊(標題、副標、CTA),目標是忙碌的上班族。只能使用 product.md 中的事實。存到 hero.md,最多 90 字。
優點
- 技能即使未被點名也會被採用:6/6 次實驗組執行都讀取了技能檔案。
- 使用技能後的絕對品質很高:5.0 / 5。
缺點
- 相對未使用技能沒有可測量的提升(+0.00,落在雜訊範圍內)。
- 一句話提示得分 5.0,使用技能則為 5.0(+0.00)。
- 對照組本身就已拿到 5.0:這是天花板效應,因此測試無法顯示提升幅度。
- 每個任務的每個組別 n=2;約 1 分以內的差異屬於雜訊。
評測
Codex CLI 0.166(gpt-6-astra,低推理)在 Mac 測試機上,每次執行都使用全新的暫存專案與暫存的 HOME/TMPDIR/快取,技能已安裝(實驗組)或未安裝(對照組),或未安裝但把技能的核心要求濃縮成一句話附加在提示詞後(一句話提示組),每個任務的每個組別執行 2 次,關閉網路,封鎖 /tmp 寫入。提示詞從未提及技能(除非下方註明的措辭)。每個任務都會給代理一份簡短的資料表(product.md,一個名為 Tidepool 的虛構海藻零食訂閱服務),並要求它只能使用這些事實。技能中「先詢問背景資訊」的步驟已由提示詞回答。
三組對照
| 組別 | 平均分數(0-5) | 每次執行 Token 用量 |
|---|---|---|
| 未使用技能 | 5.0 | 63k |
| 一句話提示 | 5.0 | 68k |
| 使用技能 | 5.0 | 93k |
以 Codex CLI 執行 18 次,採規則式檢查評分,不經 LLM 評審。總分 24.0 / 30,評級為 視情況推薦。
評定:視情況而定(24.0 / 30)。 來源:coreyhaines31/marketingskills,skills/copywriting,固定於提交 88c79f6。安裝:npx skills@latest add coreyhaines31/marketingskills --skill copywriting。授權: MIT(儲存庫 LICENSE)。
這是什麼
copywriting 技能(v2.3.2,來自 coreyhaines31/marketingskills)是一套轉換文案寫作指南。動筆前,它會先尋找產品行銷背景檔案,再判斷輸入類型(空白簡報、既有語氣、單點修改);內容包含寫作原則(清晰、強調效益而非功能、具體明確、單一 CTA)、頁面區塊結構、防範 AI 痕跡的規則(「不是 X,而是 Y」的揭示句、「沒有 X、沒有 Y、沒有 Z」的列舉),以及只寫有依據的宣稱。另有三份參考檔案(文案框架、AI 痕跡、自然轉場)和一份 evals 檔案。純 Markdown。它會在「撰寫文案」、「改寫這個頁面」、「聽起來像 AI」等提示下觸發。
測試方式
在 Mac 測試機上使用 Codex CLI 0.166(gpt-6-astra,低推理),每次執行都建立全新的臨時專案,並使用臨時的 HOME/TMPDIR/快取;分別為安裝技能(技能組)、未安裝(對照組),以及未安裝但把技能核心要求濃縮成一句話附加在提示詞後(一句話組);每項任務的每組執行 2 次;關閉網路,並封鎖對 /tmp 的寫入。提示詞完全不會提到技能名稱(以下註明的措辭除外)。
每項任務都會提供代理一份簡短的事實表(product.md,內容是一個名為 Tidepool 的虛構海苔零食訂閱服務),並要求只能使用表內的事實。技能中「先詢問背景」的步驟,已由提示詞直接提供答案。
- 依事實表撰寫登陸頁文案 — 請為 Tidepool 撰寫登陸頁文案(所有事實都在 product.md,只能使用這些內容)。需包含:主視覺標題 + 副標 + CTA、三個效益區塊、三則常見問題。存到 copy.md。最多 300 字。
- 短版廣告變化版本 — 請只用 product.md 中的事實,為 Tidepool 撰寫 3 則 Facebook 廣告變化版本。每則都要有「Primary text:」(最多 125 個字元)和「Headline:」(最多 40 個字元)兩行。存到 ads.md。
- 改寫平淡的文案 — 請把 bland.txt 中的段落改寫成更俐落的主視覺區塊(標題、副標、CTA),目標對象是忙碌的上班族。只能使用 product.md 中的事實。存到 hero.md,最多 90 字。
計分採程式化方式(隱藏測試/預埋問題召回/限制條件檢查/視情況搭配渲染與 OCR),每次執行 0–5 分。分數並非由任何 LLM 評審決定。
結果
提供給第三組的一句話版本:「撰寫清晰、具體、以效益為主軸的文案,只設一個主要行動呼籲;只使用你收到的事實;避免 AI 慣用痕跡(『不是 X,而是 Y』、『沒有 X、沒有 Y、沒有 Z』這類列舉);嚴格遵守每一項長度限制。」
| 任務 | 對照組分數 | 一句話版本 | 技能組 | 對照組 token 數 | 一句話版本 token 數 | 技能組 token 數 | 技能讀取 |
|---|---|---|---|---|---|---|---|
| t1-landing | 5.0 | 5.0 | 5.0 | 60k | 60k | 84k | 2/2 |
| t2-ads | 5.0 | 5.0 | 5.0 | 68k | 84k | 109k | 2/2 |
| t3-rewrite | 5.0 | 5.0 | 5.0 | 60k | 60k | 84k | 2/2 |
平均分數:無技能 5.0,技能組 5.0(差異 +0.0)。每次執行 token 數:63k 對 93k(1.48 倍);時間 25 秒對 29 秒。一句話組:5.0(技能相較一句話版本的增益:+0.0;一句話版本相較無技能的增益:+0.0);一句話版本每次執行 68k token,因此技能的 token 成本是一句話版本的 1.36 倍。
實際表現
- 每組的每一次執行都拿到 5/5:全部 18 次執行都符合字數與長度限制,沒有捏造數字或宣稱,沒有禁用浮誇詞,也沒有我們檢查的任何 AI 痕跡模式(『不是 X,而是 Y』、『沒有 X、沒有 Y、沒有 Z』)。分數已達天花板,測試無法顯示品質提升,只能顯示技能沒有造成損害。
- 實際閱讀輸出後,三組看起來很相似:以「酥脆/抽屜常備」角度切入的標題、三個效益區塊,以及直接從事實表抄來的三則常見問題。我們光憑肉眼也無法排出高下。
- 技能組 6/6 次執行都讀取了技能,可見單靠描述就能觸發(沒有任何提示詞提到它)。
- 成本:每次執行 93k token,無技能為 63k(1.48 倍),使用規則的一句話版本則為 68k(1.36 倍);指令數 7.7 對 5.7。
各面向分數
| 面向 | 分數 | 原因 |
|---|---|---|
| 1_output_quality | 5.0 | 技能組平均分數 5.00/5(程式化檢查,詳見各任務 表格)。 |
| 2_lift_vs_no_skill | 2.0 | 相較無技能的 5.00 高出 +0.00 分(每項任務 n=2;約 1 分 以下的差異屬於雜訊)。 |
| 3_trigger | 5.0 | 技能組 6/6 次執行都讀取了技能檔案。 |
| 4_instructions_portability | 4 | 純 Markdown;預期可有可無的產品行銷背景檔案,並會引用可能未安裝的相關技能(emails、popups、copy-editing)。 |
| 5_efficiency | 3 | token 為 1.48 倍(每次執行 93k 對 63k),時間為 1.15 倍(29 秒對 25 秒)。 |
| 6_safety_hygiene | 5 | Markdown 加上一份含測試提示詞的 evals.json;沒有腳本,也不會連網。 |
本測試的限制
- 天花板效應:有了事實表和明確的「只能使用這些事實」指示,單純的 Codex 就能寫出乾淨、不亂宣稱的文案。這項技能是為更困難的輸入而設計(空白簡報、既有品牌語氣、競爭定位、長頁面),我們並未測試這些情境。
- 品味、語氣與轉換率並未測量;檢查只能抓到禁用詞、AI 痕跡模式、捏造數字和長度限制。
- 技能的背景檔案(
.agents/product-marketing.md)和相關技能(emails、popups、copy-editing)並未安裝。 - 每項任務的每組 n = 2:約 1 分以下的差異屬於雜訊。
- 規則式計分只能衡量檢查項目看得見的部分,無法評判品味,也無法判斷結果是否為最佳解。
安全性
詳見 security.md。掃描:0 CRITICAL / 0 HIGH / 0 MEDIUM。評定:可在無網路沙箱中安全執行。掃描結果乾淨並不代表技能一定安全。
總結
在依事實表撰寫文案的任務中,這項技能沒有帶來任何可測量的改變:只要被告知只能使用提供的事實,代理原本就會避免浮誇詞、捏造數字和 AI 痕跡,而技能會讓 token 增加約 1.5 倍。它或許有助於空白簡報或語氣比對的工作,但本測試並未涵蓋,因此算是低成本保留,而非明顯的勝利。
完整紀錄
執行日誌:copywriting (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) 欄位:任務、組-輪次、得分(0-5)、token、秒、通過的檢查、代理開啟的 skill 檔案。 t1-landing control-1: 得分 5.0, token 60464, 秒 31.6, 檢查 5/5, 未開啟 t1-landing control-2: 得分 5.0, token 60376, 秒 24.8, 檢查 5/5, 未開啟 t1-landing oneliner-1: 得分 5.0, token 60741, 秒 27.3, 檢查 5/5, 未開啟 t1-landing oneliner-2: 得分 5.0, token 60611, 秒 23.1, 檢查 5/5, 未開啟 t1-landing treatment-1: 得分 5.0, token 84486, 秒 32.4, 檢查 5/5, 開啟 copywriting t1-landing treatment-2: 得分 5.0, token 84862, 秒 27.8, 檢查 5/5, 開啟 copywriting t2-ads control-1: 得分 5.0, token 60027, 秒 20.0, 檢查 4/4, 未開啟 t2-ads control-2: 得分 5.0, token 76120, 秒 35.3, 檢查 4/4, 未開啟 t2-ads oneliner-1: 得分 5.0, token 76535, 秒 34.1, 檢查 4/4, 未開啟
18 次執行、3 個產出檔案
範例產出
SOTA · 装了 skill:copy.md(t1-landing,第 1 次,Codex)
# Bring seaweed crunch to your desk Tidepool delivers 12 single-serve packs of roasted seaweed snacks each month. Get three flavors in every $14 box, with free shipping. **CTA: Subscribe for $14 a box** ## Keep a pack at your desk Reach for roasted seaweed when you want something crunchy during the workday. Each box has 12 individually portioned packs to tuck into your desk drawer or work bag. ## Give your snack break some variety Every box includes three flavors from a rotation of Sea Salt, Sesame, Wasabi, and Chili Lime. Open a different flavor when you feel like a change. ## Take a month off when you need to Skip or cancel any month from your account page. Your monthly seaweed subscription comes with no contracts. ## FAQ ### How much does a box cost? Each monthly box costs $14 and contains 12 single-serve packs in three flavors. Shipping is free on every box. ### When and where do you ship? Tidepool ships on the 1st of each month within the United States. ### Are the snacks vegan and gluten-free? Yes. Tidepool snacks are vegan and gluten-free. Ingredients include seaweed, sea salt, sesame oil, and flavor seasoning.