emails (coreyhaines31/marketingskills)
建立並最佳化多封郵件序列、滴灌式行銷與生命週期自動化流程。
emails (marketingskills):在三個電子郵件序列任務上與單純的 Codex 打成平手,同為 5.0/5,Token 用量為 1.5 倍
Codex CLI · gpt-6-astra
24.0 / 30
相對未使用技能的提升:+0.00 · 視情況推薦 · 18 次執行
視情況推薦:提升幅度 +0.00 低於 +1.0。推薦條件為總分至少 22/30、產出品質至少 3.5、提升幅度至少 +1.0。
SOTA
透過使用 Codex 測試。
涵蓋 Codex, Claude Code
Codex CLI 0.166(SOTA 等級):18 次評分執行。依我們的等級規則,在這裡通過也涵蓋 Claude Code;但這不代表第二等級的結果。
分數
每個維度為 0 到 5 分,六個維度相加即為滿分 30 的總分。每個維度都是 5 分最好。成本 5 分代表便宜又快速;安裝 5 分代表容易安裝。
- 觸發可靠性
- 5.0
- 相對未使用技能的提升
- 2.0
- 產出品質
- 5.0
- Token 與時間成本
- 3.0
- 安裝與可攜性
- 4.0
- 安全性
- 5.0
安全審查
安全靜態掃描:0 CRITICAL / 0 HIGH / 0 MEDIUM。人工審查:可在無網路沙箱中安全執行(未發現問題)。掃描結果乾淨,不代表技能一定安全。
安裝
npx skills@latest add coreyhaines31/marketingskills --skill emails
固定 Commit: 88c79f6528a9347420e57ceb1fff9a60de651768
測試日期: 2026-11-02
我們測了什麼
- 5 封歡迎信序列 — 為 Tidepool 的新訂閱者撰寫 5 封歡迎信序列(只能使用 product.md 中的事實)。每封信都要有「Subject:」(最多 50 個字元)、「Preview:」文字、最多 120 字的內文,以及恰好一個 CTA。存到 welcome.md。
- 3 封購物車放棄流程 — 為 Tidepool 撰寫 3 封購物車放棄序列(只能使用 product.md 中的事實;沒有折扣或保證,所以不要提供)。每封信:「Subject:」(最多 50 個字元)、「Preview:」、內文最多 100 字、一個 CTA。存到 cart.md。
- 挽回信 + 主旨變體 — 連續 3 個月未下單的訂閱者還沒有再訂購。撰寫一封重新互動的電子郵件(Subject:、Preview:、內文最多 100 字、一個 CTA)以及 5 個替代主旨(每個最多 50 個字元)。只能使用 product.md 中的事實。存到 winback.md。
優點
- 技能即使未被點名也會被採用:6/6 次實驗組執行都讀取了技能檔案。
- 使用技能後的絕對品質很高:5.0 / 5。
缺點
- 相對未使用技能沒有可測量的提升(+0.00,落在雜訊範圍內)。
- 一句話提示得分 5.0,使用技能則為 5.0(+0.00)。
- 對照組本身就已拿到 5.0:這是天花板效應,因此測試無法顯示提升幅度。
- 測試注意事項:套用了評分修正:寄送時間的數字不再被計為捏造數字。我們依相同規則重新檢查 copywriting,結果仍維持在 5.0。
- 每個任務的每個組別 n=2;約 1 分以內的差異屬於雜訊。
評測
Codex CLI 0.166(gpt-6-astra,低推理)在 Mac 測試機上,每次執行都使用全新的暫存專案與暫存的 HOME/TMPDIR/快取,技能已安裝(實驗組)或未安裝(對照組),或未安裝但把技能的核心要求濃縮成一句話附加在提示詞後(一句話提示組),每個任務的每個組別執行 2 次,關閉網路,封鎖 /tmp 寫入。提示詞從未提及技能(除非下方註明的措辭)。三個寫作任務都附有資料表(product.md,一個虛構的海藻零食訂閱服務):5 封歡迎信序列、3 封購物車放棄流程(不允許折扣),以及一封挽回信加上 5 個替代主旨。每個任務都有硬性限制(主旨最多 50 個字元、內文最多 100–120 字、恰好一個 CTA)。依規則評分:檔案存在、限制有守住、沒有捏造數字、折扣或急迫感、沒有禁用流行語、沒有 AI 腔調模式(it's-not-X-it's-Y、no-X-no-Y-no-Z、假的「Re:」主旨)。
三組對照
| 組別 | 平均分數(0-5) | 每次執行 Token 用量 |
|---|---|---|
| 未使用技能 | 5.0 | 69k |
| 一句話提示 | 5.0 | 94k |
| 使用技能 | 5.0 | 102k |
以 Codex CLI 執行 18 次,採規則式檢查評分,不經 LLM 評審。總分 24.0 / 30,評級為 視情況推薦。
揭露事項: 我們套用了一項評分修正:寄送時間的數字不再被計為捏造數字。我們依相同規則重新檢查 copywriting,結果仍維持在 5.0。
評定:視情況而定(24.0 / 30)。 來源:coreyhaines31/marketingskills,skills/emails,固定於提交 88c79f6。安裝:npx skills@latest add coreyhaines31/marketingskills --skill emails。授權: MIT(儲存庫 LICENSE)。
這是什麼
emails 技能(來自 coreyhaines31/marketingskills)用於設計電子郵件序列(歡迎、培育、購物車未結帳、挽回):每封郵件的目標、主旨與預覽文字、文案規則、寄送時機與順序,並附三份參考檔案(文案指南、郵件類型、序列範本)。SKILL.md 約 1,650 字,參考檔案約 3,200 字。純 Markdown,沒有腳本。
測試方式
在 Mac 測試機上使用 Codex CLI 0.166(gpt-6-astra,低推理),每次執行都建立全新的臨時專案,並使用臨時的 HOME/TMPDIR/快取;分別為安裝技能(技能組)、未安裝(對照組),以及未安裝但把技能核心要求濃縮成一句話附加在提示詞後(一句話組);每項任務的每組執行 2 次;關閉網路,並封鎖對 /tmp 的寫入。提示詞完全不會提到技能名稱(以下註明的措辭除外)。
共有三項寫作任務,皆附一份事實表(product.md,一個虛構的海苔零食訂閱服務):5 封歡迎序列、3 封購物車未結帳流程(不得提供折扣),以及一封挽回郵件加 5 個替代主旨。每項都有硬性限制(主旨最多 50 個字元、內文最多 100–120 字、恰好一個 CTA)。依規則計分:檔案存在、符合限制、沒有捏造數字、折扣或急迫感、沒有禁用浮誇詞、沒有 AI 腔模式(不是 X 而是 Y、沒有 X 沒有 Y 沒有 Z、假的 'Re:' 主旨)。
- 5 封歡迎序列 — 請為 Tidepool 的新訂閱者撰寫 5 封歡迎序列(只能使用 product.md 中的事實)。每封郵件都要有「Subject:」(最多 50 個字元)、「Preview:」文字、最多 120 字的內文,以及恰好一個 CTA。存到 welcome.md。
- 3 封購物車未結帳流程 — 請為 Tidepool 撰寫 3 封購物車未結帳序列(只能使用 product.md 中的事實;沒有折扣或保證,因此請勿提供)。每封郵件:「Subject:」(最多 50 個字元)、「Preview:」、內文最多 100 字、一個 CTA。存到 cart.md。
- 挽回郵件 + 主旨變化版本 — 訂閱者已經連續 3 個月沒有下單。請撰寫一封重新互動的郵件(Subject:、Preview:、內文最多 100 字、一個 CTA)以及 5 個替代主旨(每個最多 50 個字元)。只能使用 product.md 中的事實。存到 winback.md。
計分採程式化方式(隱藏測試/預埋問題召回/限制條件檢查/視情況搭配渲染與 OCR),每次執行 0–5 分。分數並非由任何 LLM 評審決定。
結果
提供給第三組的一句話版本:「為每封郵件設計一個明確目標,並且恰好一個行動呼籲;主旨要簡短具體,搭配預覽文字;語氣自然像人,不出現 AI 慣用痕跡;整段序列的寄送順序與時機要合理。」
| 任務 | 對照組分數 | 一句話版本 | 技能組 | 對照組 token 數 | 一句話版本 token 數 | 技能組 token 數 | 技能讀取 |
|---|---|---|---|---|---|---|---|
| t1-welcome | 5.0 | 5.0 | 5.0 | 77k | 87k | 109k | 2/2 |
| t2-abandoned-cart | 5.0 | 5.0 | 5.0 | 68k | 101k | 103k | 2/2 |
| t3-winback | 5.0 | 5.0 | 5.0 | 59k | 91k | 92k | 2/2 |
平均分數:無技能 5.0,技能組 5.0(差異 +0.0)。每次執行 token 數:69k 對 102k(1.48 倍);時間 38 秒對 50 秒。一句話組:5.0(技能相較一句話版本的增益:+0.0;一句話版本相較無技能的增益:+0.0);一句話版本每次執行 94k token,因此技能的 token 成本是一句話版本的 1.09 倍。
實際表現
- 規則層面沒有差異:對照組平均 5.0、一句話版本 5.0、技能組 5.0。全部 18 次執行中的每封郵件都符合所有限制。單純的 Codex 本來就會遵循明確的事實表、長度限制和「恰好一個 CTA」。
- 計分方式需要修正:第一輪把寄送時機('Send: 10 days after subscribing'、'24 hours after abandonment')當成捏造數字,給了一句話組和技能組 4.6 與 4.9 分。時機屬於排程建議,並非產品宣稱,因此這些詞句現在已被忽略;第一輪分數不採用。
- 唯一看得見的差異,是技能所談的時機指引。檢查是否出現寄送時間標示('Send:' 行或郵件標題中的時間),對照組在 6 個序列中寫了 0 個,一句話版本在 6 個中寫了 4 個,技能組在 6 個中寫了 1 個。因此技能本身並未穩定加入時機,反倒是點明這件事的那句話做到了。
- 技能組 6/6 次執行都讀取了技能,每次執行花費 102k token,對照組為 69k(1.48 倍),一句話版本為 94k(1.09 倍)。
各面向分數
| 面向 | 分數 | 原因 |
|---|---|---|
| 1_output_quality | 5.0 | 技能組平均分數 5.00/5(程式化檢查,詳見各任務 表格)。 |
| 2_lift_vs_no_skill | 2.0 | 相較無技能的 5.00 高出 +0.00 分(每項任務 n=2;約 1 分 以下的差異屬於雜訊)。 |
| 3_trigger | 5.0 | 技能組 6/6 次執行都讀取了技能檔案。 |
| 4_instructions_portability | 4 | 純 Markdown 加上參考檔案;採用常見的 marketingskills 結構,可在任何會載入技能的代理中運作。 |
| 5_efficiency | 3 | token 為 1.48 倍(每次執行 102k 對 69k),時間為 1.32 倍(50 秒對 38 秒)。 |
| 6_safety_hygiene | 5 | 僅 Markdown;沒有腳本或指令。 |
本測試的限制
- 天花板效應:對照組已經拿到 5.0,因此測試無法顯示改善,只能顯示沒有變差。
- 檢查涵蓋限制、誠實性和風格痕跡,但不含說服力、主旨的巧思或送達率;除了抽查之外,並未由人工評讀文案品質。
- 只有一份虛構的單一產品簡報;技能在搭配真實分眾資料的培育序列與 B2B 滴灌序列中的價值並未測試。
- 每項任務的每組 n = 2:約 1 分以下的差異屬於雜訊。
- 規則式計分只能衡量檢查項目看得見的部分,無法評判品味,也無法判斷結果是否為最佳解。
安全性
詳見 security.md。掃描:0 CRITICAL / 0 HIGH / 0 MEDIUM。評定:可在無網路沙箱中安全執行。掃描結果乾淨並不代表技能一定安全。
總結
即使沒有技能,單純的 Codex 也能產出符合規範、有事實依據的電子郵件序列,而技能會增加 token(約 1.5 倍),在這些任務中卻沒有可測量的改變。如果你希望輸出中包含技能提供的結構與時機指引,它或許有幫助,但在本測試中,提示詞裡的一句話反而更常做到這一點。
完整紀錄
執行日誌:emails (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) 欄位:任務、組-輪次、得分(0-5)、token、秒、通過的檢查、代理開啟的 skill 檔案。 t1-welcome control-1: 得分 5.0, token 94583, 秒 55.8, 檢查 4/4, 未開啟 t1-welcome control-2: 得分 5.0, token 61035, 秒 51.9, 檢查 4/4, 未開啟 t1-welcome oneliner-1: 得分 5.0, token 78284, 秒 52.0, 檢查 4/4, 未開啟 t1-welcome oneliner-2: 得分 5.0, token 96098, 秒 64.7, 檢查 4/4, 未開啟 t1-welcome treatment-1: 得分 5.0, token 121562, 秒 57.9, 檢查 4/4, 開啟 emails t1-welcome treatment-2: 得分 5.0, token 97942, 秒 72.1, 檢查 4/4, 開啟 emails t2-abandoned-cart control-1: 得分 5.0, token 77150, 秒 37.3, 檢查 4/4, 未開啟 t2-abandoned-cart control-2: 得分 5.0, token 60327, 秒 30.3, 檢查 4/4, 未開啟 t2-abandoned-cart oneliner-1: 得分 5.0, token 109566, 秒 48.9, 檢查 4/4, 未開啟
18 次執行、3 個產出檔案
範例產出
SOTA · 装了 skill:welcome.md(t1-welcome,第 1 次,Codex)
# Tidepool welcome sequence For new subscription-box subscribers. Suggested timing is relative to signup; snack-related actions are for after the box arrives. CTA lines are the single action in each email. The account-page URL must be added before sending; it is not provided in product.md. ## Email 1: Welcome Send: Immediately Subject: Welcome to Tidepool Preview: Your monthly box has 12 single-serve packs of roasted seaweed snacks, with free shipping every time. Body: Welcome to Tidepool! We're glad to be part of your snack breaks. Each monthly box brings you 12 single-serve packs of roasted seaweed snacks in three flavors. It's $14 per box, with free shipping on every box. Boxes ship on the 1st of each month within the United States. Your account page is where you can skip or cancel any month. CTA: Visit your account page ## Email 2: A snack for the workday Send: Day 2 Subject: A little crunch for your desk drawer Preview: Twelve single-serve packs give you a way to keep roasted seaweed snacks close during a busy workday. Body: A packed calendar can leave little room to think about snacks. Your Tidepool box comes with 12 single-serve packs. Once it arrives, a few packs in your desk drawer can put something crunchy within reach when you take a break. Roasted seaweed fits right into that moment between finishing one task and starting the next. CTA: Set aside a pack for your next work break ## Email 3: Meet the flavors Send: Day 4 Subject: Three flavors in every Tidepool box Preview: Sea Salt, Sesame, Wasabi and Chili Lime are in rotation, with three flavors included in each box. Body: There's room for a little variety in your snack break. Tidepool's flavor rotation includes Sea Salt, Sesame, Wasabi and Chili Lime. Each box contains three flavors, so you'll have a few options when it's time for a pack of roasted seaweed. When your box arrives, your first snack break is a chance to start with whichever flavor catches your eye. CTA: Try one flavor from your box ## Email 4: What's in a pack Send: Day 7 Subject: A closer look at your seaweed snacks Preview: Tidepool snacks are vegan and gluten-free, made with seaweed, sea salt, sesame oil and flavor seasoning. Body: The ingredients deserve an introduction, too. Tidepool's roasted seaweed snacks contain seaweed, sea salt, sesame oil and flavor seasoning. They're vegan and gluten-free. Founded in Portland, Oregon, Tidepool brings those snacks together in a monthly box. Each single-serve pack is a crunchy option for a pause in your office day. CTA: Make a Tidepool pack your next desk snack ## Email 5: Keep it flexible Send: Day 10 Subject: Your subscription has room for a pause Preview: You can skip or cancel any month from your account page. Tidepool subscriptions have no contracts. Body: Some months, your snack routine changes. Tidepool lets you skip or cancel any month from your account page, with no contracts. That flexibility is part of your subscription from the start. Each box is $14 for 12 single-serve packs, and shipping is always free. Whenever you need a change, your account page is the place to manage it. CTA: Manage your subscription