emails (coreyhaines31/marketingskills)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。ファクトシート（product.md、架空の海藻スナック定期購入）を使った3つのライティングタスク：5通のウェルカムメールシーケンス、3通のカゴ放棄フロー（割引不可）、代替件名5つ付きのウィンバックメール。それぞれに厳しい制限（件名は最大50文字、本文は最大100〜120語、CTA はちょうど1つ）。ルールで採点：ファイルが存在するか、制限を守っているか、でっち上げの数字・割引・緊急性がないか、禁止バズワードがないか、AI らしいパターン（it's-not-X-it's-Y、no-X-no-Y-no-Z、偽の 'Re:' 件名）がないか。

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 24.0 / 30、判定は 状況次第。

判定：状況次第（24.0 / 30）。 ソース：coreyhaines31/marketingskills、skills/emails、コミット 88c79f6 に固定。インストール：npx skills@latest add coreyhaines31/marketingskills --skill emails。ライセンス： MIT（リポジトリの LICENSE）。

概要

coreyhaines31/marketingskills の emails スキルは、メールシーケンス（ウェルカム、ナーチャリング、カート放棄、ウィンバック）を設計します。メールごとの目標、件名とプレビューテキスト、コピーのルール、タイミングと送信順序を定め、参照ファイル 3 つ（コピーのガイドライン、メールの種類、シーケンスのテンプレート）を備えています。SKILL.md は約 1,650 語、参照ファイルは約 3,200 語です。Markdown のみで、スクリプトはありません。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

ファクトシート（product.md、架空の海藻スナックのサブスクリプション）を使った 3 つのライティングタスク：5 通のウェルカムシーケンス、3 通のカート放棄フロー（割引は禁止）、代替の件名 5 つ付きのウィンバックメール。それぞれに厳格な制限（件名は最大 50 文字、本文は最大 100〜120 語、CTA はちょうど 1 つ）があります。ルールで採点します：ファイルが存在するか、制限を守っているか、でっち上げた数字・割引・緊急性がないか、禁止されたバズワードがないか、AI らしいパターン（it's-not-X-it's-Y、no-X-no-Y-no-Z、偽の 'Re:' 件名）がないか。

1. 5 通のウェルカムシーケンス — Tidepool の新規購読者向けに 5 通のウェルカムシーケンスを書いてください（事実は product.md のみ）。各メールに 'Subject:'（最大 50 文字）、'Preview:' テキスト、最大 120 語の本文、ちょうど 1 つの CTA を入れます。welcome.md に保存。
2. 3 通のカート放棄フロー — Tidepool 向けに 3 通のカート放棄シーケンスを書いてください（事実は product.md のみ。割引や保証はないので、提供しないこと）。各メール：'Subject:'（最大 50 文字）、'Preview:'、本文は最大 100 語、CTA は 1 つ。cart.md に保存。
3. ウィンバックメール＋件名バリエーション — 3 か月連続でスキップした購読者はまだ注文していません。再エンゲージメントメールを 1 通（Subject:、Preview:、本文は最大 100 語、CTA は 1 つ）と、代替の件名 5 つ（それぞれ最大 50 文字）を書いてください。product.md の事実のみを使用。winback.md に保存。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第 3 の群に与えた一文プロンプト："各メールを 1 つの明確な目標とちょうど 1 つの行動喚起（CTA）で設計し、短く具体的な件名とプレビューテキストを付け、AI らしいパターンのない自然な人間らしいトーンにし、シーケンス全体で適切な送信順序とタイミングを設定すること。"

平均スコア：スキルなし 5.0 に対しスキルあり 5.0（差 +0.0）。1実行あたりのトークン：69k に対し 102k（1.48 倍）。所要時間 38 秒に対し 50 秒。一文プロンプト群：5.0（一文プロンプトに対するスキルの上乗せ：+0.0、スキルなしに対する一文プロンプトの上乗せ：+0.0）。一文プロンプトのトークンは 1実行あたり 94k で、スキルは一文プロンプトの 1.09 倍のトークンを消費します。

何が起きたか

• ルール上の差はありません：平均スコアは対照群 5.0、一文版 5.0、スキルあり 5.0。18 実行のすべてのメールがすべての制限を満たしました。素の Codex は、明示的なファクトシート、長さの制限、「CTA はちょうど 1 つ」にすでに従います。
• 採点の修正が必要でした。最初のパスでは送信タイミング（'Send: 10 days after subscribing'、'24 hours after abandonment'）をでっち上げた数字として数え、一文プロンプト群とスキルあり群に 4.6 と 4.9 を与えていました。タイミングはスケジュールの助言であり、商品の主張ではないため、現在はこれらの表現を無視しています。最初のスコアは使用していません。
• 目に見える唯一の違いは、スキルが説明しているタイミングのガイダンスです。送信時刻のラベル（'Send:' 行やメール見出し内のタイミング）を探したところ、対照群は 6 シーケンス中 0 件、一文版は 6 件中 4 件、スキルありは 6 件中 1 件に書いていました。つまりスキルは確実にタイミングを追加したわけではなく、それを明示した一文の方が追加していた、ということです。
• スキルは 6/6 実行で読み込まれ、1実行あたり 102k トークンを消費しました。対照群は 69k（1.48 倍）、一文プロンプトは 94k（1.09 倍）です。

ディメンション別スコア

本テストの限界

• 天井効果：対照群がすでに 5.0 のため、テストで改善を示せません。悪化しなかったことだけが示されます。
• チェックは制限、誠実さ、スタイルのサインを対象としており、説得力の質、件名の巧みさ、到達性は対象外です。コピー品質の人間による評価はスポットチェック以外行っていません。
• 架空の単一商品のブリーフのみです。実際のセグメンテーションデータを使ったナーチャリングや B2B のドリップシーケンスでの価値はテストしていません。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックが検出できるものだけを測ります。センスや、結果が最善かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

結論

素の Codex はスキルなしでも、ルールを満たす事実ベースのメールシーケンスを生成します。スキルはトークンを追加し（約 1.5 倍）、これらのタスクで測定できる変化はありません。出力にスキルの構成とタイミングのガイダンスを反映させたい場合は役立つかもしれませんが、その点はプロンプトの一文でも、こちらではむしろより頻繁に達成されました。