copywriting (coreyhaines31/marketingskills)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。各タスクはエージェントに短い事実シート（product.md、Tidepool という架空の海藻スナック定期購入）を与え、それらの事実のみを使うよう指示します。スキルの「まずコンテキストを尋ねる」ステップには、プロンプトが事前に答えています。

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 24.0 / 30、判定は 状況次第。

判定：状況次第（24.0 / 30）。 ソース：coreyhaines31/marketingskills、skills/copywriting、コミット 88c79f6 に固定。インストール：npx skills@latest add coreyhaines31/marketingskills --skill copywriting。ライセンス： MIT（リポジトリの LICENSE）。

概要

coreyhaines31/marketingskills の copywriting スキル（v2.3.2）は、コンバージョン重視のコピーライティングのプレイブックです。執筆前にプロダクトマーケティングのコンテキストファイルを探し、入力（白紙のブリーフ、既存のトーン、部分修正）を診断します。原則（明快さ、機能よりベネフィット、具体性、CTA は 1 つ）、ページセクションの構成、AI らしさを避けるルール（'it's not X, it's Y' のような言い回しや 'no X, no Y, no Z' の列挙）、裏付けの取れる主張のみ、が含まれます。参照ファイルは 3 つ（コピーのフレームワーク、AI らしさ、自然なつなぎ）と evals ファイルです。Markdown のみです。'write copy'、'rewrite this page'、'sounds like AI' などの入力でトリガーされます。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

各タスクでは、エージェントに短いファクトシート（product.md、Tidepool という架空の海藻スナックのサブスクリプション）を与え、それらの事実のみを使うよう指示します。スキルの「まずコンテキストを尋ねる」ステップは、プロンプト側で回答済みとしました。

1. ファクトシートからのランディングページのコピー — Tidepool のランディングページのコピーを書いてください（事実はすべて product.md にあり、それらのみを使用）。ヒーローの見出し＋サブ見出し＋CTA、ベネフィットブロック 3 つ、FAQ 項目 3 つを含めます。copy.md に保存。最大 300 語。
2. 短い広告のバリエーション — product.md の事実のみを使って Tidepool の Facebook 広告のバリエーションを 3 つ書いてください。それぞれに 'Primary text:'（最大 125 文字）と 'Headline:'（最大 40 文字）の行を入れます。ads.md に保存。
3. 平凡なコピーの書き直し — bland.txt の段落を、忙しいオフィスワーカー向けのより鋭いヒーローセクション（見出し、サブ見出し、CTA）として書き直してください。product.md の事実のみを使用。hero.md に保存、最大 90 語。

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第 3 の群に与えた一文プロンプト："明快で具体的、ベネフィット主導のコピーを書き、主要な行動喚起（CTA）は 1 つにし、与えられた事実のみを使い、AI らしいパターン（"it's not X, it's Y" や "no X, no Y, no Z" の列挙）を避け、すべての長さ制限を正確に守ること。"

平均スコア：スキルなし 5.0 に対しスキルあり 5.0（差 +0.0）。1実行あたりのトークン：63k に対し 93k（1.48 倍）。所要時間 25 秒に対し 29 秒。一文プロンプト群：5.0（一文プロンプトに対するスキルの上乗せ：+0.0、スキルなしに対する一文プロンプトの上乗せ：+0.0）。一文プロンプトのトークンは 1実行あたり 68k で、スキルは一文プロンプトの 1.36 倍のトークンを消費します。

何が起きたか

• すべての群のすべての実行が 5/5 でした：18 実行すべてが語数と長さの制限内に収まり、でっち上げた数字や主張、禁止されたバズワード、チェック対象の AI らしいパターン（'it's not X, it's Y'、'no X, no Y, no Z'）がありませんでした。スコアが天井に達しているため、このテストは品質の向上を示せません。スキルが害を及ぼさなかったことを示すにとどまります。
• 出力を読むと、3 つの群は似ています：歯ごたえ／机の引き出しという切り口による見出し、ベネフィットブロック 3 つ、ファクトシートからコピーされた 3 項目の FAQ。目視でも順位付けできませんでした。
• スキルはスキルあり群 6/6 実行で読み込まれたため、説明だけでトリガーが機能します（プロンプトは言及していません）。
• コスト：1実行あたり 93k トークンで、スキルなしは 63k（1.48 倍）、自身のルールの一文版は 68k（1.36 倍）。コマンド数は 7.7 に対し 5.7 でした。

ディメンション別スコア

本テストの限界

• 天井効果：ファクトシートと「これらの事実のみを使う」という明示的な指示があれば、素の Codex はすでにクリーンで根拠のない主張を含まないコピーを書きます。このスキルはより難しい入力（白紙のブリーフ、既存のブランドトーン、競合ポジショニング、長いページ）向けに設計されていますが、それらはテストしていません。
• センス、トーン、コンバージョンは測定していません。チェックは禁止語、AI らしいパターン、でっち上げた数字、長さの制限のみを検出します。
• スキルのコンテキストファイル（.agents/product-marketing.md）と兄弟スキル（emails、popups、copy-editing）はインストールしていません。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックが検出できるものだけを測ります。センスや、結果が最善かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：CRITICAL 0 / HIGH 0 / MEDIUM 0。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

結論

ファクトシート型のコピータスクでは、スキルは測定できる変化をもたらしませんでした。与えられた事実のみを使うよう指示されると、エージェントはすでにバズワード、でっち上げた数字、AI らしさを避けます。そしてスキルは約 1.5 倍のトークンを追加します。白紙のブリーフやトーンを合わせる作業では役立つかもしれませんが、このテストではカバーしておらず、明確な勝利というよりは低コストで維持できるものと言えます。