copywriting (coreyhaines31/marketingskills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 각 과제에서 에이전트에게 짧은 팩트 시트(product.md, Tidepool이라는 가상의 해초 스낵 구독 서비스)를 주고 그 사실만 사용하라고 지시합니다. 스킬의 '먼저 맥락을 물어보라'는 단계는 프롬프트가 이미 답을 제공한 셈입니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 24.0 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (24.0 / 30). 출처: coreyhaines31/marketingskills, skills/copywriting, 커밋 88c79f6에 고정. 설치: npx skills@latest add coreyhaines31/marketingskills --skill copywriting. 라이선스: MIT (저장소 LICENSE).

어떤 스킬인가

copywriting 스킬(v2.3.2, coreyhaines31/marketingskills)은 전환 카피라이팅 플레이북입니다. 글을 쓰기 전에 제품 마케팅 컨텍스트 파일을 찾고, 입력을 진단합니다(빈 브리프, 기존 보이스, 부분 수정). 원칙(명료함, 기능보다 혜택, 구체성, CTA 하나), 페이지 섹션 구조, AI 티가 나는 표현('it's not X, it's Y' 식 반전, 'no X, no Y, no Z' 나열)을 피하는 규칙, 뒷받침할 수 있는 주장만 쓰기 등을 다룹니다. 참고 파일 세 개(카피 프레임워크, AI 티, 자연스러운 전환)와 evals 파일 하나가 있습니다. Markdown만 사용합니다. 'write copy', 'rewrite this page', 'sounds like AI' 같은 요청에서 트리거됩니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

각 작업은 에이전트에게 짧은 팩트시트(product.md, Tidepool이라는 가상의 해초 스낵 구독 서비스)를 주고 그 사실만 사용하라고 지시합니다. 스킬의 '먼저 컨텍스트를 요청' 단계는 프롬프트가 대신 답해 주었습니다.

1. 팩트시트로 랜딩 페이지 카피 작성 — Tidepool의 랜딩 페이지 카피를 작성하세요(모든 사실은 product.md에 있으며, 그 내용만 사용). 히어로 헤드라인 + 서브헤드 + CTA, 혜택 블록 3개, FAQ 3개를 포함하세요. copy.md에 저장하세요. 최대 300단어.
2. 숏폼 광고 변형 — product.md의 사실만 사용해 Tidepool의 Facebook 광고 변형 3개를 작성하세요. 각 광고에는 'Primary text:'(최대 125자)와 'Headline:'(최대 40자) 줄을 넣으세요. ads.md에 저장하세요.
3. 밋밋한 카피 다시 쓰기 — bland.txt의 문단을 바쁜 사무직을 위한 더 날카로운 히어로 섹션(헤드라인, 서브헤드, CTA)으로 다시 쓰세요. product.md의 사실만 사용하세요. hero.md에 저장하고 최대 90단어로 작성하세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "명확하고 구체적이며 혜택을 앞세운 카피를 작성하고, 주요 CTA는 하나만 두며, 주어진 사실만 사용하고, AI 티가 나는 패턴("it's not X, it's Y", "no X, no Y, no Z" 나열)을 피하고, 모든 길이 제한을 정확히 지키세요."

평균 점수: 스킬 없이 5.0, 스킬 사용 시 5.0(델타 +0.0). 실행당 토큰: 63k 대 93k(1.48배), 시간 25초 대 29초. 한 문장 프롬프트군: 5.0(한 문장 프롬프트 대비 스킬의 이득: +0.0, 스킬 없는 경우 대비 한 문장 프롬프트의 이득: +0.0). 한 문장 프롬프트는 실행당 68k 토큰을 쓰므로, 스킬은 한 문장 프롬프트의 1.36배 비용입니다.

실제로 있었던 일

• 모든 군의 모든 실행이 5/5점을 받았습니다. 18회 실행 모두 단어·길이 제한 안에 들어왔고, 지어낸 숫자나 주장, 금지된 상투어, 저희가 검사하는 AI 티 패턴('it's not X, it's Y', 'no X, no Y, no Z')이 하나도 없었습니다. 점수가 천장에 닿아 테스트로는 품질 향상을 보여줄 수 없고, 스킬이 해를 끼치지 않았다는 것만 보여줍니다.
• 출력물을 읽어 보면 세 군이 비슷합니다. 바삭함/책상 서랍 앵글을 바탕으로 한 헤드라인, 혜택 블록 세 개, 팩트시트에서 그대로 가져온 3개짜리 FAQ입니다. 눈으로 봐도 순위를 매길 수 없었습니다.
• 스킬은 스킬 사용군 6/6 실행에서 읽혔으므로, 설명만으로도 트리거가 작동합니다(어떤 프롬프트도 스킬을 언급하지 않았습니다).
• 비용: 실행당 스킬 93k 토큰, 스킬 없이 63k(1.48배), 규칙을 한 문장으로 쓴 경우 68k(1.36배). 명령은 7.7회 대 5.7회입니다.

항목별 점수

이 테스트의 한계

• 천장 효과: 팩트시트와 '이 사실만 사용'이라는 명시적 지시가 있으면 일반 Codex도 깨끗하고 근거 없는 주장이 없는 카피를 씁니다. 이 스킬은 더 어려운 입력(빈 브리프, 기존 브랜드 보이스, 경쟁 포지셔닝, 긴 페이지)을 위해 설계되었지만, 그런 경우는 테스트하지 않았습니다.
• 취향, 보이스, 전환율은 측정하지 않습니다. 검사는 금지어, AI 티 패턴, 지어낸 숫자, 길이 제한만 잡아냅니다.
• 스킬의 컨텍스트 파일(.agents/product-marketing.md)과 형제 스킬(emails, popups, copy-editing)은 설치하지 않았습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

팩트시트 기반 카피 작업에서 이 스킬은 측정 가능한 변화를 만들지 못했습니다. 주어진 사실만 사용하라고 하면 에이전트는 이미 상투어, 지어낸 숫자, AI 티를 피하며, 스킬은 토큰을 약 1.5배 더 씁니다. 빈 브리프나 보이스 매칭 작업에서는 도움이 될 수 있지만 이 테스트는 그 부분을 다루지 않았으므로, 확실한 승리라기보다 비용이 낮은 유지 선택입니다.