emails (coreyhaines31/marketingskills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 사실 정보 시트(product.md, 가상의 해조 스낵 구독)를 준 글쓰기 과제 세 가지입니다: 5통 분량의 환영 시퀀스, 3통 분량의 장바구니 이탈 흐름(할인 금지), 대체 제목 5개를 붙인 재참여 이메일입니다. 각 과제에는 엄격한 제한이 있습니다(제목 최대 50자, 본문 최대 100~120단어, CTA 정확히 하나). 규칙으로 채점했습니다: 파일 존재, 제한 준수, 지어낸 숫자·할인·긴급성 없음, 금지된 상투어 없음, AI 같은 표현 없음(it's-not-X-it's-Y, no-X-no-Y-no-Z, 가짜 'Re:' 제목).

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 24.0 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (24.0 / 30). 출처: coreyhaines31/marketingskills, skills/emails, 커밋 88c79f6에 고정. 설치: npx skills@latest add coreyhaines31/marketingskills --skill emails. 라이선스: MIT (저장소 LICENSE).

어떤 스킬인가

emails 스킬(coreyhaines31/marketingskills)은 이메일 시퀀스(웰컴, 너처, 장바구니 이탈, 윈백)를 설계합니다. 이메일별 목표, 제목 줄과 프리뷰 텍스트, 카피 규칙, 발송 시점과 순서를 다루며, 참고 파일 세 개(카피 가이드라인, 이메일 유형, 시퀀스 템플릿)가 있습니다. SKILL.md는 약 1,650단어, 참고 파일은 3,200단어입니다. Markdown만 사용하고 스크립트는 없습니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

팩트시트(product.md, 가상의 해초 스낵 구독 서비스)를 사용한 세 가지 작성 작업입니다. 5통짜리 웰컴 시퀀스, 3통짜리 장바구니 이탈 흐름(할인 금지), 5개의 대체 제목 줄이 포함된 윈백 이메일입니다. 각 작업에는 엄격한 제한이 있습니다(제목 최대 50자, 본문 최대 100~120단어, CTA 정확히 하나). 규칙으로 채점합니다. 파일 존재, 제한 준수, 지어낸 숫자·할인·긴급성 없음, 금지된 상투어 없음, AI 같은 패턴(it's-not-X-it's-Y, no-X-no-Y-no-Z, 가짜 'Re:' 제목) 없음.

1. 5통짜리 웰컴 시퀀스 — 신규 Tidepool 구독자를 위한 5통짜리 웰컴 시퀀스를 작성하세요(사실은 product.md에 있는 내용만 사용). 각 이메일에는 'Subject:'(최대 50자), 'Preview:' 텍스트, 최대 120단어의 본문, CTA 정확히 하나를 넣으세요. welcome.md에 저장하세요.
2. 3통짜리 장바구니 이탈 흐름 — Tidepool의 3통짜리 장바구니 이탈 시퀀스를 작성하세요(사실은 product.md에 있는 내용만 사용. 할인이나 보장은 없으므로 제공하지 마세요). 각 이메일: 'Subject:'(최대 50자), 'Preview:', 본문 최대 100단어, CTA 하나. cart.md에 저장하세요.
3. 윈백 이메일 + 제목 변형 — 3개월 연속 건너뛴 구독자는 주문하지 않았습니다. 재참여 이메일 하나(Subject:, Preview:, 본문 최대 100단어, CTA 하나)와 대체 제목 줄 5개(각각 최대 50자)를 작성하세요. product.md의 사실만 사용하세요. winback.md에 저장하세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "각 이메일에 명확한 목표 하나와 정확히 하나의 CTA를 두고, 짧고 구체적인 제목 줄과 프리뷰 텍스트를 쓰고, AI 티가 나는 패턴 없이 평범하고 인간적인 어조를 유지하고, 시퀀스 전체에 걸쳐 합리적인 발송 순서와 시점을 설계하세요."

평균 점수: 스킬 없이 5.0, 스킬 사용 시 5.0(델타 +0.0). 실행당 토큰: 69k 대 102k(1.48배), 시간 38초 대 50초. 한 문장 프롬프트군: 5.0(한 문장 프롬프트 대비 스킬의 이득: +0.0, 스킬 없는 경우 대비 한 문장 프롬프트의 이득: +0.0). 한 문장 프롬프트는 실행당 94k 토큰을 쓰므로, 스킬은 한 문장 프롬프트의 1.09배 비용입니다.

실제로 있었던 일

• 규칙에서는 차이가 없었습니다. 평균 점수는 대조군 5.0, 한 문장 버전 5.0, 스킬 5.0입니다. 18회 실행의 모든 이메일이 모든 제한을 지켰습니다. 일반 Codex는 이미 명시적인 팩트시트, 길이 제한, 'CTA 정확히 하나'를 따릅니다.
• 채점 수정이 필요했습니다. 첫 번째 채점에서는 발송 시점('Send: 10 days after subscribing', '24 hours after abandonment')을 지어낸 숫자로 세어 한 문장 프롬프트군과 스킬군에 4.6과 4.9를 주었습니다. 시점은 제품 주장이 아니라 발송 일정 조언이므로 이제 그런 표현은 무시하며, 첫 점수는 사용하지 않습니다.
• 눈에 보이는 유일한 차이는 스킬이 이야기하는 발송 시점 안내입니다. 발송 시점 레이블('Send:' 줄 또는 이메일 제목의 시점)을 찾아보니, 대조군은 6개 시퀀스 중 0개, 한 문장 버전은 6개 중 4개, 스킬은 6개 중 1개에서 작성했습니다. 따라서 스킬이 발송 시점을 안정적으로 추가한 것은 아니지만, 이를 명시한 문장은 그렇게 했습니다.
• 스킬은 6/6 실행에서 읽혔고, 실행당 102k 토큰으로 대조군 69k(1.48배), 한 문장 프롬프트 94k(1.09배)를 썼습니다.

항목별 점수

이 테스트의 한계

• 천장 효과: 대조군이 이미 5.0이므로 테스트로는 개선을 보여줄 수 없고, 나빠진 것이 없다는 것만 보여줍니다.
• 검사는 제한, 정직성, 스타일 티를 다루며 설득력, 제목 줄의 재치, 전달 가능성은 다루지 않습니다. 카피 품질에 대한 사람의 평가는 표본 점검 외에는 하지 않았습니다.
• 가상의 단일 제품 브리프만 사용했습니다. 실제 세그멘테이션 데이터가 있는 너처 및 B2B 드립 시퀀스에서의 가치는 테스트하지 않았습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

일반 Codex는 스킬 없이도 규정을 지키고 사실에 기반한 이메일 시퀀스를 만들며, 이 작업들에서는 스킬이 측정 가능한 변화 없이 토큰만 약 1.5배 더 씁니다. 출력에 스킬의 구조와 발송 시점 안내를 넣고 싶을 때 도움이 될 수 있지만, 여기서는 프롬프트에 한 문장을 넣는 쪽이 그런 결과를 더 자주 냈습니다.