brand-guidelines (Anthropic)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 과제는 Anthropic의 공식 브랜드를 언급하되 구체적인 값은 주지 않는 세 가지입니다. deck.html을 그 자리에서 다시 스타일링하기, 내부 문서용 brand.css 작성하기, 작은 자체 완결형 상태 카드(status.html) 만들기입니다. 규칙 기반으로 채점했으며, 7개 브랜드 hex 코드 중 최소 5개, Poppins 제목, Lora 본문, Arial/Georgia 폴백을 기준으로 삼았습니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 26.6 / 30, 판정 상황에 따라.

판정: 상황에 따라 (26.6 / 30). 출처: anthropics/skills, skills/brand-guidelines, 커밋 ca45fc4에 고정. 설치: npx skills@latest add anthropics/skills --skill brand-guidelines. 라이선스: Apache-2.0 / Anthropic 약관(스킬 내 LICENSE.txt 참고).

무엇인가

anthropics/skills의 brand-guidelines 스킬입니다. Anthropic 공식 브랜드 색상(다크 #141413, 라이트 #faf9f5, 미드 그레이 #b0aea5, 라이트 그레이 #e8e6dc, 액센트 오렌지 #d97757, 블루 #6a9bcc, 그린 #788c5d)과 타이포그래피(제목은 Poppins, Arial 대체, 본문은 Lora, Georgia 대체), 그리고 이를 적용하는 방법을 담았습니다. 약 330단어의 SKILL.md 하나뿐이며 스크립트는 없습니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 스킬 사용군, 스킬이 없는 대조군, 스킬 없이 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 한 문장 프롬프트군으로 나눴으며, 작업·군당 2회 실행, 네트워크 차단, /tmp 쓰기 차단 조건이었습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현 제외).

Anthropic 공식 브랜드를 언급하되 구체적인 값은 주지 않는 세 가지 작업입니다. deck.html을 그 자리에서 스타일링하고, 내부 문서용 brand.css를 작성하고, 작은 독립형 상태 카드(status.html)를 만드는 것입니다. 채점 규칙은 브랜드 헥스 코드 7개 중 최소 5개, Poppins 제목, Lora 본문, Arial/Georgia 대체 글꼴입니다.

1. HTML 덱 스타일 변경 — deck.html을 Anthropic 공식 브랜드 색상과 타이포그래피로 스타일링합니다. 파일을 그 자리에서 편집합니다.
2. 브랜드 스타일시트 작성 — Anthropic 공식 브랜드 가이드라인(색상과 타이포그래피)에 따라 내부 문서용 brand.css를 작성합니다. 파일 이름은 brand.css로 저장합니다.
3. 브랜드 상태 카드 — status.html을 만듭니다. 제목과 세 개의 상태 행을 갖춘 작은 독립형 상태 카드로, Anthropic 공식 브랜드 분위기로 스타일링합니다.

채점은 프로그램 방식(숨은 테스트/심어 둔 문제 탐지/제약 조건 검사/해당되는 경우 렌더링+OCR)으로 진행하며 실행당 0~5점입니다. 어떤 점수도 LLM 심사자가 결정하지 않았습니다.

결과

세 번째 군에 제공한 한 문장 프롬프트: "Anthropic 팔레트(다크 #141413, 라이트 #faf9f5, 미드 그레이 #b0aea5, 라이트 그레이 #e8e6dc, 액센트 오렌지 #d97757, 블루 #6a9bcc, 그린 #788c5d)를 사용하고, 제목에는 Poppins(Arial 대체), 본문에는 Lora(Georgia 대체)를 적용하세요."

평균 점수: 스킬 없음 4.42 vs 스킬 사용 5.0(델타 +0.58). 실행당 토큰: 104k vs 56k(0.54배), 시간 64초 vs 39초. 한 문장 프롬프트군: 5.0(한 문장 프롬프트 대비 스킬의 이득: +0.0, 스킬 없음 대비 한 문장 프롬프트의 이득: +0.58). 한 문장 프롬프트는 실행당 52k 토큰이므로 스킬 비용은 한 문장 프롬프트의 1.08배입니다.

무슨 일이 있었나

• 스킬 없이 4.42, 스킬 사용 5.0, 색상과 글꼴을 나열한 한 문장 버전으로 5.0이었습니다. 대조군이 점수를 잃은 곳은 상태 카드 작업이었습니다. 두 실행 중 하나(1.9/5)에서는 에이전트가 브랜드 팔레트와 글꼴을 쓰지 않았고, 다른 실행(4.64)에서는 사용했습니다. 덱과 스타일시트 작업에서는 대조군이 두 실행 모두 5.0이었습니다.
• 즉 일반 Codex도 학습 데이터 덕분에 팔레트를 아는 경우가 많지만, 항상 믿을 수는 없습니다. 스킬을 쓰면 6회 실행 모두 전체 팔레트와 글꼴을 충족했습니다.
• 스킬은 6/6 실행에서 읽혔고 대조군보다 비용이 적었습니다. 실행당 104k 대비 56k(0.54배)였고, 한 문장 프롬프트(52k)와 비슷했습니다. 덱 작업에서 대조군은 155~166k 토큰을 쓴 반면 스킬 사용군은 64k를 썼습니다. 대조군이 왜 더 많이 썼는지는 조사하지 않았습니다(각 첫 실행에서 명령이 6개 대신 8개였습니다).
• 같은 헥스 코드와 글꼴을 담은 한 문장 버전이 같은 비용으로 스킬과 같은 점수(5.0)를 받았습니다. 따라서 이 스킬의 가치는 정교한 방법론이 아니라 저장된 사실에 있습니다.

항목별 점수

이 테스트의 한계

• 헥스 코드와 글꼴 이름을 규칙으로 검사한 것이며, 페이지가 브랜드답게 보이는지 시각적으로 판단한 것은 아닙니다.
• 작은 작업 세 개를 각각 두 번 실행했고, 대조군이 놓친 것은 한 번의 실행뿐입니다.
• 이 스킬은 한 브랜드(Anthropic)의 사실만 담고 있습니다. 이런 스킬이 다른 회사 가이드라인에서 얼마나 잘 작동하는지는 이 테스트로 알 수 없습니다.
• 작업·군당 n=2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정하며, 취향이나 결과가 최선인지는 판단하지 못합니다.

보안

security.md를 참고하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

이 스킬은 정확한 팔레트와 글꼴을 안정적으로 제공하며, 이번 실행에서는 아무것도 주지 않은 요청보다 토큰을 절반만 썼습니다. 같은 값을 담은 한 문장 프롬프트로도 동일한 결과가 나오므로, 매번 프롬프트에 반복하지 않고 사실을 한 번만 저장해 두고 싶을 때만 쓸 가치가 있습니다.