internal-comms (Anthropic)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 팀 사실을 적은 짧은 notes.md에서 세 가지 글쓰기 과제를 냈습니다: 3P 업데이트, 짧은 리더십 업데이트(최대 150단어), 4문항 회사 FAQ. 규칙 검사 항목: 세 섹션, 스테이징과 데이터 내보내기 문제 및 11월 9일 날짜 언급, 단어 수 제한, 지어낸 숫자 없음, 질문/답변 네 쌍.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 26.0 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (26.0 / 30). 출처: anthropics/skills, skills/internal-comms, 커밋 ca45fc4에 고정. 설치: npx skills@latest add anthropics/skills --skill internal-comms. 라이선스: Apache-2.0 / Anthropic 약관(스킬의 LICENSE.txt 참조).

무엇인가

anthropics/skills의 internal-comms 스킬은 사내 커뮤니케이션 형식을 제공합니다. 3P 업데이트(진행 상황, 계획, 문제), 사내 뉴스레터, FAQ, 일반 커뮤니케이션이며 각각 예시 파일이 있습니다. SKILL.md는 약 400단어, 예시 파일은 1,400단어입니다. Markdown만 사용하고 스크립트는 없습니다.

테스트 방법

Mac 테스트 머신에서 Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬 없이 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

팀 사실을 적은 짧은 notes.md에서 출발하는 글쓰기 작업 세 가지: 3P 업데이트, 짧은 리더십 업데이트(최대 150단어), 질문 4개의 전사 FAQ. 규칙 검사: 세 섹션이 있는지, 스테이징과 데이터 내보내기 문제 및 11월 9일 날짜가 언급되는지, 단어 수 제한, 없는 숫자를 지어내지 않았는지, 질문/답변 쌍이 네 개인지.

1. 원본 노트로 3P 업데이트 작성 — notes.md의 노트(그 사실만 사용)로 이번 주 팀 3P 업데이트를 작성하세요. update.md로 저장하세요.
2. 리더십 상태 업데이트 — notes.md를 짧은 리더십 업데이트(출시된 것, 다음 단계, 리스크)로 바꾸세요. 그 사실만 사용하세요. leadership.md로 저장하세요. 최대 150단어.
3. 직원용 FAQ — notes.md만 사용해, 우리 팀이 다음에 하는 일(결제 마이그레이션 등)에 관한 질문 4개의 FAQ를 전사 직원을 위해 작성하세요. faq.md로 저장하세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "업데이트 유형에 맞는 표준 internal-comms 형식을 따르세요(3P: 진행 상황, 계획, 문제; 뉴스레터; FAQ; 리더십 업데이트). 간결하고 훑어보기 쉽게 유지하고, 노트에 있는 사실만 사용하세요."

평균 점수: 스킬 없음 5.0, 스킬 사용 5.0(차이 +0.0). 실행당 토큰: 60k 대 63k(1.05배), 시간: 30초 대 32초. 한 문장 프롬프트 군: 5.0(한 문장 프롬프트 대비 스킬의 이득 +0.0, 스킬 없음 대비 한 문장 프롬프트의 이득 +0.0). 한 문장 프롬프트의 실행당 토큰은 60k이므로 스킬은 한 문장 프롬프트의 1.04배 비용을 씁니다.

무슨 일이 있었나

• 검사를 고친 뒤에는 점수 차이가 없었습니다. 대조군 5.0, 한 문장 5.0, 스킬 5.0. 첫 채점에서는 결함이 두 개 있었습니다('Oct 26'을 지어낸 숫자로 처리했고, 'Question:'/'Answer:' 라벨을 Q&A 쌍으로 세지 않음). 둘 다 고쳐 18회 실행을 모두 다시 확인했습니다.
• 스킬은 산출물의 형태를 바꿉니다. 3P 업데이트에서 스킬 실행 2회는 모두 압축 형식을 사용했습니다. 첫 줄에 이모지와 팀 이름, 주차를 쓰고, 이어서 진행 상황·계획·문제를 각각 짧은 문단 하나로 썼습니다(97단어). 대조군과 한 문장 프롬프트의 4회 실행은 모두 markdown 제목과 불릿 섹션으로 작성했습니다(108~117단어). FAQ에서 스킬 실행은 'Question:'/'Answer:' 라벨 쌍을 사용했습니다(약 166단어 대 139단어).
• 스킬은 6/6회 실행에서 읽혔고, 실행당 63k 토큰으로 60k(1.05배) 대비 거의 무료에 가까운 추가입니다.
• 우리 규칙은 형식 충실도가 아니라 내용과 제한을 채점하므로, 사내 형식이 있는 팀이라면 점수에는 드러나지 않는 차이를 느낄 것입니다.

항목별 점수

이 테스트의 한계

• 세 작업이 짧은 사실 목록을 사용해 어느 군도 내용을 지어내지 않았습니다. 원본이 더 길거나 지저분했다면 군이 갈렸을 수 있습니다.
• 회사 고유 스타일에 대한 형식 충실도는 채점하지 않았습니다. 스킬의 형식은 Anthropic의 예시라서 여러분 회사와 맞지 않을 수 있습니다.
• 뉴스레터와 일반 커뮤니케이션 형식은 테스트하지 않았습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

순수 Codex도 도움 없이 사실에 기반한 올바른 사내 업데이트를 작성했으므로 측정 가능한 품질 향상은 없고 비용도 무시할 수준입니다. 압축된 3P와 FAQ 형식을 일관되게 적용하고 싶다면 이 스킬이 유용합니다. 팀의 사내 스타일이 다르다면 도움이 되지 않을 것입니다.