writing-for-agents (mattpocock/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). writing-skills와 같은 세 가지 과제를 냈습니다: 네 가지 규칙으로 커밋 메시지 스킬 작성하기, 군더더기로 부풀려진 AGENTS.md를 핵심을 잃지 않고 다듬기(실제 규칙 5개가 채우기 문장, 중복, 오래된 포인터 사이에 묻혀 있음), 버그 트리아지 스킬 작성하기. 대조군에는 과제만 주어집니다. 한 문장 프롬프트에는 스킬의 핵심 규칙을 한 문장으로 담았습니다. 생성된 SKILL.md 파일은 writing-skills와 같은 7점 체크리스트로 채점했는데, 이 체크리스트는 'Use when ...' 형식의 설명을 기대합니다. 이 스킬 자체의 조언은 '트리거를 먼저'이며, 그런 문자 그대로의 문구를 쓰라는 것이 아닙니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 24.9 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (24.9 / 30). 출처: mattpocock/skills, skills/productivity/writing-for-agents, 커밋 4ae2317에 고정. 설치: npx skills@latest add mattpocock/skills --skill writing-for-agents. 라이선스: MIT(저장소 LICENSE).

무엇인가

writing-for-agents 스킬(mattpocock/skills)은 에이전트가 읽는 지침을 작성하는 방법을 안내합니다. 설명에서 트리거를 맨 앞에 두고 고유한 분기마다 트리거 하나를 두기, 각 의미를 단일 진실 공급원에 유지하기, 모델이 이미 따르는 무효 지시와 환경(스크립트, 설정)을 되풀이하는 줄 삭제하기, 각 단계를 검증 가능한 완료 기준으로 끝내기, 파일을 짧게 유지하기입니다.

테스트 방법

전용 Windows 테스트 PC에서 Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬 없이 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

writing-skills와 같은 작업 세 가지입니다. 규칙 네 개로 커밋 메시지 스킬 작성, 핵심을 잃지 않고 비대해진 AGENTS.md 다듬기(군더더기, 중복, 오래된 포인터 사이에 실제 규칙 5개가 묻혀 있음), 버그 트리아지 스킬 작성. 대조군은 작업만 받습니다. 한 문장 프롬프트는 스킬의 주요 규칙을 한 문장으로 제공합니다. 생성된 SKILL.md 파일은 writing-skills와 같은 7점 체크리스트로 채점하며, 이 체크리스트는 'Use when ...' 스타일 설명을 기대합니다. 이 스킬 자체의 조언은 '트리거를 먼저'이지 그런 문자 그대로의 문구가 아닙니다.

1. 커밋 메시지 스킬 작성 — skills/commit-writer/SKILL.md에 코딩 에이전트가 다음 규칙에 따라 커밋 메시지를 작성하게 하는 스킬(SKILL.md)을 작성하세요: 제목은 명령형이고 50자 미만이며 끝에 마침표를 찍지 않습니다. 그다음 빈 줄과 72자에서 줄바꿈한 본문…
2. AGENTS.md 다이어트 — AGENTS.md는 아무도 읽지 않을 만큼 커졌습니다. 에이전트가 실제로 필요한 내용을 잃지 않으면서 최대한 짧아지도록 그 자리에서 다시 작성하세요.
3. 버그 트리아지 스킬 작성 — skills/bug-triage/SKILL.md에 에이전트가 들어오는 버그 리포트를 S1(데이터 손실 또는 장애), S2(주요 기능 고장이지만 우회 방법 있음), S3(사소하거나 외관상 문제)으로 분류하고, 빠진 재현 단계를 먼저 요청하게 하는 스킬(SKILL.md)을 작성하세요…

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "에이전트를 위해 글을 쓰세요: 설명에서 트리거를 맨 앞에 두고 고유한 분기마다 트리거 하나, 각 의미는 단일 진실 공급원에 유지하고, 모델이 이미 따르는 무효 지시와 환경(스크립트, 설정)을 되풀이하는 줄은 삭제하며, 각 단계는 검증 가능한 완료 기준으로 끝내고, 파일은 짧게 유지하세요."

평균 점수: 스킬 없음 4.17, 스킬 사용 4.52(차이 +0.35). 실행당 토큰: 70k 대 88k(1.27배), 시간: 39초 대 37초. 한 문장 프롬프트 군: 4.63(한 문장 프롬프트 대비 스킬의 이득 -0.11, 스킬 없음 대비 한 문장 프롬프트의 이득 +0.46). 한 문장 프롬프트의 실행당 토큰은 76k이므로 스킬은 한 문장 프롬프트의 1.17배 비용을 씁니다.

무슨 일이 있었나

• 평균: 스킬 4.52, 한 문장 4.63, 대조군 4.17(각 n=6). 확실한 승리는 AGENTS.md 작업입니다. 스킬은 2회 모두 5.00(필수 규칙 5개 모두 유지, 군더더기 제거, 오래된 포인터 수정, 중복 통합)으로 대조군 4.29, 한 문장 4.71을 앞섰습니다. 한 문장 실행 2회는 모두 다듬는 과정에서 '마이그레이션은 추가 전용' 규칙을 삭제했고, 스킬 실행은 유지했습니다.
• 스킬 작성 작업 두 개에서는 스킬이 대조군보다 낫지 않았습니다(4.18~4.59 대 4.06~4.18). 해당 작업의 스킬 사용 실행 4회 모두 설명이 워크플로 요약이거나 스킬을 언제 쓸지 말하지 않았습니다('들어오는 버그 리포트의 빠진 재현 단계를 요청하고 심각도를 분류해 트리아지...', 대조군과 동일). 그래서 7점 체크리스트는 대조군과 마찬가지로 5/7 또는 6/7을 줬습니다. 한 문장 실행은 트리거 스타일 설명을 작성했습니다('들어오는 버그 리포트에 재현 단계가 없으면 먼저 요청하세요...').
• 대조군은 커밋 스킬 실행 2회 모두 '본문은 72자에서 줄바꿈, 이유 설명' 규칙을 빠뜨렸고(규칙 4개 중 3개), 스킬과 한 문장은 4개를 모두 유지했습니다.
• 비용: 실행당 스킬 88k 토큰으로 대조군 70k, 한 문장 76k(1.26배, 1.16배). 스킬 사용 실행은 실행당 파일 4개를 프로젝트로 복사합니다.
• AGENTS.md에 되풀이된 package.json 스크립트를 세는 검사는 여기서 대조군 2회 실행에서만 실패했습니다(3개 일치). 스킬의 '환경을 되풀이하지 말 것' 규칙과 일치합니다.

항목별 점수

이 테스트의 한계

• 규칙 기반 검사로, 일부는 writing-skills 테스트에서 가져왔습니다. 7점 스킬 체크리스트는 이 스킬이 요구하지 않는 'Use when' 문구에 점수를 주므로, 스킬 작성 작업 두 개에서 이 스킬을 과소평가합니다.
• 작성된 스킬이나 다듬은 AGENTS.md가 실제로 에이전트 행동을 바꾸는지는 아무도 테스트하지 않았습니다.
• 셀당 n=2.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

지침 파일을 압축할 때는 가치가 있습니다(한 문장 프롬프트가 놓친 실제 규칙을 모두 유지). 그 외에는 새 스킬을 작성할 때 기본 모델보다 낫지 않으며 토큰은 1.26배 듭니다.