pr (mattpocock/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 과제는 세 가지이며, 모두 change.diff의 변경 사항에 대한 PR 본문을 PR.md로 작성하는 과제이며, 옆에 tests_before.txt / tests_after.txt가 있습니다. 캐시 변경(되돌릴 수 있는 변경, 양방향 문), 컬럼을 삭제하는 마이그레이션(되돌릴 수 없는 변경, 단방향 문), 카피 변경입니다. 대조군은 그 문장만 받습니다. 한 문장 프롬프트군은 템플릿 전체를 풀어 쓴 문장을 하나 더 받습니다. 스킬 사용군도 형식을 알려주지 않습니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 29.0 / 30, 판정 추천.

판정: 권장 (29.0 / 30). 출처: mattpocock/skills, skills/engineering/pr, 커밋 4ae2317에 고정. 설치: npx skills@latest add mattpocock/skills --skill pr. 라이선스: MIT (저장소 LICENSE).

어떤 스킬인가

pr 스킬(mattpocock/skills)은 diff를 고정된 세 부분 구조의 풀 리퀘스트 본문으로 바꿉니다. Summary(가장 작고 유용한 다이어그램, 의사코드, 호출 트리), Evidence(Before: / **After:**와 테스트 출력), Merge Danger(Door: 단방향 또는 양방향, 그리고 한 단어 Blast Radius:)로, 프로젝트 용어집의 단어로 작성합니다. 짧은 SKILL.md 하나입니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

세 작업 모두 'change.diff의 변경에 대한 PR 본문을 PR.md로 작성'이며 옆에 tests_before.txt / tests_after.txt가 있습니다. 캐시 변경(양방향 문), 컬럼을 삭제하는 마이그레이션(단방향 문), 카피 변경입니다. 대조군은 그 문장만 받습니다. 한 문장 프롬프트군은 전체 템플릿을 풀어 쓴 문장 하나를 추가로 받습니다. 스킬군은 형식에 대해 안내받지 않습니다.

1. 캐시 변경의 PR 본문 — 풀 리퀘스트를 열려고 합니다. change.diff의 변경에 대한 PR 본문을 PR.md로 작성하세요. 전후 테스트 출력은 tests_before.txt와 tests_after.txt에 있습니다.
2. 컬럼 삭제의 PR 본문 — 제 풀 리퀘스트를 작성해 주세요. change.diff의 변경에 대한 PR 본문을 PR.md로 작성하세요. 전후 테스트 출력은 tests_before.txt와 tests_after.txt에 있습니다.
3. 카피 변경의 PR 본문 — PR 설명을 작성하세요. change.diff의 변경에 대한 PR 본문을 PR.md로 작성하세요. 전후 테스트 출력은 tests_before.txt와 tests_after.txt에 있습니다.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "PR 본문을 짧은 세 섹션으로 작성하세요. Summary(가장 작고 유용한 다이어그램, 의사코드, 호출 트리, 서두 없음), Evidence(**Before:**와 After:, 테스트 출력 포함), Merge Danger(Door: 단방향 또는 양방향, 한 단어 Blast Radius:)입니다. 용어집의 단어를 사용하세요."

평균 점수: 스킬 없이 1.67, 스킬 사용 시 5.0(델타 +3.33). 실행당 토큰: 82k 대 82k(1.00배), 시간 37초 대 34초. 한 문장 프롬프트군: 4.95(한 문장 프롬프트 대비 스킬의 이득: +0.05, 스킬 없는 경우 대비 한 문장 프롬프트의 이득: +3.28). 한 문장 프롬프트는 실행당 89k 토큰을 쓰므로, 스킬은 한 문장 프롬프트의 0.92배 비용입니다.

실제로 있었던 일

• 대조군 1.67, 한 문장 4.95, 스킬 5.00(각 n=6). 대조군은 명확하고 정확한 산문 PR을 썼지만, 6회 실행 중 어느 것도 세 섹션, 다이어그램이나 의사코드 블록, Before/After 레이블, Door, Blast Radius를 사용하지 않았습니다. 모델이 추측할 수 없는 형식이므로 형식을 안내받은 군은 모두 높은 점수를 받습니다. 이 검사 세트는 작성 품질이 아니라 형식 준수를 측정합니다.
• 스킬은 이름 없이 트리거되었고(6/6 읽음), 한 문장 프롬프트도 같은 정보를 담고 있습니다. 둘의 차이는 0.05점입니다(한 실행에서 템플릿 섹션 정규식이 하나 빠졌습니다. 마이그레이션 한 문장 실행은 3개 섹션 중 2개만 일치). 실행당 토큰은 대조군 82k, 한 문장 89k, 스킬 82k로 오버헤드가 없습니다.
• 판단 내용은 중요한 곳에서 올바릅니다. 마이그레이션에서 스킬 실행은 문을 단방향으로 지정하고 코드를 되돌려도 삭제된 컬럼을 복구할 수 없다고 말했으며 블래스트 반경을 명시했습니다. 캐시와 카피 작업은 양방향이었습니다. 대조군의 마이그레이션 PR도 0041을 먼저 적용하라고 경고했지만 Door나 반경이 없어서 리뷰어가 훑어보고 찾을 수 없습니다.
• 스킬은 아주 작아서(몇 줄) 로드 비용이 없습니다. 가치는 누구도 매번 템플릿을 붙여넣지 않아도 된다는 점입니다.

항목별 점수

이 테스트의 한계

• 규칙 기반 형식 검사만 수행합니다(섹션 존재, Before/After, Door 값 정확성, Blast Radius, 다이어그램/의사코드 블록). 다이어그램이 '가장 작고 유용한' 것인지나 글이 좋은지는 판단하지 않습니다.
• 대조군은 구조상 형식 검사에서 실패할 수밖에 없습니다. 이 결과는 스킬이 하우스 형식을 다시 진술할 필요를 없애 준다는 것이지, 모델이 더 나은 PR을 쓰게 한다는 것이 아닙니다.
• 작은 픽스처 세 개. 실제 저장소나 git 히스토리는 없습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

이 PR 형식을 원한다면 스킬이 첫 시도에 무료로 제공하며(82k 토큰, 스킬 없을 때와 동일), 템플릿을 한 문장으로 붙여넣는 것과 동등합니다. 팀 전체의 일관성을 위해 설치하되, 더 나은 산문을 기대하지는 마세요.