code-review (Matt Pocock)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 단일 파일 리뷰 두 건(문제 8개를 심은 주문 서비스 — 그중 3개는 보안과 무관 —, 문제 8개를 심은 인증 헬퍼)과 CODING_STANDARDS.md 및 SPEC.md 대비 최신 커밋 리뷰 한 건(편차 8개 심음)을 수행했으며, 마지막 과제가 스킬의 의도된 용도입니다. 모든 프롬프트는 읽기 전용입니다('문제를 나열하고 가장 심각한 것부터, 파일은 변경하지 말 것').

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 23.5 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (23.5 / 30). 출처: mattpocock/skills, skills/engineering/code-review, 커밋 4ae2317에 고정. 설치: npx skills@latest add mattpocock/skills --skill code-review. 라이선스: MIT (저장소 LICENSE).

어떤 스킬인가

mattpocock/skills의 code-review 스킬(engineering/code-review)입니다. 주어진 ref 이후의 변경 사항을 두 축으로 리뷰합니다. 코드가 저장소에 문서화된 코딩 표준(과 흔한 코드 냄새)을 따르는지, 그리고 명세가 요구한 것을 구현했는지. 표준/명세 문서가 있는 저장소와 서브 에이전트와 함께 쓰는 상황을 염두에 두고 작성됐습니다. Markdown만 있으며 스크립트는 없습니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

단일 파일 리뷰 두 개(심어 둔 문제 8개가 있는 주문 서비스, 그중 3개는 보안과 무관. 심어 둔 문제 8개가 있는 인증 도우미)와, 최신 커밋을 CODING_STANDARDS.md와 SPEC.md에 비추어 리뷰하는 작업 하나(심어 둔 편차 8개)로 구성했습니다. 마지막 작업이 이 스킬의 의도된 용도입니다. 모든 프롬프트는 읽기 전용입니다('문제를 나열하고, 심각한 것부터, 파일은 변경하지 말 것').

1. 작은 서비스 모듈 리뷰 — orders_service.py를 병합하기 전에 리뷰해 주세요. 발견한 문제를 심각한 것부터 나열하세요. 파일은 변경하지 마세요.
2. 인증 도우미 리뷰 — auth_handlers.py를 리뷰해 주세요. 방금 로그인 흐름을 위해 작성했습니다. 문제를 심각한 것부터 나열하세요. 파일은 변경하지 마세요.
3. 작성된 표준과 명세에 비추어 최신 커밋 리뷰 — 제 최신 커밋(HEAD~1 이후 변경 사항)을 CODING_STANDARDS.md와 SPEC.md에 비추어 리뷰해 주세요. 모든 편차를 심각한 것부터 나열하세요. 파일은 변경하지 마세요.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "두 축으로 리뷰하세요. 코드가 저장소에 문서화된 코딩 표준(과 흔한 코드 냄새)을 따르는지, 그리고 명세가 요구한 것을 구현했는지. 각 발견 사항의 파일과 줄을 인용하세요."

평균 점수: 스킬 없이 4.37, 스킬 사용 시 4.45(델타 +0.08). 실행당 토큰: 78k 대 114k(1.46배), 시간 44초 대 57초. 한 문장 프롬프트군: 4.37(한 문장 프롬프트 대비 스킬의 이득: +0.08, 스킬 없는 경우 대비 한 문장 프롬프트의 이득: +0.0). 한 문장 프롬프트는 실행당 77k 토큰을 쓰므로, 스킬은 한 문장 프롬프트의 1.49배 비용입니다.

실제로 있었던 일

• 측정 가능한 향상은 없었습니다. 평균 점수는 스킬 없이 4.37, 한 문장 버전 4.37, 스킬 사용 시 4.45였습니다. 실행당 심어 둔 문제 탐지율: 대조군 8개 중 5.0, 한 문장 프롬프트 5.0, 스킬 5.1.
• 이 스킬이 작성된 용도(표준 파일과 명세에 비추어 커밋 리뷰)에서는 모든 군이 6/6 실행에서 편차 8개를 모두 찾았습니다. 순수 Codex도 요청만 받으면 CODING_STANDARDS.md와 SPEC.md를 읽고 diff와 비교합니다.
• 단일 파일 리뷰 두 개에서는 모든 군이 심어 둔 문제 8개 중 5〜7개를 찾았습니다. 놓친 문제는 군마다 같았고(부동소수점 금액, 로그에 기록된 비밀, 로그인 속도 제한 없음), 스킬이 더하는 무엇도 이를 바꾸지 못했습니다.
• 스킬은 6/6 실행에서 읽혔고 실행당 114k 토큰으로 78k(1.5배)보다 비쌌습니다. 커밋 리뷰 작업에서는 154k 대 79k(약 2배)로 가장 무거웠습니다. 한 문장 프롬프트는 대조군과 같은 비용이었습니다. 파일을 변경한 실행은 없었습니다.
• 채점 관련 주의: 항목은 정규식으로 매칭하므로 표현이 다른 발견은 놓친 것으로 집계될 수 있습니다.

항목별 점수

이 테스트의 한계

• 이 스킬은 두 축을 서브 에이전트에 맡기고 저장소 문서를 읽도록 설계됐습니다. 작은 저장소 하나로 비대화형 Codex를 돌린 것으로는 큰 diff에서 그것이 도움이 되는지 알 수 없습니다.
• 아주 작은 파일에 심어 둔 문제들입니다. 설명의 품질, 심각도 정렬, 오탐은 채점하지 않았습니다.
• 한 문장 프롬프트는 스킬의 두 축을 다시 진술합니다. 문서화된 표준이 없는 팀이라면 첫 번째 축에 쓸 것이 없습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

작성된 표준과 명세에 비추어 커밋을 리뷰해 달라고 하면 순수 Codex도 심어 둔 편차를 모두 찾았고, 스킬은 더 많이 찾지 못한 채 토큰만 늘렸습니다(1.5배〜2배). 모든 리뷰가 같은 두 축 형식을 따르기를 원하는 팀에는 여전히 도움이 될 수 있지만, 이 테스트는 그 부분을 측정하지 않습니다.