setup-pre-commit (mattpocock/skills)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 작은 저장소 세 개를 사용했고 모두 같은 프롬프트를 넣었습니다: '커밋 훅을 추가하세요. 이 저장소에 pre-commit 훅을 설정하세요(네트워크를 사용할 수 없으니 설치하지 말고 파일과 package.json 변경 사항을 직접 작성하세요).' 대상은 typecheck·test 스크립트가 있는 npm 저장소, typecheck 스크립트가 없는 pnpm 저장소(pnpm-lock.yaml), 이미 .prettierrc가 있는 npm 저장소입니다. 한 문장 프롬프트군에는 스킬의 레시피를 한 문장으로 넣었습니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 29.0 / 30, 판정 추천.

판정: 추천 (29.0 / 30). 출처: mattpocock/skills, skills/misc/setup-pre-commit, 커밋 4ae2317에 고정. 설치: npx skills@latest add mattpocock/skills --skill setup-pre-commit. 라이선스: MIT (저장소 LICENSE).

어떤 스킬인가

setup-pre-commit 스킬(mattpocock/skills)입니다. lint-staged와 Prettier를 사용하는 Husky v9 pre-commit 훅을 설정합니다. 잠금 파일에서 패키지 관리자를 감지하고, lint-staged를 실행한 뒤 해당 패키지 관리자로 저장소의 typecheck와 test 스크립트를 실행하는 .husky/pre-commit(셔뱅 없음)을 작성하며(없는 스크립트는 건너뛰고 알림), prettier --ignore-unknown --write를 쓰는 .lintstagedrc를 추가하고, prepare: husky를 추가하며, .prettierrc가 없을 때만 새로 만듭니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

작은 저장소 세 개를 사용했고 모두 같은 프롬프트를 받았습니다: '커밋 훅을 추가해 주세요. 이 저장소에 pre-commit 훅을 설정하세요(네트워크를 쓸 수 없으니 설치하지 말고 파일과 package.json 변경을 직접 작성하세요).' typecheck와 test 스크립트가 있는 npm 저장소, typecheck 스크립트가 없는 pnpm 저장소(pnpm-lock.yaml), 이미 .prettierrc가 있는 npm 저장소. 한 문장 프롬프트 = 스킬의 레시피를 한 문장으로.

1. typecheck와 test 스크립트가 있는 npm 프로젝트 — 커밋 훅을 추가해 주세요. 이 저장소에 pre-commit 훅을 설정하세요(네트워크를 쓸 수 없으니 설치하지 말고 파일과 package.json 변경을 직접 작성하세요).
2. typecheck 스크립트가 없는 pnpm 프로젝트 — 커밋 훅을 추가해 주세요. 이 저장소에 pre-commit 훅을 설정하세요(네트워크를 쓸 수 없으니 설치하지 말고 파일과 package.json 변경을 직접 작성하세요).
3. 기존 Prettier 설정 유지 — 커밋 훅을 추가해 주세요. 이 저장소에 pre-commit 훅을 설정하세요(네트워크를 쓸 수 없으니 설치하지 말고 파일과 package.json 변경을 직접 작성하세요).

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "Husky v9를 lint-staged와 함께 설정하세요. 잠금 파일에서 패키지 관리자를 감지하고, .husky/pre-commit(셔뱅 없음)을 작성해 npx lint-staged를 실행한 뒤 해당 패키지 관리자로 저장소의 typecheck와 test 스크립트를 실행하세요(없는 스크립트는 생략하고 알려 주세요). prettier --ignore-unknown --write를 쓰는 .lintstagedrc, prepare: husky 스크립트를 추가하고, .prettierrc는 없을 때만 만드세요."

평균 점수: 스킬 없이 1.41, 스킬 사용 시 5.0(델타 +3.59). 실행당 토큰: 82k 대 82k(0.99배), 시간 58초 대 43초. 한 문장 프롬프트군: 5.0(한 문장 프롬프트 대비 스킬의 이득: +0.0, 스킬 없는 경우 대비 한 문장 프롬프트의 이득: +3.59). 한 문장 프롬프트는 실행당 75k 토큰을 쓰므로, 스킬은 한 문장 프롬프트의 1.09배 비용입니다.

실제로 있었던 일

• 대조군 1.41, 한 문장 프롬프트 5.00, 스킬 5.00(각 n=6). 도구를 지정하지 않자 대조군은 자체 설계를 택했습니다. npm과 pnpm 저장소(4회 실행)에서는 Husky도 lint-staged도 Prettier도 없이 네이티브 git 훅 폴더(.githooks/pre-commit과 README, prepare 스크립트)를 작성했고, pnpm 저장소에서는 저장소가 pnpm을 쓰는데도 훅이 npm test를 실행했습니다(실행 1에서 확인). 기존 .prettierrc가 있는 저장소만 Husky를 받았습니다(2회 실행).
• 스킬과 한 문장 프롬프트 실행은 세부 사항이 모두 정확했습니다. pnpm 저장소는 pnpm exec lint-staged와 pnpm run test를 사용했고, 없는 typecheck는 생략하고 그 사실을 알렸으며, 기존 .prettierrc는 다시 쓰지 않았고, prepare: husky와 devDependencies 세 개를 추가했습니다. 스킬은 어려운 엔지니어링이 아니라 의견(Husky + lint-staged + Prettier)으로 중요한 역할을 합니다.
• 비용 없음: 스킬 82k, 대조군 82k, 한 문장 프롬프트 75k(실행당). 스킬은 이름을 밝히지 않아도 스킬 사용군 6/6 실행에서 읽혔습니다.
• 오프라인에서는 설치하거나 실행할 수 없어 생성된 훅은 하나도 실행되지 않았습니다. 두 군 모두 훅은 npm install 전까지 비활성 상태라고 밝혔습니다.

항목별 점수

이 테스트의 한계

• 작성된 파일에 대한 규칙 기반 검사입니다. 훅은 실행되지 않았습니다(네트워크 없음, Husky 미설치).
• 대조군의 네이티브 훅 해법도 유효한 설계입니다. 검사는 요청된 Husky/lint-staged 레시피가 만들어졌는지를 측정하며, 대조군은 그것을 알 방법이 없었습니다.
• 한 검사(기존 .prettierrc 유지)는 변경되지 않은 파일이 복사되어 나오지 않아 처음에는 모든 실행에서 실패했습니다. 파일이 손대지 않은 경우 통과하도록 바꾸고 18회 실행을 모두 같은 규칙으로 다시 채점했습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

Husky + lint-staged + Prettier 구성을 원한다면, 이 스킬은 추가 토큰 없이 세 가지 저장소 형태(pnpm 감지, typecheck 누락, 기존 Prettier 설정) 모두에서 올바르게 해냅니다. 한 문장 레시피도 같은 일을 합니다. 레시피를 매번 다시 설명하지 않으려면 설치하되, 그 이상의 품질 향상은 기대하지 마세요.