caveman-commit (JuliusBrussee/caveman)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 세 가지 diff(페이지네이션 수정, 새 /health 엔드포인트, 설정 키 이름을 timeout에서 timeout_ms로 변경)를 사용했습니다. 프롬프트는 형식을 지정하지 않은 채 COMMIT_MSG.txt에 저장할 커밋 메시지만 요청합니다. 한 문장 프롬프트군은 Conventional Commits 형식과 규칙을 한 문장으로 제시합니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 26.0 / 30, 판정 상황에 따라.

판정: 상황에 따라 다름 (26.0 / 30). 출처: JuliusBrussee/caveman, skills/caveman-commit, 커밋 9b68f7e에 고정. 설치: npx skills@latest add JuliusBrussee/caveman --skill caveman-commit. 라이선스: MIT (저장소 LICENSE).

어떤 스킬인가

caveman-commit 스킬(JuliusBrussee/caveman)은 커밋 메시지 스타일 가이드입니다. Conventional Commits 형식의 type(scope): imperative summary를 따르되 50자 이하이고 끝에 마침표를 붙이지 않으며, 이유가 분명하지 않을 때만 본문을 쓰고, 호환성을 깨는 변경에는 BREAKING CHANGE 노트를 붙입니다. 'this commit', 'I', 'we', 'now', 이모지, AI 기여 표시는 금지합니다.

테스트 방법

Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 전용 Windows 테스트 PC에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

세 가지 diff(페이지네이션 수정, 새 /health 엔드포인트, 설정 키 이름을 timeout에서 timeout_ms로 변경)를 사용했습니다. 프롬프트는 COMMIT_MSG.txt에 저장할 커밋 메시지만 요청하며 형식은 제시하지 않습니다. 한 문장 프롬프트는 Conventional Commits 형식과 규칙을 한 문장으로 설명합니다.

1. 작은 수정의 커밋 메시지 — 커밋 메시지가 필요합니다. change.diff의 변경 사항에 대한 커밋 메시지를 작성해 COMMIT_MSG.txt에 저장하세요(메시지만).
2. 새 엔드포인트의 커밋 메시지 — 커밋을 작성해 주세요. change.diff의 변경 사항에 대한 커밋 메시지를 작성해 COMMIT_MSG.txt에 저장하세요(메시지만).
3. 호환성을 깨는 변경의 커밋 메시지 — 커밋 메시지를 작성하세요. change.diff의 변경 사항에 대한 커밋 메시지를 작성해 COMMIT_MSG.txt에 저장하세요(메시지만).

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "type(scope): imperative summary 형식의 Conventional Commits 메시지를 작성하세요. 50자 이하, 끝에 마침표 없음, 이유가 분명하지 않을 때만 본문 작성(호환성을 깨는 변경에는 항상 BREAKING CHANGE 노트와 함께 본문을 붙임), 'this commit', 'I', 'we', 'now', 이모지, AI 기여 표시 금지."

평균 점수: 스킬 없이 4.02, 스킬 사용 시 5.0(델타 +0.98). 실행당 토큰: 53k 대 58k(1.09배), 시간 42초 대 40초. 한 문장 프롬프트군: 4.95(한 문장 프롬프트 대비 스킬의 이득: +0.05, 스킬 없는 경우 대비 한 문장 프롬프트의 이득: +0.93). 한 문장 프롬프트는 실행당 48k 토큰을 쓰므로, 스킬은 한 문장 프롬프트의 1.19배 비용입니다.

실제로 있었던 일

• 대조군 4.02, 스킬 5.0, 한 문장 프롬프트 4.95(각 n=6). 대조군은 6/6 실행에서 type(scope): 접두사 없이 평범한 명령문('Fix pagination offset for one-based page numbers')을 써서 'conventional type' 규칙을 매번 통과하지 못했습니다. 나머지 규칙은 대부분 통과했습니다(한 실행에서는 제목이 50자를 넘었습니다).
• 호환성 파괴 작업: 대조군은 2/2 실행에서 호환성 파괴 변경을 표시하지 않았습니다(BREAKING CHANGE 노트도 !도 없음). 본문에는 마이그레이션을 언급했습니다. 스킬은 두 실행 모두 5.0점을 받았습니다. feat(config)!:와 BREAKING CHANGE 푸터를 사용했습니다. 한 문장 프롬프트도 2/2에서 같은 결과를 냈지만, 한 실행의 메시지는 conventional-type 검사를 통과하지 못했습니다.
• 토큰: 스킬 58k, 한 문장 프롬프트 48k, 대조군 53k(실행당, 대조군의 1.09배). 스킬은 스킬 사용군 6/6 실행에서 읽혔습니다.

항목별 점수

이 테스트의 한계

• 검사는 COMMIT_MSG.txt에 대한 규칙 기반입니다(타입 접두사, 길이, 시제, 어조, 금지어, 호환성 파괴 노트). 메시지가 diff를 잘 설명하는지는 핵심 용어 검사 외에는 평가하지 않았습니다.
• 대조군은 프롬프트가 요구하지 않은 Conventional Commits 관례를 추측하지 못해 감점됩니다.
• 셀당 n=2, 작은 diff 세 개.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 0 / HIGH 0 / MEDIUM 0. 판정: 실행해도 안전(네트워크 비활성 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

형식을 지정하지 않은 '커밋 메시지 작성' 프롬프트에서 호환성 파괴 플래그가 붙은 Conventional Commits 메시지를 안정적으로 얻는 방법입니다. 형식을 언급한 한 문장만으로 같은 결과가 나오므로, 이 스킬의 주된 이점은 그 문장을 직접 쓰지 않아도 된다는 것입니다.