caveman-commit (JuliusBrussee/caveman)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três diffs (uma correção de paginação, um novo endpoint /health e a renomeação de uma chave de configuração de timeout para timeout_ms). O prompt só pede uma mensagem de commit salva em COMMIT_MSG.txt, sem formato definido. O prompt de uma frase enuncia o formato Conventional Commits e suas regras em uma só frase.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 26.0 / 30, veredito Situacional.

Veredito: Situacional (26.0 / 30). Fonte: JuliusBrussee/caveman, skills/caveman-commit, fixada no commit 9b68f7e. Instalação: npx skills@latest add JuliusBrussee/caveman --skill caveman-commit. Licença: MIT (LICENSE do repositório).

O que é

A skill caveman-commit (JuliusBrussee/caveman) é um guia de estilo para mensagens de commit: Conventional Commits type(scope): imperative summary com no máximo 50 caracteres, sem ponto final, corpo só quando o porquê não é óbvio, nota BREAKING CHANGE para mudanças incompatíveis e nada de 'this commit', 'I', 'we', 'now', emoji ou atribuição a IA.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC Windows dedicado a testes, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Três diffs (uma correção de paginação, um novo endpoint /health, a renomeação de uma chave de configuração de timeout para timeout_ms). O prompt pede apenas uma mensagem de commit salva em COMMIT_MSG.txt, sem formato informado. O prompt de uma frase informa o formato Conventional Commits e suas regras em uma só frase.

1. Mensagem de commit para uma correção pequena — Preciso de uma mensagem de commit. Escreva a mensagem de commit para a mudança em change.diff e salve-a em COMMIT_MSG.txt (somente a mensagem).
2. Mensagem de commit para um novo endpoint — Por favor, escreva um commit. Escreva a mensagem de commit para a mudança em change.diff e salve-a em COMMIT_MSG.txt (somente a mensagem).
3. Mensagem de commit para uma mudança incompatível — Escreva uma mensagem de commit. Escreva a mensagem de commit para a mudança em change.diff e salve-a em COMMIT_MSG.txt (somente a mensagem).

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

O prompt de uma frase dado ao terceiro grupo: "Escreva uma mensagem Conventional Commits: type(scope): imperative summary com no máximo 50 caracteres, sem ponto final, corpo só quando o porquê não é óbvio (mudanças incompatíveis sempre levam um, com nota BREAKING CHANGE), e nada de 'this commit', 'I', 'we', 'now', emoji ou atribuição a IA."

Pontuação média: 4.02 sem a skill vs 5.0 com ela (delta +0.98). Tokens por execução: 53k vs 58k (1.09x); tempo 42s vs 40s. Grupo de uma frase: 4.95 (ganho da skill sobre o prompt de uma frase: +0.05; ganho do próprio prompt de uma frase sobre nenhuma skill: +0.93); tokens do prompt de uma frase: 48k por execução, então a skill custa 1.19x o prompt de uma frase.

O que aconteceu

• Controle 4.02, skill 5.0, uma frase 4.95 (n=6 cada). O controle escreve uma frase imperativa simples ('Corrige o deslocamento da paginação para números de página começando em um') sem o prefixo type(scope): em 6/6 execuções, então falha na regra de 'tipo convencional' todas as vezes; as demais regras em geral passaram (uma execução também teve um assunto com mais de 50 caracteres).
• Tarefa de mudança incompatível: o controle não marcou a mudança incompatível (sem nota BREAKING CHANGE e sem !) em 2/2 execuções; o corpo dele menciona a migração. A skill marcou 5.0 nas duas execuções: feat(config)!: com rodapé BREAKING CHANGE. O prompt de uma frase fez o mesmo em 2/2, mas a mensagem de uma execução falhou na verificação de tipo convencional.
• Tokens: skill 58k, uma frase 48k, controle 53k por execução (1.09x o controle). A skill foi lida em 6/6 execuções com ela.

Pontuações por dimensão

Limites deste teste

• As verificações são baseadas em regras sobre COMMIT_MSG.txt (prefixo de tipo, comprimento, tempo verbal, tom, palavras proibidas, nota de breaking); se a mensagem descreve bem o diff não foi julgado além de uma verificação de termos-chave.
• O controle é penalizado por não adivinhar a convenção Conventional Commits que o prompt não pediu.
• n=2 por célula; três diffs pequenos.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

Uma forma confiável de obter mensagens Conventional Commits com sinalização de mudanças incompatíveis a partir de um prompt seco como 'escreva uma mensagem de commit'. Uma única frase informando o formato dá o mesmo resultado, então a skill principalmente poupa você de escrevê-la.