setup-pre-commit (mattpocock/skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo com prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três repositórios pequenos, todos com o mesmo prompt 'Adicione hooks de commit. Configure hooks de pre-commit para este repositório (não há rede disponível, então escreva você mesmo os arquivos e as mudanças no package.json em vez de instalar)': um repositório npm com scripts de typecheck e test, um repositório pnpm (pnpm-lock.yaml) sem script de typecheck e um repositório npm que já tem um .prettierrc. Prompt de uma frase = a receita da skill em uma frase.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 29.0 / 30, veredito Recomendado.

Veredito: Recomendado (29.0 / 30). Fonte: mattpocock/skills, skills/misc/setup-pre-commit, fixada no commit 4ae2317. Instalação: npx skills@latest add mattpocock/skills --skill setup-pre-commit. Licença: MIT (LICENSE do repositório).

O que é

A skill setup-pre-commit (mattpocock/skills): configura hooks de pre-commit do Husky v9 com lint-staged e Prettier: detecta o gerenciador de pacotes pelo lockfile, escreve .husky/pre-commit (sem shebang) que roda o lint-staged e depois os scripts de typecheck e test do repositório por meio desse gerenciador (pulando e informando scripts que não existem), adiciona um .lintstagedrc com prettier --ignore-unknown --write, adiciona prepare: husky e cria .prettierrc apenas quando não existe nenhum.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC Windows dedicado a testes, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (grupo com skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pela formulação indicada abaixo).

Três repositórios pequenos, todos com o mesmo prompt 'Adicione hooks de commit. Configure hooks de pre-commit para este repositório (não há rede disponível, então escreva os arquivos e as mudanças no package.json você mesmo em vez de instalar)': um repositório npm com scripts de typecheck e test, um repositório pnpm (pnpm-lock.yaml) sem script de typecheck e um repositório npm que já tem um .prettierrc. Frase única = a receita da skill em uma frase.

1. Projeto npm com scripts de typecheck e test — Adicione hooks de commit. Configure hooks de pre-commit para este repositório (não há rede disponível, então escreva os arquivos e as mudanças no package.json você mesmo em vez de instalar).
2. Projeto pnpm sem script de typecheck — Adicione hooks de commit. Configure hooks de pre-commit para este repositório (não há rede disponível, então escreva os arquivos e as mudanças no package.json você mesmo em vez de instalar).
3. Configuração existente do Prettier deve sobreviver — Adicione hooks de commit. Configure hooks de pre-commit para este repositório (não há rede disponível, então escreva os arquivos e as mudanças no package.json você mesmo em vez de instalar).

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer nota.

Resultados

A frase única dada ao terceiro grupo: "Configure o Husky v9 com lint-staged: detecte o gerenciador de pacotes pelo lockfile, escreva .husky/pre-commit (sem shebang) rodando npx lint-staged e depois os scripts de typecheck e test do repositório por meio desse gerenciador (omita e me avise sobre qualquer script que não exista), um .lintstagedrc com prettier --ignore-unknown --write, um script prepare: husky, e crie .prettierrc só se não existir nenhum."

Nota média: 1.41 sem vs 5.0 com a skill (delta +3.59). Tokens por execução: 82k vs 82k (0.99x); tempo 58s vs 43s. Grupo de uma frase: 5.0 (ganho da skill sobre a frase: +0.0; ganho da própria frase sobre sem skill: +3.59); tokens da frase: 75k por execução, então a skill custa 1.09x a frase.

O que aconteceu

• Controle 1.41, frase 5.00, skill 5.00 (n=6 cada). Sem uma ferramenta nomeada, o controle escolheu o próprio design: nos repositórios npm e pnpm (4 execuções), escreveu uma pasta de hook nativo do git (.githooks/pre-commit mais um README e um script prepare) sem Husky, sem lint-staged e sem Prettier, e no repositório pnpm o hook roda npm test (verificado na execução 1) embora o repositório use pnpm. Só o repositório com .prettierrc existente recebeu Husky (2 execuções).
• As execuções com a skill e com a frase estão todas corretas nos detalhes: o repositório pnpm usou pnpm exec lint-staged e pnpm run test, omitiu o typecheck ausente e avisou disso, o .prettierrc existente não foi reescrito, prepare: husky e as três devDependencies foram adicionados. A skill faz diferença pela opinião (Husky + lint-staged + Prettier), não por engenharia difícil.
• Sem custo: 82k tokens por execução com a skill, 82k no controle, 75k na frase. A skill foi lida em 6/6 execuções com a skill sem ser nomeada.
• O agente não pôde instalar nem executar nada offline, então nenhum dos hooks gerados foi executado; os dois grupos disseram que os hooks ficam inativos até npm install.

Notas por dimensão

Limitações deste teste

• Verificações baseadas em regras nos arquivos escritos; os hooks nunca foram executados (sem rede, Husky não instalado).
• A solução de hook nativo do controle é um design válido; as verificações medem se a receita Husky/lint-staged pedida foi produzida, o que o controle não tinha como saber.
• Uma verificação (manter o .prettierrc existente) inicialmente falhou em todas as execuções porque arquivos inalterados não são copiados para fora; ela foi alterada para passar quando o arquivo está intocado e todas as 18 execuções foram reavaliadas sob a mesma regra.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não avalia gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Varredura: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que a skill é segura.

Conclusão

Se você quer a configuração Husky + lint-staged + Prettier, a skill acerta nas três formas de repositório (detecção de pnpm, typecheck ausente, configuração do Prettier existente) sem tokens extras; uma receita de uma frase faz o mesmo. Instale para não precisar reexplicar a receita, e não espere ganho de qualidade além disso.