caveman-commit (JuliusBrussee/caveman)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un PC Windows de test dédié, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Trois diffs (une correction de pagination, un nouvel endpoint /health, un renommage d'une clé de config de timeout à timeout_ms). Le prompt demande seulement un message de commit enregistré dans COMMIT_MSG.txt, sans format imposé. Le groupe « une phrase » énonce le format Conventional Commits et ses règles en une phrase.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 26.0 / 30, verdict Selon les cas.

Verdict : situationnel (26.0 / 30). Source : JuliusBrussee/caveman, skills/caveman-commit, épinglé au commit 9b68f7e. Installation : npx skills@latest add JuliusBrussee/caveman --skill caveman-commit. Licence : MIT (LICENSE du dépôt).

Ce que c'est

La compétence caveman-commit (JuliusBrussee/caveman) : un guide de style pour les messages de commit au format Conventional Commits : type(scope): imperative summary de 50 caractères maximum, sans point final, un corps uniquement lorsque la raison n'est pas évidente, une note BREAKING CHANGE pour les changements radicaux, et pas de « this commit », « I », « we », « now », d'emoji ni d'attribution à l'IA.

Comment nous avons testé

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur un PC de test Windows dédié, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, compétence installée (avec compétence), absente (témoin) ou absente avec l'exigence essentielle de la compétence condensée en une phrase ajoutée au prompt (groupe prompt d'une phrase), 2 exécutions par groupe et par tâche, réseau désactivé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais la compétence (sauf la formulation indiquée ci-dessous).

Trois diffs (une correction de pagination, un nouvel endpoint /health, un renommage d'une clé de configuration de timeout en timeout_ms). Le prompt demande seulement un message de commit enregistré dans COMMIT_MSG.txt, sans format imposé. Le prompt d'une phrase énonce le format Conventional Commits et ses règles en une seule phrase.

1. Message de commit pour une petite correction — J'ai besoin d'un message de commit. Écris le message de commit du changement dans change.diff et enregistre-le dans COMMIT_MSG.txt (le message uniquement).
2. Message de commit pour un nouvel endpoint — Écris un commit. Écris le message de commit du changement dans change.diff et enregistre-le dans COMMIT_MSG.txt (le message uniquement).
3. Message de commit pour un changement radical — Écris un message de commit. Écris le message de commit du changement dans change.diff et enregistre-le dans COMMIT_MSG.txt (le message uniquement).

Le score est calculé de manière programmatique (tests masqués / détection des problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), avec une note de 0–5 par exécution. Aucun juge LLM n'a attribué de score.

Résultats

Le prompt d'une phrase fourni au troisième groupe : « Écris un message Conventional Commits : type(scope): imperative summary de 50 caractères maximum, sans point final, un corps uniquement lorsque le pourquoi n'est pas évident (les changements radicaux en ont toujours un avec une note BREAKING CHANGE), et pas de “this commit”, “I”, “we”, “now”, d'emoji ni d'attribution à l'IA. »

Score moyen : 4.02 sans la compétence contre 5.0 avec (écart +0.98). Tokens par exécution : 53k contre 58k (1.09x) ; temps 42s contre 40s. Groupe prompt d'une phrase : 4.95 (gain de la compétence par rapport au prompt d'une phrase : +0.05 ; gain propre du prompt d'une phrase par rapport à l'absence de compétence : +0.93) ; tokens du prompt d'une phrase : 48k par exécution, la compétence coûte donc 1.19x le prompt d'une phrase.

Ce qui s'est passé

• Témoin 4.02, compétence 5.0, prompt d'une phrase 4.95 (n=6 chacun). Le témoin écrit une simple phrase impérative (« Corrige le décalage de pagination pour des numéros de page commençant à 1 ») sans préfixe type(scope): dans 6/6 exécutions, et échoue donc à chaque fois à la règle du « type conventionnel » ; ses autres règles sont généralement respectées (une exécution avait aussi un sujet de plus de 50 caractères).
• Tâche de changement radical : le témoin n'a pas signalé le changement radical (aucune note BREAKING CHANGE et aucun !) dans 2/2 exécutions ; son corps mentionne toutefois la migration. La compétence a obtenu 5.0 aux deux exécutions : feat(config)!: avec un pied de page BREAKING CHANGE. Le prompt d'une phrase a fait de même dans 2/2, mais le message d'une exécution a échoué au contrôle du type conventionnel.
• Tokens : compétence 58k, prompt d'une phrase 48k, témoin 53k par exécution (1.09x le témoin). La compétence a été lue dans 6/6 exécutions avec compétence.

Scores par dimension

Limites de ce test

• Les contrôles reposent sur des règles appliquées à COMMIT_MSG.txt (préfixe de type, longueur, temps, ton, mots interdits, note de changement radical) ; la qualité de la description du diff n'a pas été jugée au-delà d'une vérification des termes clés.
• Le témoin est pénalisé pour ne pas avoir deviné la convention Conventional Commits que le prompt ne demandait pas.
• n=2 par cellule ; trois petits diffs.
• n = 2 par groupe et par tâche : les écarts inférieurs à environ 1 point relèvent du bruit.
• Le score basé sur des règles mesure ce que les contrôles peuvent voir ; il ne peut juger du goût ni du caractère optimal d'un résultat.

Sécurité

Voir security.md. Analyse : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : sûr à exécuter (sandbox sans réseau). Une analyse propre ne prouve pas qu'une compétence est sûre.

En bref

Un moyen fiable d'obtenir des messages Conventional Commits signalant les changements radicaux à partir d'un simple prompt « écris un message de commit ». Une seule phrase nommant le format donne le même résultat : la compétence vous évite surtout de l'écrire.