domain-modeling (mattpocock/skills)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un PC Windows de test dédié, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Trois tâches formulées naturellement sans nommer de format : « mets en place le glossaire métier du projet » (une application de bibliothèque qui appelle la même personne member/patron/borrower/customer), « consigne cette décision d'architecture » (les montants en centimes entiers), et « deux décisions issues de la réunion ; consigne ce qui mérite de l'être » (une migration Auth0 difficile à annuler et un renommage de classe CSS qui ne l'est pas), en partant d'un dépôt avec les ADR 0001 et 0002. Une phrase = toute la convention en une phrase.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 28.2 / 30, verdict Recommandé.

Verdict : Recommandé (28.2 / 30). Source : mattpocock/skills, skills/engineering/domain-modeling, épinglé au commit 4ae2317. Installation : npx skills@latest add mattpocock/skills --skill domain-modeling. Licence : MIT (LICENSE du dépôt).

Présentation

Le skill domain-modeling (mattpocock/skills) : il garde le langage métier d’un projet précis. Il tient à jour un GLOSSARY.md (un terme canonique en gras par concept, une définition serrée, des synonymes _Avoid_:, aucun terme de programmation générique) et rédige des ADR sous docs/adr/ uniquement pour les décisions difficiles à annuler, surprenantes et réellement arbitragées, sous forme d’un court paragraphe avec une numérotation séquentielle.

Méthode de test

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Windows dédiée, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (groupe avec skill), absent (groupe témoin), ou absent avec l’exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt en une phrase »), 2 exécutions par groupe et par tâche, réseau désactivé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée plus bas).

Trois tâches formulées naturellement, sans nommer de format : « mets en place le glossaire métier du projet » (une application de bibliothèque qui appelle la même personne member/patron/borrower/customer), « consigne cette décision d’architecture » (l’argent en centimes entiers) et « deux décisions issues de la réunion ; consigne ce qui mérite de l’être » (une migration vers Auth0 difficile à annuler et un renommage de classe CSS qui ne l’est pas), en partant d’un dépôt contenant les ADR 0001 et 0002. Prompt en une phrase = toute la convention en une seule phrase.

1. Créer un glossaire à partir de termes surchargés — Notre application de prêt en bibliothèque utilise « member », « patron », « borrower » et « customer » pour la même personne (quelqu’un qui peut emprunter des livres). Un « loan » est aussi appelé « checkout » ou « rental ». Une « copy » est un exemplaire physique, un « title » est le livre abstrait. Veuillez mettre en place le pr…
2. Consigner une décision difficile à annuler — Consigne cette décision d’architecture pour le dépôt : nous stockons l’argent en centimes entiers dans Postgres plutôt qu’en NUMERIC/DECIMAL, parce que l’API du partenaire de paiement utilise des centimes entiers et que des bugs d’arrondi nous ont coûté deux fois. Rédige-la.
3. Ne consigner que ce qui mérite une ADR — Deux décisions de la réunion d’aujourd’hui : (a) nous migrons l’authentification de notre propre table de mots de passe vers un fournisseur d’identité tiers (Auth0) : un trimestre de travail à annuler ; (b) nous avons renommé la classe CSS .btn-main en .btn-primary. Consigne ce qui mérite de l’être…

Le scoring est programmatique (tests cachés / détection des problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), de 0 à 5 par exécution. Aucun juge LLM n’a attribué de score.

Résultats

Le prompt en une phrase donné au troisième groupe : « Garde le langage métier du projet précis : écris un GLOSSARY.md avec un terme canonique en gras par concept (une définition serrée et des synonymes _Avoid_:, aucun terme de programmation générique), et ne consigne que les décisions difficiles à annuler, surprenantes et réellement arbitragées, sous forme d’ADR courts numérotés séquentiellement dans docs/adr/ (un paragraphe, pas un modèle). »

Score moyen : 2.8 sans le skill contre 5.0 avec (écart +2.2). Tokens par exécution : 83k contre 80k (0.96x) ; temps 45s contre 35s. Groupe « prompt en une phrase » : 4.61 (gain du skill sur ce prompt : +0.39 ; gain du prompt par rapport à l’absence de skill : +1.8) ; tokens du prompt : 83k par exécution, donc le skill coûte 0.96x le prompt en une phrase.

Ce qui s’est passé

• Témoin 2.80, prompt 4.61, skill 5.00 (n=6 chacun). Le témoin fait ce qui est raisonnable mais à sa manière : un DOMAIN*GLOSSARY.md (et non GLOSSARY.md) avec un tableau ou de la prose, aucune ligne \_Avoid* dans les deux exécutions, et des ADR de 263 et 355 mots avec des titres Context/Decision/Consequences là où la convention veut un court paragraphe ; une ADR du témoin est allée dans docs/decisions/ au lieu de docs/adr/.
• Les deux jugements du skill sont justes : dans les deux exécutions avec skill de la troisième tâche, il n’a consigné que le passage à Auth0 comme ADR 0003 (numérotation correcte après les 0001/0002 existantes) et a indiqué avoir ignoré le renommage CSS car facile à annuler. Le témoin et le prompt ont aussi ignoré le renommage, mais témoin-2 et prompt-2 ont donné une raison que mon regex n’a pas reconnue (changement de routine, non consigné), si bien que la vérification « me dit pourquoi » les sous-évalue.
• Le prompt en une phrase atteint l’essentiel du format (glossaire 3.75 et 5.0, ADR 5.0, 5.0) mais un glossaire produit par le prompt a utilisé une mise en page différente, ce qui lui a fait rater la vérification de structure _Avoid_.
• Aucun surcoût : 80k tokens par exécution pour le skill, 83k pour le témoin et le prompt. Le skill a été lu dans 6/6 exécutions avec skill sans être nommé.

Scores par dimension

Limites de ce test

• Vérifications par règles sur les noms de fichiers, les titres, le nombre de termes en gras, le nombre de mots et les lignes _Avoid_. Plusieurs sont des vérifications de forme qu’un témoin ne peut satisfaire sans qu’on lui en donne la forme ; elles mesurent la conformité à cette convention maison, pas la qualité générale de l’écriture.
• J’ai assoupli les motifs de nom de fichier et de mise en page après avoir vu que le témoin écrivait DOMAIN_GLOSSARY.md et que le prompt écrivait des entrées à puces (le nom de fichier reste une vérification distincte), puis j’ai renoté toutes les exécutions avec les mêmes règles. Le regex « pourquoi (b) a été ignoré » reste strict.
• Petits dépôts synthétiques ; aucun glossaire de longue durée à mettre à jour au fil du temps.
• n = 2 par groupe et par tâche : un écart inférieur à ~1 point relève du bruit.
• Le scoring par règles mesure ce que les vérifications peuvent voir ; il ne peut juger du goût ni du caractère optimal d’un résultat.

Sécurité

Voir security.md. Scan : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : exécution sans danger (sandbox sans réseau). Un scan propre ne prouve pas qu’un skill est sûr.

En résumé

Pour une équipe qui veut cette convention glossaire-et-ADR, le skill l’applique correctement du premier coup et garde les ADR rares, sans tokens supplémentaires. Une instruction d’une phrase en couvre l’essentiel : le skill vous évite surtout de recoller la convention à chaque fois.