internal-comms (Anthropic)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un Mac de test, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Trois tâches de rédaction à partir d'un court notes.md de faits d'équipe : une mise à jour 3P, une courte mise à jour pour la direction (150 mots max), et une FAQ d'entreprise en 4 questions. Contrôles de règles : les trois sections, les problèmes de staging et d'export de données et la date du 9 nov. sont mentionnés, les limites de mots, aucun nombre inventé, quatre paires question/réponse.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 26.0 / 30, verdict Selon les cas.

Verdict : Selon les cas (26.0 / 30). Source : anthropics/skills, skills/internal-comms, épinglé au commit ca45fc4. Installation : npx skills@latest add anthropics/skills --skill internal-comms. Licence : Apache-2.0 / conditions Anthropic (voir LICENSE.txt dans le skill).

Ce que c'est

Le skill internal-comms d'anthropics/skills : des formats pour les communications internes : mises à jour 3P (Progress, Plans, Problems), newsletters d'entreprise, FAQ et communications générales, avec un fichier d'exemple pour chacun. Environ 400 mots dans SKILL.md et 1,400 dans les fichiers d'exemple. Markdown uniquement, aucun script.

Comment nous avons testé

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Mac, un projet temporaire neuf et des caches HOME/TMPDIR temporaires à chaque exécution, skill installé (groupe avec skill) ou absent (groupe témoin) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée à la fin du prompt (groupe prompt d'une phrase), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous).

Trois tâches de rédaction à partir d'un court fichier notes.md de faits d'équipe : une mise à jour 3P, une courte mise à jour pour la direction (150 mots maximum) et une FAQ d'entreprise de 4 questions. Vérifications par règles : les trois sections, les problèmes de staging et d'export de données et la date du 9 novembre sont mentionnés, les limites de mots, aucun chiffre inventé, quatre paires question/réponse.

1. Mise à jour 3P à partir de notes brutes — Rédigez la mise à jour 3P de cette semaine pour notre équipe à partir des notes de notes.md (utilisez uniquement ces faits). Enregistrez-la dans update.md.
2. Mise à jour de statut pour la direction — Transformez notes.md en une courte mise à jour pour la direction (ce qui a été livré, la suite, les risques), en utilisant uniquement ces faits. Enregistrez-la dans leadership.md. 150 mots maximum.
3. FAQ pour les employés — Rédigez une FAQ de 4 questions pour le reste de l'entreprise sur ce que notre équipe prépare (migration de la facturation, etc.) en utilisant uniquement notes.md. Enregistrez-la dans faq.md.

La notation est programmatique (tests cachés / détection de problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), de 0 à 5 par exécution. Aucun juge LLM n'a décidé d'un seul score.

Résultats

Le prompt d'une phrase donné au troisième groupe : "Suivez le format standard internal-comms correspondant au type de mise à jour (3P : Progress, Plans, Problems ; newsletter ; FAQ ; mise à jour pour la direction), restez concis et facile à parcourir, et n'utilisez que les faits des notes."

Score moyen : 5.0 sans le skill contre 5.0 avec (delta +0.0). Tokens par exécution : 60k contre 63k (1.05x) ; temps 30s contre 32s. Groupe prompt d'une phrase : 5.0 (gain du skill par rapport au prompt d'une phrase : +0.0 ; gain du prompt d'une phrase par rapport à l'absence de skill : +0.0) ; 60k tokens par exécution pour le prompt d'une phrase, donc le skill coûte 1.04x le prompt d'une phrase.

Ce qui s'est passé

• Aucun écart de score une fois les vérifications corrigées : moyenne 5.0 pour le témoin, 5.0 pour le prompt d'une phrase, 5.0 pour le skill. La première passe de notation avait deux défauts (elle traitait « Oct 26 » comme un nombre inventé et ne comptait pas les libellés « Question: »/« Answer: » comme des paires Q&R) ; les deux ont été corrigés et les 18 exécutions revérifiées.
• Le skill change la forme de la sortie. Sur la mise à jour 3P, les deux exécutions avec skill ont utilisé son format compact : un emoji et le nom de l'équipe avec la semaine sur la première ligne, puis un court paragraphe chacun pour Progress, Plans et Problems (97 mots). Les 4 exécutions du témoin et du prompt d'une phrase ont écrit un titre Markdown avec des sections à puces (108-117 mots). Sur la FAQ, les exécutions avec skill ont utilisé des paires libellées « Question: »/« Answer: » (environ 166 mots contre 139).
• Le skill a été lu dans 6/6 exécutions et a coûté 63k tokens par exécution contre 60k (1.05x), un ajout quasi gratuit.
• Nos règles évaluent le contenu et les limites, pas la fidélité au format ; une équipe qui a son propre format verrait donc la différence alors que le score ne la montre pas.

Scores par dimension

Limites de ce test

• Les trois tâches utilisent une courte fiche de faits, donc aucun groupe n'a rien inventé ; une source plus longue ou plus désordonnée pourrait les départager.
• La fidélité au format maison d'une entreprise n'a pas été notée ; les formats du skill sont des exemples d'Anthropic et peuvent ne pas correspondre au vôtre.
• Les formats newsletter et communications générales n'ont pas été testés.
• n = 2 par groupe et par tâche : les écarts inférieurs à environ 1 point relèvent du bruit.
• La notation basée sur des règles mesure ce que les vérifications peuvent voir ; elle ne juge ni le goût ni si le résultat est le meilleur possible.

Sécurité

Voir security.md. Scan : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : exécution sûre (bac à sable hors ligne). Un scan propre ne prouve pas qu'un skill est sûr.

En résumé

Codex seul a rédigé des mises à jour internes correctes et factuelles sans aide, donc il n'y a aucun gain de qualité mesurable, et le coût est négligeable. Le skill vaut la peine si vous voulez que ses formats compacts 3P et FAQ soient appliqués de façon cohérente ; si votre équipe a un autre style maison, il ne vous aidera pas.