docx (anthropics/skills)
Crée, lit et modifie des fichiers Word .docx et .dotx, y compris modèles, suivi des modifications et commentaires.
anthropics docx : mêmes résultats que sans skill sur trois tâches Word, avec en plus des fichiers de travail laissés sur place
Codex CLI · gpt-6-astra
21.4 / 30
Gain par rapport à sans skill : -0.30 · Selon les cas · 12 exécutions
Selon les cas : le total 21.4/30 est inférieur à 22 et le gain -0.30 est inférieur à +1.0. Pour être recommandé, il faut un total de 22/30, une qualité de sortie de 3.5 et un gain de +1.0.
SOTA
RéussiTesté avec Codex.
Couvre Codex, Claude Code
Codex CLI 0.166 (palier SOTA) : 12 exécutions notées. Une réussite ici couvre aussi Claude Code selon notre règle de palier ; elle ne dit rien du second palier.
Scores
Chaque dimension va de 0 à 5 et les six forment le total sur 30. 5 est la meilleure note dans chaque dimension. Coût 5 signifie bon marché et rapide. Installation 5 signifie facile.
- Fiabilité du déclenchement
- 5.0
- Gain par rapport à sans skill
- 1.7
- Qualité de sortie
- 4.7
- Coût en tokens et en temps
- 3.0
- Installation et portabilité
- 3.0
- Sécurité
- 4.0
Revue de sécurité
SûrScan statique : 0 CRITIQUE / 1 ÉLEVÉ / 7 MOYEN. Revue manuelle : sûr à exécuter (bac à sable sans réseau). Un scan propre ne prouve pas qu'un skill est sûr.
Installer
npx skills@latest add anthropics/skills --skill docx
Commit épinglé: ca45fc496a3436251f191354091d557da31c15b5
Testé: 2026-11-02
Ce que nous avons testé
- Créer une note — Créez memo.docx : une note Word intitulée « Project Falcon status update » sur du papier US Letter, avec trois sections titrées (Summary, Risks, Next steps), une liste à puces d'au moins quatre prochaines étapes, et un tableau à 3 colonnes (Task, Owner, Due) de trois lignes. Utilisez de vraies fonctionnalités Word…
- Modification suivie + commentaire — Dans contract.docx, faites passer le délai de paiement de la clause 2 de 30 jours à 45 jours sous forme de modification suivie attribuée à « Reviewer », et ajoutez à cette clause un commentaire disant « Confirmed with finance ». Ne changez rien d'autre. Enregistrez le résultat sous contract.docx (modifiez sur place)
- Extraire le tableau et le plan — Depuis report.docx, écrivez table.csv (le tableau, avec sa ligne d'en-tête) et outline.txt (les titres du document, un par ligne, dans l'ordre). Ne modifiez pas report.docx.
Points forts
- Le skill a été détecté sans être nommé : son fichier a été lu dans 6/6 exécutions avec skill.
- Qualité absolue élevée avec le skill : 4.7 sur 5.
Points faibles
- Aucun gain mesurable par rapport à sans skill (-0.30, dans le bruit).
- Le contrôle atteint déjà 5.0 : effet plafond, le test ne peut donc pas montrer de gain.
- Réserve de test : test à deux bras uniquement (sans skill vs avec skill, 12 exécutions). Le bras « prompt d'une phrase » n'a pas été exécuté car il nécessite LibreOffice, que nous n'utilisons pas sur les machines de test.
- n=2 par tâche et par bras ; les écarts inférieurs à environ 1 point sont du bruit.
Avis
Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un Mac de test, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Environnement : les deux groupes ont reçu la même boîte à outils hors ligne copiée dans l'exécution (le paquet npm docx, python lxml/defusedxml/openpyxl, et un shim python pour python3), car le skill suppose qu'ils sont préinstallés. LibreOffice existe sur le Mac mais plante (code de sortie 134) dans le bac à sable Codex, donc personne n'a pu générer d'aperçu.
Comparaison à trois bras
| Bras | Score moyen (0-5) | Tokens par exécution |
|---|---|---|
| Sans le skill | 5.0 | 91k |
| Avec le skill | 4.7 | 120k |
Mesuré avec Codex CLI sur 12 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 21.4 / 30, verdict Selon les cas.
Divulgation : test à deux bras uniquement (sans skill vs avec skill, 12 exécutions). Le bras « prompt d'une phrase » n'a pas été exécuté car il nécessite LibreOffice, que nous n'utilisons pas sur les machines de test.
Verdict : selon les cas (21.4 / 30). Source : anthropics/skills, skills/docx, épinglé au commit ca45fc4. Installation : npx skills@latest add anthropics/skills --skill docx. Licence : propriétaire (LICENSE.txt dans le dossier du skill) : évalué en lecture seule, non redistribué.
Présentation
Le skill docx du dépôt de skills d'Anthropic. Il demande à l'agent de créer des fichiers Word avec la bibliothèque npm docx, de modifier les fichiers existants en décompressant le XML et de les lire avec pandoc, et il fournit des scripts utilitaires pour les modifications suivies et les commentaires (comment.py, accept_changes.py), un validateur XSD (office/validate.py) et un wrapper LibreOffice (office/soffice.py). SKILL.md indique que les bibliothèques sont « préinstallées ».
Notre méthode de test
Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Mac, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (groupe traité) ou absent (groupe témoin), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous).
Environnement : les deux groupes recevaient la même boîte à outils hors ligne copiée dans l'exécution (le paquet npm docx, les paquets python lxml/defusedxml/openpyxl, et un shim python pour python3), car le skill suppose qu'ils sont préinstallés. LibreOffice est présent sur le Mac mais plante (exit 134) dans la sandbox de Codex, donc personne n'a pu générer d'aperçu.
- Créer une note de service — Créez memo.docx : une note Word intitulée « Project Falcon status update » sur du papier US Letter, avec trois sections titrées (Summary, Risks, Next steps), une liste à puces d'au moins quatre prochaines étapes et un tableau à 3 colonnes (Task, Owner, Due) de trois lignes. Utilisez du vrai Word…
- Modification suivie + commentaire — Dans contract.docx, faites passer le délai de paiement de la clause 2 de 30 jours à 45 jours sous forme de modification suivie attribuée à « Reviewer », et joignez à cette clause un commentaire indiquant « Confirmed with finance ». Ne changez rien d'autre. Enregistrez le résultat sous contract.docx (modifiez sur place…
- Extraire un tableau et un plan — À partir de report.docx, écrivez table.csv (le tableau, avec sa ligne d'en-tête) et outline.txt (les titres du document, un par ligne, dans l'ordre). Ne modifiez pas report.docx.
Le scoring est programmatique (tests cachés / rappel des anomalies introduites / vérifications de contraintes / rendu + OCR le cas échéant), 0–5 par exécution. Aucun juge LLM n'a décidé d'un seul score.
Résultats
| Tâche | Score témoin | Avec le skill | Tokens témoins | Tokens avec le skill | Skill lu |
|---|---|---|---|---|---|
| t1-new | 5.0 | 4.92 | 118k | 107k | 2/2 |
| t2-redline | 5.0 | 4.17 | 86k | 162k | 2/2 |
| t3-extract | 5.0 | 5.0 | 68k | 90k | 2/2 |
Score moyen : 5.0 sans contre 4.7 avec le skill (delta -0.3). Tokens par exécution : 91k contre 120k (1.32x) ; temps 60s contre 54s.
Ce qui s'est passé
- Aucun gain mesurable : toutes les exécutions des deux groupes ont obtenu la note maximale à nos vérifications structurelles (nouvelle note : US Letter, 3 vrais titres, 4+ éléments de liste, tableau à 3 colonnes, s'ouvre dans LibreOffice ; modification suivie par « Reviewer » et commentaire, les autres clauses restant intactes ; tableau extrait et plan correct ; source inchangée).
- Le skill est lu dans 6/6 exécutions avec le skill. Sur la tâche de révision, une exécution avec le skill a utilisé
comment.pydu skill pour ajouter le commentaire et a tenté son validateur XSD (l'appel a échoué, exit 1) ; l'autre s'est contentée de lirecomment.py --helpet a modifié le XML elle-même. Les exécutions témoins modifiaient directement le XML et obtenaient le même résultat. - Effet secondaire : les deux exécutions avec le skill sur la révision ont laissé leur arborescence de travail dans le projet (
.edit/ou.docx-edit/avec la copie d'origine et environ 22 fichiers XML décompressés) ; les exécutions témoins n'ont rien laissé. Nous comptons cela comme de l'encombrement (petite pénalité dans le score). - Coût : environ 1.3x les tokens par exécution au global ; la tâche de révision était à environ 1.9x (l'agent lit d'abord le skill et les scripts utilitaires).
- L'étape d'aperçu recommandée par le skill (convertir en PDF avec
soffice.py, puis regarder les pages) a échoué avec exit 134 dans la sandbox lors des deux tâches avec le skill qui l'ont tentée, donc sa principale boucle de vérification n'a pas réellement tourné.
Scores par dimension
| Dimension | Score | Pourquoi |
|---|---|---|
| 1_output_quality | 4.7 | Score moyen de 4.70/5 avec le skill (vérifications programmatiques, voir le tableau par tâche). |
| 2_lift_vs_no_skill | 1.7 | -0.30 point contre 5.00 sans le skill (n=2 par tâche ; en dessous d'environ 1 point, c'est du bruit). |
| 3_trigger | 5.0 | Fichier du skill lu dans 6/6 exécutions avec le skill. |
| 4_instructions_portability | 3 | |
| 5_efficiency | 3 | 1.32x de tokens (120k contre 91k par exécution) et 0.90x de temps (54s contre 60s). |
| 6_safety_hygiene | 4 |
Limites de ce test
- Trois tâches qu'un agent de base disposant du zipfile de Python sait déjà faire ; les mises en page complexes (tables des matières, en-têtes/pieds de page, images) et la qualité visuelle n'ont pas été testées.
- Nous avons vérifié la structure, pas l'apparence de la page dans Word.
- L'exactitude des modifications suivies a été vérifiée par des regex sur le XML, pas en ouvrant le fichier dans Word.
- Le skill est propriétaire (voir la licence), seul son comportement est donc décrit.
- n = 2 par groupe et par tâche : les différences inférieures à environ 1 point relèvent du bruit.
- Le scoring basé sur des règles mesure ce que les vérifications peuvent voir ; il ne peut juger du goût ni du caractère optimal d'un résultat.
Sécurité
Voir security.md. Scan : 0 CRITICAL / 1 HIGH / 7 MEDIUM. Verdict : sûr à exécuter (sandbox sans réseau). Un scan propre ne prouve pas qu'un skill est sûr.
En résumé
Aucun gain mesurable par rapport à un agent non aidé sur trois tâches Word ordinaires, pour environ 1.3x les tokens et avec des fichiers de travail laissés sur place ; l'étape d'aperçu du skill ne fonctionne pas dans un agent sandboxé. Son validateur et son assistant de commentaires peuvent néanmoins aider sur des tâches d'édition plus difficiles.
Transcription
Journal d'exécution : docx (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) Colonnes : tâche, groupe-exécution, score (0-5), tokens, secondes, vérifications réussies, fichiers de la skill ouverts par l'agent. t1-new control-1: score 5.0, tokens 117370, s 96.2, vérifications 2/2, rien ouvert t1-new control-2: score 5.0, tokens 118677, s 116.6, vérifications 2/2, rien ouvert t1-new treatment-1: score 4.92, tokens 107319, s 59.6, vérifications 1/2, ouvert docx t1-new treatment-2: score 4.92, tokens 108005, s 66.9, vérifications 1/2, ouvert docx t2-redline control-1: score 5.0, tokens 91990, s 43.3, vérifications 2/2, rien ouvert t2-redline control-2: score 5.0, tokens 81049, s 42.9, vérifications 2/2, rien ouvert t2-redline treatment-1: score 4.17, tokens 151502, s 54.2, vérifications 1/2, ouvert docx t2-redline treatment-2: score 4.17, tokens 174205, s 75.4, vérifications 1/2, ouvert docx t3-extract control-1: score 5.0, tokens 68934, s 30.3, vérifications 3/3, rien ouvert
12 exécutions, 3 artefacts
Exemple de sortie
SOTA · With the skill: final message (t1-new, run 1, Codex)
Created [memo.docx](memo.docx) with US Letter pages, three Word headings, four real bullets, and a three-column table with three task rows. Document structure verified; visual preview was unavailable.