pdf (Anthropic)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning), un projet temporaire neuf à chaque exécution, skill installé ou absent, deux exécutions par groupe, réseau coupé. Les entrées étaient des PDF que nous avions générés, ce qui nous permettait de vérifier les résultats par code : les prompts ne mentionnaient jamais le skill.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 20.6 / 30, verdict Selon les cas.

Verdict : selon les cas (20.3 / 30). Source : anthropics/skills, skills/pdf, épinglé au commit ca45fc4. Installation : npx skills@latest add anthropics/skills --skill pdf. Licence : propriétaire (l'usage est régi par votre accord avec Anthropic ; ce n'est pas de l'open source).

Présentation

Un guide pour le travail sur PDF : lire et extraire texte et tableaux, fusionner, découper, faire pivoter, ajouter un filigrane, créer de nouveaux PDF, remplir des formulaires, chiffrer, extraire des images, OCRiser des pages scannées. SKILL.md couvre les bases avec des extraits Python (pypdf, pdfplumber, reportlab) et des outils en ligne de commande (pdftotext, qpdf). Deux autres fichiers (forms.md, reference.md) et huit scripts utilitaires traitent les formulaires et les zones de délimitation.

Notre méthode de test

Codex CLI 0.166 (gpt-6-astra, raisonnement faible), un projet temporaire neuf par exécution, skill installé ou absent, deux exécutions par groupe, réseau coupé. Les entrées étaient des PDF que nous avions générés, afin de pouvoir vérifier les résultats par code :

1. Extraction de tableau. Extrayez dans sales.csv un tableau de 12 lignes qui s'étend sur deux pages (en-tête répété en page deux) et indiquez le chiffre d'affaires total.
2. Fusionner, pivoter, découper. Combinez deux PDF, faites pivoter uniquement la dernière page de 90 degrés, enregistrez la première page sous cover.pdf, laissez les originaux intacts.
3. Remplir un formulaire. Renseignez trois champs et cochez une case dans un PDF remplissable, en gardant les champs modifiables.

Les prompts ne mentionnaient jamais le skill.

Ce qui s'est passé

Il se déclenche de façon fiable. L'agent a lu SKILL.md dans les six exécutions avec le skill, sans qu'on le lui demande.

Cela n'a rien changé au résultat. La tâche 1 (2 vérifications sur 2) et la tâche 2 (6 sur 6) ont réussi dans les quatre exécutions de chaque tâche, avec et sans le skill. La tâche 3 a échoué une fois dans chaque groupe, donc les deux groupes ont réussi 5 exécutions sur 6 au total.

Les deux échecs étaient identiques, et les deux agents ont affirmé avoir réussi. La case était enregistrée avec la valeur texte Yes tandis que son état visuel restait /Off. Un lecteur PDF l'affiche décochée, et les messages finaux de ces deux exécutions disaient que la case était cochée. Un échec venait d'une exécution témoin, l'autre d'une exécution avec le skill. L'agent avec le skill avait lu FORMS.md, qui lui demande d'inspecter les types de champs et d'utiliser le checked_value de chaque case, mais il n'est jamais allé jusque-là (paragraphe suivant), donc le skill n'a pas empêché l'erreur.

Les scripts ne tournaient pas comme documenté. FORMS.md indique d'exécuter python scripts/check_fillable_fields .... macOS n'a pas python, seulement python3, et l'environnement d'origine ne dispose pas de pypdf. Les deux exécutions avec le skill ont alors divergé. L'une a fouillé le disque, trouvé pypdf dans le cache uv de l'utilisateur, exécuté les scripts du skill via PYTHONPATH et rempli correctement le formulaire. L'autre a tenté pip install (échec hors ligne), puis écrit un programme Swift/PDFKit et s'est trompée sur la case. Les exécutions témoins ont improvisé de la même façon (Swift pour l'une, pypdf pour l'autre). L'outillage du skill n'a donc aidé que dans la seule exécution qui a réussi à emprunter une bibliothèque hors du dossier du projet.

Il double le coût. Les exécutions avec le skill utilisaient en moyenne 228,000 tokens contre 116,000 sans (1.98x) et duraient 72 secondes contre 46. L'agent lit le skill, puis forms.md, puis essaie d'abord les scripts. Sur la tâche de formulaire, l'exécution avec le skill qui a réussi a nécessité 35 commandes et 434,000 tokens ; les exécutions témoins en nécessitaient 16 et environ 185,000.

Notes de portabilité

• SKILL.md renvoie à FORMS.md et REFERENCE.md, alors que les fichiers sont forms.md et reference.md. Cela fonctionnait dans nos exécutions parce que les systèmes de fichiers macOS ignorent la casse ; sous Linux, ces liens seraient cassés.
• Il suppose que python et plusieurs bibliothèques Python sont installés. Une machine propre n'a généralement ni l'un ni les autres.
• Le guide mentionne pip install pytesseract pdf2image pour l'OCR, ce qui nécessite un accès réseau.

Revue de sécurité

Nous avons lancé le scanner puis lu SKILL.md, forms.md, reference.md et les huit scripts. Les scripts n'importent que des modules de la bibliothèque standard plus pypdf, pdfplumber, pdf2image et PIL ; ils lisent un fichier d'entrée et écrivent des fichiers locaux. Aucun appel de sous-processus, socket, lecture d'environnement, eval ni téléchargement. Aucune instruction pour dissimuler quoi que ce soit ou toucher aux identifiants. Le constat à signaler est la licence : elle est propriétaire, le site ne devrait donc pas la présenter comme open source. Voir security.md.

Scores

À qui cela s'adresse

Les agents modernes fusionnent, font pivoter, découpent et extraient déjà les tableaux de PDF propres sans aide, comme l'a montré notre groupe témoin : pour ces tâches, le skill ajoute surtout des tokens. Il pourrait valoir son coût sur des cas plus difficiles que nous n'avons pas testés : documents scannés et OCR, fichiers protégés par mot de passe, formulaires sans champs remplissables (le workflow des zones de délimitation), ou un environnement où les bibliothèques utilitaires sont installées pour que les scripts fonctionnent. Si vous l'installez, assurez-vous d'abord que python et pypdf existent, sinon les consignes ne s'exécuteront pas comme écrit.

Limites de ce test

Deux exécutions par groupe, trois tâches, un seul modèle à faible effort de raisonnement, sandbox hors ligne sans bibliothèques PDF Python dans l'environnement d'origine. Les exécutions partageaient le dossier temporaire système, et une exécution avec le skill a réutilisé un environnement virtuel qu'une autre y avait créé, l'isolation entre exécutions n'était donc pas parfaite. Une machine pleinement équipée pourrait changer le résultat en faveur du skill. Le niveau Codex compte pour Codex et Claude Code selon la règle du site.

Mise à jour (2 nov. 2026) : ajout du groupe « une phrase »

Troisième groupe : pas de skill, avec une phrase (« Utilise les bons outils PDF : extrais les tableaux page par page en gardant leurs lignes d'en-tête, fusionne/pivote/découpe les pages sans perdre de contenu, remplis les vrais champs de formulaire par leur nom et laisse le fichier d'origine inchangé, puis vérifie la sortie en la rouvrant. »). 6 exécutions, vérifications basées sur des règles, sur une machine Windows avec un ensemble pypdf/pdfplumber embarqué disponible hors ligne.

Les six exécutions avec la phrase unique ont passé toutes les vérifications, y compris le remplissage de formulaire avec case à cocher qui avait échoué une fois dans le groupe témoin et une fois dans le groupe avec le skill. Le skill coûtait 3.3x les tokens de la phrase unique. Réserve : les exécutions avec la phrase unique tournaient sur une autre machine (Windows) que les deux premiers groupes (macOS) et disposaient des bibliothèques PDF, contrairement aux exécutions Mac ; cette comparaison est donc biaisée par l'environnement. Elle suggère néanmoins que le surcoût de 2x en tokens du skill n'apporte rien sur ces trois tâches.