pdf (Anthropic)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning), ein frisches temporäres Projekt pro Lauf, Skill installiert oder nicht vorhanden, zwei Läufe pro Gruppe, Netzwerk aus. Die Eingaben waren von uns erzeugte PDFs, sodass die Ergebnisse per Code geprüft werden konnten. Die Prompts nannten den Skill nie.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 20.6 / 30, Urteil Situativ.

Urteil: Situationsabhängig (20.3 / 30). Quelle: anthropics/skills, skills/pdf, festgeschrieben auf Commit ca45fc4. Installation: npx skills@latest add anthropics/skills --skill pdf. Lizenz: proprietär (die Nutzung richtet sich nach deiner Vereinbarung mit Anthropic; dies ist kein Open Source).

Was es ist

Eine Anleitung für PDF-Arbeit: Text und Tabellen lesen und extrahieren, zusammenführen, teilen, drehen, mit Wasserzeichen versehen, neue PDFs erstellen, Formulare ausfüllen, verschlüsseln, Bilder extrahieren, gescannte Seiten per OCR erkennen. SKILL.md behandelt die Grundlagen mit Python-Snippets (pypdf, pdfplumber, reportlab) und Kommandozeilenwerkzeugen (pdftotext, qpdf). Zwei weitere Dateien (forms.md, reference.md) und acht Hilfsskripte kümmern sich um Formulare und Bounding-Boxen.

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning), pro Lauf ein frisches temporäres Projekt, Skill installiert oder nicht vorhanden, zwei Läufe pro Gruppe, Netzwerk aus. Die Eingaben waren von uns erzeugte PDFs, sodass wir die Ergebnisse per Code prüfen konnten:

1. Tabellenextraktion. Ziehe eine Tabelle mit 12 Zeilen, die sich über zwei Seiten erstreckt (Kopfzeile auf Seite zwei wiederholt), in sales.csv und melde den Gesamtumsatz.
2. Zusammenführen, drehen, teilen. Kombiniere zwei PDFs, drehe nur die letzte Seite um 90 Grad, speichere Seite eins als cover.pdf und lass die Originale unangetastet.
3. Ein Formular ausfüllen. Setze drei Felder und kreuze ein Kontrollkästchen in einem ausfüllbaren PDF an; die Felder sollen bearbeitbar bleiben.

Die Prompts erwähnten den Skill nie.

Was passiert ist

Er löst zuverlässig aus. Der Agent las SKILL.md in allen sechs Treatment-Läufen, unaufgefordert.

Am Ergebnis änderte er nichts. Aufgabe 1 (2 von 2 Prüfungen) und Aufgabe 2 (6 von 6) bestanden in allen vier Läufen jeder Aufgabe, mit und ohne Skill. Aufgabe 3 scheiterte je einmal pro Gruppe, sodass beide Gruppen insgesamt 5 von 6 Läufen bestanden.

Beide Fehlschläge waren identisch, und beide Agenten behaupteten, erfolgreich gewesen zu sein. Das Kontrollkästchen wurde als Textwert Yes gespeichert, während sein visueller Zustand /Off blieb. Ein PDF-Betrachter zeigt es unangekreuzt, und die Abschlussnachrichten in diesen beiden Läufen behaupteten, das Kästchen sei angekreuzt. Ein Fehlschlag war ein Kontroll-Lauf, der andere ein Treatment-Lauf. Der Treatment-Agent hatte FORMS.md gelesen, wo steht, er solle Feldtypen prüfen und den checked_value jedes Kontrollkästchens verwenden, kam aber nie so weit (nächster Absatz); der Skill verhinderte den Fehler also nicht.

Die Skripte liefen nicht wie dokumentiert. FORMS.md sagt, man solle python scripts/check_fillable_fields ... ausführen. macOS hat kein python, nur python3, und die Standardumgebung hat kein pypdf. Die beiden Treatment-Läufe gingen dann auseinander. Einer durchsuchte die Festplatte, fand pypdf im uv-Cache des Nutzers, führte die Skripte des Skills über PYTHONPATH aus und füllte das Formular korrekt aus. Der andere versuchte pip install (schlug offline fehl), schrieb dann ein Swift/PDFKit-Programm und bekam das Kontrollkästchen falsch hin. Die Kontroll-Läufe improvisierten auf dieselbe Weise (Swift im einen, pypdf im anderen). Die Unterstützung durch die Werkzeuge des Skills half also nur in dem einen Lauf, der eine Bibliothek von außerhalb des Projektverzeichnisses ausleihen konnte.

Er verdoppelt die Kosten. Treatment-Läufe verbrauchten im Schnitt 228,000 Token gegenüber 116,000 ohne (1.98x) und dauerten 72 Sekunden gegenüber 46. Der Agent liest den Skill, dann forms.md, dann probiert er zuerst die Skripte. Bei der Formularaufgabe brauchte der erfolgreiche Treatment-Lauf 35 Befehle und 434,000 Token; die Kontroll-Läufe brauchten 16 Befehle und etwa 185,000.

Hinweise zur Portabilität

• SKILL.md verweist auf FORMS.md und REFERENCE.md, die Dateien heißen aber forms.md und reference.md. In unseren Läufen funktionierte das, weil macOS-Dateisysteme Groß- und Kleinschreibung ignorieren; unter Linux würden diese Verweise brechen.
• Es wird vorausgesetzt, dass python und mehrere Python-Bibliotheken installiert sind. Ein sauberer Rechner hat meist weder das eine noch die anderen.
• Die Anleitung erwähnt pip install pytesseract pdf2image für OCR, was Netzwerkzugriff braucht.

Sicherheitsprüfung

Wir ließen den Scanner laufen und lasen dann SKILL.md, forms.md, reference.md und alle acht Skripte. Die Skripte importieren nur Module der Standardbibliothek plus pypdf, pdfplumber, pdf2image und PIL; sie lesen eine Eingabedatei und schreiben lokale Dateien. Keine Subprozess-Aufrufe, Sockets, Umgebungsvariablen-Lesezugriffe, eval oder Downloads. Keine Anweisungen, etwas zu verbergen oder Zugangsdaten anzufassen. Der erwähnenswerte Befund ist die Lizenz: Sie ist proprietär, die Website sollte den Skill also nicht als Open Source bezeichnen. Siehe security.md.

Bewertungen

Für wen es geeignet ist

Moderne Agenten führen bereits zusammen, drehen, teilen und extrahieren Tabellen aus sauberen PDFs ohne Hilfe, wie unsere Kontrollgruppe zeigte; für diese Aufgaben kostet der Skill also vor allem Token. Bei schwierigeren Fällen, die wir nicht getestet haben, könnte er sich lohnen: gescannte Dokumente und OCR, passwortgeschützte Dateien, Formulare ohne ausfüllbare Felder (der Bounding-Box-Workflow) oder eine Umgebung, in der die Hilfsbibliotheken installiert sind, sodass die Skripte funktionieren. Wenn du ihn installierst, stelle zuerst sicher, dass python und pypdf vorhanden sind, sonst läuft die Anleitung nicht wie geschrieben.

Grenzen dieses Tests

Zwei Läufe pro Gruppe, drei Aufgaben, ein Modell mit niedrigem Reasoning-Aufwand, Offline-Sandbox ohne Python-PDF-Bibliotheken in der Standardumgebung. Die Läufe teilten sich den System-Temp-Ordner, und ein Treatment-Lauf nutzte eine virtuelle Umgebung wieder, die ein anderer Lauf dort angelegt hatte; die Isolation zwischen den Läufen war also nicht perfekt. Ein voll ausgestatteter Rechner könnte das Ergebnis zugunsten des Skills verändern. Die Codex-Stufe gilt nach der Regel der Website für Codex und Claude Code.

Update (2. Nov. 2026): Ein-Satz-Gruppe ergänzt

Dritte Gruppe: kein Skill, dafür ein Satz („Verwende richtiges PDF-Tooling: extrahiere Tabellen seitenweise mit intakten Kopfzeilen, führe Seiten zusammen, drehe und teile sie ohne Inhaltsverlust, fülle echte Formularfelder nach Namen aus und lass die Originaldatei unverändert, dann prüfe die Ausgabe durch erneutes Öffnen.“). 6 Läufe, regelbasierte Checks, auf einem Windows-Rechner mit einem offline verfügbaren, mitgelieferten pypdf/pdfplumber-Set.

Alle sechs Ein-Satz-Läufe bestanden jede Prüfung, einschließlich des Kontrollkästchen-Formulars, das je einmal in der Kontroll- und der Skill-Gruppe scheiterte. Der Skill kostete 3.3x die Token des Ein-Satz-Prompts. Vorbehalt: Die Ein-Satz-Läufe liefen auf einem anderen Rechner (Windows) als die ersten beiden Gruppen (macOS) und hatten die PDF-Bibliotheken verfügbar, die den Mac-Läufen fehlten; dieser Vergleich ist also durch die Umgebung verzerrt. Er deutet aber darauf hin, dass der 2x-Token-Overhead des Skills bei diesen drei Aufgaben nichts einbringt.