docx (anthropics/skills)

Name: docx (anthropics/skills) review
Item: docx (anthropics/skills)
Rating: 21.4
Author: Agent Skills

Erstellt, liest und bearbeitet Word-Dateien (.docx, .dotx), einschließlich Vorlagen, Änderungsverfolgung und Kommentaren.

anthropics docx: Gleiche Ergebnisse wie ohne Skill bei drei Word-Aufgaben, zusätzlich zurückgelassene Arbeitsdateien

SituativSicher

Codex CLI · gpt-6-astra

21.4 / 30

Lift gegenüber ohne Skill: -0.30 · Situativ · 12 Läufe

Situativ: die Gesamtpunktzahl 21.4/30 liegt unter 22 und der Lift -0.30 liegt unter +1.0. Für „Empfohlen“ sind insgesamt 22/30, eine Ausgabequalität von 3.5 und ein Lift von +1.0 nötig.

SOTA

Bestanden

Getestet mit Codex.

Gilt für Codex, Claude Code

Codex CLI 0.166 (SOTA-Stufe): 12 bewertete Läufe. Ein Bestehen hier deckt gemäß unserer Stufenregel auch Claude Code ab; über die zweite Stufe sagt es nichts aus.

Punktzahlen

Jede Dimension reicht von 0 bis 5, und die sechs ergeben zusammen die Gesamtpunktzahl von 30. 5 ist in jeder Dimension besser. Kosten 5 bedeutet günstig und schnell. Installation 5 bedeutet einfach.

Trigger-Zuverlässigkeit: 5.0
Lift gegenüber ohne Skill: 1.7
Ausgabequalität: 4.7
Token- und Zeitkosten: 3.0
Installation und Portabilität: 3.0
Sicherheit: 4.0

Sicherheitsprüfung

Sicher

Statischer Scan: 0 CRITICAL / 1 HIGH / 7 MEDIUM. Manuelle Prüfung: sicher auszuführen (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Installieren

npx skills@latest add anthropics/skills --skill docx

Quelle

Fixierter Commit: ca45fc496a3436251f191354091d557da31c15b5

Getestet: 2026-11-02

Was wir getestet haben

Ein Memo erstellen — memo.docx erstellen: ein Word-Memo mit dem Titel „Project Falcon status update“ im US-Letter-Format mit drei Abschnitten mit Überschrift (Summary, Risks, Next steps), einer Aufzählung mit mindestens vier nächsten Schritten und einer 3-spaltigen Tabelle (Task, Owner, Due) mit drei Zeilen. Echtes Word verwen…
Nachverfolgte Änderung + Kommentar — In contract.docx die Zahlungsfrist in Klausel 2 von 30 Tagen auf 45 Tage als nachverfolgte Änderung von „Reviewer“ ändern und an diese Klausel einen Kommentar mit „Confirmed with finance“ anhängen. Sonst nichts ändern. Das Ergebnis als contract.docx speichern (bearbeiten in…
Tabelle und Gliederung extrahieren — Aus report.docx table.csv (die Tabelle mit Kopfzeile) und outline.txt (die Überschriften des Dokuments, eine pro Zeile, in Reihenfolge) schreiben. report.docx nicht verändern.

Vorteile

Der Skill wurde erkannt, ohne genannt zu werden: Skill-Datei in 6/6 Treatment-Läufen gelesen.
Hohe absolute Qualität mit dem Skill: 4.7 von 5.

Nachteile

Kein messbarer Lift gegenüber ohne Skill (-0.30, im Rauschen).
Die Kontrolle erreicht bereits 5.0: ein Deckeneffekt, daher kann der Test keinen Lift zeigen.
Testhinweis: Nur Zwei-Arm-Test (ohne Skill vs. Skill, 12 Läufe). Der Ein-Satz-Arm wurde nicht ausgeführt, weil er LibreOffice benötigt, das wir auf den Testrechnern nicht betreiben.
n=2 pro Aufgabe und Variante; Unterschiede unter etwa 1 Punkt sind Rauschen.

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Umgebung: Beide Gruppen erhielten dasselbe Offline-Toolkit in den Lauf kopiert (das npm-Paket docx, python lxml/defusedxml/openpyxl und ein Python-Shim für python3), weil der Skill diese als vorinstalliert voraussetzt. LibreOffice ist auf dem Mac vorhanden, bricht in der Codex-Sandbox aber ab (Exit 134), sodass niemand eine Vorschau rendern konnte.

Drei-Arm-Vergleich

Variante	Durchschnittsnote (0-5)	Tokens pro Lauf
Ohne Skill	5.0	91k
Mit Skill	4.7	120k

Gemessen mit Codex CLI über 12 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 21.4 / 30, Urteil Situativ.

Offenlegung: Nur Zwei-Arm-Test (ohne Skill vs. Skill, 12 Läufe). Der Ein-Satz-Arm wurde nicht ausgeführt, weil er LibreOffice benötigt, das wir auf den Testrechnern nicht betreiben.

Urteil: Situationsabhängig (21.4 / 30). Quelle: anthropics/skills, skills/docx, festgeschrieben auf Commit ca45fc4. Installation: npx skills@latest add anthropics/skills --skill docx. Lizenz: Proprietär (LICENSE.txt im Skill-Verzeichnis): nur lesend ausgewertet, nicht weiterverbreitet.

Was es ist

Der docx-Skill aus dem Skills-Repo von Anthropic. Er weist den Agenten an, Word-Dateien mit der npm-Bibliothek docx zu erstellen, bestehende durch Entpacken des XML zu bearbeiten und sie mit pandoc zu lesen; außerdem liefert er Hilfsskripte für Änderungsverfolgung und Kommentare (comment.py, accept_changes.py), einen XSD-Validator (office/validate.py) und einen LibreOffice-Wrapper (office/soffice.py). Laut SKILL.md seien die Bibliotheken „vorinstalliert“.

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt sowie temporäre HOME/TMPDIR/Caches, Skill installiert (Treatment) oder nicht vorhanden (Kontrolle), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten erwähnten Formulierung).

Umgebung: Beide Gruppen erhielten dasselbe Offline-Toolkit in den Lauf kopiert (das npm-Paket docx, python lxml/defusedxml/openpyxl und einen python-Shim für python3), weil der Skill diese als vorinstalliert voraussetzt. LibreOffice ist auf dem Mac vorhanden, bricht aber in der Codex-Sandbox ab (Exit 134), sodass niemand eine Vorschau rendern konnte.

Ein Memo erstellen — Erstelle memo.docx: ein Word-Memo mit dem Titel „Project Falcon status update“ im Format US Letter mit drei Abschnitten mit Überschriften (Summary, Risks, Next steps), einer Aufzählung mit mindestens vier nächsten Schritten und einer 3-spaltigen Tabelle (Task, Owner, Due) mit drei Zeilen. Verwende echtes Word…
Änderungsverfolgung + Kommentar — Ändere in contract.docx die Zahlungsfrist in Klausel 2 von 30 Tagen auf 45 Tage als nachverfolgte Änderung von „Reviewer“ und hänge einen Kommentar an diese Klausel: „Confirmed with finance“. Ändere sonst nichts. Speichere das Ergebnis als contract.docx (bearbeite in…
Tabelle und Gliederung extrahieren — Schreibe aus report.docx die Datei table.csv (die Tabelle mit ihrer Kopfzeile) und outline.txt (die Überschriften des Dokuments, eine pro Zeile, in Reihenfolge). Ändere report.docx nicht.

Die Bewertung erfolgt programmatisch (versteckte Tests / Erkennung eingepflanzter Fehler / Constraint-Checks / Rendering+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Bewertung entschieden.

Ergebnisse

Aufgabe	Kontrollwert	Mit Skill	Kontroll-Token	Mit-Skill-Token	Skill gelesen
t1-new	5.0	4.92	118k	107k	2/2
t2-redline	5.0	4.17	86k	162k	2/2
t3-extract	5.0	5.0	68k	90k	2/2

Durchschnittswert: 5.0 ohne vs. 4.7 mit dem Skill (Delta -0.3). Token pro Lauf: 91k vs. 120k (1.32x); Zeit 60s vs. 54s.

Was passiert ist

Kein messbarer Zugewinn: Jeder Lauf beider Gruppen erreichte in unseren strukturellen Checks die volle Punktzahl (neues Memo: US Letter, 3 echte Überschriften, 4+ Listeneinträge, 3-spaltige Tabelle, öffnet in LibreOffice; nachverfolgte Änderung von „Reviewer“ plus Kommentar bei intakten übrigen Klauseln; Tabelle extrahiert und Gliederung korrekt; Quelldatei unverändert).
Der Skill wird in 6/6 Treatment-Läufen gelesen. Bei der Redline-Aufgabe nutzte ein Treatment-Lauf das comment.py des Skills, um den Kommentar hinzuzufügen, und probierte dessen XSD-Validator aus (der Aufruf schlug fehl, Exit 1); der andere las nur comment.py --help und bearbeitete das XML selbst. Die Kontroll-Läufe bearbeiteten das XML direkt und kamen zum selben Ergebnis.
Nebeneffekt: Beide Treatment-Redline-Läufe ließen ihren Arbeitsbaum im Projekt zurück (.edit/ oder .docx-edit/ mit der Originalkopie und etwa 22 entpackten XML-Dateien); Kontroll-Läufe hinterließen nichts. Das zählen wir als Unordnung (kleiner Abzug in der Bewertung).
Kosten: insgesamt etwa 1.3x Token pro Lauf; die Redline-Aufgabe etwa 1.9x (der Agent liest zuerst den Skill und die Hilfsskripte).
Der vom Skill empfohlene Vorschauschritt (mit soffice.py nach PDF konvertieren und dann die Seiten ansehen) scheiterte in der Sandbox mit Exit 134 in beiden Treatment-Aufgaben, die ihn versuchten; seine wichtigste Verifikationsschleife lief also nicht wirklich.

Dimensionswerte

Dimension	Wert	Begründung
1_output_quality	4.7	Durchschnittswert 4.70/5 mit dem Skill (programmatische Checks, siehe Tabelle pro Aufgabe).
2_lift_vs_no_skill	1.7	-0.30 Punkte gegenüber 5.00 ohne den Skill (n=2 pro Aufgabe; unter ~1 Punkt ist Rauschen).
3_trigger	5.0	Skill-Datei in 6/6 Treatment-Läufen gelesen.
4_instructions_portability	3
5_efficiency	3	1.32x Token (120k vs. 91k pro Lauf) und 0.90x Zeit (54s vs. 60s).
6_safety_hygiene	4

Grenzen dieses Tests

Drei Aufgaben, die ein Basis-Agent mit Pythons zipfile bereits erledigen kann; komplexe Layouts (Inhaltsverzeichnisse, Kopf-/Fußzeilen, Bilder) und visuelle Qualität wurden nicht getestet.
Wir prüften die Struktur, nicht das Aussehen der Seite in Word.
Die Korrektheit der Änderungsverfolgung wurde mit Regexes auf dem XML geprüft, nicht durch Öffnen in Word.
Der Skill ist proprietär (siehe Lizenz), daher wird nur sein Verhalten beschrieben.
n = 2 pro Gruppe und Aufgabe: Abweichungen unter etwa 1 Punkt sind Rauschen.
Regelbasierte Bewertung misst, was die Checks sehen können; sie kann weder Geschmack beurteilen noch, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 1 HIGH / 7 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Kein messbarer Gewinn gegenüber einem Agenten ohne Skill bei drei gewöhnlichen Word-Aufgaben, dafür etwa 1.3x Token und zurückbleibende Arbeitsdateien; der eigene Vorschauschritt des Skills läuft in einem Agenten mit Sandbox nicht. Sein Validator und der Kommentar-Helfer können bei schwierigeren Bearbeitungen trotzdem helfen.

Transkript

Laufprotokoll: docx (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.)
Spalten: Aufgabe, Gruppe-Lauf, Punktzahl (0-5), Tokens, Sekunden, bestandene Prüfungen, vom Agenten geöffnete Skill-Dateien.

t1-new control-1: Punkte 5.0, Tokens 117370, Sek. 96.2, Prüfungen 2/2, nichts geöffnet
t1-new control-2: Punkte 5.0, Tokens 118677, Sek. 116.6, Prüfungen 2/2, nichts geöffnet
t1-new treatment-1: Punkte 4.92, Tokens 107319, Sek. 59.6, Prüfungen 1/2, geöffnet docx
t1-new treatment-2: Punkte 4.92, Tokens 108005, Sek. 66.9, Prüfungen 1/2, geöffnet docx
t2-redline control-1: Punkte 5.0, Tokens 91990, Sek. 43.3, Prüfungen 2/2, nichts geöffnet
t2-redline control-2: Punkte 5.0, Tokens 81049, Sek. 42.9, Prüfungen 2/2, nichts geöffnet
t2-redline treatment-1: Punkte 4.17, Tokens 151502, Sek. 54.2, Prüfungen 1/2, geöffnet docx
t2-redline treatment-2: Punkte 4.17, Tokens 174205, Sek. 75.4, Prüfungen 1/2, geöffnet docx
t3-extract control-1: Punkte 5.0, Tokens 68934, Sek. 30.3, Prüfungen 3/3, nichts geöffnet

12 Läufe, 3 Artefakte

Beispielausgabe

SOTA · With the skill: final message (t1-new, run 1, Codex)

Created [memo.docx](memo.docx) with US Letter pages, three Word headings, four real bullets, and a three-column table with three task rows. Document structure verified; visual preview was unavailable.

Pro ansehen