xlsx (anthropics/skills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Umgebung: Beide Gruppen erhielten dasselbe Offline-Toolkit (python openpyxl/lxml/defusedxml, node docx, ein Python-Shim für python3), weil der Skill es voraussetzt. LibreOffice ist auf dem Mac vorhanden, kann in der Codex-Sandbox aber kein Profil anlegen.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 12 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 20.3 / 30, Urteil Situativ.

Urteil: Situativ (20.3 / 30). Quelle: anthropics/skills, skills/xlsx, gepinnt auf Commit ca45fc4. Installation: npx skills@latest add anthropics/skills --skill xlsx. Lizenz: Proprietär (LICENSE.txt im Skill-Verzeichnis): nur lesend geprüft, nicht weitergegeben.

Was es ist

Der xlsx-Skill aus Anthropics Skills-Repo: mit openpyxl/pandas Excel-Dateien erstellen und bearbeiten, Formeln lebendig halten statt Zahlen einzufügen, die Farbkonventionen für Finanzmodelle befolgen und scripts/recalc.py (LibreOffice headless) ausführen, um Formeln zu berechnen und nach Fehlern wie #REF! zu suchen. Laut SKILL.md sind die Werkzeuge vorinstalliert.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, low reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Mit-Skill-Gruppe) oder nicht vorhanden (Kontrollgruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Umgebung: Beide Gruppen erhielten dasselbe Offline-Toolkit (python openpyxl/lxml/defusedxml, node docx, ein python-Shim für python3), weil der Skill es voraussetzt. LibreOffice ist auf dem Mac vorhanden, kann aber in der Codex-Sandbox kein Profil anlegen.

1. Eine Budget-Arbeitsmappe erstellen — Erstelle budget.xlsx mit einem Blatt namens „Budget“: Kopfzeile Category, Q1, Q2, Q3, Q4, Total (fett, Schrift Arial); mindestens fünf Ausgabenkategorien mit Beispielzahlen; die Spalte Total und eine Total-Zeile am unteren Rand müssen echte Excel-Formeln sein, keine eingetippten Werte.
2. Eine Wachstumsspalte ergänzen — Ergänze in sales.xlsx eine Spalte „Growth %“ am Ende des Blatts Sales (Spalte F), die die Q2-Veränderung jeder Region gegenüber Q1 als echte Formel zeigt. Behalte die vorhandenen Formeln und die Kopfzeilenformatierung. Bearbeite die Datei direkt.
3. Zusammenfassungsblatt mit SUMIF — Ergänze in orders.xlsx ein Blatt „Summary“ mit der Gesamtsumme Amount pro Region (North, South, East, West) als echte Formeln, die auf das Blatt Orders verweisen. Ändere das Blatt Orders nicht. Bearbeite die Datei direkt.

Die Bewertung erfolgt programmatisch (versteckte Tests / Trefferquote bei eingebauten Problemen / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat eine Punktzahl entschieden.

Ergebnisse

Durchschnitt: 4.8 ohne vs. 4.55 mit Skill (Delta -0.25). Token pro Lauf: 83k vs. 120k (1.44x); Zeit 44s vs. 63s.

Was dabei herauskam

• Das Ergebnis war etwa gleich: Kontrolle 4.8 vs. Mit-Skill 4.55 von 5 (n=2, im Rauschen). Beide Gruppen bauten korrekte echte Formeln (Zeilen- und Spaltensummen, Wachstumsspalte, SUMIF pro Region) mit korrekten neu berechneten Werten, als wir sie selbst neu berechneten.
• Die Kernfunktion des Skills lief nicht. In 5 der 6 Mit-Skill-Läufe wurde recalc.py versucht: Der einfache python-Aufruf stürzte mit TypeError: ... 'ignore_cleanup_errors' ab (dieses Argument braucht Python 3.10+; das python3, auf das der Sandbox-PATH zeigt, ist älter), und nach dem Wechsel zu Homebrew-Python endete er mit „LibreOffice did not create a usable profile; formulas were NOT recalculated“ innerhalb der Sandbox.
• Die Kosten dieser Erkenntnis: etwa 1.4x Token pro Lauf und mehr Befehle (10–18 vs. 4–6).
• Ein Nebeneffekt der Workaround-Versuche: Ein Mit-Skill-Lauf hinterließ einen Ordner .xlsx-tmp/ mit einer Kopie der Arbeitsmappe im Projekt.
• Die Wachstumsspalten-Aufgabe verlor in allen vier Läufen denselben Punkt: Die Datei hatte keine gespeicherten Werte für die neuen Formeln (ein Betrachter, der nicht neu berechnet, würde Leerfelder zeigen), weil niemand eine Neuberechnung ausführen konnte. Bei der SUMIF-Aufgabe endeten drei von vier Läufen mit gespeicherten Werten (die Kontroll-Läufe schrieben sie selbst ins XML); ein Mit-Skill-Lauf hinterließ keine.
• In einem Mit-Skill-Lauf hatte die Budget-Total-Zeile keine Formeln (7 von 8 Prüfungen).

Bewertung nach Dimensionen

Grenzen dieses Tests

• Nur drei kleine Arbeitsmappen-Aufgaben; Formatierungskonventionen (blaue Eingaben, schwarze Formeln), Zahlenformate und mehrblättrige Finanzmodelle wurden nicht bewertet.
• Die Fehler sind umgebungsbedingt (altes System-Python, LibreOffice in einer Sandbox). Auf einem Rechner, auf dem recalc.py läuft, könnte das Ergebnis anders aussehen.
• Proprietäre Lizenz: nur das Verhalten wird beschrieben.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; Geschmack oder ob ein Ergebnis das bestmögliche ist, lässt sich so nicht beurteilen.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

In einer Codex-typischen Sandbox auf einem Mac läuft das Neuberechnungsskript des Skills nicht; Sie zahlen also etwa 1.4x Token und erhalten keine besseren Arbeitsmappen als ohne ihn. Seine Ratschläge (echte Formeln, Neuberechnung, Fehlerscan) sind solide, aber die Werkzeuge brauchen Python 3.10+ und ein LibreOffice außerhalb der Sandbox.