theme-factory (Anthropic)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei Aufgaben am selben schlichten HTML-Foliensatz (deck.html): das benannte Theme „Ocean Depths“ anwenden, das benannte Theme „Tech Innovation“ anwenden und „das Preset-Theme wählen, das am besten zu einem Kinder-Wissenschaftswettbewerb passt, sagen, welches gewählt wurde, und es anwenden“. Die One-Liner-Gruppe ergänzt einen Satz, der den Agenten anweist, Palette und Schriftpaarung eines Preset-Themes anzuwenden und zu sagen, welches; er enthält keine Theme-Daten.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 27.7 / 30, Urteil Empfohlen.

Urteil: Empfohlen (27.7 / 30). Quelle: anthropics/skills, skills/theme-factory, gepinnt auf Commit ca45fc4. Installation: npx skills@latest add anthropics/skills --skill theme-factory. Lizenz: Apache-2.0 / Anthropic-Bedingungen (siehe LICENSE.txt im Skill).

Was es ist

Der Skill theme-factory aus anthropics/skills: 10 vorgegebene Farb- und Schrift-Themes (Ocean Depths, Sunset Boulevard, Forest Canopy, Tech Innovation und so weiter), jeweils eine kurze Markdown-Datei mit Hex-Palette und Schriftpaarung, plus ein Theme-Showcase-PDF, zum Gestalten von Folien, Dokumenten oder Seiten. SKILL.md weist den Agenten an, das Showcase zu zeigen, den Nutzer wählen zu lassen und dann Farben und Schriften des Themes anzuwenden.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, low reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Mit-Skill-Gruppe) oder nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Drei Aufgaben am selben schlichten HTML-Foliensatz (deck.html): das genannte Theme „Ocean Depths“ anwenden, das genannte Theme „Tech Innovation“ anwenden und „wähle das vorgegebene Theme, das am besten zu einem Kinder-Wissenschaftsfest passt, nenne es und wende es an“. Die Ein-Satz-Gruppe erhält einen zusätzlichen Satz, der den Agenten anweist, Palette und Schriftpaarung eines vorgegebenen Themes anzuwenden und zu sagen, welches; er enthält keine Theme-Daten.

1. Ein genanntes vorgegebenes Theme anwenden — Wende das Theme „Ocean Depths“ auf deck.html an. Bearbeite die Datei direkt.
2. Ein weiteres vorgegebenes Theme anwenden — Wende das Theme „Tech Innovation“ auf deck.html an. Bearbeite die Datei direkt.
3. Ein passendes vorgegebenes Theme wählen — Wähle das vorgegebene Theme, das am besten zu einer Ankündigung für ein Kinder-Wissenschaftsfest passt, nenne deine Wahl und wende es direkt auf deck.html an.

Die Bewertung erfolgt programmatisch (versteckte Tests / Trefferquote bei eingebauten Problemen / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat eine Punktzahl entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Wende die Farbpalette (Hintergrund, Text, Akzent) des gewählten vorgegebenen Themes und seine Schriftpaarung für Überschrift/Text konsistent auf jedes Element an und sage, welches Theme du angewendet hast."

Durchschnitt: 3.33 ohne vs. 5.0 mit Skill (Delta +1.67). Token pro Lauf: 111k vs. 73k (0.66x); Zeit 53s vs. 44s. Ein-Satz-Gruppe: 3.33 (Zuwachs des Skills gegenüber dem Ein-Satz-Prompt: +1.67; Zuwachs des Ein-Satz-Prompts gegenüber ohne Skill: +0.0); Token des Ein-Satz-Prompts 126k pro Lauf, der Skill kostet also 0.58x so viel wie der Ein-Satz-Prompt.

Was dabei herauskam

• Bei den beiden Aufgaben mit genanntem Theme erzielen alle drei Gruppen 5.0: Die Kontrolle (kein Skill, keine Theme-Dateien im Ordner) wandte die exakten Ocean-Depths-Hexwerte (#1a2332, #2d8b8b, #a8dadc, #f1faee) und die Tech-Innovation-Palette aus dem Gedächtnis an. Die vorgegebenen Themes sind so öffentlich, dass das Modell sie bereits kennt; der Skill fügt bei einer Anfrage, die das Theme nennt, nichts hinzu.
• Der Skill zählt dort, wo die Theme-Liste selbst gebraucht wird: Bei der Aufgabe „bestes vorgegebenes Theme wählen“ erzielte die Kontrolle 0/2 (ein Lauf sagte, er habe ein Theme namens „Sky“ gewählt, das nicht zu den zehn gehört; der andere verbrauchte 247k Token), der Ein-Satz 0/2 (ein Lauf antwortete, im Arbeitsbereich sei keine Theme-Liste verfügbar, und fragte den Nutzer danach) und der Skill 2/2 (wählte „Sunset Boulevard“ und wandte dessen Palette an).
• Durchschnitt 3.33 Kontrolle, 3.33 Ein-Satz, 5.00 Skill. Der Ein-Satz kann nicht einspringen, weil der Wert in den Daten der Theme-Dateien des Skills liegt, nicht in einer Anweisung.
• Token: 73k pro Lauf für den Skill gegenüber 111k Kontrolle und 126k Ein-Satz (0.66x und 0.58x), weil Kontrolle und Ein-Satz bei der offenen Aufgabe suchen und raten, während der Skill eine kleine Theme-Datei liest.
• Mit-Skill-Läufe kopieren den Themes-Ordner und das Showcase-PDF des Skills ins Projekt (im Schnitt 14 neue Dateien pro Lauf), was den Arbeitsordner verschmutzt.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Regelbasierte Palettenprüfungen (vorgegebene Hexfarben verwendet, Theme genannt); keine Beurteilung, wie gut der umgestaltete Foliensatz aussieht.
• Die Prüfung von Aufgabe 3 zählt einen Lauf nur als korrekt, wenn er die Hexwerte eines der zehn Themes verwendet und eines nennt; sie bevorzugt also jede Gruppe, die die Liste sehen kann.
• n=2 pro Zelle; der Showcase-Schritt des Skills (dem Nutzer das PDF zeigen und auf eine Wahl warten) ist interaktiv und kann in einem Headless-Test nicht laufen.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; Geschmack oder ob ein Ergebnis das bestmögliche ist, lässt sich so nicht beurteilen.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Nützlich, wenn eines der zehn konkreten Presets gewählt oder aufgelistet werden soll: Das erspart Raten und Token. Wenn Sie ein Preset nur nennen, leistet reines Codex dasselbe, dafür braucht es den Skill nicht.