copywriting (coreyhaines31/marketingskills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Jede Aufgabe gibt dem Agenten ein kurzes Factsheet (product.md, ein fiktives Algen-Snack-Abo namens Tidepool) und verlangt, nur diese Fakten zu verwenden. Der Schritt „zuerst nach Kontext fragen“ des Skills wurde durch den Prompt beantwortet.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 24.0 / 30, Urteil Situativ.

Urteil: Situativ (24.0 / 30). Quelle: coreyhaines31/marketingskills, skills/copywriting, gepinnt auf Commit 88c79f6. Installation: npx skills@latest add coreyhaines31/marketingskills --skill copywriting. Lizenz: MIT (Repo-LICENSE).

Was es ist

Der Skill copywriting (v2.3.2) aus coreyhaines31/marketingskills: ein Playbook für Conversion-Texte. Vor dem Schreiben sucht er nach einer Produktmarketing-Kontextdatei, dann diagnostiziert er die Eingabe (leeres Briefing, vorhandene Stimme, gezielte Einzeländerung); Prinzipien (Klarheit, Nutzen statt Funktionen, Konkretheit, ein CTA), Strukturen für Seitenabschnitte, Regeln gegen KI-typische Muster („it’s not X, it’s Y“-Wendungen, „no X, no Y, no Z“-Listen), nur belegbare Aussagen. Drei Referenzdateien (Copy-Frameworks, KI-typische Muster, natürliche Übergänge) und eine Evals-Datei. Nur Markdown. Er triggert auf „write copy“, „rewrite this page“, „sounds like AI“ und Ähnliches.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, low reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Mit-Skill-Gruppe) oder nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Jede Aufgabe gibt dem Agenten ein kurzes Faktenblatt (product.md, ein fiktives Abo für Algen-Snacks namens Tidepool) und verlangt, nur diese Fakten zu verwenden. Der Schritt „zuerst nach Kontext fragen“ des Skills wurde durch den Prompt beantwortet.

1. Landingpage-Text aus einem Faktenblatt — Schreibe den Landingpage-Text für Tidepool (alle Fakten stehen in product.md; verwende nur diese). Füge hinzu: Hero-Headline + Subhead + CTA, drei Nutzenblöcke, drei FAQ-Einträge. Speichere ihn in copy.md. Maximal 300 Wörter.
2. Anzeigenvarianten im Kurzformat — Schreibe 3 Facebook-Anzeigenvarianten für Tidepool und verwende nur Fakten aus product.md. Gib für jede „Primary text:“ (maximal 125 Zeichen) und „Headline:“ (maximal 40 Zeichen) an. Speichere sie in ads.md.
3. Nichtssagenden Text neu schreiben — Schreibe den Absatz in bland.txt als schärfere Hero-Sektion (Headline, Subhead, CTA) für vielbeschäftigte Büroangestellte neu. Verwende nur Fakten aus product.md. Speichere sie in hero.md, maximal 90 Wörter.

Die Bewertung erfolgt programmatisch (versteckte Tests / Trefferquote bei eingebauten Problemen / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat eine Punktzahl entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Schreibe klaren, konkreten, nutzenorientierten Text mit einem einzigen Haupt-CTA, verwende nur die erhaltenen Fakten, vermeide KI-typische Muster („it’s not X, it’s Y“, „no X, no Y, no Z“-Listen) und halte jede Längenvorgabe exakt ein."

Durchschnitt: 5.0 ohne vs. 5.0 mit Skill (Delta +0.0). Token pro Lauf: 63k vs. 93k (1.48x); Zeit 25s vs. 29s. Ein-Satz-Gruppe: 5.0 (Zuwachs des Skills gegenüber dem Ein-Satz-Prompt: +0.0; Zuwachs des Ein-Satz-Prompts gegenüber ohne Skill: +0.0); Token des Ein-Satz-Prompts 68k pro Lauf, der Skill kostet also 1.36x so viel wie der Ein-Satz-Prompt.

Was dabei herauskam

• Jeder Lauf in jeder Gruppe erzielte 5/5: Alle 18 Läufe lagen innerhalb der Wort- und Längengrenzen, enthielten keine erfundenen Zahlen oder Aussagen, keine verbotenen Buzzwords und keines der geprüften KI-Muster („it’s not X, it’s Y“, „no X, no Y, no Z“). Bei Punktzahlen an der Decke kann der Test keinen Qualitätsgewinn zeigen; er zeigt, dass der Skill nicht geschadet hat.
• Beim Lesen der Ergebnisse wirken die drei Gruppen ähnlich: eine Headline über den Knusper-/Schreibtischschubladen-Winkel, drei Nutzenblöcke, ein drei Punkte umfassendes FAQ aus dem Faktenblatt. Auch mit bloßem Auge konnten wir sie nicht ordnen.
• Der Skill wurde in 6/6 Mit-Skill-Läufen gelesen; das Triggern funktioniert also allein über die Beschreibung (kein Prompt nannte ihn).
• Kosten: 93k Token pro Lauf gegenüber 63k ohne Skill (1.48x) und 68k mit der Ein-Satz-Version seiner Regeln (1.36x); 7.7 Befehle gegenüber 5.7.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Ein Deckeneffekt: Mit einem Faktenblatt und der ausdrücklichen Anweisung, nur diese Fakten zu verwenden, schreibt reines Codex bereits saubere, behauptungsfreie Texte. Der Skill ist für schwierigere Eingaben gedacht (leeres Briefing, vorhandene Markenstimme, Wettbewerbspositionierung, lange Seiten); diese haben wir nicht getestet.
• Geschmack, Stimme und Conversion werden nicht gemessen; die Prüfungen erfassen nur verbotene Wörter, KI-Muster, erfundene Zahlen und Längengrenzen.
• Die Kontextdatei des Skills (.agents/product-marketing.md) und die Schwester-Skills (emails, popups, copy-editing) waren nicht installiert.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; Geschmack oder ob ein Ergebnis das bestmögliche ist, lässt sich so nicht beurteilen.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Bei Copy-Aufgaben mit Faktenblatt änderte der Skill nichts Messbares: Der Agent vermeidet Buzzwords, erfundene Zahlen und KI-typische Muster ohnehin, wenn er angewiesen wird, nur die gegebenen Fakten zu verwenden, und der Skill kostet etwa 1.5x Token. Bei leerem Briefing oder Arbeiten an der Markenstimme könnte er helfen, was dieser Test nicht abdeckte; er ist also ein günstiger Kandidat zum Behalten, kein klarer Gewinn.