emails (coreyhaines31/marketingskills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Drei Schreibaufgaben mit einem Factsheet (product.md, ein fiktives Algen-Snack-Abo): eine 5-teilige Willkommenssequenz, ein 3-teiliger Abandoned-Cart-Flow (keine Rabatte erlaubt) und eine Win-back-E-Mail mit 5 alternativen Betreffzeilen. Jede mit harten Limits (Betreff max. 50 Zeichen, Text max. 100–120 Wörter, genau ein CTA). Per Regeln bewertet: Datei vorhanden, Limits eingehalten, keine erfundenen Zahlen, Rabatte oder Dringlichkeit, keine verbotenen Buzzwords, keine KI-typischen Muster (it's-not-X-it's-Y, no-X-no-Y-no-Z, gefälschte „Re:“-Betreffzeilen).

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 24.0 / 30, Urteil Situativ.

Urteil: Situativ (24.0 / 30). Quelle: coreyhaines31/marketingskills, skills/emails, gepinnt auf Commit 88c79f6. Installation: npx skills@latest add coreyhaines31/marketingskills --skill emails. Lizenz: MIT (Repo-LICENSE).

Was es ist

Der Skill emails aus coreyhaines31/marketingskills: entwirft E-Mail-Sequenzen (Willkommen, Nurturing, Warenkorb-Abbruch, Rückgewinnung): Ziele pro E-Mail, Betreffzeilen und Preview-Text, Textregeln, Timing und Versandreihenfolge, mit drei Referenzdateien (Textrichtlinien, E-Mail-Typen, Sequenzvorlagen). Etwa 1,650 Wörter in SKILL.md und 3,200 in den Referenzen. Nur Markdown, keine Skripte.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, low reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Mit-Skill-Gruppe) oder nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Drei Schreibaufgaben mit einem Faktenblatt (product.md, ein fiktives Abo für Algen-Snacks): eine Willkommens-Sequenz mit 5 E-Mails, ein Warenkorb-Abbruch-Flow mit 3 E-Mails (keine Rabatte erlaubt) und eine Rückgewinnungs-E-Mail mit 5 alternativen Betreffzeilen. Jede hat harte Grenzen (Betreff maximal 50 Zeichen, Text maximal 100–120 Wörter, genau ein CTA). Bewertet nach Regeln: Datei vorhanden, Grenzen eingehalten, keine erfundenen Zahlen, Rabatte oder Dringlichkeit, keine verbotenen Buzzwords, keine KI-typischen Muster (it’s-not-X-it’s-Y, no-X-no-Y-no-Z, gefälschte „Re:“-Betreffs).

1. Willkommens-Sequenz mit 5 E-Mails — Schreibe eine Willkommens-Sequenz mit 5 E-Mails für neue Tidepool-Abonnenten (nur Fakten aus product.md). Gib für jede E-Mail „Subject:“ (maximal 50 Zeichen), „Preview:“-Text, einen Text mit höchstens 120 Wörtern und genau ein CTA an. Speichere sie in welcome.md.
2. Warenkorb-Abbruch-Flow mit 3 E-Mails — Schreibe eine Warenkorb-Abbruch-Sequenz mit 3 E-Mails für Tidepool (nur Fakten aus product.md; es gibt keine Rabatte oder Garantien, biete also keine an). Jede E-Mail: „Subject:“ (maximal 50 Zeichen), „Preview:“, Text mit höchstens 100 Wörtern, ein CTA. Speichere sie in cart.md.
3. Rückgewinnungs-E-Mail + Betreffvarianten — Abonnenten, die 3 Monate in Folge pausiert haben, haben nicht bestellt. Schreibe eine Re-Engagement-E-Mail (Subject:, Preview:, Text maximal 100 Wörter, ein CTA) und 5 alternative Betreffzeilen (je maximal 50 Zeichen). Verwende nur Fakten aus product.md. Speichere sie in winback.md.

Die Bewertung erfolgt programmatisch (versteckte Tests / Trefferquote bei eingebauten Problemen / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat eine Punktzahl entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Entwirf jede E-Mail mit einem klaren Ziel und genau einem Call to Action, einer kurzen, konkreten Betreffzeile und Preview-Text, in einem schlichten menschlichen Ton ohne KI-typische Muster sowie mit sinnvoller Versandreihenfolge und sinnvollem Timing über die Sequenz hinweg."

Durchschnitt: 5.0 ohne vs. 5.0 mit Skill (Delta +0.0). Token pro Lauf: 69k vs. 102k (1.48x); Zeit 38s vs. 50s. Ein-Satz-Gruppe: 5.0 (Zuwachs des Skills gegenüber dem Ein-Satz-Prompt: +0.0; Zuwachs des Ein-Satz-Prompts gegenüber ohne Skill: +0.0); Token des Ein-Satz-Prompts 94k pro Lauf, der Skill kostet also 1.09x so viel wie der Ein-Satz-Prompt.

Was dabei herauskam

• Kein Unterschied bei den Regeln: Durchschnitt 5.0 für die Kontrolle, 5.0 für die Ein-Satz-Version, 5.0 für den Skill. Jede E-Mail in allen 18 Läufen hielt jede Grenze ein. Reines Codex folgt bereits einem expliziten Faktenblatt, Längengrenzen und „genau ein CTA“.
• Eine Korrektur der Bewertung war nötig: Im ersten Durchlauf zählten Versandzeitpunkte („Send: 10 days after subscribing“, „24 hours after abandonment“) als erfundene Zahlen und gaben der Ein-Satz- und der Skill-Gruppe 4.6 bzw. 4.9. Timing ist ein Planungshinweis, keine Produktaussage, daher werden diese Formulierungen jetzt ignoriert; die ersten Punktzahlen werden nicht verwendet.
• Der einzige sichtbare Unterschied ist die Timing-Empfehlung, von der der Skill spricht. Bei der Suche nach einer Versandzeit-Angabe (eine „Send:“-Zeile oder eine Zeitangabe in der E-Mail-Überschrift) schrieb die Kontrolle in 0 von 6 Sequenzen eine, die Ein-Satz-Version in 4 von 6 und der Skill in 1 von 6. Der Skill fügte Timing also nicht zuverlässig hinzu, der Satz, der es nennt, aber schon.
• Der Skill wurde in 6/6 Läufen gelesen und kostete 102k Token pro Lauf gegenüber 69k für die Kontrolle (1.48x) und 94k für den Ein-Satz-Prompt (1.09x).

Bewertung nach Dimensionen

Grenzen dieses Tests

• Ein Deckeneffekt: Die Kontrolle liegt bereits bei 5.0, der Test kann also keine Verbesserung zeigen; er zeigt nur, dass nichts schlechter wurde.
• Die Prüfungen decken Grenzen, Ehrlichkeit und Stilmuster ab, nicht Überzeugungskraft, Raffinesse der Betreffzeile oder Zustellbarkeit; eine menschliche Bewertung der Textqualität erfolgte über Stichproben hinaus nicht.
• Nur ein fiktives Ein-Produkt-Briefing; der Wert des Skills für Nurturing- und B2B-Drip-Sequenzen mit echten Segmentierungsdaten wurde nicht getestet.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; Geschmack oder ob ein Ergebnis das bestmögliche ist, lässt sich so nicht beurteilen.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Reines Codex erzeugt regelkonforme, faktenbasierte E-Mail-Sequenzen auch ohne den Skill, und der Skill kostet Token (etwa 1.5x) ohne messbare Veränderung bei diesen Aufgaben. Er kann helfen, wenn Sie die Struktur- und Timing-Hinweise des Skills in der Ausgabe möchten, was ein Satz im Prompt hier jedoch häufiger erreichte.