emails (coreyhaines31/marketingskills)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un Mac de test, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Trois tâches de rédaction avec une fiche de faits (product.md, un abonnement fictif de snacks aux algues) : une séquence de bienvenue de 5 e-mails, un flux de panier abandonné de 3 e-mails (sans remise autorisée) et un e-mail de reconquête avec 5 lignes d'objet alternatives. Chacune a des limites strictes (objet 50 caractères max, corps 100-120 mots max, exactement un CTA). Noté selon des règles : le fichier existe, les limites sont respectées, aucun nombre inventé, aucune remise ni urgence, aucun mot à la mode banni, aucun schéma « qui sonne IA » (it's-not-X-it's-Y, no-X-no-Y-no-Z, faux objets « Re: »).

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 24.0 / 30, verdict Selon les cas.

Verdict : situationnel (24.0 / 30). Source : coreyhaines31/marketingskills, skills/emails, épinglé au commit 88c79f6. Installation : npx skills@latest add coreyhaines31/marketingskills --skill emails. Licence : MIT (LICENSE du dépôt).

Ce que c'est

La compétence emails de coreyhaines31/marketingskills conçoit des séquences d'e-mails (bienvenue, nurturing, panier abandonné, réengagement) : objectif par e-mail, objets et textes d'aperçu, règles de rédaction, calendrier et ordre d'envoi, avec trois fichiers de référence (règles de copy, types d'e-mails, modèles de séquence). Environ 1,650 mots dans SKILL.md et 3,200 dans les références. Markdown uniquement, aucun script.

Comment nous avons testé

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Mac, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, compétence installée (avec compétence), absente (témoin) ou absente avec l'exigence essentielle de la compétence condensée en une phrase ajoutée au prompt (groupe prompt d'une phrase), 2 exécutions par groupe et par tâche, réseau désactivé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais la compétence (sauf la formulation indiquée ci-dessous).

Trois tâches de rédaction avec une fiche de faits (product.md, un abonnement fictif à des snacks d'algues) : une séquence de bienvenue de 5 e-mails, un scénario de panier abandonné de 3 e-mails (aucune remise autorisée) et un e-mail de réengagement avec 5 objets alternatifs. Chacune a des limites strictes (objet : 50 caractères max ; corps : 100-120 mots max ; exactement un CTA). Notation par règles : les fichiers existent, les limites sont respectées, aucun chiffre, remise ou urgence n'est inventé, aucun mot à la mode banni, aucun tic de l'IA (formules ce-n'est-pas-X-c'est-Y, pas-de-X-pas-de-Y-pas-de-Z, faux objets « Re: »).

1. Séquence de bienvenue de 5 e-mails — Rédige une séquence de bienvenue de 5 e-mails pour les nouveaux abonnés Tidepool (faits de product.md uniquement). Pour chaque e-mail, indique « Objet : » (50 caractères max), le texte d'aperçu « Aperçu : », un corps de 120 mots maximum et exactement un CTA. Enregistre dans welcome.md.
2. Scénario de panier abandonné de 3 e-mails — Rédige une séquence de panier abandonné de 3 e-mails pour Tidepool (faits de product.md uniquement ; il n'y a ni remises ni garanties, n'en propose donc aucune). Chaque e-mail : « Objet : » (50 caractères max), « Aperçu : », corps de 100 mots max, un CTA. Enregistre dans cart.md.
3. E-mail de réengagement + variantes d'objet — Des abonnés n'ont pas commandé depuis 3 mois d'affilée. Rédige un e-mail de réengagement (Objet :, Aperçu :, corps 100 mots max, un CTA) et 5 objets alternatifs (50 caractères max chacun). N'utilise que les faits de product.md. Enregistre dans winback.md.

Le score est calculé de manière programmatique (tests masqués / détection des problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), avec une note de 0–5 par exécution. Aucun juge LLM n'a attribué de score.

Résultats

Le prompt d'une phrase fourni au troisième groupe : « Conçois chaque e-mail avec un objectif clair et exactement un appel à l'action, un objet court et spécifique, un texte d'aperçu, un ton humain et simple sans tics de l'IA, ainsi qu'un ordre et un calendrier d'envoi pertinents sur l'ensemble de la séquence. »

Score moyen : 5.0 sans contre 5.0 avec la compétence (écart +0.0). Tokens par exécution : 69k contre 102k (1.48x) ; temps 38s contre 50s. Groupe prompt d'une phrase : 5.0 (gain de la compétence par rapport au prompt d'une phrase : +0.0 ; gain propre du prompt d'une phrase par rapport à l'absence de compétence : +0.0) ; tokens du prompt d'une phrase : 94k par exécution, la compétence coûte donc 1.09x le prompt d'une phrase.

Ce qui s'est passé

• Aucune différence sur les règles : score moyen de 5.0 pour le témoin, 5.0 pour la version en une phrase, 5.0 pour la compétence. Chaque e-mail des 18 exécutions respectait toutes les limites. Codex seul suit déjà une fiche de faits explicite, des limites de longueur et la consigne « exactement un CTA ».
• Une correction du score a été nécessaire : la première passe comptait les délais d'envoi (« Envoi : 10 jours après l'abonnement », « 24 heures après l'abandon ») comme des chiffres inventés et attribuait 4.6 et 4.9 aux groupes prompt d'une phrase et compétence. Le calendrier relève d'un conseil d'ordonnancement, pas d'une affirmation produit : ces formulations sont désormais ignorées ; les premiers scores ne sont pas utilisés.
• La seule différence visible concerne les indications de calendrier dont parle la compétence. En cherchant une mention de délai d'envoi (une ligne « Envoi : » ou un délai dans l'en-tête de l'e-mail), le témoin en a écrit dans 0 séquence sur 6, la version en une phrase dans 4 sur 6, et la compétence dans 1 sur 6. La compétence n'ajoutait donc pas fiablement de calendrier, contrairement à la phrase qui le mentionne.
• La compétence a été lue dans 6/6 exécutions et coûtait 102k tokens par exécution, contre 69k pour le témoin (1.48x) et 94k pour le prompt d'une phrase (1.09x).

Scores par dimension

Limites de ce test

• Un effet de plafond : le témoin est déjà à 5.0, le test ne peut donc pas montrer d'amélioration ; il montre seulement que rien ne s'est dégradé.
• Les contrôles portent sur les limites, l'honnêteté et les tics de style, pas sur la qualité de persuasion, l'ingéniosité des objets ni la délivrabilité ; la qualité des textes n'a pas été lue par un humain au-delà de vérifications ponctuelles.
• Uniquement un brief fictif pour un seul produit ; la valeur de la compétence pour des séquences de nurturing et de drip B2B avec de vraies données de segmentation n'a pas été testée.
• n = 2 par groupe et par tâche : les écarts inférieurs à environ 1 point relèvent du bruit.
• Le score basé sur des règles mesure ce que les contrôles peuvent voir ; il ne peut juger du goût ni du caractère optimal d'un résultat.

Sécurité

Voir security.md. Analyse : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : sûr à exécuter (sandbox sans réseau). Une analyse propre ne prouve pas qu'une compétence est sûre.

En bref

Codex seul produit des séquences d'e-mails conformes et fondées sur des faits sans la compétence, et la compétence ajoute des tokens (environ 1.5x) sans changement mesurable sur ces tâches. Elle peut aider si vous voulez retrouver dans le résultat sa structure et ses indications de calendrier, ce qu'une seule phrase dans le prompt a d'ailleurs obtenu plus souvent ici.