copywriting (coreyhaines31/marketingskills)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un Mac de test, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Chaque tâche donne à l'agent une courte fiche de faits (product.md, un abonnement fictif de snacks aux algues appelé Tidepool) et lui demande de n'utiliser que ces faits. L'étape « demander d'abord le contexte » du skill a été satisfaite par le prompt.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 24.0 / 30, verdict Selon les cas.

Verdict : situationnel (24.0 / 30). Source : coreyhaines31/marketingskills, skills/copywriting, épinglé au commit 88c79f6. Installation : npx skills@latest add coreyhaines31/marketingskills --skill copywriting. Licence : MIT (LICENSE du dépôt).

Ce que c'est

La compétence copywriting (v2.3.2) de coreyhaines31/marketingskills : un manuel de copywriting de conversion. Avant d'écrire, elle cherche un fichier de contexte marketing produit, puis diagnostique la demande (brief vide, voix existante, modification ponctuelle). Elle applique des principes (clarté, bénéfices plutôt que fonctionnalités, spécificité, un seul CTA), des structures de sections de page et des règles contre les tics de l'IA (les formules « ce n'est pas X, c'est Y », les listes « pas de X, pas de Y, pas de Z »), et ne retient que des affirmations étayables. Trois fichiers de référence (frameworks de copy, tics de l'IA, transitions naturelles) et un fichier d'évaluations. Markdown uniquement. Elle se déclenche sur « écris du copy », « réécris cette page », « on dirait de l'IA » et autres formulations similaires.

Comment nous avons testé

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Mac, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, compétence installée (avec compétence), absente (témoin) ou absente avec l'exigence essentielle de la compétence condensée en une phrase ajoutée au prompt (groupe prompt d'une phrase), 2 exécutions par groupe et par tâche, réseau désactivé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais la compétence (sauf la formulation indiquée ci-dessous).

Chaque tâche fournit à l'agent une courte fiche de faits (product.md, un abonnement fictif à des snacks d'algues nommé Tidepool) et lui demande de n'utiliser que ces faits. L'étape « demander le contexte d'abord » de la compétence était satisfaite par le prompt.

1. Texte de page d'atterrissage à partir d'une fiche produit — Rédige le texte de la page d'atterrissage de Tidepool (tous les faits sont dans product.md ; n'utilise que ceux-ci). Inclus : titre principal + sous-titre + CTA, trois blocs de bénéfices, trois questions de FAQ. Enregistre le tout dans copy.md. 300 mots maximum.
2. Variantes d'annonces courtes — Rédige 3 variantes d'annonce Facebook pour Tidepool en n'utilisant que les faits de product.md. Pour chacune, indique les lignes « Texte principal : » (125 caractères max) et « Titre : » (40 caractères max). Enregistre dans ads.md.
3. Réécriture d'un texte fade — Réécris le paragraphe de bland.txt en une section hero plus percutante (titre, sous-titre, CTA) pour des employés de bureau débordés. N'utilise que les faits de product.md. Enregistre dans hero.md, 90 mots maximum.

Le score est calculé de manière programmatique (tests masqués / détection des problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), avec une note de 0–5 par exécution. Aucun juge LLM n'a attribué de score.

Résultats

Le prompt d'une phrase fourni au troisième groupe : « Écris un copy clair, spécifique et axé sur les bénéfices, avec un seul appel à l'action principal, n'utilise que les faits qui t'ont été fournis, évite les tics caractéristiques de l'IA (formules « ce n'est pas X, c'est Y », listes « pas de X, pas de Y, pas de Z ») et respecte scrupuleusement chaque limite de longueur. »

Score moyen : 5.0 sans contre 5.0 avec la compétence (écart +0.0). Tokens par exécution : 63k contre 93k (1.48x) ; temps 25s contre 29s. Groupe prompt d'une phrase : 5.0 (gain de la compétence par rapport au prompt d'une phrase : +0.0 ; gain propre du prompt d'une phrase par rapport à l'absence de compétence : +0.0) ; tokens du prompt d'une phrase : 68k par exécution, la compétence coûte donc 1.36x le prompt d'une phrase.

Ce qui s'est passé

• Chaque exécution de chaque groupe a obtenu 5/5 : les 18 exécutions respectaient les limites de mots et de longueur, ne contenaient aucun chiffre ni aucune affirmation inventés, aucun mot à la mode banni et aucun des tics de l'IA que nous contrôlons (« ce n'est pas X, c'est Y », « pas de X, pas de Y, pas de Z »). Avec des scores au plafond, le test ne peut pas montrer de gain de qualité ; il montre que la compétence n'a pas nui.
• À la lecture des résultats, les trois groupes se ressemblent : un titre construit sur l'angle « croquant / tiroir de bureau », trois blocs de bénéfices, une FAQ de trois questions recopiée de la fiche produit. Nous n'avons pas non plus réussi à les classer à l'œil.
• La compétence a été lue dans 6/6 exécutions avec compétence : le déclenchement fonctionne à partir de la seule description (aucun prompt ne la mentionnait).
• Coût : 93k tokens par exécution contre 63k sans la compétence (1.48x) et 68k avec la version en une phrase de ses règles (1.36x) ; 7.7 commandes contre 5.7.

Scores par dimension

Limites de ce test

• Un effet de plafond : avec une fiche produit et une consigne explicite du type « n'utilise que ces faits », Codex seul écrit déjà un texte publicitaire propre et sans affirmations non étayées. La compétence est conçue pour des demandes plus difficiles (brief vide, voix de marque existante, positionnement concurrentiel, pages longues) ; nous ne les avons pas testées.
• Le goût, la voix et la conversion ne sont pas mesurés ; les contrôles ne détectent que les mots bannis, les tics de l'IA, les chiffres inventés et les limites de longueur.
• Le fichier de contexte de la compétence (.agents/product-marketing.md) et les compétences voisines (emails, popups, copy-editing) n'étaient pas installés.
• n = 2 par groupe et par tâche : les écarts inférieurs à environ 1 point relèvent du bruit.
• Le score basé sur des règles mesure ce que les contrôles peuvent voir ; il ne peut juger du goût ni du caractère optimal d'un résultat.

Sécurité

Voir security.md. Analyse : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : sûr à exécuter (sandbox sans réseau). Une analyse propre ne prouve pas qu'une compétence est sûre.

En bref

Sur des tâches de copywriting à partir d'une fiche produit, la compétence n'a rien changé de mesurable : l'agent évite déjà les mots à la mode, les chiffres inventés et les tics de l'IA lorsqu'on lui demande de n'utiliser que les faits fournis, et la compétence ajoute environ 1.5x de tokens. Elle peut aider sur un brief vide ou un travail d'alignement de voix, que ce test n'a pas couverts : c'est donc un ajout peu coûteux à conserver, plutôt qu'un gain évident.