copywriting (coreyhaines31/marketingskills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Cada tarefa entrega ao agente uma ficha de fatos curta (product.md, uma assinatura fictícia de snacks de algas chamada Tidepool) e manda usar apenas esses fatos. A etapa da skill de 'pedir contexto primeiro' já estava respondida pelo prompt.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 24.0 / 30, veredito Situacional.

Veredito: Situacional (24.0 / 30). Fonte: coreyhaines31/marketingskills, skills/copywriting, fixada no commit 88c79f6. Instalação: npx skills@latest add coreyhaines31/marketingskills --skill copywriting. Licença: MIT (LICENSE do repositório).

O que é

A skill copywriting (v2.3.2), de coreyhaines31/marketingskills, é um manual de copywriting para conversão. Antes de escrever, procura um arquivo de contexto de marketing do produto e então diagnostica a entrada (briefing em branco, voz existente, edição pontual); princípios (clareza, benefícios em vez de funcionalidades, especificidade, uma única CTA), estruturas de seções de página, regras contra sinais de IA (revelações do tipo 'it's not X, it's Y', listas 'no X, no Y, no Z') e apenas afirmações sustentáveis. Três arquivos de referência (frameworks de copy, sinais de IA, transições naturais) e um arquivo de evals. Apenas Markdown. É acionada por 'write copy', 'rewrite this page', 'sounds like AI' e similares.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Cada tarefa entrega ao agente uma ficha de fatos curta (product.md, uma assinatura fictícia de petiscos de algas chamada Tidepool) e manda usar apenas esses fatos. A etapa da skill de 'pedir contexto primeiro' foi respondida pelo prompt.

1. Copy de landing page a partir de uma ficha de fatos — Escreva o copy da landing page do Tidepool (todos os fatos estão em product.md; use apenas esses). Inclua: título hero + subtítulo + CTA, três blocos de benefícios, três itens de FAQ. Salve em copy.md. No máximo 300 palavras.
2. Variações de anúncios curtos — Escreva 3 variações de anúncio para o Facebook do Tidepool usando apenas fatos de product.md. Para cada uma, informe as linhas 'Texto principal:' (no máximo 125 caracteres) e 'Título:' (no máximo 40 caracteres). Salve em ads.md.
3. Reescrever um copy sem graça — Reescreva o parágrafo em bland.txt como uma seção hero mais afiada (título, subtítulo, CTA) para trabalhadores de escritório ocupados. Use apenas fatos de product.md. Salve em hero.md, no máximo 90 palavras.

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

O prompt de uma frase dado ao terceiro grupo: "Escreva um copy claro, específico e orientado a benefícios, com uma única chamada para ação principal, use apenas os fatos fornecidos, evite padrões delatores de IA ("it's not X, it's Y", listas "no X, no Y, no Z") e respeite exatamente todos os limites de tamanho."

Pontuação média: 5.0 sem a skill vs 5.0 com ela (delta +0.0). Tokens por execução: 63k vs 93k (1.48x); tempo 25s vs 29s. Grupo de uma frase: 5.0 (ganho da skill sobre o prompt de uma frase: +0.0; ganho do próprio prompt de uma frase sobre nenhuma skill: +0.0); tokens do prompt de uma frase: 68k por execução, então a skill custa 1.36x o prompt de uma frase.

O que aconteceu

• Todas as execuções de todos os grupos marcaram 5/5: as 18 execuções ficaram dentro dos limites de palavras e caracteres, não continham números ou afirmações inventados, nem jargão proibido, e nenhum dos padrões delatores de IA que verificamos ('it's not X, it's Y', 'no X, no Y, no Z'). Com as pontuações no teto, o teste não consegue mostrar ganho de qualidade; mostra que a skill não atrapalhou.
• Lendo os resultados, os três grupos se parecem: um título construído sobre o ângulo do crocante/da gaveta da mesa, três blocos de benefícios, um FAQ de três itens copiado da ficha de fatos. Também não conseguimos classificá-los a olho.
• A skill foi lida em 6/6 execuções com ela, então o acionamento funciona só pela descrição (nenhum prompt a mencionou).
• Custo: 93k tokens por execução contra 63k sem a skill (1.48x) e 68k com a versão em uma frase das regras dela (1.36x); 7.7 comandos contra 5.7.

Pontuações por dimensão

Limites deste teste

• Efeito teto: com uma ficha de fatos e a instrução explícita 'use apenas estes fatos', o Codex sozinho já escreve um copy limpo e sem afirmações inventadas. A skill foi desenhada para entradas mais difíceis (briefing em branco, voz de marca existente, posicionamento competitivo, páginas longas); não testamos esses casos.
• Bom gosto, voz e conversão não são medidos; as verificações só pegam palavras proibidas, padrões delatores de IA, números inventados e limites de tamanho.
• O arquivo de contexto da skill (.agents/product-marketing.md) e as skills irmãs (emails, popups, copy-editing) não foram instalados.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

Em tarefas de copy a partir de uma ficha de fatos, a skill não mudou nada que possamos medir: o agente já evita jargão, números inventados e sinais de IA quando recebe a instrução de usar apenas os fatos dados, e a skill acrescenta cerca de 1.5x tokens. Ela pode ajudar em trabalho de briefing em branco ou de correspondência de voz, que este teste não cobriu, então é algo que vale manter pelo baixo custo, e não um ganho claro.