emails (coreyhaines31/marketingskills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três tarefas de escrita com uma ficha de fatos (product.md, uma assinatura fictícia de snacks de algas): uma sequência de boas-vindas de 5 e-mails, um fluxo de carrinho abandonado de 3 e-mails (sem descontos permitidos) e um e-mail de reengajamento com 5 linhas de assunto alternativas. Cada uma tem limites rígidos (assunto com no máximo 50 caracteres, corpo com no máximo 100-120 palavras, exatamente um CTA). Pontuado por regras: o arquivo existe, os limites foram mantidos, nenhum número inventado, desconto ou urgência, nenhuma palavra da moda proibida, nenhum padrão que soe como IA (não é X, é Y; sem X, sem Y, sem Z; assuntos falsos com 'Re:').

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 24.0 / 30, veredito Situacional.

Veredito: Situacional (24.0 / 30). Fonte: coreyhaines31/marketingskills, skills/emails, fixada no commit 88c79f6. Instalação: npx skills@latest add coreyhaines31/marketingskills --skill emails. Licença: MIT (LICENSE do repositório).

O que é

A skill emails, de coreyhaines31/marketingskills, projeta sequências de e-mail (boas-vindas, nutrição, carrinho abandonado, recuperação): objetivo por e-mail, linhas de assunto e texto de prévia, regras de copy, cadência e ordem de envio, com três arquivos de referência (diretrizes de copy, tipos de e-mail, modelos de sequência). Cerca de 1.650 palavras em SKILL.md e 3.200 nas referências. Apenas Markdown, sem scripts.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Três tarefas de escrita com uma ficha de fatos (product.md, uma assinatura fictícia de petiscos de algas): uma sequência de boas-vindas de 5 e-mails, um fluxo de carrinho abandonado de 3 e-mails (sem descontos permitidos) e um e-mail de recuperação com 5 linhas de assunto alternativas. Cada uma tem limites rígidos (assunto com no máximo 50 caracteres, corpo com no máximo 100-120 palavras, exatamente uma CTA). Pontuado por regras: o arquivo existe, os limites foram respeitados, não há números inventados, descontos ou urgência, nem jargão proibido, nem padrões que soam como IA (é-não-é-X-é-Y, sem-X-sem-Y-sem-Z, assuntos falsos com 'Re:').

1. Sequência de boas-vindas de 5 e-mails — Escreva uma sequência de boas-vindas de 5 e-mails para novos assinantes do Tidepool (fatos apenas em product.md). Para cada e-mail, informe 'Assunto:' (no máximo 50 caracteres), texto de 'Prévia:', um corpo de no máximo 120 palavras e exatamente uma CTA. Salve em welcome.md.
2. Fluxo de carrinho abandonado de 3 e-mails — Escreva uma sequência de carrinho abandonado de 3 e-mails para o Tidepool (fatos apenas em product.md; não há descontos nem garantias, então não ofereça nenhum). Cada e-mail: 'Assunto:' (no máximo 50 caracteres), 'Prévia:', corpo de no máximo 100 palavras, uma CTA. Salve em cart.md.
3. E-mail de recuperação + variantes de assunto — Assinantes que pularam 3 meses seguidos não fizeram pedido. Escreva um e-mail de reengajamento (Assunto:, Prévia:, corpo com no máximo 100 palavras, uma CTA) e 5 linhas de assunto alternativas (cada uma com no máximo 50 caracteres). Use apenas fatos de product.md. Salve em winback.md.

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

O prompt de uma frase dado ao terceiro grupo: "Projete cada e-mail com um objetivo claro e exatamente uma chamada para ação, uma linha de assunto curta e específica e texto de prévia, tom humano e simples sem padrões delatores de IA, e uma ordem de envio e cadência coerentes ao longo da sequência."

Pontuação média: 5.0 sem a skill vs 5.0 com ela (delta +0.0). Tokens por execução: 69k vs 102k (1.48x); tempo 38s vs 50s. Grupo de uma frase: 5.0 (ganho da skill sobre o prompt de uma frase: +0.0; ganho do próprio prompt de uma frase sobre nenhuma skill: +0.0); tokens do prompt de uma frase: 94k por execução, então a skill custa 1.09x o prompt de uma frase.

O que aconteceu

• Nenhuma diferença nas regras: pontuação média 5.0 para o controle, 5.0 para a versão em uma frase, 5.0 para a skill. Todos os e-mails das 18 execuções cumpriram todos os limites. O Codex sozinho já segue uma ficha de fatos explícita, limites de tamanho e 'exatamente uma CTA'.
• Foi preciso corrigir a pontuação: a primeira passada contou os momentos de envio ('Send: 10 days after subscribing', '24 hours after abandonment') como números inventados e deu aos grupos de uma frase e com a skill 4.6 e 4.9. O momento de envio é uma recomendação de agendamento, não uma afirmação sobre o produto, então essas frases agora são ignoradas; as primeiras pontuações não são usadas.
• A única diferença visível é a orientação de cadência sobre a qual a skill fala. Procurando um rótulo de momento de envio (uma linha 'Send:' ou um horário no título do e-mail), o controle escreveu um em 0 de 6 sequências, a versão em uma frase em 4 de 6 e a skill em 1 de 6. Então a skill não acrescentou a cadência de forma confiável, mas a frase que a nomeia sim.
• A skill foi lida em 6/6 execuções e custou 102k tokens por execução contra 69k do controle (1.48x) e 94k do prompt de uma frase (1.09x).

Pontuações por dimensão

Limites deste teste

• Efeito teto: o controle já está em 5.0, então o teste não consegue mostrar melhora; mostra apenas que nada piorou.
• As verificações cobrem limites, honestidade e sinais de estilo, não qualidade de persuasão, esperteza da linha de assunto ou entregabilidade; não houve leitura humana da qualidade do copy além de conferências pontuais.
• Apenas um briefing fictício de um único produto; o valor da skill para sequências de nutrição e de fluxo B2B com dados reais de segmentação não foi testado.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

O Codex sozinho produz sequências de e-mail compatíveis e baseadas em fatos sem a skill, e a skill acrescenta tokens (cerca de 1.5x) sem mudança mensurável nestas tarefas. Ela pode ajudar quando você quer a estrutura e a orientação de cadência da skill no resultado, o que uma frase no prompt também alcançou com mais frequência aqui.