brand-guidelines (Anthropic)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três tarefas que citam a marca oficial da Anthropic sem fornecer nenhum valor: reestilizar deck.html no próprio arquivo, escrever brand.css para documentos internos e construir um pequeno cartão de status autocontido (status.html). Pontuado por regras: pelo menos 5 dos 7 códigos hex da marca, títulos em Poppins, corpo em Lora, fallbacks Arial/Georgia.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 26.6 / 30, veredito Situacional.

Veredicto: Situacional (26.6 / 30). Fonte: anthropics/skills, skills/brand-guidelines, fixado no commit ca45fc4. Instalação: npx skills@latest add anthropics/skills --skill brand-guidelines. Licença: Apache-2.0 / termos da Anthropic (consulte LICENSE.txt na skill).

O que é

A skill brand-guidelines do repositório anthropics/skills: as cores oficiais da marca Anthropic (escuro #141413, claro #faf9f5, cinza médio #b0aea5, cinza claro #e8e6dc, destaques laranja #d97757, azul #6a9bcc, verde #788c5d) e a tipografia (Poppins para títulos com fallback Arial, Lora para o corpo com fallback Georgia), além de instruções para aplicá-las. Um único SKILL.md com cerca de 330 palavras; nenhum script.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Três tarefas que citam a marca oficial da Anthropic sem informar nenhum valor: reestilizar deck.html no próprio arquivo, escrever brand.css para documentos internos e criar um pequeno cartão de status autocontido (status.html). Pontuação por regras: pelo menos 5 dos 7 códigos hexadecimais da marca, títulos em Poppins, corpo em Lora e fallbacks Arial/Georgia.

1. Reestilizar um deck HTML — Estilize deck.html com as cores e a tipografia oficiais da marca Anthropic. Edite o arquivo no próprio local.
2. Escrever uma folha de estilos da marca — Escreva brand.css para nossos documentos internos seguindo as diretrizes oficiais da marca Anthropic (cores e tipografia). Salve como brand.css.
3. Cartão de status da marca — Crie status.html: um pequeno cartão de status autocontido (título e três linhas de status) com o visual e a identidade oficiais da marca Anthropic.

A pontuação é programática (testes ocultos / identificação de problemas plantados / verificações de restrições / renderização + OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

A frase única dada ao terceiro grupo: "Use a paleta da Anthropic (escuro #141413, claro #faf9f5, cinza médio #b0aea5, cinza claro #e8e6dc; destaques laranja #d97757, azul #6a9bcc, verde #788c5d), com Poppins para títulos (fallback Arial) e Lora para o corpo do texto (fallback Georgia)."

Pontuação média: 4.42 sem a skill vs. 5.0 com a skill (delta +0.58). Tokens por execução: 104k vs. 56k (0.54x); tempo 64s vs. 39s. Grupo de uma frase: 5.0 (ganho da skill sobre a frase única: +0.0; ganho da própria frase única sobre sem skill: +0.58); 52k tokens por execução no grupo de uma frase, então a skill custa 1.08x a frase única.

O que aconteceu

• Pontuação média 4.42 sem a skill, 5.0 com a skill e 5.0 com uma versão de uma frase que lista as cores e fontes. Os erros do grupo de controle vieram da tarefa do cartão de status: em uma das duas execuções (1.9/5), o agente não usou a paleta nem as fontes da marca; na outra, usou (4.64); no deck e na folha de estilos, o controle marcou 5.0 nas duas execuções.
• Ou seja, o Codex sem a skill muitas vezes conhece a paleta de treinamento, mas não de forma confiável; com a skill, todas as 6 execuções acertaram a paleta e as fontes completas.
• A skill foi lida em 6/6 execuções e saiu mais barata que o controle: 56k tokens por execução contra 104k (0.54x), e praticamente o mesmo que a frase única (52k). Na tarefa do deck, o controle usou 155-166k tokens contra 64k com a skill; não investigamos por que o controle gastou mais (ele executou 8 comandos contra 6 na primeira execução de cada grupo).
• A versão de uma frase, que contém os mesmos códigos hexadecimais e fontes, marcou o mesmo que a skill (5.0) com o mesmo custo; portanto, o valor da skill está nos fatos armazenados, não em um método elaborado.

Pontuação por dimensão

Limites deste teste

• Uma verificação por regras de códigos hexadecimais e nomes de fontes, não um julgamento visual de quão parecida com a marca a página ficou.
• Três tarefas pequenas, duas execuções cada; o erro do controle ocorreu em uma única execução.
• A skill só tem fatos de uma marca (a Anthropic); o teste não diz nada sobre o desempenho de uma skill assim com as diretrizes de outra empresa.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação por regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Consulte security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredicto: segura para execução (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

A skill fornece de forma confiável a paleta e as fontes exatas e, nestas execuções, custou metade dos tokens de uma solicitação sem skill. Um prompt de uma frase com os mesmos valores entrega o mesmo resultado, então vale usar a skill apenas se você quiser os fatos armazenados uma vez, em vez de repeti-los em cada prompt.