internal-comms (Anthropic)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, um projeto temporário novo e HOME/TMPDIR/caches temporários por execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill condensado em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto o texto indicado abaixo). Três tarefas de escrita a partir de um notes.md curto com fatos da equipe: uma atualização 3P, uma atualização curta para a liderança (máx. 150 palavras) e um FAQ da empresa com 4 perguntas. Verificações de regra: as três seções, os problemas de staging e exportação de dados e a data de 9 de novembro são mencionados, limites de palavras, nenhum número inventado, quatro pares de pergunta e resposta.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 26.0 / 30, veredito Situacional.

Veredito: Situacional (26.0 / 30). Fonte: anthropics/skills, skills/internal-comms, fixado no commit ca45fc4. Instalação: npx skills@latest add anthropics/skills --skill internal-comms. Licença: Apache-2.0 / termos da Anthropic (consulte LICENSE.txt na skill).

O que é

A skill internal-comms de anthropics/skills: formatos para comunicações internas: atualizações 3P (Progresso, Planos, Problemas), newsletters da empresa, FAQs e comunicações gerais, com um arquivo de exemplo para cada. Cerca de 400 palavras em SKILL.md e 1.400 nos arquivos de exemplo. Apenas Markdown, sem scripts.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de testes Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (com a skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Três tarefas de escrita a partir de um notes.md curto com fatos da equipe: uma atualização 3P, uma atualização curta para a liderança (máx. 150 palavras) e um FAQ da empresa com 4 perguntas. Verificações por regras: as três seções, os problemas de staging e exportação de dados e a data de 9 de novembro são mencionados, limites de palavras, nenhum número inventado, quatro pares de pergunta/resposta.

1. Atualização 3P a partir de notas brutas — Escreva a atualização 3P desta semana para nossa equipe a partir das notas em notes.md (use apenas esses fatos). Salve em update.md.
2. Atualização de status para a liderança — Transforme notes.md em uma atualização curta para a liderança (o que foi entregue, o que vem a seguir, riscos), usando apenas esses fatos. Salve em leadership.md. Máximo de 150 palavras.
3. FAQ para os funcionários — Escreva um FAQ de 4 perguntas para o resto da empresa sobre o que nossa equipe fará a seguir (migração de cobrança etc.) usando apenas notes.md. Salve em faq.md.

A pontuação é programática (testes ocultos / recuperação de problemas plantados / verificações de restrições / renderização+OCR quando relevante), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.

Resultados

A frase única dada ao terceiro grupo: "Siga o formato padrão de comunicações internas para o tipo de atualização (3P: Progresso, Planos, Problemas; newsletter; FAQ; atualização para a liderança), mantenha o texto conciso e fácil de escanear e use apenas os fatos das notas."

Pontuação média: 5.0 sem a skill vs 5.0 com a skill (delta +0.0). Tokens por execução: 60k vs 63k (1.05x); tempo 30s vs 32s. Grupo prompt de uma frase: 5.0 (ganho da skill sobre o prompt de uma frase: +0.0; ganho do próprio prompt de uma frase sobre nenhuma skill: +0.0); tokens do prompt de uma frase: 60k por execução, então a skill custa 1.04x o prompt de uma frase.

O que aconteceu

• Nenhuma diferença de pontuação depois que as verificações foram corrigidas: média 5.0 no controle, 5.0 no prompt de uma frase, 5.0 com a skill. A primeira rodada de pontuação tinha dois defeitos (tratava 'Oct 26' como um número inventado e não contava os rótulos 'Question:'/'Answer:' como pares de perguntas e respostas); ambos foram corrigidos e as 18 execuções foram verificadas de novo.
• A skill muda o formato da saída. Na atualização 3P, as duas execuções com a skill usaram seu formato compacto: um emoji e o nome da equipe com a semana na primeira linha, depois um parágrafo curto para cada um de Progresso, Planos e Problemas (97 palavras). As 4 execuções de controle e do prompt de uma frase escreveram um título markdown com seções em marcadores (108-117 palavras). No FAQ, as execuções com a skill usaram pares rotulados 'Question:'/'Answer:' (cerca de 166 palavras contra 139).
• A skill foi lida em 6/6 execuções e custou 63k tokens por execução contra 60k (1.05x), um acréscimo quase gratuito.
• Nossas regras avaliam conteúdo e limites, não fidelidade ao formato, então uma equipe que tem um formato próprio veria a diferença, mas a pontuação não.

Pontuações por dimensão

Limites deste teste

• As três tarefas usam uma ficha de fatos curta, então nenhum grupo inventou nada; uma fonte mais longa ou mais bagunçada poderia separá-los.
• A fidelidade ao estilo da própria empresa não foi pontuada; os formatos da skill são exemplos da Anthropic e podem não corresponder ao seu.
• Formatos de newsletter e comunicações gerais não foram testados.
• n = 2 por grupo por tarefa: diferenças abaixo de ~1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; ela não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Consulte security.md. Varredura: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que uma skill é segura.

Conclusão

O Codex sem skill escreveu atualizações internas corretas e baseadas em fatos sem ajuda, então não há ganho de qualidade mensurável, e o custo é insignificante. A skill vale a pena se você quer que seus formatos compactos de 3P e FAQ sejam aplicados de forma consistente; se sua equipe tem um estilo próprio diferente, ela não ajudaria.