Metodologia

Como cada skill é testada: três braços, 18 execuções pontuadas por regras no Codex, uma revisão de segurança e um veredito escrito.

O que entra na lista

Uma skill só entra na lista depois que a executamos. Um repositório de arquivos SKILL.md não é uma avaliação. As páginas de exemplo neste repositório são rascunhos e permanecem não publicadas. Skills que consideramos inseguras de executar não são executadas.

O protocolo

Cada skill é executada em três tarefas pequenas e três braços: sem skill (controle), sem skill mas com a regra central da skill escrita em uma frase no prompt (prompt de uma frase) e com a skill instalada (tratamento). Os prompts nunca citam o nome da skill. Cada tarefa e braço roda duas vezes, então uma avaliação completa tem 18 execuções avaliadas. As execuções usam um projeto temporário novo, HOME e caches temporários, e não têm acesso à rede.

A pontuação é baseada em regras: testes unitários ocultos, recall de problemas plantados, verificações de restrições ou verificações de renderização e OCR, de 0 a 5 por execução. Nenhum modelo de linguagem decide a nota. Diferenças abaixo de cerca de 1 ponto são ruído com n=2.

A nota em cada página é um total de 30: as seis dimensões vão de 0 a 5 e são somadas. As dimensões são qualidade da saída, ganho sobre sem skill, confiabilidade do acionamento, instalação e portabilidade, custo de tokens e tempo (5 é barato e rápido) e higiene de segurança. Ao lado do total, a página mostra o ganho: a nota média das tarefas com a skill menos a média sem ela, na escala de 0 a 5.

O veredito é definido pelo pipeline de teste e usa os números mostrados na página. Recomendado exige três coisas: total de pelo menos 22 de 30, qualidade da saída de pelo menos 3.5 e ganho de pelo menos +1.0. Não recomendado se aplica quando o total fica abaixo de 14 de 30, a qualidade da saída fica abaixo de 2.5 ou a skill pontua um ponto inteiro a menos que sem skill. Todo o resto é Situacional. Uma skill pode, portanto, mostrar 24 de 30 e continuar Situacional, porque o ganho dela fica abaixo de +1.0; cada página diz qual critério ela não atinge. O braço de uma frase mostra se a skill supera colar a regra dela como uma linha; ele não entra na nota.

Cada página lista o que foi alterado depois do fato, por exemplo verificações que foram afrouxadas e repontuadas, execuções que não foram concluídas e skills testadas em um commit mais antigo.

Níveis

Cada skill é testada no Codex. Uma aprovação lá também vale para o Claude Code. Não copiamos esse resultado para outros agentes.

| Nível | Testado com | Uma aprovação também vale para | | ------------ | ----------- | ------------------------------ | | Agentes SOTA | Codex | Claude Code |

Um segundo nível, com um modelo mais barato (DeepSeek Flash), está sendo retestado e será adicionado quando terminar. Até lá, ele aparece como não testado.

A página de avaliação mostra os resultados lado a lado: arquivos, capturas de tela, trechos de antes e depois e vídeo com player. A geração de vídeo é uma categoria de nível superior.

Revisão de segurança

Cada skill também recebe uma revisão de segurança a partir da auditoria estática e do que a execução no sandbox realmente fez.

• Auditoria estática: o que o arquivo da skill pede que o agente faça.
• Permissões de risco: nomes sinalizados pela auditoria, como rede ou leituras fora do workspace.
• Rede e acesso a arquivos: o que observamos enquanto a skill rodava.
• Selo: Seguro, Atenção ou Inseguro. O mesmo selo aparece no card da lista.

O que é público

O veredito, as notas, a avaliação escrita e os resultados embutidos na página são públicos. Transcrições, arquivos de execução para download e a nota bruta de cada execução são Pro.

Como adicionar uma avaliação

Avaliações reais vêm do pipeline de teste. Veja o README para o layout do diretório. Uma avaliação permanece draft até que as execuções sejam reais.