grill-me (Matt Pocock)

Avaliação

Executamos o Codex CLI 0.166 (modelo gpt-6-astra, esforço de raciocínio baixo) em um projeto temporário novo a cada vez, com a skill instalada ou ausente, duas execuções por grupo e acesso à rede desligado. Usamos três tarefas. O controle sem skill recebeu o mesmo pedido formulado como “Grill me on this”. As saídas foram avaliadas de 0 a 5 às cegas (IDs embaralhados, sem indicação de qual grupo) segundo uma rubrica: entrevista em vez de aconselhar, as perguntas são específicas, a cobertura é ampla, é fácil responder, evita pular direto para um plano.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 20.6 / 30, veredito Situacional.

Veredicto: Situacional (20.6 / 30). Fonte: mattpocock/skills, fixado no commit 4ae2317. Instalação com npx skills@latest add mattpocock/skills --skill grill-me --skill grilling.

O que é

grill-me existe para testar a fundo um plano antes que você se comprometa com ele. Ao abrir o arquivo, você encontra algo estranho: todo o SKILL.md é uma linha, "Chame a ferramenta Skill com grilling." As instruções de verdade ficam em uma skill irmã chamada grilling. Essa skill pede que o agente entreviste você em rodadas. Cada rodada faz todas as perguntas cujos pré-requisitos estão resolvidos, numera-as e dá uma resposta recomendada redigida de modo que "sim" a aceite. Se uma pergunta precisar de um fato do ambiente, o agente deve procurá-lo em vez de perguntar a você.

Ambas as skills são somente de invocação explícita segundo seus metadados (disable-model-invocation, allow_implicit_invocation: false). Você digita $grill-me no Codex ou /grill-me no Claude Code.

Como testamos

Executamos o Codex CLI 0.166 (modelo gpt-6-astra, esforço de raciocínio baixo) em um projeto temporário novo a cada vez, com a skill instalada ou ausente, duas execuções por grupo e acesso à rede desligado. Usamos três tarefas:

1. $grill-me em uma ideia vaga (um app para reduzir o desperdício de comida em restaurantes).
2. $grill-me em um plano de engenharia arriscado (dividir um monólito Django em microsserviços no Kubernetes com quatro pessoas).
3. Um pedido em linguagem natural, "teste meu plano implacavelmente com perguntas" (pedir demissão para começar uma newsletter paga sobre trilhas), sem citar o nome da skill.

O controle sem skill recebeu o mesmo pedido formulado como "Me interrogue sobre isso". As saídas foram pontuadas de 0 a 5 às cegas (IDs embaralhados, sem pista de qual grupo), com uma rubrica: ele entrevista em vez de aconselhar, as perguntas são específicas, a cobertura é ampla, é fácil responder, evita pular direto para um plano.

O que aconteceu

A skill faz o que promete, sempre. Nas seis execuções de tratamento, o agente seguiu o ponteiro do stub, leu o arquivo grilling e produziu blocos numerados de perguntas ❓ com respostas recomendadas ➡️ (3 a 5 perguntas por execução). Nenhuma das seis execuções de controle produziu esse formato. Nossas verificações de formato passaram em todas as execuções de tratamento e falharam nos testes de formato em todas as execuções de controle.

O controle já era um entrevistador razoável. Sem a skill, o Codex fez de uma ou duas perguntas (tarefa da ideia vaga) até oito ou nove (tarefa de engenharia), às vezes em lista numerada, e muitas vezes insistiu nos mesmos pontos fracos. Na tarefa do plano de engenharia, o controle na verdade pontuou mais alto (4.5 vs. 4.0). Suas perguntas eram mais técnicas: "qual operação de cliente atualiza várias tabelas, e o que acontece quando um serviço tem sucesso e o outro dá timeout?", "quem depura uma falha de rede no Kubernetes às 3 da manhã?" As perguntas da skill eram mais amplas e formuladas como "Você vai...? Sim, porque...", o que as torna rápidas de responder, mas mais suaves. Na ideia vaga do restaurante, o controle fez apenas uma ou duas perguntas (média de 2.75) e a skill claramente ajudou (3.5). A média de todas as execuções foi 3.83 com a skill e 3.58 sem. Com duas execuções por célula, essa diferença está dentro do ruído.

Ela dispara de forma mais ampla do que anuncia. grill-me é somente explícita, mas grilling não é: sua descrição convida ao uso "quando o usuário... usar qualquer frase de gatilho 'grill'", e seus metadados não têm restrição. Na tarefa em linguagem natural (sem $grill-me), as duas execuções de tratamento leram a skill e responderam no formato ❓/➡️ mesmo assim. Se você instalar as duas e disser "teste meu plano implacavelmente", espere que ela dispare.

Custa tokens. Uma execução de tratamento usou cerca de 31.900 tokens contra 14.800 do controle (2.15x), e levou cerca de 40 segundos contra 21. A maior parte do extra é o turno adicional que o agente gasta lendo o segundo arquivo da skill. O valor absoluto é pequeno, mas a proporção é o motivo de ela marcar 1 de 5 em eficiência.

Notas de portabilidade

O stub nomeia a "ferramenta Skill", um conceito do Claude Code. O Codex não tem essa ferramenta; o modelo se recuperou lendo o arquivo pelo caminho, então funcionou aqui, mas um agente mais fraco pode não conseguir. Como grill-me depende de grilling, instalar uma sem a outra deixa você com um stub que não aponta para lugar nenhum ou com uma skill sem o atalho $grill-me.

Análise de segurança

Escaneamos e lemos todos os arquivos antes de executar qualquer coisa. Dois arquivos SKILL.md mais pequenos arquivos de metadados do agente, nenhum script, nenhuma URL, nenhum binário, nenhum caractere oculto, nada pedindo ao agente para ler segredos ou esconder algo do usuário. Licença MIT. Consulte security.md. Um scan limpo não prova que uma skill é segura, mas há muito pouco aqui que possa causar dano.

Pontuações

Para quem é

Se você gosta de receber um punhado de perguntas numeradas nas quais pode responder "sim" para aceitar um padrão sensato, grill-me oferece isso de forma confiável e sob demanda. Se você só quer que um agente inteligente aponte furos no seu plano, um prompt simples como "grill me on this" teve profundidade comparável nas nossas execuções, às vezes melhor, pela metade dos tokens. Trate a skill como preferência de formato, não como upgrade de capacidade.

Limites deste teste

Duas execuções por grupo por tarefa, um modelo com esforço de raciocínio baixo, três tarefas de um único turno. Uma sessão real de grill dura muitas rodadas, e vimos apenas a primeira. O nível do Codex cobre Codex e Claude Code segundo a regra do site.

Atualização (2 nov. 2026): grupo de uma frase adicionado

Terceiro grupo: sem skill, com uma frase anexada ("Me entreviste implacavelmente sobre cada aspecto deste plano, uma pergunta por vez, percorrendo cada ramo da árvore de decisão e dando sua resposta recomendada para cada pergunta... não comece a construir."). 6 execuções, em uma máquina Windows, rede desligada, pontuadas às cegas com a mesma rubrica.

A frase segue a instrução ao pé da letra: cada execução faz exatamente uma pergunta e oferece uma resposta recomendada, com custo próximo ao do controle (16k tokens, metade dos 32k da skill). Essa também é sua fraqueza: as rodadas de 3-5 perguntas numeradas da skill cobrem mais ramos por turno, e duas das três execuções em linguagem natural começaram com um veredicto ("peça demissão somente se...") antes de perguntar, o que a rubrica penaliza. Ganho da skill sobre a frase única: +0.33, dentro do ruído, com 2.0x os tokens. Se você só quer uma pergunta por vez com uma resposta sugerida, a frase basta.