grill-me (Matt Pocock)

Avis

Nous avons exécuté Codex CLI 0.166 (modèle gpt-6-astra, faible effort de raisonnement) dans un projet temporaire neuf à chaque fois, avec le skill installé ou absent, deux exécutions par groupe, accès réseau coupé. Nous avons utilisé trois tâches : le contrôle sans skill recevait la même demande formulée « Grill me on this ». Les sorties ont été notées de 0 à 5 en aveugle (identifiants mélangés, aucune indication du groupe) selon une grille : mène-t-il un entretien plutôt que de conseiller, les questions sont-elles précises, la couverture est-elle large, est-il facile d'y répondre, évite-t-il de sauter directement à un plan.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 20.6 / 30, verdict Selon les cas.

Verdict : Selon le cas (20.6 / 30). Source : mattpocock/skills, épinglé au commit 4ae2317. S’installe avec npx skills@latest add mattpocock/skills --skill grill-me --skill grilling.

Présentation

grill-me est censé mettre un plan à l’épreuve avant que vous ne vous engagiez. En ouvrant le fichier, on découvre quelque chose d’étrange : tout le SKILL.md tient en une ligne, « Call the Skill tool with grilling. » Les vraies instructions se trouvent dans un skill voisin nommé grilling. Ce skill demande à l’agent de vous interroger par séries. Chaque série pose toutes les questions dont les prérequis sont réglés, les numérote et propose une réponse recommandée formulée de façon qu’un « oui » l’accepte. Si une question a besoin d’un fait tiré de l’environnement, l’agent doit aller le chercher au lieu de vous le demander.

Les deux skills sont à invocation explicite uniquement d’après leurs métadonnées (disable-model-invocation, allow_implicit_invocation: false). Vous tapez $grill-me dans Codex ou /grill-me dans Claude Code.

Méthode de test

Nous avons exécuté Codex CLI 0.166 (modèle gpt-6-astra, effort de raisonnement faible) dans un projet temporaire neuf à chaque fois, le skill installé ou absent, deux exécutions par groupe, accès réseau désactivé. Trois tâches :

1. $grill-me sur une idée floue (une application pour réduire le gaspillage alimentaire en restauration).
2. $grill-me sur un plan d’ingénierie risqué (scinder un monolithe Django en microservices Kubernetes avec quatre personnes).
3. Une demande en langage courant, « mets mon plan à l’épreuve sans relâche avec des questions » (quitter son emploi pour lancer une newsletter de randonnée payante), sans nommer le skill.

Le groupe témoin sans skill a reçu la même demande formulée « Grill me on this ». Les sorties ont été notées de 0 à 5 à l’aveugle (identifiants mélangés, aucune indication du groupe) selon une grille : interroge-t-il plutôt qu’il ne conseille, les questions sont-elles précises, la couverture est-elle large, est-il facile d’y répondre, évite-t-il de sauter directement à un plan.

Ce qui s’est passé

Le skill fait ce qu’il annonce, à chaque fois. Dans les six exécutions avec skill, l’agent a suivi le pointeur du stub, lu le fichier grilling et produit des blocs de questions numérotées ❓ avec des réponses recommandées ➡️ (3 à 5 questions par exécution). Aucune des six exécutions témoins n’a produit ce format. Nos vérifications de format ont réussi dans toutes les exécutions avec skill et échoué dans toutes les exécutions témoins.

Le témoin était déjà un intervieweur correct. Sans le skill, Codex posait entre une et deux questions (tâche de l’idée floue) et jusqu’à huit ou neuf (tâche d’ingénierie), parfois sous forme de liste numérotée, et insistait souvent sur les mêmes points faibles. Sur la tâche du plan d’ingénierie, le témoin a même obtenu un meilleur score (4.5 contre 4.0). Ses questions étaient plus techniques : « quelle opération client met à jour plusieurs tables, et que se passe-t-il quand un service réussit et que l’autre expire ? », « qui débogue une panne réseau Kubernetes à 3 h du matin ? » Les questions du skill étaient plus larges et formulées « Allez-vous ... ? Oui, parce que ... », ce qui les rend rapides à répondre mais plus conciliantes. Sur l’idée floue de restaurant, le témoin n’a posé qu’une ou deux questions (2.75 en moyenne) et le skill a clairement aidé (3.5). La moyenne sur toutes les exécutions était de 3.83 avec le skill et de 3.58 sans. Avec deux exécutions par cellule, cet écart est dans le bruit.

Il se déclenche plus largement qu’annoncé. grill-me est à invocation explicite uniquement, mais grilling ne l’est pas : sa description invite à l’utiliser « lorsque l’utilisateur ... emploie l’une des expressions déclencheuses contenant "grill" », et ses métadonnées n’imposent aucune restriction. Dans la tâche en langage courant (sans $grill-me), les deux exécutions avec skill ont lu le skill et répondu au format ❓/➡️ malgré tout. Si vous installez les deux et dites « mets mon plan à l’épreuve », attendez-vous à ce qu’il se déclenche.

Il coûte des tokens. Une exécution avec skill a utilisé environ 31,900 tokens contre 14,800 pour le témoin (2.15x), et a pris environ 40 secondes contre 21. L’essentiel du surcoût vient du tour supplémentaire que l’agent passe à lire le second fichier de skill. Le montant absolu est faible, mais c’est le ratio qui lui vaut 1 sur 5 en efficacité.

Notes de portabilité

Le stub nomme le « Skill tool », un concept propre à Claude Code. Codex n’a pas un tel outil ; le modèle s’en est sorti en lisant le fichier par son chemin, donc cela a fonctionné ici, mais un agent plus faible pourrait échouer. Comme grill-me dépend de grilling, installer l’un sans l’autre vous donne soit un stub qui ne pointe nulle part, soit un skill sans raccourci $grill-me.

Revue de sécurité

Nous avons scanné et lu chaque fichier avant de lancer quoi que ce soit. Deux fichiers SKILL.md plus de petits fichiers de métadonnées d’agent, aucun script, aucune URL, aucun binaire, aucun caractère caché, rien qui demande à l’agent de lire des secrets ou de cacher quoi que ce soit à l’utilisateur. Sous licence MIT. Voir security.md. Un scan propre ne prouve pas qu’un skill est sûr, mais il y a très peu de choses ici qui pourraient faire du mal.

Scores

À qui s’adresse ce skill

Si vous aimez qu’on vous pose une poignée de questions numérotées auxquelles vous pouvez répondre « oui » pour accepter une valeur par défaut raisonnable, grill-me vous l’offre de manière fiable et à la demande. Si vous voulez simplement qu’un agent intelligent cherche les failles de votre plan, un prompt simple comme « grill me on this » a obtenu une profondeur comparable dans nos exécutions, parfois meilleure, pour la moitié des tokens. Considérez-le comme une préférence de format plutôt qu’un gain de capacité.

Limites de ce test

Deux exécutions par groupe et par tâche, un modèle à faible effort de raisonnement, trois tâches en un seul tour. Une vraie session de grillage dure de nombreux tours, et nous n’avons vu que le premier. Le palier Codex couvre Codex et Claude Code selon la règle du site.

Mise à jour (2 nov. 2026) : ajout du groupe « prompt en une phrase »

Troisième groupe : sans skill, avec une phrase ajoutée (« Interroge-moi sans relâche sur chaque aspect de ce plan, une question à la fois, en parcourant chaque branche de l’arbre de décision et en donnant ta réponse recommandée pour chaque question ... ne commence pas à construire. »). 6 exécutions, sur une machine Windows, réseau désactivé, notées à l’aveugle avec la même grille.

La phrase suit l’instruction à la lettre : chaque exécution pose exactement une question et propose une réponse recommandée, pour un coût proche du témoin (16k tokens, la moitié des 32k du skill). C’est aussi sa faiblesse : les séries de 3-5 questions numérotées du skill couvrent plus de branches par tour, et deux des trois exécutions en langage courant ont ouvert par un verdict (« fais du départ conditionné à ... ») avant de poser des questions, ce que la grille pénalise. Gain du skill sur le prompt en une phrase : +0.33, dans le bruit, pour 2.0x les tokens. Si vous ne voulez qu’une question à la fois avec une réponse suggérée, la phrase suffit.