grill-me (Matt Pocock)

Bewertung

Wir haben Codex CLI 0.166 (Modell gpt-6-astra, geringer Reasoning-Aufwand) jeweils in einem frischen temporären Projekt ausgeführt, mit installiertem oder fehlendem Skill, zwei Läufe pro Gruppe, Netzwerkzugriff aus. Wir nutzten drei Aufgaben: Die Kontrollgruppe ohne Skill erhielt dieselbe Anfrage in der Formulierung „Grill me on this“. Die Ergebnisse wurden blind (gemischte IDs, kein Hinweis auf die Gruppe) von 0 bis 5 anhand eines Kriterienkatalogs bewertet: Wird interviewt statt beraten, sind die Fragen konkret, ist die Abdeckung breit, ist es leicht zu beantworten, wird vermieden, vorschnell zu einem Plan zu springen.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 20.6 / 30, Urteil Situativ.

Urteil: Situativ (20.6 / 30). Quelle: mattpocock/skills, gepinnt auf Commit 4ae2317. Installation mit npx skills@latest add mattpocock/skills --skill grill-me --skill grilling.

Worum es geht

grill-me soll einen Plan stress-testen, bevor man sich darauf festlegt. Ein Blick in die Datei zeigt etwas Merkwürdiges: Die gesamte SKILL.md besteht aus einer Zeile: „Rufe das Skill-Tool mit grilling auf.“ Die eigentlichen Anweisungen liegen in einem Schwester-Skill namens grilling. Dieser Skill fordert den Agenten auf, Sie in Runden zu interviewen. Jede Runde stellt alle Fragen, deren Voraussetzungen geklärt sind, nummeriert sie und gibt eine empfohlene Antwort, die so formuliert ist, dass „ja“ sie annimmt. Braucht eine Frage einen Fakt aus der Umgebung, soll der Agent ihn nachschlagen, statt Sie zu fragen.

Beide Skills sind laut ihren Metadaten nur explizit aufrufbar (disable-model-invocation, allow_implicit_invocation: false). In Codex tippen Sie $grill-me, in Claude Code /grill-me.

So haben wir getestet

Wir haben Codex CLI 0.166 (Modell gpt-6-astra, niedriger Reasoning-Aufwand) jedes Mal in einem frischen temporären Projekt ausgeführt, mit installiertem oder fehlendem Skill, zwei Läufen pro Gruppe, ohne Netzwerkzugriff. Wir verwendeten drei Aufgaben:

1. $grill-me zu einer vagen Idee (eine App gegen Lebensmittelverschwendung in Restaurants).
2. $grill-me zu einem riskanten Engineering-Plan (einen Django-Monolithen mit vier Personen in Kubernetes-Microservices aufteilen).
3. Eine schlichte Anfrage in Alltagssprache: „Nimm meinen Plan schonungslos mit Fragen auseinander“ (Job kündigen, um einen bezahlten Wander-Newsletter zu starten), ohne den Skill-Namen.

Die Kontrolle ohne Skill erhielt dieselbe Anfrage als „Grill mich dazu“. Die Ausgaben wurden blind mit 0 bis 5 bewertet (gemischte IDs, kein Hinweis auf die Gruppe) anhand einer Rubrik: Interviewt der Agent, statt zu beraten? Sind die Fragen konkret? Ist die Abdeckung breit? Sind sie leicht zu beantworten? Vermeidet er den Sprung zu einem Plan?

Was passiert ist

Der Skill tut, was er verspricht – jedes Mal. In allen sechs Skill-Läufen folgte der Agent dem Zeiger im Stub, las die Datei grilling und erzeugte nummerierte ❓-Fragenblöcke mit ➡️-empfohlenen Antworten (3 bis 5 Fragen pro Lauf). Keiner der sechs Kontroll-Läufe erzeugte dieses Format. Unsere Formatprüfungen bestanden in jedem Skill-Lauf und scheiterten in jedem Kontroll-Lauf.

Die Kontrolle war bereits ein ordentlicher Interviewer. Ohne den Skill stellte Codex – je nach Aufgabe – ein oder zwei Fragen (Aufgabe mit der vagen Idee) bis acht oder neun (Engineering-Aufgabe), manchmal als nummerierte Liste, und hakte oft an denselben Schwachstellen nach. Bei der Engineering-Plan-Aufgabe schnitt die Kontrolle sogar besser ab (4.5 vs. 4.0). Ihre Fragen waren technischer: „Welche Kundenoperation aktualisiert mehrere Tabellen, und was passiert, wenn ein Service erfolgreich ist und der andere in einen Timeout läuft?“, „Wer debuggt um 3 Uhr morgens einen Kubernetes-Netzwerkfehler?“ Die Fragen des Skills waren breiter und als „Willst du …? Ja, weil …“ formuliert, was sie schnell beantwortbar, aber weicher macht. Bei der vagen Restaurant-Idee stellte die Kontrolle nur ein oder zwei Fragen (2.75 im Schnitt), und der Skill half deutlich (3.5). Der Mittelwert über alle Läufe lag bei 3.83 mit dem Skill und 3.58 ohne. Bei zwei Läufen pro Zelle liegt diese Lücke im Rauschen.

Er wird breiter ausgelöst als angekündigt. grill-me ist nur explizit aufrufbar, grilling jedoch nicht: Seine Beschreibung lädt zur Nutzung ein, „wenn der Nutzer … beliebige ‚Grill‘-Auslöseformulierungen verwendet“, und seine Metadaten haben keine Einschränkung. Bei der schlichten Aufgabe (ohne $grill-me) lasen beide Skill-Läufe den Skill und antworteten trotzdem im ❓/➡️-Format. Wenn Sie beide installieren und „Nimm meinen Plan auseinander“ sagen, rechnen Sie damit, dass er auslöst.

Er kostet Tokens. Ein Skill-Lauf verbrauchte etwa 31,900 Tokens gegenüber 14,800 für die Kontrolle (2.15x) und brauchte etwa 40 Sekunden gegenüber 21 Sekunden. Der Großteil des Zusatzes ist der zusätzliche Turn, den der Agent zum Lesen der zweiten Skill-Datei aufwendet. Die absolute Menge ist klein, aber das Verhältnis ist der Grund für 1 von 5 Punkten bei der Effizienz.

Hinweise zur Portabilität

Der Stub nennt das „Skill tool“, ein Claude-Code-Konzept. Codex hat kein solches Tool; das Modell half sich, indem es die Datei über den Pfad las, was hier funktionierte, ein schwächerer Agent könnte es aber nicht. Da grill-me von grilling abhängt, bekommen Sie durch die Installation nur eines der beiden entweder einen Stub, der nirgendwohin zeigt, oder einen Skill ohne $grill-me-Shortcut.

Sicherheitsprüfung

Wir haben jede Datei gescannt und gelesen, bevor wir etwas ausgeführt haben. Zwei SKILL.md-Dateien plus kleine Agent-Metadatendateien, keine Skripte, keine URLs, keine Binärdateien, keine versteckten Zeichen, nichts, was den Agenten auffordert, Geheimnisse zu lesen oder etwas vor dem Nutzer zu verbergen. MIT-lizenziert. Siehe security.md. Ein sauberer Scan beweist nicht, dass ein Skill sicher ist, aber hier gibt es sehr wenig, was Schaden anrichten könnte.

Bewertungen

Wer es nutzen sollte

Wenn Sie es mögen, eine Handvoll nummerierter Fragen gestellt zu bekommen, bei denen Sie mit „ja“ eine sinnvolle Voreinstellung annehmen können, liefert grill-me das zuverlässig und auf Abruf. Wenn Sie nur möchten, dass ein kluger Agent Löcher in Ihren Plan reißt, erreichte ein schlichter Prompt wie „Nimm meinen Plan auseinander“ in unseren Läufen vergleichbare Tiefe, manchmal bessere, bei halb so vielen Tokens. Betrachten Sie es als Formatvorliebe, nicht als Fähigkeits-Upgrade.

Grenzen dieses Tests

Zwei Läufe pro Gruppe und Aufgabe, ein Modell mit niedrigem Reasoning-Aufwand, drei Single-Turn-Aufgaben. Eine echte Grill-Session dauert viele Runden, und wir sahen nur die erste. Die Codex-Stufe deckt nach der Regel der Website Codex und Claude Code ab.

Update (2. Nov. 2026): Ein-Satz-Gruppe ergänzt

Dritte Gruppe: kein Skill, mit einem angehängten Satz („Interview mich schonungslos zu jedem Aspekt dieses Plans, eine Frage nach der anderen, entlang jedes Zweigs des Entscheidungsbaums, und gib zu jeder Frage eine empfohlene Antwort … fang nicht mit dem Bauen an.“). 6 Läufe auf einem Windows-Rechner, Netzwerk aus, blind mit derselben Rubrik bewertet.

Der eine Satz folgt der Anweisung wörtlich: Jeder Lauf stellt genau eine Frage und bietet eine empfohlene Antwort, zu ungefähr den Kosten der Kontrolle (16k Tokens, halb so viel wie die 32k des Skills). Das ist auch seine Schwäche: Die Runden des Skills mit 3-5 nummerierten Fragen decken pro Turn mehr Zweige ab, und zwei der drei schlichten Läufe begannen mit einem Urteil („Mach die Kündigung davon abhängig, dass …“), bevor sie fragten, was die Rubrik negativ wertet. Gewinn des Skills gegenüber der Ein-Satz-Version: +0.33, innerhalb des Rauschens, mit 2.0x so vielen Tokens. Wenn Sie nur jeweils eine Frage mit vorgeschlagener Antwort möchten, reicht der Satz.