grill-me (Matt Pocock)

Reseña

Ejecutamos Codex CLI 0.166 (modelo gpt-6-astra, esfuerzo de razonamiento bajo) en un proyecto temporal nuevo cada vez, con la skill instalada o ausente, dos ejecuciones por grupo y sin acceso a red. Usamos tres tareas: el grupo de control sin skill recibió la misma petición formulada como «Interrógame sobre esto». Las salidas se puntuaron de 0 a 5 a ciegas (IDs barajados, sin pistas de qué grupo) con una rúbrica: si entrevista en lugar de aconsejar, si las preguntas son concretas, si la cobertura es amplia, si es fácil de responder y si evita saltar a un plan.

Comparación de tres ramas

Medido con Codex CLI en 18 ejecuciones, puntuado con comprobaciones basadas en reglas y sin juez LLM. Total 20.6 / 30, veredicto Según el caso.

Veredicto: Situacional (20.6 / 30). Fuente: mattpocock/skills, fijado en el commit 4ae2317. Se instala con npx skills@latest add mattpocock/skills --skill grill-me --skill grilling.

Qué es

grill-me está pensado para someter un plan a presión antes de comprometerte con él. Al mirar el archivo encuentras algo raro: todo el SKILL.md es una línea, «Llama a la herramienta Skill con grilling». Las instrucciones reales viven en un skill hermano llamado grilling. Ese skill pide al agente que te entreviste por rondas. Cada ronda plantea todas las preguntas cuyos requisitos previos están resueltos, las numera y da una respuesta recomendada redactada de modo que «sí» la acepte. Si una pregunta necesita un dato del entorno, el agente debe buscarlo en lugar de preguntártelo.

Según sus metadatos, ambos skills solo se invocan de forma explícita (disable-model-invocation, allow_implicit_invocation: false). Escribes $grill-me en Codex o /grill-me en Claude Code.

Cómo lo probamos

Ejecutamos Codex CLI 0.166 (modelo gpt-6-astra, esfuerzo de razonamiento bajo) en un proyecto temporal nuevo cada vez, con el skill instalado o ausente, dos ejecuciones por grupo y acceso a la red desactivado. Usamos tres tareas:

1. $grill-me sobre una idea vaga (una app para reducir el desperdicio de comida en restaurantes).
2. $grill-me sobre un plan de ingeniería arriesgado (dividir un monolito Django en microservicios Kubernetes con cuatro personas).
3. Una petición en lenguaje llano, «somete mi plan a presión sin piedad con preguntas» (dejar el trabajo para lanzar un boletín de senderismo de pago), sin nombrar ningún skill.

El control sin skill recibió la misma petición formulada como «Grill me on this». Las salidas se puntuaron de 0 a 5 a ciegas (IDs barajados, sin pista de qué grupo era) con una rúbrica: ¿entrevista en lugar de aconsejar?, ¿las preguntas son concretas?, ¿la cobertura es amplia?, ¿es fácil responder?, ¿evita saltar a un plan?

Qué ocurrió

El skill hace lo que dice, siempre. En las seis ejecuciones con skill, el agente siguió el puntero del stub, leyó el archivo grilling y produjo bloques de preguntas numeradas ❓ con respuestas recomendadas ➡️ (de 3 a 5 preguntas por ejecución). Ninguna de las seis ejecuciones de control produjo ese formato. Nuestras comprobaciones de formato pasaron en todas las ejecuciones con skill y fallaron los tests de formato en todas las de control.

El control ya era un entrevistador decente. Sin el skill, Codex hacía desde una o dos preguntas (tarea de la idea vaga) hasta ocho o nueve (tarea de ingeniería), a veces como lista numerada, y a menudo insistía en los mismos puntos débiles. En la tarea del plan de ingeniería, el control puntuó de hecho más alto (4.5 vs 4.0). Sus preguntas eran más técnicas: «¿qué operación de cliente actualiza varias tablas, y qué pasa cuando un servicio tiene éxito y el otro se agota?», «¿quién depura un fallo de red de Kubernetes a las 3 de la madrugada?». Las preguntas del skill eran más amplias y estaban formuladas como «¿Harás...? Sí, porque...», lo que las hace rápidas de responder pero más blandas. Con la idea vaga del restaurante, el control solo hizo una o dos preguntas (2.75 de media) y el skill ayudó claramente (3.5). La media de todas las ejecuciones fue 3.83 con el skill y 3.58 sin él. Con dos ejecuciones por celda, esa diferencia está dentro del ruido.

Se activa más de lo que anuncia. grill-me solo se invoca de forma explícita, pero grilling no: su descripción invita a usarlo «cuando el usuario... use cualquier frase de activación con "grill"», y sus metadatos no tienen restricción. En la tarea en lenguaje llano (sin $grill-me), ambas ejecuciones con skill leyeron el skill y respondieron igualmente en formato ❓/➡️. Si instalas los dos y dices «somete mi plan a presión», espera que se active.

Cuesta tokens. Una ejecución con skill usó unos 31,900 tokens frente a 14,800 del control (2.15x), y tardó unos 40 segundos frente a 21. La mayor parte del extra es el turno adicional que el agente dedica a leer el segundo archivo del skill. La cantidad absoluta es pequeña, pero la proporción es la razón de que puntúe 1 de 5 en eficiencia.

Notas de portabilidad

El stub nombra la «herramienta Skill», que es un concepto de Claude Code. Codex no tiene esa herramienta; el modelo se recuperó leyendo el archivo por ruta, así que funcionó aquí, pero un agente más débil podría no hacerlo. Como grill-me depende de grilling, instalar uno sin el otro te deja o un stub que no apunta a nada o un skill sin el atajo $grill-me.

Revisión de seguridad

Escaneamos y leímos cada archivo antes de ejecutar nada. Dos archivos SKILL.md y unos pequeños archivos de metadatos de agente, sin scripts, sin URLs, sin binarios, sin caracteres ocultos, nada que pida al agente leer secretos u ocultar algo al usuario. Licencia MIT. Véase security.md. Un escaneo limpio no demuestra que un skill sea seguro, pero aquí hay muy poco que pueda hacer daño.

Puntuaciones

Para quién es

Si te gusta que te hagan un puñado de preguntas numeradas en las que puedes responder «sí» para aceptar una opción sensata, grill-me te lo da de forma fiable y bajo demanda. Si solo quieres que un agente listo haga agujeros en tu plan, un prompt simple como «grill me on this» consiguió una profundidad comparable en nuestras ejecuciones, a veces mejor, por la mitad de tokens. Trátalo como una preferencia de formato, no como una mejora de capacidad.

Límites de esta prueba

Dos ejecuciones por grupo y tarea, un modelo con esfuerzo de razonamiento bajo, tres tareas de un solo turno. Una sesión de grill real dura muchas rondas, y nosotros solo vimos la primera. El nivel de Codex cubre Codex y Claude Code según la regla del sitio.

Actualización (2 nov 2026): se añade el grupo de una frase

Tercer grupo: sin skill, con una frase añadida («Entrevístame sin piedad sobre cada aspecto de este plan, una pregunta a la vez, recorriendo cada rama del árbol de decisiones y dando tu respuesta recomendada para cada pregunta... no empieces a construir.»). 6 ejecuciones, en una máquina Windows, red desactivada, puntuadas a ciegas con la misma rúbrica.

La frase sigue la instrucción al pie de la letra: cada ejecución hace exactamente una pregunta y ofrece una respuesta recomendada, con un coste parecido al del control (16k tokens, la mitad de los 32k del skill). Esa es también su debilidad: las rondas de 3-5 preguntas numeradas del skill cubren más ramas por turno, y dos de las tres ejecuciones en lenguaje llano abrieron con un veredicto («haz que dejar el trabajo dependa de...») antes de preguntar, lo que la rúbrica penaliza. Mejora del skill frente a la frase: +0.33, dentro del ruido, con 2.0x los tokens. Si solo quieres una pregunta a la vez con una respuesta sugerida, la frase basta.