grill-me (Matt Pocock)

리뷰

Codex CLI 0.166 (모델 gpt-6-astra, low reasoning effort)을 매번 새 임시 프로젝트에서 실행했고, 스킬 설치·미설치 두 그룹으로 나눠 그룹당 2회 실행했습니다. 네트워크는 껐습니다. 과제는 세 가지입니다. 스킬 없는 대조군에는 같은 요청을 'Grill me on this'로 표현해 전달했습니다. 출력은 0~5점으로 블라인드 채점했습니다(ID를 섞고 어느 그룹인지 알리지 않음). 채점 기준은 다음과 같습니다: 조언이 아니라 인터뷰를 하는가, 질문이 구체적인가, 범위가 넓은가, 답하기 쉬운가, 계획으로 성급히 건너뛰지 않는가.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 20.6 / 30, 판정 상황에 따라.

판정: 상황에 따라 (20.6 / 30). 출처: mattpocock/skills, 커밋 4ae2317에 고정. npx skills@latest add mattpocock/skills --skill grill-me --skill grilling로 설치합니다.

무엇인가

grill-me는 계획을 확정하기 전에 스트레스 테스트하도록 만든 스킬입니다. 파일을 열어 보면 이상한 점이 있습니다. SKILL.md 전체가 "Call the Skill tool with grilling." 한 줄입니다. 실제 지침은 grilling이라는 형제 스킬에 들어 있습니다. 이 스킬은 에이전트에게 여러분을 라운드 단위로 인터뷰하라고 합니다. 각 라운드에서는 전제 조건이 정리된 모든 질문을 던지고, 번호를 매기고, "예"라고 답하면 받아들여지도록 표현한 권장 답변을 제시합니다. 질문에 환경에서 확인해야 할 사실이 필요하면 여러분에게 묻는 대신 에이전트가 직접 찾아보아야 합니다.

메타데이터(disable-model-invocation, allow_implicit_invocation: false)에 따르면 두 스킬 모두 명시적으로 호출할 때만 실행됩니다. Codex에서는 $grill-me, Claude Code에서는 /grill-me를 입력합니다.

테스트 방법

Codex CLI 0.166(모델 gpt-6-astra, 낮은 추론 강도)을 매번 새 임시 프로젝트에서 실행했고, 스킬을 설치한 경우와 없는 경우로 나눠 군당 두 번, 네트워크를 끈 상태로 진행했습니다. 세 가지 작업을 사용했습니다.

1. 막연한 아이디어(식당 음식물 쓰레기를 줄이는 앱)에 $grill-me 적용.
2. 위험한 엔지니어링 계획(네 명으로 Django 모놀리스를 Kubernetes 마이크로서비스로 분할)에 $grill-me 적용.
3. 스킬 이름 없이 평범한 영어로 "내 계획을 질문으로 철저히 스트레스 테스트해 줘"(직장을 그만두고 유료 하이킹 뉴스레터 시작)라고 요청.

스킬 없는 대조군에는 같은 요청을 "Grill me on this"로 표현해 주었습니다. 출력은 0~5점으로 블라인드 채점했습니다(ID를 섞고 어느 군인지 알리지 않음). 평가 기준은 조언이 아니라 인터뷰를 하는가, 질문이 구체적인가, 범위가 넓은가, 답하기 쉬운가, 계획으로 성급히 건너뛰지 않는가였습니다.

무슨 일이 있었나

스킬은 매번 말한 대로 작동했습니다. 스킬 사용군 6회 모두 에이전트가 스텁의 안내를 따라 grilling 파일을 읽고, 번호가 붙은 ❓ 질문 블록과 ➡️ 권장 답변을 만들었습니다(실행당 3~5개 질문). 대조군 6회 중 어느 실행도 그 형식을 만들지 못했습니다. 형식 검사는 스킬 사용군의 모든 실행에서 통과했고 대조군의 모든 실행에서 실패했습니다.

대조군도 이미 괜찮은 인터뷰어였습니다. 스킬이 없어도 Codex는 막연한 아이디어 작업에서 한두 개, 엔지니어링 작업에서 여덟아홉 개까지 질문했고, 때로는 번호 목록으로 제시했으며, 같은 약점을 자주 파고들었습니다. 엔지니어링 계획 작업에서는 대조군이 실제로 더 높은 점수(4.5 vs 4.0)를 받았습니다. 질문이 더 기술적이었습니다. "여러 테이블을 갱신하는 고객 작업은 무엇이고, 한 서비스는 성공하고 다른 서비스는 타임아웃되면 어떻게 되나요?", "새벽 3시에 Kubernetes 네트워킹 장애를 누가 디버깅하나요?" 스킬의 질문은 더 넓었고 "Will you ...? Yes, because ..." 형식이라 답하기는 빠르지만 부드러웠습니다. 막연한 식당 아이디어에서는 대조군이 한두 개 질문만 했고(평균 2.75) 스킬이 분명히 도움이 되었습니다(3.5). 전체 실행 평균은 스킬 사용 3.83, 스킬 없음 3.58이었습니다. 셀당 두 번 실행에서는 이 차이가 노이즈 범위 안입니다.

광고한 것보다 넓게 트리거됩니다. grill-me는 명시적 호출 전용이지만 grilling은 아닙니다. 설명문이 "사용자가 ... 'grill' 트리거 문구를 쓸 때" 사용을 권하고 메타데이터에는 제한이 없습니다. 평범한 영어 작업($grill-me 없음)에서도 스킬 사용군 두 실행 모두 스킬을 읽고 ❓/➡️ 형식으로 답했습니다. 둘 다 설치하고 "stress-test my plan"이라고 말하면 실행될 것으로 예상하세요.

토큰이 듭니다. 스킬 사용 실행은 약 31,900 토큰으로 대조군 14,800의 2.15배였고, 시간은 약 40초로 21초보다 길었습니다. 추가 비용의 대부분은 에이전트가 두 번째 스킬 파일을 읽는 데 쓰는 추가 턴입니다. 절대량은 작지만, 이 비율 때문에 효율성에서 5점 중 1점을 받았습니다.

이식성 관련 참고

스텁은 "Skill tool"을 언급하는데, 이는 Claude Code의 개념입니다. Codex에는 그런 도구가 없습니다. 모델이 경로로 파일을 읽어 복구했기 때문에 여기서는 작동했지만, 더 약한 에이전트는 실패할 수 있습니다. grill-me는 grilling에 의존하므로 하나만 설치하면 아무것도 가리키지 않는 스텁이나 $grill-me 단축키가 없는 스킬을 얻게 됩니다.

안전성 검토

무엇이든 실행하기 전에 모든 파일을 스캔하고 읽었습니다. SKILL.md 두 개와 작은 에이전트 메타데이터 파일뿐이며, 스크립트, URL, 바이너리, 숨은 문자는 없고, 에이전트에게 비밀을 읽거나 사용자에게 무언가를 숨기라고 요구하는 내용도 없습니다. MIT 라이선스입니다. security.md를 참고하세요. 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않지만, 여기에는 해를 끼칠 수 있는 것이 거의 없습니다.

점수

누가 쓰면 좋을까

번호가 붙은 몇 개의 질문을 받고, 합리적인 기본값을 받아들이려면 "예"라고 답하는 방식을 좋아한다면 grill-me가 원할 때 안정적으로 그런 경험을 제공합니다. 그저 똑똑한 에이전트가 계획의 허점을 찔러 주길 원한다면 "grill me on this" 같은 평범한 프롬프트가 이번 실행에서 비슷한 깊이, 때로는 더 나은 결과를 절반의 토큰으로 냈습니다. 이 스킬은 성능 업그레이드가 아니라 형식 선호로 보세요.

이 테스트의 한계

작업·군당 두 번 실행, 낮은 추론 강도의 모델 하나, 단일 턴 작업 세 개입니다. 실제 grilling 세션은 여러 라운드로 이어지지만 저희는 첫 라운드만 보았습니다. 사이트 규칙에 따라 Codex 티어는 Codex와 Claude Code를 커버합니다.

업데이트(2026년 11월 2일): 한 문장 프롬프트군 추가

세 번째 군: 스킬 없이 다음 한 문장을 덧붙였습니다("이 계획의 모든 측면에 대해 집요하게 인터뷰해 주세요. 한 번에 질문 하나씩, 의사결정 트리의 각 가지를 따라 내려가며 각 질문에 권장 답변을 제시하세요 ... 구축을 시작하지 마세요."). 6회 실행, Windows 머신, 네트워크 차단, 같은 기준으로 블라인드 채점.

그 한 문장은 지시를 문자 그대로 따랐습니다. 모든 실행이 정확히 질문 하나를 던지고 권장 답변을 제시했으며, 비용은 대조군과 비슷했습니다(16k 토큰, 스킬의 32k의 절반). 이것이 약점이기도 합니다. 스킬의 3~5개 번호 질문 라운드는 턴당 더 많은 가지를 다루고, 평범한 영어로 요청한 세 실행 중 두 개는 질문 전에 판정("퇴사를 ...에 조건부로")으로 시작해 평가 기준에서 감점되었습니다. 한 문장 프롬프트 대비 스킬의 이득: +0.33, 노이즈 범위, 토큰은 2.0배. 한 번에 질문 하나와 제안 답변만 원한다면 그 한 문장으로 충분합니다.