brainstorming (obra/superpowers)

리뷰

Codex CLI 0.166 (gpt-6-astra, low reasoning)을 Mac 테스트 머신에서 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬 설치(스킬 사용군), 미설치(대조군), 미설치 상태에서 스킬의 핵심 요구사항만 한 문장으로 압축해 프롬프트에 덧붙인 경우(한 문장 프롬프트군)로 나눴으며, 과제·그룹당 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 언급하지 않았습니다(아래에 적은 경우 제외). 프롬프트는 빈 폴더에서 던지는 한 줄짜리 모호한 요청입니다('내 웹 앱에 다크 모드를 추가해 줘', '발표 자료 작성을 도와줘', '지출을 추적하는 작은 CLI를 만들어 보자'). 검사 항목은 과정입니다. 에이전트가 작업을 멈추고 짧은 답변으로 질문 1~3개를 던졌는지, 코드는 작성하지 않았는지입니다.

3개 그룹 비교

Codex CLI에서 18회 실행해 측정했고, LLM 심사 없이 규칙 기반 검사로 채점했습니다. 총점 27.7 / 30, 판정 추천.

판정: 추천 (27.7 / 30). 출처: obra/superpowers, skills/brainstorming, 커밋 2ce8aa1에 고정. 설치: npx skills@latest add obra/superpowers --skill brainstorming. 라이선스: MIT(저장소 LICENSE).

무엇인가

obra/superpowers의 brainstorming 스킬은 '어떤 창작 작업이든 하기 전에 반드시 이것을 사용해야 한다'고 말합니다. 소프트웨어든 아니든 마찬가지입니다. 약 2,400단어의 Markdown으로, 콘텍스트를 읽고, 사용자가 실제로 무엇을 왜 원하는지 묻고(한 번에 질문 하나), 트레이드오프를 곁들인 접근법 2~3개를 제안하고, 무엇이든 만들기 전에 설계를 승인받으라고 안내합니다. 선택 사항인 비주얼 컴패니언 서버(목업을 보여 주는 작은 로컬 웹 서버)와 리뷰어 프롬프트도 포함합니다. 그 서버를 위한 도우미 스크립트도 몇 개 있습니다.

테스트 방법

Mac 테스트 머신에서 Codex CLI 0.166(gpt-6-astra, 낮은 추론)을 실행했고, 실행마다 새 임시 프로젝트와 임시 HOME/TMPDIR/캐시를 사용했습니다. 스킬을 설치한 경우(스킬 사용군), 설치하지 않은 경우(대조군), 스킬 없이 스킬의 핵심 요구사항을 한 문장으로 압축해 프롬프트 끝에 붙인 경우(한 문장 프롬프트군)로 나눴고, 작업마다 각 군 2회씩 실행했습니다. 네트워크는 끄고 /tmp 쓰기는 차단했습니다. 프롬프트에는 스킬 이름을 전혀 언급하지 않았습니다(아래에 적은 표현은 예외).

프롬프트는 빈 폴더에서의 한 줄짜리 모호한 요청입니다('내 웹 앱에 다크 모드 추가해 줘', '발표 자료 만드는 걸 도와줘', '지출을 추적하는 작은 CLI를 만들어 보자'). 검사는 과정입니다. 에이전트가 멈춰서 짧은 답변으로 질문 1~3개를 하고 코드를 작성하지 않았는가?

1. 기능 요청 — 내 웹 앱에 다크 모드를 추가하고 싶습니다.
2. 비소프트웨어 창작 작업 — 1인 창업자로서의 첫해를 주제로 지역 밋업에서 10분 발표를 합니다. 발표 자료 구성을 도와주세요.
3. 빌드 요청 — 지출을 추적하는 작은 CLI 도구를 만들어 봅시다.

채점은 프로그램 방식(숨은 테스트, 심어 둔 문제 탐지, 제약 조건 검사, 해당되는 경우 렌더링+OCR)으로 실행당 0~5점입니다. 점수를 결정한 LLM 심사자는 없습니다.

결과

세 번째 군에 전달한 한 문장 프롬프트: "무엇이든 만들기 전에 기존 콘텍스트를 읽고, 사용자가 실제로 무엇을 왜 원하는지 명확히 하는 질문을 하나 한 뒤, 트레이드오프와 추천을 곁들여 접근법 2~3개를 제시하고, 짧은 설계를 승인받은 다음 구현하세요."

평균 점수: 스킬 없음 2.33, 스킬 사용 5.0(차이 +2.67). 실행당 토큰: 51k 대 42k(0.82배), 시간: 43초 대 21초. 한 문장 프롬프트 군: 4.67(한 문장 프롬프트 대비 스킬의 이득 +0.33, 스킬 없음 대비 한 문장 프롬프트의 이득 +2.33). 한 문장 프롬프트의 실행당 토큰은 45k이므로 스킬은 한 문장 프롬프트의 0.93배 비용을 씁니다.

무슨 일이 있었나

• 지금까지 가장 명확한 효과입니다. 스킬이 없으면 에이전트는 6회 중 5회에서 명확화 질문을 하지 않았습니다. CLI 요청에서는 대조군 2회 모두 질문 하나 없이 도구를 그냥 만들었습니다(각 4개 파일, 테스트 포함). 스킬이 있으면 6회 모두 짧은 답변으로 질문 1~3개를 하고 아무것도 작성하지 않았습니다(5점 만점에 평균 5.0 대 2.33).
• 스킬 규칙을 한 문장으로 옮긴 버전('콘텍스트를 읽고, 무엇을 왜 원하는지 질문 하나를 하고, 접근법 2~3개를 제시하고, 구현 전에 승인을 받으세요')도 거의 같은 성과를 냈습니다: 4.67. 6회 중 5회는 질문을 했고, 한 번(다크 모드 작업)은 질문 없이 바로 계획으로 넘어갔습니다.
• 스킬은 6/6회 실행에서 읽혔고 비용을 늘리지 않고 줄였습니다. 실행당 42k 토큰으로 스킬 없음 51k(0.82배)보다 적습니다. 대조군은 무언가를 만들고 스킬은 멈춰서 질문하기 때문입니다. 한 문장 프롬프트 대비로는 0.93배입니다.
• CLI 요청에서 스킬 답변 하나는 '질문을 건너뛰기' 문구도 꺼냈고, 사용자에게 스킬 자체 규칙을 인용했습니다. 이런 동작은 미리 알아 둘 만합니다. 급할 때도 에이전트가 멈춘다는 뜻입니다.
• 스킬의 무거운 부분(비주얼 컴패니언 서버, 설계 문서 리뷰 루프, 리뷰어 프롬프트)은 끝내 쓰이지 않았습니다. 설계대로 대화가 첫 질문에서 끝나기 때문입니다.

항목별 점수

이 테스트의 한계

• 첫 턴만 테스트했습니다. 질문에 답하고 설계 승인과 구현까지 스킬을 따라가지는 않았으므로, 전체 워크플로가 더 나은 소프트웨어를 만드는지는 말할 수 없습니다.
• 이 동작은 명백한 승리가 아니라 트레이드오프입니다. 에이전트가 그냥 만들어 주길 원한다면, 먼저 묻기를 고집하는 스킬은 왕복 한 번을 더 쓰게 합니다.
• 모호한 프롬프트 세 개. 상세한 명세서도 같은 정지를 유발할 수도 있고 아닐 수도 있습니다.
• 작업·군당 n = 2: 약 1점 미만의 차이는 노이즈입니다.
• 규칙 기반 채점은 검사가 볼 수 있는 것만 측정합니다. 취향이나 결과가 최선인지는 판단할 수 없습니다.

보안

security.md를 참조하세요. 스캔: CRITICAL 18 / HIGH 19 / MEDIUM 11. 판정: 실행해도 안전(네트워크 차단 샌드박스). 깨끗한 스캔 결과가 스킬의 안전성을 증명하지는 않습니다.

결론

모호한 'X 만들어 줘' 요청에서 이 스킬은 즉시 만드는 대신 좋은 질문 하나를 하도록 안정적으로 행동을 바꾸며, 비용도 저렴합니다. 하지만 같은 행동은 프롬프트 한 문장으로도 재현되므로, 스킬의 가치는 질문하는 것을 기억하지 않아도 된다는 데 있습니다. 에이전트가 만들기 전에 명확히 하길 원하면 추천하고, 먼저 행동하길 선호하면 건너뛰세요.