brainstorming (obra/superpowers)
Explora com você requisitos e opções antes de começar qualquer trabalho criativo, recurso ou plano.
superpowers brainstorming: transforma 'construa X para mim' em uma pergunta antes de tudo, e uma versão de uma frase faz quase o mesmo
Codex CLI · gpt-6-astra
27.7 / 30
Ganho sobre sem skill: +2.67 · Recomendado · 18 execuções
Recomendado: o total 27.7/30 é pelo menos 22, a qualidade da saída 5.0 é pelo menos 3.5 e o ganho +2.67 é pelo menos +1.0.
SOTA
AprovadoTestado com Codex.
Cobre Codex, Claude Code
Codex CLI 0.166 (nível SOTA): 18 execuções avaliadas. Uma aprovação aqui também vale para o Claude Code pela nossa regra de níveis; ela não diz nada sobre o segundo nível.
Notas
Cada dimensão vai de 0 a 5, e as seis somam o total de 30. 5 é melhor em todas as dimensões. Custo 5 significa barato e rápido. Instalação 5 significa fácil.
- Confiabilidade do acionamento
- 5.0
- Ganho sobre sem skill
- 4.7
- Qualidade da saída
- 5.0
- Custo de tokens e tempo
- 5.0
- Instalação e portabilidade
- 4.0
- Segurança
- 4.0
Revisão de segurança
AtençãoVarredura estática: 18 CRÍTICO / 19 ALTO / 11 MÉDIO. Revisão manual: revisada — execuções com ressalvas (nota de privacidade). Uma varredura limpa não prova que a skill é segura.
Instalar
npx skills@latest add obra/superpowers --skill brainstorming
Commit fixado: 2ce8aa15d05bd57213e6f746f953aafb7ded7a8b
Testado: 2026-11-02
O que testamos
- Pedido de feature — Quero adicionar um modo escuro ao meu app web.
- Trabalho criativo fora de software — Vou dar uma palestra de 10 minutos em um meetup local sobre meu primeiro ano como fundador solo. Me ajude a montá-la.
- Pedido de construção — Vamos construir uma pequena CLI que rastreia meus gastos.
Prós
- Eleva a nota média de 2.33 para 5.0 em relação ao grupo sem skill (+2.67).
- A skill foi acionada sem ser nomeada: o arquivo da skill foi lido em 6/6 execuções de tratamento.
- Sem custo extra de tokens: 0.82x os tokens do grupo sem skill.
- Supera uma versão de uma frase da própria regra em +0.33.
- Qualidade absoluta alta com a skill: 5.0 de 5.
Contras
- n=2 por tarefa por braço; diferenças abaixo de cerca de 1 ponto são ruído.
Avaliação
Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Os prompts são pedidos vagos de uma linha com uma pasta vazia ('adicionar um modo escuro ao meu app web', 'me ajude a montar uma palestra', 'vamos construir uma pequena CLI que rastreia meus gastos'). A checagem é o processo: o agente parou e fez de 1 a 3 perguntas em uma resposta curta, sem escrever código?
Comparação entre os braços
| Braço | Nota média (0-5) | Tokens por execução |
|---|---|---|
| Sem a skill | 2.33 | 51k |
| Prompt de uma frase | 4.67 | 45k |
| Com a skill | 5.0 | 42k |
Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 27.7 / 30, veredito Recomendado.
Veredito: Recomendado (27.7 / 30). Fonte: obra/superpowers, skills/brainstorming, fixado no commit 2ce8aa1. Instalação: npx skills@latest add obra/superpowers --skill brainstorming. Licença: MIT (LICENSE do repositório).
O que é
A skill brainstorming de obra/superpowers: "você PRECISA usar isto antes de qualquer trabalho criativo", em software ou fora dele. Cerca de 2.400 palavras de Markdown: ler o contexto, perguntar ao humano o que ele realmente quer e por quê (uma pergunta por vez), propor 2-3 abordagens com trade-offs, obter aprovação de um design antes de construir qualquer coisa, além de um servidor visual-companion opcional (um pequeno servidor web local para mostrar mock-ups) e um prompt de revisor. Também alguns scripts auxiliares para esse servidor.
Como testamos
Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de testes Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (com a skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo do prompt de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).
Os prompts são pedidos vagos de uma linha com uma pasta vazia ("adicione um modo escuro ao meu app web", "me ajude a montar uma palestra", "vamos construir uma pequena CLI que rastreia meus gastos"). A verificação é o processo: o agente parou e fez 1-3 perguntas em uma resposta curta e não escreveu código?
- Pedido de recurso — Quero adicionar um modo escuro ao meu app web.
- Trabalho criativo fora de software — Vou dar uma palestra de 10 minutos em um meetup local sobre meu primeiro ano como fundador solo. Me ajude a montar.
- Pedido de construção — Vamos construir uma pequena ferramenta CLI que rastreia meus gastos.
A pontuação é programática (testes ocultos / recuperação de problemas plantados / verificações de restrições / renderização+OCR quando relevante), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.
Resultados
A frase única dada ao terceiro grupo: "Antes de construir qualquer coisa, leia o contexto existente, faça uma pergunta de esclarecimento sobre o que a pessoa realmente quer e por quê, depois apresente 2-3 abordagens com trade-offs e uma recomendação, e obtenha aprovação de um design curto antes de implementar."
| Tarefa | Pontuação do controle | Prompt de uma frase | Com a skill | Tokens do controle | Tokens do prompt de uma frase | Tokens com a skill | Skill lida |
|---|---|---|---|---|---|---|---|
| t1-dark-mode | 3.0 | 4.0 | 5.0 | 64k | 52k | 51k | 2/2 |
| t2-talk | 3.0 | 5.0 | 5.0 | 29k | 37k | 32k | 2/2 |
| t3-cli | 1.0 | 5.0 | 5.0 | 57k | 44k | 40k | 2/2 |
Pontuação média: 2.33 sem a skill vs 5.0 com a skill (delta +2.67). Tokens por execução: 51k vs 42k (0.82x); tempo 43s vs 21s. Grupo prompt de uma frase: 4.67 (ganho da skill sobre o prompt de uma frase: +0.33; ganho do próprio prompt de uma frase sobre nenhuma skill: +2.33); tokens do prompt de uma frase: 45k por execução, então a skill custa 0.93x o prompt de uma frase.
O que aconteceu
- Este é o efeito mais claro até agora. Sem a skill, o agente não fez nenhuma pergunta de esclarecimento em 5 de 6 execuções; no pedido de CLI, as duas execuções de controle simplesmente construíram a ferramenta (4 arquivos cada, com testes) sem uma única pergunta. Com a skill, todas as 6 execuções fizeram 1-3 perguntas em uma resposta curta e não escreveram nada (média 5.0 vs 2.33 de 5).
- Uma versão em uma frase da regra da skill ("ler o contexto, fazer uma pergunta sobre o que a pessoa quer e por quê, apresentar 2-3 abordagens, obter aprovação antes de implementar") foi quase tão bem: 4.67. Em 5 de 6 execuções ela fez perguntas; uma vez (tarefa do modo escuro) foi direto para um plano sem pergunta.
- A skill foi lida em 6/6 execuções e reduziu o custo em vez de aumentá-lo: 42k tokens por execução contra 51k sem ela (0.82x), porque o controle constrói coisas e a skill para para perguntar. Contra o prompt de uma frase, custa 0.93x.
- No pedido de CLI, uma resposta da skill também exibiu uma linha para dispensar as perguntas, citando a própria regra da skill ao usuário. Esse é o tipo de comportamento que você quer conhecer: o agente para mesmo quando você está com pressa.
- As partes mais pesadas da skill (servidor visual-companion, ciclo de revisão do documento de design, prompt de revisor) nunca foram alcançadas: a conversa termina na primeira pergunta, como projetado.
Pontuações por dimensão
| Dimensão | Pontuação | Por quê |
|---|---|---|
| 1_output_quality | 5.0 | Pontuação média de 5.00/5 com a skill (verificações programáticas, veja a tabela por tarefa). |
| 2_lift_vs_no_skill | 4.67 | +2.67 pontos vs 2.33 sem a skill (n=2 por tarefa; abaixo de ~1 ponto é ruído). |
| 3_trigger | 5.0 | Arquivo da skill lido em 6/6 execuções com a skill. |
| 4_instructions_portability | 4 | Escrita para skills no estilo Claude Code; o visual companion precisa de node e de um navegador; o resto é Markdown simples. |
| 5_efficiency | 5 | 0.82x tokens (42k vs 51k por execução) e 0.49x tempo (21s vs 43s). |
| 6_safety_hygiene | 4 | Markdown mais um servidor local visual-companion (node, escuta em 127.0.0.1, só iniciado com consentimento do usuário); sua página carrega uma imagem de logo com versão do domínio do autor (um beacon de telemetria), a menos que SUPERPOWERS_DISABLE_TELEMETRY=1. Definimos a variável e nunca iniciamos o servidor. |
Limites deste teste
- Testamos apenas o primeiro turno. Não respondemos às perguntas nem acompanhamos a skill até a aprovação do design e a implementação, então não podemos dizer se o fluxo completo produz software melhor.
- O comportamento é um trade-off, não uma vitória óbvia: se você quer que o agente simplesmente construa, uma skill que insiste em perguntar primeiro custa uma ida e volta.
- Três prompts vagos; uma especificação detalhada pode ou não acionar a mesma parada.
- n = 2 por grupo por tarefa: diferenças abaixo de ~1 ponto são ruído.
- A pontuação baseada em regras mede o que as verificações conseguem ver; ela não julga bom gosto nem se o resultado é o melhor possível.
Segurança
Consulte security.md. Varredura: 18 CRITICAL / 19 HIGH / 11 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que uma skill é segura.
Conclusão
Para pedidos vagos de "construa X para mim", a skill muda de forma confiável o comportamento de construir imediatamente para fazer uma boa pergunta, e faz isso com custo baixo. Mas o mesmo comportamento é reproduzido por uma frase no seu prompt, então o valor da skill é você não precisar lembrar de perguntar. Recomendada se você quer que seu agente esclareça antes de construir; pule se prefere que ele aja primeiro.
Transcrição
Log de execuções: brainstorming (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) Colunas: tarefa, grupo-execução, nota (0-5), tokens, segundos, verificações aprovadas, arquivos da skill abertos pelo agente. t1-dark-mode control-1: nota 3.0, tokens 63726, s 40.4, verificações 2/3, nada aberto t1-dark-mode control-2: nota 3.0, tokens 65953, s 33.4, verificações 2/3, nada aberto t1-dark-mode oneliner-1: nota 5.0, tokens 44490, s 20.0, verificações 3/3, nada aberto t1-dark-mode oneliner-2: nota 3.0, tokens 59849, s 30.6, verificações 2/3, nada aberto t1-dark-mode treatment-1: nota 5.0, tokens 51573, s 23.4, verificações 3/3, abriu brainstorming t1-dark-mode treatment-2: nota 5.0, tokens 51475, s 16.2, verificações 3/3, abriu brainstorming t2-talk control-1: nota 4.0, tokens 29770, s 32.1, verificações 2/3, nada aberto t2-talk control-2: nota 2.0, tokens 29728, s 33.5, verificações 1/3, nada aberto t2-talk oneliner-1: nota 5.0, tokens 44545, s 20.1, verificações 3/3, nada aberto
18 execuções, 3 artefatos
Resultado de exemplo
SOTA · With the skill: final message (t1-dark-mode, run 1, Codex)
I don’t see any app files in this workspace yet. Where is your web app’s source code? Once it’s available, I can inspect its styling. If you’d prefer I just dive in, say so; I’d default to a Light / Dark / System setting that remembers the user’s choice.