writing-plans (obra/superpowers)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três pequenos projetos Python (CLI de tarefas, módulo de relatórios, API de notas), cada um com um spec.md. O prompt só pede um plano de implementação em plan.md e proíbe escrever código. Ele não descreve o formato do plano. O prompt de uma frase descreve o formato inteiro: passos de 2 a 5 minutos, caminhos exatos, teste que falha primeiro com código completo, comando exato com saída esperada, implementação mínima, commit no git, sem placeholders.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 25.3 / 30, veredito Recomendado.

Veredito: Recomendado (25.3 / 30). Fonte: obra/superpowers, skills/writing-plans, fixada no commit 2ce8aa1. Instalação: npx skills@latest add obra/superpowers --skill writing-plans. Licença: MIT (LICENSE do repositório).

O que é

A skill writing-plans (obra/superpowers): transforma uma especificação em um plano de implementação em tarefas pequenas: caminhos de arquivo exatos, um teste que falha primeiro, o comando exato de execução com o resultado esperado, implementação mínima, uma etapa de commit por tarefa, etapas com checkbox, nenhum placeholder TBD.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC Windows dedicado a testes, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (grupo com skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pela formulação indicada abaixo).

Três projetos Python pequenos (CLI de tarefas, módulo de relatório, API de notas), cada um com um spec.md. O prompt apenas pede um plano de implementação em plan.md e proíbe escrever código. Ele não descreve o formato do plano. A frase única descreve o formato inteiro: etapas de 2-5 minutos, caminhos exatos, teste que falha primeiro com código completo, comando exato com saída esperada, implementação mínima, git commit, sem placeholders.

1. Planejar prazos para uma CLI — spec.md descreve um recurso para esta pequena CLI de todo. Escreva o plano de implementação em plan.md nesta pasta. Não escreva nenhum código no projeto, apenas o plano.
2. Planejar uma exportação CSV — spec.md descreve um recurso para este módulo de relatório. Escreva o plano de implementação em plan.md nesta pasta. Não escreva nenhum código no projeto, apenas o plano.
3. Planejar rate limiting de API — spec.md descreve um recurso para esta API de notas. Escreva o plano de implementação em plan.md nesta pasta. Não escreva nenhum código no projeto, apenas o plano.

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer nota.

Resultados

A frase única dada ao terceiro grupo: "Escreva o plano como tarefas pequenas (cada etapa de 2-5 minutos): caminhos de arquivo exatos, o teste que falha primeiro com código completo, o comando exato com sua saída esperada, a implementação mínima com código completo, e então uma etapa de git commit; sem placeholders como TBD ou 'add validation'."

Nota média: 1.56 sem vs 4.43 com a skill (delta +2.87). Tokens por execução: 88k vs 119k (1.34x); tempo 66s vs 102s. Grupo de uma frase: 4.21 (ganho da skill sobre a frase: +0.22; ganho da própria frase sobre sem skill: +2.65); tokens da frase: 127k por execução, então a skill custa 0.93x a frase.

O que aconteceu

• Controle 1.56, skill 4.43, frase 4.21 (n=6 cada). Os planos do controle são esboços curtos em prosa (46-71 linhas): sem etapas de teste que falha primeiro, sem saída esperada e sem etapas de commit em nenhuma das 6 execuções, e apenas um comando de execução em cada.
• Os planos da skill têm 110-142 linhas em formato de checkbox com uma etapa de teste que falha, uma etapa de execução marcada 'Expect failure' ou 'Expect all tests to pass', e um commit no nível da tarefa na tarefa de CSV. Ainda têm lacunas: 4 de 6 execuções não têm etapa de git commit, e blocos de código aparecem em 2-3 etapas em vez de todas.
• Os planos da frase têm cerca de 350 linhas com código completo em cada etapa e todos os commits e comandos exigidos, mas sem checkboxes em 6/6 (um formato específico da skill) e em 3 de 6 execuções com menos de 4 comandos de execução, porque usaram formulação PowerShell.
• Tokens: skill 119k, frase 127k, controle 88k por execução (1.35x o controle). A skill foi lida em 6/6 execuções com a skill.

Notas por dimensão

Limitações deste teste

• Verificações baseadas em regras no texto de plan.md: contagem de caminhos, comandos, commits, checkboxes e blocos de código. A qualidade do plano, se ele realmente funcionaria, não foi julgada.
• Mudei as verificações depois de ver a primeira pontuação e reavaliei cada execução sob as mesmas novas regras: (1) a verificação de 'sem placeholders' casava com a palavra TODO, que é o nome do produto na tarefa da CLI de tarefas (removi TODO do padrão); (2) os padrões de 'teste que falha primeiro' e 'saída esperada' foram ampliados para aceitar 'Expect failure' e 'Expect all tests to pass'; (3) o limite de commits caiu de 3 para 2 (os planos da skill têm duas tarefas) e o limite de checkboxes de 12 para 8. Antes dessa mudança, a skill tirava 2.98 e a frase 4.04; depois, 4.43 e 4.21. O controle ficou em 1.4-1.6 de qualquer forma.
• A verificação de checkbox conta um formato que a skill usa e a frase nunca pediu, o que favorece a skill.
• n=2 por célula; fixtures pequenas.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não avalia gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Varredura: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que a skill é segura.

Conclusão

Sem ajuda, o Codex escreve um esboço solto; com a skill, escreve etapas reais de TDD. Um parágrafo nomeando o mesmo formato vai quase tão bem e produz código mais completo por etapa, então a skill é principalmente um pacote conveniente desse parágrafo.