systematic-debugging (obra/superpowers)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill. A pontuação é programática (testes ocultos / detecção de problemas plantados / checagens de restrição / render+OCR quando relevante), de 0 a 5 por execução. Nenhum juiz LLM atribuiu nenhuma nota.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 22.4 / 30, veredito Situacional.

Veredito: Situacional (22.4 / 30). Fonte: obra/superpowers, skills/systematic-debugging, fixada no commit 2ce8aa1. Instalação: npx skills@latest add obra/superpowers --skill systematic-debugging. Licença: MIT (LICENSE do repositório).

O que é

A skill systematic-debugging de obra/superpowers: 'use ao encontrar qualquer bug, falha de teste ou comportamento inesperado, antes de propor correções'. Quatro fases (investigar a causa raiz, encontrar padrões, hipótese, correção), uma regra contra empilhar correções e notas complementares (rastreamento de causa raiz, defesa em profundidade, espera baseada em condição) mais cenários de pressão de teste e um script de shell (find-polluter.sh, um bisect local sobre arquivos de teste).

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um Mac de teste, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (grupo com skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill.

1. Erro de off-by-one em uma função pequena — moving_average em movavg.py retorna números errados: moving_average([2, 4, 6, 8, 10], 3) deveria ser [2, 3, 4, 6, 8] mas os valores do fim saem errados. Encontre a causa e corrija. Testes: python3 -m unittest.
2. Bug de data entre arquivos — Os cabeçalhos do nosso relatório semanal mostram datas erradas perto da virada do ano, por exemplo header('2026-W01') deveria ser 'Week 2026-W01: Dec 29 - Jan 04, 2026'. Encontre a causa e corrija.
3. Falha de teste dependente de ordem — Os testes em tests/test_settings.py passam sozinhos, mas test_b falha quando o arquivo inteiro roda, e as configs parecem carregar tags de chamadas anteriores. Diagnostique e corrija.

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer nota.

Resultados

A frase única dada ao terceiro grupo: "Depure sistematicamente: reproduza a falha primeiro, investigue a causa raiz e forme uma hipótese por vez com evidências antes de mudar o código, faça a menor correção para a causa raiz (sem palpites empilhados) e verifique com os testes."

Nota média: 4.45 sem vs 4.45 com a skill (delta +0.0). Tokens por execução: 75k vs 99k (1.33x); tempo 34s vs 45s. Grupo de uma frase: 4.86 (ganho da skill sobre a frase: -0.42; ganho da própria frase sobre sem skill: +0.42); tokens da frase: 98k por execução, então a skill custa 1.01x a frase.

O que aconteceu

• Resultado: os testes ocultos passaram em todas as execuções dos dois grupos, então a correção não diferiu.
• Verificação de processo 'rodou os testes antes de editar o código' (reproduzir primeiro): o controle falhou em 4/6 execuções, o grupo com a skill em 4/6. A primeira fase da skill é 'reproduzir', mas os agentes com a skill ainda muitas vezes aplicaram um patch antes de rodar qualquer coisa.
• A skill foi lida em 6/6 execuções com a skill, então o acionamento não é o problema; ela simplesmente não mudou o comportamento nesses bugs pequenos (dava para encontrar os bugs lendo o código).
• Custo: cerca de 1.3x tokens por execução (89k vs 67k).
• Versão de uma frase (reproduza primeiro, uma hipótese por vez, menor correção, verifique): média 4.86 contra 4.45 do controle e 4.45 da skill, com 98k tokens por execução contra 75k (1.3x) e 99k da skill (1.0x).
• A diferença está em rodar os testes antes de editar: 5 de 6 execuções da frase fizeram isso contra 2 de 6 do controle e 2 de 6 da skill. A skill não mudou esse comportamento; a frase que o nomeia mudou. Todos os grupos explicaram a causa raiz em todas as execuções e passaram em todos os testes ocultos, com diffs pequenos.

Notas por dimensão

Limitações deste teste

• Três bugs pequenos plantados (off-by-one, lógica de data entre arquivos, poluição de teste dependente de ordem) — todos fáceis o bastante para que a linha de base os corrija.
• A skill foi projetada para bugs difíceis, de múltiplas tentativas; não testamos esses.
• find-polluter.sh não foi exercitado.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não avalia gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Varredura: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que a skill é segura.

Conclusão

Em três bugs pequenos, a skill acrescentou cerca de 1.3x tokens e nenhuma mudança mensurável: controle e skill tiraram 4.45 e ambos rodaram os testes antes de editar em apenas 2 de 6 execuções. A versão de uma frase que diz 'reproduza primeiro' foi melhor (4.86, 5 de 6). Pode compensar em bugs mais difíceis, que não testamos.