receiving-code-review (obra/superpowers)
Confere a exatidão técnica do feedback de revisão de código antes de aplicá-lo, em vez de concordar sem pensar.
receiving-code-review: impede que o agente aplique cegamente comentários de revisão errados (controle 3.4, skill 3.7, prompt de uma frase 4.2), mas na tarefa de preços ele parou para perguntar antes de implementar os itens corretos, com cerca dos mesmos tokens
Codex CLI · gpt-6-astra
23.9 / 30
Ganho sobre sem skill: +0.29 · Situacional · 18 execuções
Situacional: o ganho +0.29 está abaixo de +1.0. Para ser recomendado, é preciso total de 22/30, qualidade da saída de 3.5 e ganho de +1.0.
SOTA
AprovadoTestado com Codex.
Cobre Codex, Claude Code
Codex CLI 0.166 (nível SOTA): 18 execuções avaliadas. Uma aprovação aqui também vale para o Claude Code pela nossa regra de níveis; ela não diz nada sobre o segundo nível.
Notas
Cada dimensão vai de 0 a 5, e as seis somam o total de 30. 5 é melhor em todas as dimensões. Custo 5 significa barato e rápido. Instalação 5 significa fácil.
- Confiabilidade do acionamento
- 5.0
- Ganho sobre sem skill
- 2.3
- Qualidade da saída
- 3.7
- Custo de tokens e tempo
- 5.0
- Instalação e portabilidade
- 4.0
- Segurança
- 4.0
Revisão de segurança
SeguroVarredura estática: 0 CRÍTICO / 0 ALTO / 0 MÉDIO. Revisão manual: seguro para executar em sandbox sem rede (nenhum achado). Uma varredura limpa não prova que a skill é segura.
Instalar
npx skills@latest add obra/superpowers --skill receiving-code-review
Commit fixado: 2ce8aa15d05bd57213e6f746f953aafb7ded7a8b
Testado: 2026-11-02
O que testamos
- Revisão com uma afirmação errada de código morto — Resolva o feedback de revisão em REVIEW.md para pricing.py. Testes: python -m unittest.
- Revisão com uma sugestão errada de numpy e arredondamento — Resolva o feedback de revisão em REVIEW.md para report.py. Testes: python -m unittest.
- Revisão com uma renomeação e um lock prematuro — Resolva o feedback de revisão em REVIEW.md para inventory.py. Testes: python -m unittest.
Prós
- A skill foi acionada sem ser nomeada: o arquivo da skill foi lido em 6/6 execuções de tratamento.
- Sem custo extra de tokens: 1.02x os tokens em relação ao grupo sem skill.
Contras
- Nenhum ganho mensurável em relação ao grupo sem skill (+0.29, dentro do ruído).
- Um prompt de uma frase marcou 4.21, contra 3.66 com a skill (-0.55).
- Ressalva do teste: a tarefa de preços desconta pontos pelo comportamento projetado da skill — ela para e pergunta antes de implementar, enquanto a verificação só recompensa implementar os itens válidos de uma vez. Um avaliador que prefere ser perguntado daria uma pontuação maior a esta skill. Por isso o prompt de uma frase superou a skill em 0.55.
- n=2 por tarefa por braço; diferenças abaixo de cerca de 1 ponto são ruído.
Avaliação
Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC de teste Windows dedicado, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo com prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três pequenos módulos Python (pricing, report, inventory), cada um com um REVIEW.md de comentários que misturam itens corretos com itens errados ou pouco claros (por exemplo, excluir uma função que ainda é usada, um cache Redis, 'deixe isto mais robusto', numpy onde ele não está disponível, uma renomeação que quebra os chamadores). O prompt é apenas 'Resolva o feedback de revisão em REVIEW.md' mais o comando de teste. O prompt de uma frase enuncia o princípio de avaliar antes de agir.
Comparação entre os braços
| Braço | Nota média (0-5) | Tokens por execução |
|---|---|---|
| Sem a skill | 3.38 | 84k |
| Prompt de uma frase | 4.21 | 90k |
| Com a skill | 3.66 | 86k |
Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 23.9 / 30, veredito Situacional.
Divulgação: A tarefa de precificação desconta pontos pelo comportamento projetado da skill: ela para e pergunta antes de implementar, enquanto a verificação só recompensa implementar os itens válidos de uma vez. Um avaliador que prefere ser questionado daria uma nota maior a esta skill. O prompt de uma frase superou a skill em 0.55 por esse motivo.
Veredito: Situacional (23.9 / 30). Fonte: obra/superpowers, skills/receiving-code-review, fixada no commit 2ce8aa1. Instalação: npx skills@latest add obra/superpowers --skill receiving-code-review. Licença: MIT (LICENSE do repositório).
O que é
A skill receiving-code-review (obra/superpowers) ensina como agir diante de comentários de revisão de código: verificar cada comentário contra o código, implementar só o que está correto, contestar com uma razão concreta os itens errados ou desnecessários, perguntar quando algo não está claro e nada de concordância performática. Ela declara 'STOP - do not implement anything yet' quando qualquer item não está claro.
Como testamos
Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um PC Windows dedicado a testes, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento) ou ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).
Três pequenos módulos em Python (pricing, report, inventory), cada um com um REVIEW.md de comentários que misturam itens corretos com errados ou pouco claros (por exemplo, apagar uma função que ainda é usada, um cache Redis, 'deixe isto mais robusto', numpy onde ele não está disponível, uma renomeação que quebra os chamadores). O prompt é apenas 'Trate o feedback da revisão em REVIEW.md' mais o comando de teste. O prompt de uma frase enuncia o princípio de avaliar antes de agir.
- Revisão com uma alegação de código morto que está errada — Trate o feedback da revisão em REVIEW.md para pricing.py. Testes:
python -m unittest. - Revisão com uma sugestão errada de numpy e arredondamento — Trate o feedback da revisão em REVIEW.md para report.py. Testes:
python -m unittest. - Revisão com uma renomeação e um lock prematuro — Trate o feedback da revisão em REVIEW.md para inventory.py. Testes:
python -m unittest.
A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), 0–5 por execução. Nenhum juiz LLM decidiu qualquer pontuação.
Resultados
O prompt de uma frase dado ao terceiro grupo: "Avalie cada comentário de revisão tecnicamente antes de agir: confira-o contra o código, implemente só o que está correto, conteste com uma razão concreta qualquer coisa errada ou desnecessária, pergunte sobre o que não estiver claro e não abra com concordância performática como 'you're absolutely right'."
| Tarefa | Pontuação do controle | Uma frase | Com a skill | Tokens do controle | Tokens de uma frase | Tokens com a skill | Skill lida |
|---|---|---|---|---|---|---|---|
| t1-pricing | 4.5 | 4.5 | 2.86 | 84k | 101k | 62k | 2/2 |
| t2-report | 3.88 | 4.62 | 4.62 | 83k | 84k | 91k | 2/2 |
| t3-inventory | 1.75 | 3.5 | 3.5 | 84k | 83k | 102k | 2/2 |
Pontuação média: 3.38 sem a skill vs 3.66 com ela (delta +0.29). Tokens por execução: 84k vs 86k (1.02x); tempo 41s vs 34s. Grupo de uma frase: 4.21 (ganho da skill sobre o prompt de uma frase: -0.55; ganho do próprio prompt de uma frase sobre nenhuma skill: +0.83); tokens do prompt de uma frase: 90k por execução, então a skill custa 0.95x o prompt de uma frase.
O que aconteceu
- Controle 3.38, skill 3.66, uma frase 4.21 (n=6 cada). A pontuação mistura testes ocultos dos itens válidos, se o item errado foi aplicado e se a mensagem final contesta com uma razão técnica.
- Tarefa inventory: o controle aplicou a renomeação ruim em 2/2 execuções (11 ocorrências do padrão quebrado em cada uma) e passou em 0 de 6 testes ocultos; a skill e o prompt de uma frase marcaram 3.5 nas duas execuções e não a aplicaram. Este é o benefício mais claro.
- Tarefa pricing: controle 4.0 e 5.0, uma frase 4.5, skill 2.86 nas duas execuções. A mensagem final da skill diz corretamente que a função legada ainda é usada por invoice.py e que o Redis não é necessário, mas, como um item ('deixe isto mais robusto') não estava claro, ela seguiu o 'STOP - do not implement anything yet' da skill, não alterou nenhum arquivo e fez uma pergunta. Os testes ocultos dos itens válidos então passaram em apenas 4 de 7.
- Tarefa report: skill 4.25 e 5.0, uma frase 4.25 e 5.0, controle 3.5 e 4.25. Contestar com uma razão os itens errados é o ponto fraco de todos os braços (o numpy passou batido na maioria das execuções).
- Nenhum braço abriu com concordância performática. Os tokens são praticamente iguais (skill 86k, uma frase 90k, controle 84k por execução). A skill foi lida em 6/6 execuções com ela.
Pontuações por dimensão
| Dimensão | Pontuação | Por quê |
|---|---|---|
| 1_output_quality | 3.66 | Pontuação média 3.66/5 com a skill (verificações programáticas, veja a tabela por tarefa). |
| 2_lift_vs_no_skill | 2.29 | +0.29 pontos vs 3.38 sem a skill (n=2 por tarefa; menos de ~1 ponto é ruído). |
| 3_trigger | 5.0 | Arquivo da skill lido em 6/6 execuções com a skill. |
| 4_instructions_portability | 4 | SKILL.md no formato superpowers. |
| 5_efficiency | 5 | 1.02x tokens (86k vs 84k por execução) e 0.84x tempo (34s vs 41s). |
| 6_safety_hygiene | 4 | Somente prosa; veja security.md. |
Limites deste teste
- A pontuação de pricing pune o comportamento deliberado de 'parar e perguntar' da skill; um humano pode preferir esse comportamento, e a verificação é simplesmente se os itens válidos são implementados em uma passada.
- Verificações de recall na mensagem final e testes unitários ocultos dos itens válidos; a qualidade do código das mudanças não foi julgada.
- As regexes de contestação de cada fixture podem não pegar outras formulações válidas.
- n=2 por célula; módulos pequenos.
- n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
- A pontuação baseada em regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.
Segurança
Veja security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Um scan limpo não prova que uma skill é segura.
Conclusão
A skill evita aplicar comentários errados (inventory), mas faz o agente parar no caso de pricing, então o ganho líquido sobre nenhuma orientação é pequeno, e uma frase enunciando o mesmo princípio pontua mais aqui. Vale a pena se você quer que o agente pergunte em vez de adivinhar; não se você quer uma única passada.
Transcrição
Log de execuções: receiving-code-review (Codex CLI, network off, per-run temp HOME/TMPDIR, one row per graded run.) Colunas: tarefa, grupo-execução, nota (0-5), tokens, segundos, verificações aprovadas, arquivos da skill abertos pelo agente. t1-pricing control-1: nota 4.0, tokens 85197, s 42.6, verificações 3/4, nada aberto t1-pricing control-2: nota 5.0, tokens 83652, s 43.0, verificações 4/4, nada aberto t1-pricing oneliner-1: nota 4.5, tokens 101150, s 36.6, verificações 4/4, nada aberto t1-pricing oneliner-2: nota 4.5, tokens 102032, s 46.3, verificações 4/4, nada aberto t1-pricing treatment-1: nota 2.86, tokens 53744, s 22.9, verificações 2/4, abriu receiving-code-review t1-pricing treatment-2: nota 2.86, tokens 71964, s 26.2, verificações 2/4, abriu receiving-code-review t2-report control-1: nota 3.5, tokens 83153, s 37.1, verificações 3/4, nada aberto t2-report control-2: nota 4.25, tokens 83546, s 35.9, verificações 3/4, nada aberto t2-report oneliner-1: nota 5.0, tokens 83745, s 34.1, verificações 4/4, nada aberto
18 execuções, 3 artefatos
Resultado de exemplo
SOTA · With the skill: final message (t1-pricing, run 1, Codex)
Items 1–2 are clear: normalize coupon case and reject negative quantities. Item 3 is incorrect: `invoice.py` calls `legacy_fee`; deleting it would break invoicing. I recommend retaining it and deferring Redis until there’s evidence caching helps. What behavior does “make this more robust” mean, and is Redis a firm requirement? No files changed. Baseline `python -m unittest`: 2 tests passed. The [receiving-code-review skill](.agents/skills/receiving-code-review/SKILL.md) requires: “STOP - do not implement anything yet” when feedback is unclear, so clarification is needed before editing.