prototype (mattpocock/skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo com prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Três tarefas: modelar um ciclo de vida de assinatura com falhas de pagamento (questão de estado), comparar opções para uma seção de preços estática (questão visual; o conteúdo real dos planos deve permanecer) e permitir que o usuário teste regras de empilhamento de descontos antes de programar (questão de lógica; salvar em prototype/). As verificações de regras incluem HTML autocontido, cinco estados exibidos, botões por evento, cenários guiados, marcado como protótipo, nenhum arquivo de teste e, para a tarefa de preços, pelo menos três variantes, um parâmetro de URL ?variant= e um seletor flutuante fixo.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 27.2 / 30, veredito Recomendado.

Veredito: Recomendado (27.2 / 30). Fonte: mattpocock/skills, skills/engineering/prototype, fixada no commit 4ae2317. Instalação: npx skills@latest add mattpocock/skills --skill prototype. Licença: MIT (LICENSE do repositório).

O que é

A skill prototype de mattpocock/skills: constrói um protótipo descartável que responde a uma pergunta de design. Perguntas de lógica ou estado ganham um único arquivo HTML com painel de estado, botões de exploração livre e walkthroughs guiados; perguntas de aparência ganham várias variantes radicalmente diferentes em uma mesma rota, alternadas por um parâmetro de URL e uma barra flutuante na parte de baixo. Regras: claramente marcado como descartável, trivial de rodar, sem persistência, sem acabamento, sem testes. SKILL.md mais LOGIC.md e UI.md, cerca de 2,600 palavras no total; somente Markdown.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um Mac de teste, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (grupo com skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pela formulação indicada abaixo).

Três tarefas: modelar um ciclo de vida de assinatura com falhas de pagamento (pergunta de estado), comparar opções para uma seção de preços estática (pergunta de aparência, o conteúdo real dos planos deve permanecer) e permitir que o usuário teste regras de empilhamento de descontos antes de programar (pergunta de lógica, salvar em prototype/). As verificações de regras incluem HTML autocontido, cinco estados exibidos, botões por evento, cenários guiados, marcado como protótipo, sem arquivos de teste e, para a tarefa de preços, pelo menos três variantes, um parâmetro de URL ?variant= e um seletor flutuante fixo.

1. Prototipar um modelo de estado de assinatura — Não consigo dizer se nosso ciclo de vida de assinatura faz sentido quando pagamentos falham. Estados: trial, active, past_due, paused, canceled. Eventos: trial termina, pagamento dá certo, pagamento falha, usuário pausa, usuário retoma, usuário cancela, usuário reativa. Regras: duas falhas…
2. Prototipar variantes de página de preços — Em pricing.html deste pequeno site estático (três planos), não tenho certeza de como os planos devem ser apresentados. Crie algumas opções de design diferentes para essa seção que eu possa comparar no navegador; o conteúdo real de preços deve permanecer. Sem etapa de build.
3. Prototipar regras de empilhamento de descontos — O empilhamento de descontos parece certo? Regras até agora: o cupom SAVE10 dá 10% de desconto, o cupom HALF dá 50% de desconto, pedidos acima de $50 têm frete grátis, membros do programa de fidelidade ganham 5% extras. Não consigo decidir a ordem de aplicação nem quais podem acumular. Quero testar casos e observar o quê…

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer nota.

Resultados

A frase única dada ao terceiro grupo: "Construa um protótipo descartável que responda a uma pergunta declarada: para perguntas de lógica ou estado, um único arquivo HTML autocontido com uma declaração visível da pergunta, um painel legível do estado atual re-renderizado após cada clique, um botão por ação e cenários guiados (caminho feliz, caso limite, um movimento ilegal); para perguntas de aparência, três variantes radicalmente diferentes em uma página, alternadas por um parâmetro de URL ?variant= e uma barra flutuante na parte de baixo. Sem testes, sem acabamento."

Nota média: 3.71 sem vs 4.95 com a skill (delta +1.23). Tokens por execução: 133k vs 136k (1.02x); tempo 186s vs 149s. Grupo de uma frase: 4.72 (ganho da skill sobre a frase: +0.23; ganho da própria frase sobre sem skill: +1.01); tokens da frase: 89k por execução, então a skill custa 1.52x a frase.

O que aconteceu

• Nota média 3.71 no controle, 4.72 na versão de uma frase, 4.95 com a skill. A skill fica +1.24 sobre o controle e +0.23 sobre a frase, com 136k tokens por execução contra 133k (1.02x) do controle e 89k da frase (1.5x).
• A tarefa de aparência mostra o efeito: a skill produziu três variantes com um seletor flutuante inferior e variantes alternáveis por URL nas duas execuções (5.0 e 5.0 nas nossas verificações); o controle tirou 4.0 e 1.0: sem barra flutuante em nenhuma execução, três layouts com um seletor e um parâmetro de URL em uma execução e não na outra, e em uma execução faltava o preço de um plano na página.
• Nas duas tarefas de lógica, o controle já construiu HTML interativo (4.4-4.8 no modelo de assinatura, 4.0 no empilhamento de descontos); a skill acrescenta os cenários de walkthrough e o rótulo de protótipo: cenários aparecem em 4 de 4 execuções com a skill contra 2 de 4 do controle.
• A versão de uma frase foi igualmente bem na tarefa de preços; perdeu um pouco nas tarefas de lógica por não marcar sempre o arquivo como protótipo (2 de 4 execuções).

Notas por dimensão

Limitações deste teste

• Verificações baseadas em regras de recursos (variantes, barra flutuante, cenários); a qualidade dos designs e se o protótipo responde à pergunta não foram julgadas por uma pessoa.
• A pontuação foi corrigida duas vezes durante a análise: variantes podem ficar em arquivos CSS/JS separados, e uma troca de layout conta como variante; a primeira passagem subcontou isso, então os números anteriores não são usados.
• O conselho da skill de commitar o protótipo em um branch descartável e deixar um ponteiro em uma issue não dá para testar em uma pasta de rascunho.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não avalia gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Varredura: 1 CRITICAL / 1 HIGH / 0 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que a skill é segura.

Conclusão

A skill claramente faz o Codex construir o tipo de protótipo que ela descreve (variantes alternáveis por URL, barra flutuante, cenários guiados) onde um pedido simples não faz, sem custo extra de tokens. Um resumo de uma frase obtém a maior parte do mesmo comportamento, mas a skill acrescenta os detalhes do walkthrough de lógica e de rotulagem como protótipo.