brainstorming (obra/superpowers)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un Mac de test, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Les prompts sont des demandes vagues d'une ligne avec un dossier vide (« ajoute un mode sombre à mon application web », « aide-moi à préparer une conférence », « construisons un petit CLI qui suit mes dépenses »). Le contrôle porte sur le processus : l'agent s'est-il arrêté pour poser 1 à 3 questions dans une réponse courte, sans écrire de code ?

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 27.7 / 30, verdict Recommandé.

Verdict : Recommandé (27.7 / 30). Source : obra/superpowers, skills/brainstorming, épinglé au commit 2ce8aa1. Installation : npx skills@latest add obra/superpowers --skill brainstorming. Licence : MIT (LICENSE du dépôt).

Ce que c'est

Le skill brainstorming d'obra/superpowers : « vous DEVEZ l'utiliser avant tout travail créatif », dans le logiciel ou ailleurs. Environ 2,400 mots de Markdown : lire le contexte, demander à l'humain ce qu'il veut vraiment et pourquoi (une question à la fois), proposer 2-3 approches avec leurs compromis, faire approuver un design avant toute construction, plus un serveur compagnon visuel facultatif (un petit serveur web local pour montrer des maquettes) et un prompt de relecture. Aussi quelques scripts auxiliaires pour ce serveur.

Comment nous avons testé

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Mac, un projet temporaire neuf et des caches HOME/TMPDIR temporaires à chaque exécution, skill installé (groupe avec skill) ou absent (groupe témoin) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée à la fin du prompt (groupe prompt d'une phrase), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous).

Les prompts sont des demandes vagues d'une ligne dans un dossier vide (« ajoute un mode sombre à mon application web », « aide-moi à préparer une conférence », « construisons un petit CLI qui suit mes dépenses »). La vérification porte sur le processus : l'agent s'est-il arrêté pour poser 1-3 questions dans une réponse courte, sans écrire de code ?

1. Demande de fonctionnalité — Je veux ajouter un mode sombre à mon application web.
2. Travail créatif non logiciel — Je donne une conférence de 10 minutes lors d'un meetup local sur ma première année comme fondateur solo. Aide-moi à la préparer.
3. Demande de construction — Construisons un petit outil CLI qui suit mes dépenses.

La notation est programmatique (tests cachés / détection de problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), de 0 à 5 par exécution. Aucun juge LLM n'a décidé d'un seul score.

Résultats

Le prompt d'une phrase donné au troisième groupe : "Avant de construire quoi que ce soit, lisez le contexte existant, posez une question de clarification sur ce que la personne veut vraiment et pourquoi, puis présentez 2-3 approches avec leurs compromis et une recommandation, et faites approuver un design court avant d'implémenter."

Score moyen : 2.33 sans le skill contre 5.0 avec (delta +2.67). Tokens par exécution : 51k contre 42k (0.82x) ; temps 43s contre 21s. Groupe prompt d'une phrase : 4.67 (gain du skill par rapport au prompt d'une phrase : +0.33 ; gain du prompt d'une phrase par rapport à l'absence de skill : +2.33) ; 45k tokens par exécution pour le prompt d'une phrase, donc le skill coûte 0.93x le prompt d'une phrase.

Ce qui s'est passé

• C'est l'effet le plus net jusqu'ici. Sans le skill, l'agent n'a posé aucune question de clarification dans 5 des 6 exécutions ; sur la demande de CLI, les deux exécutions du témoin ont simplement construit l'outil (4 fichiers chacune, avec des tests) sans poser une seule question. Avec le skill, chacune des 6 exécutions a posé 1-3 questions dans une réponse courte et n'a rien écrit (moyenne 5.0 contre 2.33 sur 5).
• Une version d'une phrase de la règle du skill (« lire le contexte, poser une question sur ce que la personne veut et pourquoi, présenter 2-3 approches, obtenir l'approbation avant d'implémenter ») a fait presque aussi bien : 4.67. Dans 5 des 6 exécutions, elle a posé des questions ; une fois (tâche du mode sombre), elle est passée directement à un plan sans question.
• Le skill a été lu dans 6/6 exécutions et a réduit le coût au lieu de l'augmenter : 42k tokens par exécution contre 51k sans lui (0.82x), parce que le témoin construit et que le skill s'arrête pour demander. Par rapport au prompt d'une phrase, il coûte 0.93x.
• Pour la demande de CLI, une réponse avec skill a aussi fait apparaître une ligne « renoncer aux questions », citant à l'utilisateur la règle du skill elle-même. C'est le genre de comportement qu'il vaut mieux connaître : l'agent s'arrête même quand vous êtes pressé.
• Les parties les plus lourdes du skill (serveur compagnon visuel, boucle de relecture du document de design, prompt de relecture) n'ont jamais été atteintes : la conversation se termine à la première question, comme prévu.

Scores par dimension

Limites de ce test

• Nous ne testons que le premier tour. Nous n'avons pas répondu aux questions ni suivi le skill jusqu'à l'approbation du design et l'implémentation, donc nous ne pouvons pas dire si le flux complet produit de meilleurs logiciels.
• Le comportement est un compromis, pas un gain évident : si vous voulez que l'agent construise directement, un skill qui insiste pour demander d'abord vous coûte un aller-retour.
• Trois prompts vagues ; une spécification détaillée déclenchera peut-être le même arrêt, ou peut-être pas.
• n = 2 par groupe et par tâche : les écarts inférieurs à environ 1 point relèvent du bruit.
• La notation basée sur des règles mesure ce que les vérifications peuvent voir ; elle ne juge ni le goût ni si le résultat est le meilleur possible.

Sécurité

Voir security.md. Scan : 18 CRITICAL / 19 HIGH / 11 MEDIUM. Verdict : exécution sûre (bac à sable hors ligne). Un scan propre ne prouve pas qu'un skill est sûr.

En résumé

Pour les demandes vagues du type « construis-moi X », le skill change de façon fiable le comportement : au lieu de construire immédiatement, l'agent pose une bonne question, et cela à faible coût. Mais le même comportement est reproduit par une phrase dans votre prompt, donc la valeur du skill est de vous dispenser de penser à demander. Recommandé si vous voulez que votre agent clarifie avant de construire ; passez votre chemin si vous préférez qu'il agisse d'abord.