algorithmic-art (Anthropic)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un PC Windows de test dédié, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Trois tâches : un champ de flux de milliers de particules, une pièce orbitale/harmonique, et un brief ouvert « tide pools », toutes demandant p5.js et une sortie seedée et réglable sous forme de fichiers. Le groupe avec skill utilise le même prompt que le contrôle (le skill est détecté par correspondance de description). Le groupe « une phrase » ajoute une phrase : écrire d'abord une courte philosophie algorithmique, puis du code essentiellement génératif, seedé, avec des contrôles de paramètres dans une visionneuse HTML.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 22.5 / 30, verdict Selon les cas.

Verdict : Selon les cas (22.5 / 30). Source : anthropics/skills, skills/algorithmic-art, épinglé au commit ca45fc4. Installation : npx skills@latest add anthropics/skills --skill algorithmic-art. Licence : Apache-2.0 / conditions Anthropic (voir LICENSE.txt dans le skill).

Ce que c'est

Le skill algorithmic-art d'anthropics/skills : une procédure en deux étapes pour créer de l'art génératif avec p5.js : d'abord rédiger une « philosophie algorithmique » (un mouvement esthétique nommé, 4-6 paragraphes), puis l'exprimer sous forme de code p5.js à graine dans une visionneuse HTML interactive construite à partir des fichiers viewer.html et generator_template.js du skill. Licence dans LICENSE.txt (de type Apache pour ce skill).

Comment nous avons testé

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur un PC de test Windows dédié, un projet temporaire neuf et des caches HOME/TMPDIR temporaires à chaque exécution, skill installé (groupe avec skill) ou absent (groupe témoin) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée à la fin du prompt (groupe prompt d'une phrase), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous).

Trois tâches : un champ de flux de milliers de particules, une pièce orbitale/harmonique et un brief ouvert sur les mares de marée, toutes demandant p5.js, une sortie à graine et paramétrable sous forme de fichiers. Le groupe avec skill utilise le même prompt que le groupe témoin (le skill est détecté par correspondance de description). Le groupe prompt d'une phrase ajoute une phrase : rédiger d'abord une courte philosophie algorithmique, puis un code majoritairement génératif, à graine, avec des contrôles de paramètres dans une visionneuse HTML.

1. Art de champ de flux — Créez de l'art génératif avec p5.js : un champ de flux de milliers de particules. Rendez-le explorable (graine, paramétrable). Livrez-le sous forme de fichiers dans le dossier courant.
2. Art de système de particules — Réalisez une œuvre d'art algorithmique avec p5.js : des particules en orbite autour de plusieurs attracteurs, laissant des traînées. À graine et interactive. Fichiers dans le dossier courant.
3. Brief ouvert — Créez une œuvre d'art algorithmique originale inspirée des mares de marée, avec p5.js, une randomisation à graine et des contrôles de paramètres. Fichiers dans le dossier courant.

La notation est programmatique (tests cachés / détection de problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), de 0 à 5 par exécution. Aucun juge LLM n'a décidé d'un seul score.

Résultats

Le prompt d'une phrase donné au troisième groupe : "Rédigez d'abord une courte philosophie algorithmique (un mouvement esthétique nommé), puis exprimez-la sous forme de code p5.js majoritairement génératif, utilisant un générateur aléatoire à graine pour que la même graine reproduise la pièce, et exposant des contrôles de paramètres dans une visionneuse HTML interactive."

Score moyen : 4.52 sans le skill contre 5.0 avec (delta +0.48). Tokens par exécution : 115k contre 229k (1.99x) ; temps 181s contre 165s. Groupe prompt d'une phrase : 4.76 (gain du skill par rapport au prompt d'une phrase : +0.24 ; gain du prompt d'une phrase par rapport à l'absence de skill : +0.24) ; 145k tokens par exécution pour le prompt d'une phrase, donc le skill coûte 1.58x le prompt d'une phrase.

Ce qui s'est passé

• Le groupe témoin construit déjà l'essentiel : une visionneuse HTML, un sketch à graine et des curseurs dans 6/6 exécutions. L'écart de score vient presque entièrement de la vérification de la philosophie : le groupe témoin n'a écrit qu'un README (126-226 mots) et n'a pas atteint le seuil de 150 mots dans 2 exécutions, et aucune des 6 exécutions du groupe témoin n'a produit de fichier de philosophie séparé. Moyenne 4.52 pour le groupe témoin, 4.76 pour le prompt d'une phrase, 5.00 avec le skill.
• Le skill rend l'étape de philosophie fiable : 6/6 exécutions avec skill ont écrit un philosophy.md (410-520 mots), et le groupe prompt d'une phrase en a écrit un dans 6/6 également (290-460 mots). La seule défaillance de graine sur 18 exécutions est une exécution du groupe prompt d'une phrase (t2-orbits) qui n'a utilisé ni randomSeed ni noiseSeed.
• Le skill ajoute des sorties non demandées : du code d'export/sauvegarde (5, 8 et 3 références à download/saveCanvas dans les visionneuses avec skill contre 1 dans le groupe témoin), des fichiers supplémentaires (8.3 fichiers par exécution contre 4 pour le groupe témoin) et, dans 2 exécutions, des scripts auxiliaires (build_art.py, verify.cjs) qui assemblent le modèle.
• Coût : 229k tokens par exécution avec le skill contre 115k pour le groupe témoin et 145k pour le prompt d'une phrase, soit environ 2.0x et 1.6x. Le groupe avec skill a lu le skill dans 6/6 exécutions sans qu'on le lui demande.
• Tous les groupes sauf une exécution du prompt d'une phrase chargent p5.js depuis un CDN ; dans le bac à sable hors ligne, aucune pièce n'a donc pu être rendue ; la qualité des images n'est pas comparée.

Scores par dimension

Limites de ce test

• Vérifications basées sur des règles uniquement (fichier existant, fonctions de graine, balisage des curseurs, nombre de mots) ; 14 des 15 vérifications pondérées passent pour presque toutes les exécutions, donc l'ensemble de vérifications a un effet de plafond et ne peut pas classer l'art lui-même.
• Aucun rendu : p5.js provient d'un CDN, que le bac à sable hors ligne bloque ; aucun des sketches n'a donc été exécuté dans un navigateur.
• La vérification « philosophie » accepte n'importe quel .md de 150 mots ou plus, donc un long README peut passer ; nous en tenons compte ici en comptant aussi les fichiers de philosophie séparés (voir les constats).
• n = 2 par groupe et par tâche : les écarts inférieurs à environ 1 point relèvent du bruit.
• La notation basée sur des règles mesure ce que les vérifications peuvent voir ; elle ne juge ni le goût ni si le résultat est le meilleur possible.

Sécurité

Voir security.md. Scan : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : exécution sûre (bac à sable hors ligne). Un scan propre ne prouve pas qu'un skill est sûr.

En résumé

Le skill produit de façon fiable le livrable en deux parties (une philosophie nommée plus une visionneuse à graine et paramétrable) et les fonctions d'export supplémentaires, mais une instruction d'une phrase obtient presque les mêmes vérifications pour 60 % des tokens. Il vaut la peine d'être installé quand vous voulez exactement ce flux de travail et ce style ; ce n'est pas un saut de qualité que les vérifications peuvent démontrer.