video (smixs/visual-skills)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un Mac de test, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Ce skill produit des prompts pour des générateurs externes (Seedance, Kling), nous avons donc noté les prompts. Aucun fichier vidéo n'existe pour ce skill : en générer un nécessite un compte et une clé Seedance/Kling/Veo, que nous n'avons pas utilisés.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 20.8 / 30, verdict Selon les cas.

Verdict : Selon le cas (20.8 / 30). Source : smixs/visual-skills, video, épinglé au commit 92be33a. Installation : npx skills@latest add smixs/visual-skills --skill video. Licence : CC-BY-4.0.

Présentation

Le skill video de smixs/visual-skills (CC-BY-4.0, attribution requise) : il amène l’agent à jouer le rôle de réalisateur, scénariste et monteur lorsqu’il écrit des prompts pour des générateurs de vidéo IA (Seedance, Kling, Veo et similaires). SKILL.md est volontairement mince (environ 1 400 mots) et ordonne à l’agent de lire dramaturgy.md, universal-rules.md et un fichier propre au modèle (Seedance, Kling ou Veo) avant d’écrire. Markdown uniquement : 12 fichiers de référence, aucun script. Il écrit des prompts ; il ne génère pas de vidéo.

Méthode de test

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur une machine de test Mac, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (groupe avec skill), absent (groupe témoin), ou absent avec l’exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt en une phrase »), 2 exécutions par groupe et par tâche, réseau désactivé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée plus bas).

Ce skill produit des prompts pour des générateurs externes (Seedance, Kling), nous avons donc noté les prompts. Aucun fichier vidéo n’existe pour ce skill : en générer un demande un compte et une clé Seedance/Kling/Veo, que nous n’avons pas utilisés.

1. Prompts pour un teaser de 15 s — Écrivez les prompts de génération pour créer un teaser produit de 15 secondes en 16:9 pour Tidepool, un abonnement mensuel de snacks aux algues (14 $ la boîte), avec un générateur de vidéo IA (Seedance). Si une génération ne peut pas couvrir 15 secondes, découpez-la en clips et indiquez la durée de chacun…
2. Prompt pour un plan cinématographique de 8 s — Écrivez le prompt de génération pour un plan cinématographique de 8 secondes en 16:9 montrant un petit bateau en papier sur un rebord de fenêtre strié de pluie au crépuscule, pour un générateur de vidéo IA (Kling). Un seul plan continu, sans coupe. Travaillez en autonomie ; aucune question. Enregistrez le résultat dans prompts.md (copie-…
3. Prompts pour un short vertical de 30 s en clips — Écrivez les prompts de génération pour un short social vertical 9:16 de 30 secondes pour Tidepool (snacks aux algues, 14 $ la boîte) destiné à un générateur de vidéo IA dont les clips font au plus 10 secondes. Sous-titres à afficher (ajoutés plus tard) : Découvrez Tidepool. / Snacks aux algues, croustillants et s…

Le scoring est programmatique (tests cachés / détection des problèmes implantés / vérifications de contraintes / rendu + OCR le cas échéant), de 0 à 5 par exécution. Aucun juge LLM n’a attribué de score. Les vérifications sont des contrôles de mots-clés et de structure sur prompts.md (par exemple « nomme un mouvement de caméra », « mentionne le son », « met une durée sur chaque clip », « indique aucune coupe »). Elles ne peuvent juger si un prompt produirait un meilleur film.

Résultats

Le prompt en une phrase donné au troisième groupe : « Écris chaque prompt de clip comme un réalisateur : commence par le sujet et son action, donne un mouvement de caméra et un objectif concrets, la lumière et l’image finale, garde le même ancrage personnage/produit nommé dans chaque clip, et indique la durée en secondes sur chaque clip. »

Score moyen : 4.77 sans le skill contre 4.3 avec (écart -0.47). Tokens par exécution : 62k contre 172k (2.76x) ; temps 76s contre 126s. Groupe « prompt en une phrase » : 4.69 (gain du skill sur ce prompt : -0.39 ; gain du prompt par rapport à l’absence de skill : -0.08) ; tokens du prompt : 51k par exécution, donc le skill coûte 3.35x le prompt en une phrase.

Ce qui s’est passé

• D’après les vérifications par mots-clés, le skill sort légèrement en retrait : moyenne de 4.30 avec le skill, contre 4.77 sans et 4.69 avec la version en une phrase. L’écart vient surtout du prompt du bateau en papier de 8 secondes (4.11 et 3.67 contre 4.56 dans les quatre autres exécutions), puis du teaser (4.25 contre 4.75 : il a manqué par endroits les plans timecodés et la note sur le prix en incrustation) et d’un plan de clips qui ne nommait pas les mouvements de caméra.
• Une partie de cet écart relève d’une différence de goût, pas d’une erreur. Dans la tâche du bateau, les deux exécutions du skill ont choisi une caméra fixe pour qu’une petite action (une goutte atterrissant sur la proue, deux gouttes fusionnant) porte le plan ; le vérificateur cherche des mots comme « push-in » ou « dolly » et l’a compté comme un mouvement de caméra manquant. Aucune exécution du skill n’a mentionné le son, que le vérificateur attendait aussi.
• Les sorties ont effectivement un aspect différent. Les exécutions du skill déroulent un plan en trois clips avec des temps forts par clip, nomment le modèle cible et ses réglages (durée, résolution, camera_fixed), gardent un ancrage personnage/produit d’un clip à l’autre et précisent ce qui est ajouté plus tard au montage. Les exécutions sans skill sur le teaser donnaient aussi des prompts timecodés complets, avec audio et lignes de voix off, et n’étaient pas moins bonnes sur aucune vérification ; les exécutions du prompt étaient plus courtes (environ 900 mots contre 1 300-1 500).
• Le skill est lu à chaque fois (6/6) et le coût est élevé : 172k tokens par exécution contre 62k sans le skill (2.8x) et 51k avec le prompt (3.4x), 14 commandes contre 3, et environ 1.7x le temps. L’agent lit environ six fichiers de référence avant d’écrire un seul prompt.
• La version en une phrase était aussi bonne que l’absence de skill selon ces vérifications (4.69 contre 4.77, dans le bruit) pour 0.8x les tokens.

Scores par dimension

Limites de ce test

• Aucune vidéo n’a été générée, donc nous ne pouvons pas dire si les prompts du skill produisent de meilleurs films ; les scores ne mesurent que des caractéristiques des prompts.
• Les vérifications par mots-clés pénalisent un choix de style légitime (caméra fixe) et ignorent la qualité du prompt ; considérez l’écart de 0.47 point comme une preuve faible.
• Trois tâches de prompts (teaser 15 s 16:9, plan cinématographique 8 s, short vertical 30 s découpé en clips) ; la cohérence des personnages entre générations, l’image-vers-vidéo et les modes de montage n’ont pas été testés.
• CC-BY-4.0 : la réutilisation exige de créditer Serge Shima.
• n = 2 par groupe et par tâche : un écart inférieur à ~1 point relève du bruit.
• Le scoring par règles mesure ce que les vérifications peuvent voir ; il ne peut juger du goût ni du caractère optimal d’un résultat.

Sécurité

Voir security.md. Scan : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : exécution sans danger (sandbox sans réseau). Un scan propre ne prouve pas qu’un skill est sûr.

En résumé

Un guide d’écriture de prompts soigné et directorial qui fait planifier à l’agent les clips, les ancrages et les réglages, mais nos vérifications par mots-clés n’ont pas pu montrer d’avantage, et il coûte environ 2.8x les tokens d’une simple demande. À essayer si vous comptez réellement nourrir Seedance, Kling ou Veo avec ces prompts et comparer les films ; nous n’avons pas pu faire cette partie.