remotion-render (Remotion)

Avis

Codex CLI 0.166 (gpt-6-astra, low reasoning) sur un PC Windows de test dédié, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (traitement) ou absent (contrôle) ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « prompt d'une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous). Un projet Remotion avec l'id de composition « Promo ». Tâches (fichier shell uniquement, rien n'est exécuté) : une vidéo transparente pour Premiere/Final Cut, une vidéo transparente pour une page web, et un script de capture avec trois images dans un seul appel de rendu plus un still. Les prompts n'indiquent pas les flags. Le groupe « une phrase » indique les bons flags.

Comparaison à trois bras

Mesuré avec Codex CLI sur 18 exécutions, noté par des contrôles basés sur des règles, sans juge LLM. Total 17.0 / 30, verdict Selon les cas.

Verdict : selon les cas (17.0 / 30). Source : remotion-dev/skills, skills/remotion-render, épinglé au commit 30d4553. Installation : npx skills@latest add remotion-dev/skills --skill remotion-render. Licence : MIT (dépôt de skills Remotion).

Présentation

Le skill remotion-render (remotion-dev/skills) : des consignes courtes (une trentaine de lignes plus une note sur les vidéos transparentes) pour rendre des compositions Remotion avec npx remotion render et still, et pour la vidéo transparente : --image-format=png avec un format de pixel alpha, ProRes 4444 (.mov) pour les monteurs, VP9 yuva420p (.webm) pour les navigateurs.

Notre méthode de test

Codex CLI 0.166 (gpt-6-astra, raisonnement faible) sur un PC de test Windows dédié, un projet temporaire neuf et des HOME/TMPDIR/caches temporaires à chaque exécution, skill installé (groupe traité) ou absent (groupe témoin), ou absent avec l'exigence centrale du skill compressée en une phrase ajoutée au prompt (groupe « une phrase »), 2 exécutions par groupe et par tâche, réseau coupé, écritures dans /tmp bloquées. Les prompts ne mentionnent jamais le skill (sauf la formulation indiquée ci-dessous).

Un projet Remotion avec l'identifiant de composition « Promo ». Tâches (fichier shell uniquement, rien n'est exécuté) : une vidéo transparente pour Premiere/Final Cut, une vidéo transparente pour une page web, et un script de capture avec trois images dans un seul appel de rendu plus une image fixe. Les prompts n'indiquent pas les options. Le prompt d'une phrase indique les bonnes options.

1. Vidéo transparente pour un monteur — Ceci est un projet Remotion (identifiant de composition « Promo »). Écrivez render.sh avec la commande unique qui exporte Promo en vidéo transparente importable dans Premiere ou Final Cut. N'exécutez rien.
2. Vidéo transparente pour le navigateur — Ceci est un projet Remotion (identifiant de composition « Promo »). Écrivez render.sh avec la commande unique qui exporte Promo en vidéo transparente que je peux lire sur une page web. N'exécutez rien.
3. Plusieurs images et une image fixe — Ceci est un projet Remotion (identifiant de composition « Promo »). Écrivez grab.sh avec deux commandes : une qui enregistre les images 0, 30 et 90 de Promo en fichiers PNG dans out/frames en un seul appel de rendu, et une qui enregistre l'image 60 sous out/hero.png. N'exécutez rien.

Le scoring est programmatique (tests cachés / rappel des anomalies introduites / vérifications de contraintes / rendu + OCR le cas échéant), 0–5 par exécution. Aucun juge LLM n'a décidé d'un seul score.

Résultats

Le prompt d'une phrase donné au troisième groupe : « CLI Remotion : npx remotion render <comp> <out> rend une vidéo, npx remotion still une image, render --frames=0,30,90 --image-format=png plusieurs images en un seul appel ; une vidéo transparente nécessite --image-format=png plus un format de pixel alpha : --codec=prores --pixel-format=yuva444p10le --prores-profile=4444 (.mov) pour les monteurs, --codec=vp9 --pixel-format=yuva420p (.webm) pour les navigateurs. »

Score moyen : 4.48 sans contre 4.85 avec le skill (delta +0.37). Tokens par exécution : 32k contre 62k (1.96x) ; temps 21s contre 29s. Groupe « une phrase » : 5.0 (gain du skill sur le prompt d'une phrase : -0.15 ; gain du prompt d'une phrase sur l'absence de skill : +0.52) ; 32k tokens par exécution pour le prompt d'une phrase, donc le skill coûte 1.95x ce prompt.

Ce qui s'est passé

• Témoin 4.48, skill 4.85, une phrase 5.0 (n=6 chacun). Codex connaît déjà le bon codec et le bon format de pixel pour les deux cibles transparentes (ProRes 4444 avec yuva444p10le, VP9 avec yuva420p) ainsi que les commandes multi-images et still (5.0 dans les 6 exécutions de la tâche d'images de chaque groupe).
• Le seul manque est l'option de format d'image PNG, nécessaire à une sortie transparente : le témoin l'omettait dans 3 des 4 exécutions transparentes. Le skill l'ajoutait dans 3 sur 4 (une exécution ProRes l'omettait encore), et le prompt d'une phrase dans 4 sur 4.
• Tokens : 62k pour le skill, 32k pour le prompt d'une phrase et le témoin par exécution (environ 1.9x le témoin). Le fichier du skill n'a été ouvert que dans 1 des 6 exécutions avec le skill, donc le surcoût vient surtout de l'installation du skill (sa description et ses instructions ajoutées au contexte), pour un gain d'une seule option.
• Les exécutions avec le skill copient les fichiers du skill dans le projet (5 nouveaux fichiers par exécution).

Scores par dimension

Limites de ce test

• Rien n'a été rendu : les vérifications analysent les options dans le fichier shell. Les commandes n'ont pas été exécutées sur un vrai projet Remotion (hors ligne ; ni Chromium ni FFmpeg).
• Trois petites tâches avec une seule commande correcte chacune, le score est donc proche du plafond pour tous les groupes ; n=2 par cellule.
• La vérification du format PNG est la seule qui sépare les groupes.
• n = 2 par groupe et par tâche : les différences inférieures à environ 1 point relèvent du bruit.
• Le scoring basé sur des règles mesure ce que les vérifications peuvent voir ; il ne peut juger du goût ni du caractère optimal d'un résultat.

Sécurité

Voir security.md. Scan : 0 CRITICAL / 0 HIGH / 0 MEDIUM. Verdict : sûr à exécuter (sandbox sans réseau). Un scan propre ne prouve pas qu'un skill est sûr.

En résumé

Une petite note correcte qui corrige une option souvent oubliée, mais Codex écrit déjà des commandes presque justes sans aide et le skill double à peu près les tokens. À installer seulement si vous rendez souvent des vidéos transparentes et voulez que l'option soit gérée à chaque fois.