remotion-render (Remotion)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Ein Remotion-Projekt mit Kompositions-ID 'Promo'. Aufgaben (nur Shell-Datei, nichts wird ausgeführt): ein transparentes Video für Premiere/Final Cut, ein transparentes Video für eine Webseite und ein Grab-Skript mit drei Frames in einem Render-Aufruf plus einem Still. Die Prompts nennen die Flags nicht. Der One-Liner nennt die korrekten Flags.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 17.0 / 30, Urteil Situativ.

Urteil: Situationsabhängig (17.0 / 30). Quelle: remotion-dev/skills, skills/remotion-render, festgeschrieben auf Commit 30d4553. Installation: npx skills@latest add remotion-dev/skills --skill remotion-render. Lizenz: MIT (Remotion-Skills-Repo).

Was es ist

Der Skill remotion-render (remotion-dev/skills): eine kurze Anleitung (etwa 30 Zeilen plus ein Hinweis zu transparenten Videos) zum Rendern von Remotion-Kompositionen mit npx remotion render und still und für transparentes Video: --image-format=png mit einem Alpha-Pixelformat, ProRes 4444 (.mov) für Schnittprogramme, VP9 yuva420p (.webm) für Browser.

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt sowie temporäre HOME/TMPDIR/Caches, Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten erwähnten Formulierung).

Ein Remotion-Projekt mit der Kompositions-ID „Promo“. Aufgaben (nur Shell-Datei, nichts wird ausgeführt): ein transparentes Video für Premiere/Final Cut, ein transparentes Video für eine Webseite und ein Skript grab.sh mit drei Frames in einem Render-Aufruf plus einem Standbild. Die Prompts nennen die Flags nicht. Der Ein-Satz-Prompt nennt die richtigen Flags.

1. Transparentes Video für ein Schnittprogramm — Dies ist ein Remotion-Projekt (Kompositions-ID „Promo“). Schreibe render.sh mit dem einen Befehl, der Promo als transparentes Video exportiert, das ich in Premiere oder Final Cut importieren kann. Führe nichts aus.
2. Transparentes Video für den Browser — Dies ist ein Remotion-Projekt (Kompositions-ID „Promo“). Schreibe render.sh mit dem einen Befehl, der Promo als transparentes Video exportiert, das ich auf einer Webseite abspielen kann. Führe nichts aus.
3. Mehrere Frames und ein Still — Dies ist ein Remotion-Projekt (Kompositions-ID „Promo“). Schreibe grab.sh mit zwei Befehlen: einer speichert die Frames 0, 30 und 90 von Promo als PNG-Dateien in out/frames in einem einzigen Render-Aufruf, und einer speichert Frame 60 als out/hero.png. Führe nichts aus.

Die Bewertung erfolgt programmatisch (versteckte Tests / Erkennung eingepflanzter Fehler / Constraint-Checks / Rendering+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Bewertung entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Remotion-CLI: npx remotion render <comp> <out> rendert ein Video, npx remotion still einen Frame, render --frames=0,30,90 --image-format=png mehrere Frames in einem Aufruf; transparentes Video braucht --image-format=png plus ein Alpha-Pixelformat: --codec=prores --pixel-format=yuva444p10le --prores-profile=4444 (.mov) für Schnittprogramme, --codec=vp9 --pixel-format=yuva420p (.webm) für Browser."

Durchschnittswert: 4.48 ohne vs. 4.85 mit dem Skill (Delta +0.37). Token pro Lauf: 32k vs. 62k (1.96x); Zeit 21s vs. 29s. Ein-Satz-Gruppe: 5.0 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: -0.15; Gewinn des Ein-Satz-Prompts gegenüber ohne Skill: +0.52); Ein-Satz-Token 32k pro Lauf, der Skill kostet also 1.95x so viel wie der Ein-Satz-Prompt.

Was passiert ist

• Kontrolle 4.48, Skill 4.85, Ein-Satz 5.0 (je n=6). Codex kennt bereits den richtigen Codec und das richtige Pixelformat für beide transparenten Ziele (ProRes 4444 mit yuva444p10le, VP9 mit yuva420p) sowie die Multi-Frame- und Still-Befehle (5.0 in allen 6 Läufen der Frames-Aufgabe in jedem Arm).
• Die einzige Lücke ist das PNG-Image-Format-Flag, das transparente Ausgabe braucht: Die Kontrolle ließ es in 3 von 4 transparenten Läufen weg. Der Skill ergänzte es in 3 von 4 (ein ProRes-Lauf ließ es weiterhin weg), der Ein-Satz-Prompt in 4 von 4.
• Token: Skill 62k, Ein-Satz und Kontrolle 32k pro Lauf (etwa 1.9x Kontrolle). Die Skill-Datei wurde nur in 1 von 6 Treatment-Läufen geöffnet, die Mehrkosten stammen also überwiegend daraus, dass der Skill installiert ist (seine Beschreibung und Anleitung werden dem Kontext hinzugefügt) — für den Gewinn eines einzigen Flags.
• Treatment-Läufe kopieren Skill-Dateien ins Projekt (5 neue Dateien pro Lauf).

Dimensionswerte

Grenzen dieses Tests

• Es wurde nichts gerendert: Die Checks werten die Flags in der Shell-Datei aus. Die Befehle wurden nicht gegen ein echtes Remotion-Projekt ausgeführt (offline; kein Chromium oder FFmpeg).
• Drei kleine Aufgaben mit jeweils einem einzig richtigen Befehl, daher liegt der Wert für alle Arme nahe an der Obergrenze; n=2 pro Zelle.
• Der PNG-Format-Check ist der einzige, der die Arme trennt.
• n = 2 pro Gruppe und Aufgabe: Abweichungen unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Checks sehen können; sie kann weder Geschmack beurteilen noch, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Ein kleiner, korrekter Hinweis, der ein häufig vergessenes Flag behebt, aber Codex schreibt nahezu richtige Befehle bereits ohne Hilfe, und der Skill verdoppelt etwa die Token. Eine Installation lohnt nur, wenn du oft transparente Videos renderst und das Flag jedes Mal korrekt gesetzt haben willst.