hyperframes (heygen-com/hyperframes)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Umgebung: Die Projektvorlage (index.html mit GSAP-Script-Tag, Kompositionsmetadaten) ist für alle Gruppen gleich. Die Sandbox hat kein Netzwerk und keine HyperFrames-CLI, daher konnte keine Gruppe check, snapshot oder render ausführen; sie schrieben nur den Quellcode. Anschließend haben wir jedes Projekt auf einem separaten Offline-Rechner mit dem festen HyperFrames 0.8.226 (Entwurfsqualität) gerendert. Das testet den Text des Skills, nicht seine CLI-Schleife.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 19.9 / 30, Urteil Situativ.

Urteil: Situationsabhängig (19.9 / 30). Quelle: heygen-com/hyperframes, skills/hyperframes, festgeschrieben auf Commit af0d68d. Installation: npx skills@latest add heygen-com/hyperframes --skill hyperframes. Lizenz: Apache-2.0.

Was es ist

Der Skill hyperframes aus heygen-com/hyperframes (Apache-2.0): eine SKILL.md mit 1,100 Wörtern plus ~25 Referenzdateien und einige Hilfsskripte, um Videos als HTML zu erstellen, das zu MP4 gerendert wird, indem eine pausierte GSAP-Timeline Bild für Bild durchlaufen wird. Er legt einen Render-Vertrag mit 12 Regeln fest (jedes zeitgesteuerte Element ist class="clip" mit data-start/data-duration, eine pausierte Timeline registriert auf window.__timelines, nichts Nichtdeterministisches), eine editierbare Struktur (eine Szene pro Subkomposition) und einen Arbeitsablauf rund um die CLI npx hyperframes (check, snapshot, preview, render).

Wie wir getestet haben

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt sowie temporäre HOME/TMPDIR/Caches, Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten erwähnten Formulierung).

Umgebung: Die Projektvorlage (index.html mit dem GSAP-Script-Tag, Kompositions-Metadaten) ist für alle Gruppen gleich. Die Sandbox hat kein Netzwerk und keine HyperFrames-CLI, daher konnte keine Gruppe check, snapshot oder render ausführen; sie schrieben nur den Quellcode. Anschließend renderten wir jedes Projekt auf einem separaten Offline-Rechner mit dem festgeschriebenen HyperFrames 0.8.226 (Entwurfsqualität). Das testet den Text des Skills, nicht seine CLI-Schleife.

1. 15-s-Produkt-Teaser — Baue in diesem HyperFrames-Projekt (index.html als Root-Komposition, GSAP-Timeline, gerendert mit npx hyperframes render) einen 15-sekündigen Produkt-Teaser für Tidepool in 1920x1080 bei 30 fps, ein monatliches Algen-Snack-Abo. Geforderter Text auf dem Bildschirm: der Name „Tidepool“,…
2. 20-s-Erklärvideo mit animiertem Balkendiagramm — Baue in diesem HyperFrames-Projekt (index.html als Root-Komposition, GSAP-Timeline, gerendert mit npx hyperframes render) ein 20-sekündiges animiertes Erklärvideo in 1920x1080 bei 30 fps: ein Balkendiagramm des Monatsumsatzes (Aug $42k, Sep $58k, Oct $71k). Titel: Revenue, last 3 months…
3. 30-s-vertikaler Short mit Untertiteln — Baue in diesem HyperFrames-Projekt (index.html als Root-Komposition, GSAP-Timeline, gerendert mit npx hyperframes render) einen 30-sekündigen vertikalen Social-Short in 1080x1920 bei 30 fps mit eingebrannten Untertiteln. Die Untertitel, in Reihenfolge, jeweils etwa 5 Sekunden lang ab…

Die Bewertung erfolgt programmatisch (versteckte Tests / Erkennung eingepflanzter Fehler / Constraint-Checks / Rendering+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Bewertung entschieden.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: "Baue es als HyperFrames-HTML-Komposition: ein Root mit data-composition-id/data-width/data-height/data-duration, jedes zeitgesteuerte Element mit class="clip" plus data-start und data-duration in Sekunden, eine pausierte GSAP-Timeline registriert als window.__timelines["<composition-id>"], und nichts Nichtdeterministisches (kein Date.now(), ungeseedetes Math.random(), Timer, Netzwerk oder repeat:-1)."

Durchschnittswert: 4.9 ohne vs. 4.89 mit dem Skill (Delta -0.01). Token pro Lauf: 128k vs. 249k (1.95x); Zeit 154s vs. 208s. Ein-Satz-Gruppe: 4.91 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: -0.01; Gewinn des Ein-Satz-Prompts gegenüber ohne Skill: +0.0); Ein-Satz-Token 150k pro Lauf, der Skill kostet also 1.67x so viel wie der Ein-Satz-Prompt.

Was passiert ist

• Die Videoqualität war gleich. Alle 18 Projekte renderten beim ersten Versuch in der richtigen Größe, Länge und Bildrate, und der geforderte Text (Name, Tagline, $14 / box, Schlusszeile, Untertitel) wurde in jedem Lauf, in dem er vorkommen sollte, per OCR auf dem Bildschirm gefunden. Durchschnittswert 4.90 ohne den Skill, 4.91 nur mit der Ein-Satz-Version seiner Regeln, 4.89 mit dem Skill. Die einzigen verlorenen Punkte, in allen drei Gruppen, stammen vom Balkendiagramm-Erklärvideo, das lange Strecken stillsteht (Bilder mit Bewegung 15-23%).
• Die Ein-Satz-Version war so gut wie der Skill. Gab man dem Kontroll-Agenten einen einzigen Satz des Vertrags (clip-Klasse, data-start/data-duration, eine pausierte Timeline, kein nichtdeterministischer Code), ergab das dieselben Werte und dasselbe Aussehen: Wir sahen uns Kontaktbögen des Teasers, des Diagramms und des vertikalen Shorts aus allen drei Gruppen an und konnten sie qualitativ nicht ordnen.
• Der Skill wird jedes Mal gelesen (6/6 Treatment-Läufe), ändert aber, wie das Projekt gebaut wird, und nicht, wie es aussieht. Alle 6 Skill-Läufe teilten den Film in Subkompositionen (compositions/*.html, eine pro Szene), wie es sein Abschnitt zur Editierbarkeit verlangt; 0 von 12 Läufen ohne Skill taten das. Die Markierung zeitgesteuerter Elemente als clips variierte nach Gruppe, nicht nach Skill: Die Läufe ohne Skill verwendeten 0-6 pro Projekt, die Skill-Läufe 1-9 und die Ein-Satz-Läufe 3-25. Das ist der Teil des Skills, der zählt, wenn danach ein Mensch das Projekt in HyperFrames Studio öffnet, und er wird hier nicht bewertet.
• Er kostet viel. 249k Token pro Lauf gegenüber 128k ohne den Skill (1.94x) und 150k mit dem Ein-Satz-Prompt (1.66x), 15 Befehle pro Lauf gegenüber 8, und etwa 35% mehr Zeit. Der Agent liest zuerst SKILL.md und mehrere Referenzdateien und schreibt im autonomen Modus trotzdem SPEC.md, REVIEW.md und eine README, die niemand angefordert hat (4.7 Dateien pro Lauf gegenüber 1).
• Ein Teil des Skills konnte nicht laufen. Die Schleife in SKILL.md ist check, snapshot, review, dann render; ohne verfügbare CLI wichen die Agenten auf handgeschriebene REVIEW.md-Dateien aus. Eine Umgebung, in der die CLI funktioniert, könnte ein anderes Ergebnis zeigen und Fehler abfangen, die die Erstentwürfe hier nicht hatten.

Dimensionswerte

Grenzen dieses Tests

• Die CLI-Schleife (check, snapshot, preview, render) war in der Sandbox nicht verfügbar, daher bewertet dies nur die Anleitung des Skills; die Prämisse des Skills ist, dass die CLI die Schleife schließt.
• Drei Aufgaben: ein Produkt-Teaser, ein Drei-Balken-Diagramm und ein vertikaler Short mit Untertiteln, alles im Code gezeichnet. Footage, Audio, Karten, Registry-Blöcke und die HeyGen-basierten Medienfunktionen wurden nicht getestet.
• Renderings in Entwurfsqualität auf einem Linux-Rechner; die Bewegungsprüfung ist eine grobe Bilddifferenz-Schwelle, und dieselbe Diagrammaufgabe verliert in jeder Gruppe Punkte.
• Die strukturellen Zählungen (Subkompositionen, clip-Elemente) stammen aus dem Lesen der Quelldateien und sind nicht Teil der 0-30-Bewertung.
• Die Lizenz ist Apache-2.0, aber die CLI, auf die der Skill sich stützt, ist ein separates npm-Paket, das wir nicht geprüft oder auf dem Testrechner ausgeführt haben; es sendet Nutzungstelemetrie, sofern nicht deaktiviert.
• n = 2 pro Gruppe und Aufgabe: Abweichungen unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Checks sehen können; sie kann weder Geschmack beurteilen noch, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 27 CRITICAL / 26 HIGH / 88 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Für einmalige, im Code gezeichnete Videos in dieser Sandbox machte der Skill die Videos nicht besser und kostete etwa doppelt so viele Token; ein Satz seines Vertrags erledigte dieselbe Aufgabe. Sein Wert liegt in der Projektstruktur (eine Szene pro Subkomposition, markierte Clips) für alle, die danach in HyperFrames Studio weiterbearbeiten, und in der CLI-Schleife, die wir nicht ausprobieren konnten. Installiere ihn, wenn du regelmäßig mit HyperFrames arbeitest; lass ihn weg für schnelle Wegwerf-Renderings.