hyperframes-core (HeyGen HyperFrames)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem dedizierten Windows-Test-PC, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). HyperFrames wird im Prompt als „ein Open-Source-Framework, das eine HTML-Seite nach MP4 rendert, indem es eine GSAP-Timeline Frame für Frame durchläuft“ beschrieben, ohne Details zum Vertrag. Aufgaben: einen 12-sekündigen Dreiszenen-Erklärer verfassen, eine defekte Komposition reparieren (Jitter, falsches Timing) und ein wiederverwendbares Lower-Third als Subkomposition bauen. Der One-Liner nennt den vollständigen Kompositionsvertrag in einem Absatz.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 25.8 / 30, Urteil Situativ.

Urteil: Situativ (25.8 / 30). Quelle: heygen-com/hyperframes, skills/hyperframes-core, festgehalten auf Commit 207c8a4. Installation: npx skills@latest add heygen-com/hyperframes --skill hyperframes-core. Lizenz: Apache-2.0 (Repo-LICENSE).

Was es ist

Der Skill hyperframes-core aus heygen-com/hyperframes, getestet auf Commit 207c8a4 (der Skill wurde später aus dem Repo-HEAD entfernt; beschrieben wird hier also eine eingestellte Version). Er dokumentiert den Kompositionsvertrag von HyperFrames: Root-Div mit data-composition-id/width/height/duration, zeitgesteuerte Clips mit data-start/data-duration und class=clip, eine pausierte GSAP-Timeline, die bei window.__timelines[Root-ID] registriert wird, Regeln für Determinismus zur Renderzeit und Subkompositionen in separaten Dateien.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedrige Denkstufe) auf einem dedizierten Windows-Test-PC, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts erwähnen den Skill nie (außer der unten genannten Formulierung).

HyperFrames wird im Prompt beschrieben als „ein Open-Source-Framework, das eine HTML-Seite zu MP4 rendert, indem es eine GSAP-Timeline Bild für Bild durchläuft“, ohne Details zum Vertrag. Aufgaben: einen 12-sekündigen Dreiszenen-Erklärer schreiben, eine kaputte Komposition reparieren (Ruckeln, falsches Timing) und ein wiederverwendbares Lower-Third als Subkomposition bauen. Der Ein-Satz-Prompt nennt den vollständigen Kompositionsvertrag in einem Absatz.

1. Dreiszenen-Erklärer — Erstelle ein 12-sekündiges 1920x1080-Video als HyperFrames-Komposition (ein Open-Source-Framework, das eine HTML-Seite zu MP4 rendert, indem es eine GSAP-Timeline Bild für Bild durchläuft; GSAP kommt über ein CDN-Script-Tag). Drei Szenen à 4 Sekunden: eine Titelkarte („Meet Orbit“), eine Bullet-L…
2. Eine kaputte Komposition reparieren — index.html in diesem Ordner ist eine HyperFrames-Komposition (ein Open-Source-Framework, das eine HTML-Seite zu MP4 rendert, indem es eine GSAP-Timeline Bild für Bild durchläuft; GSAP kommt über ein CDN-Script-Tag), die falsch rendert (ruckelig, falsches Szenen-Timing, Szene 2 unsichtbar, d…
3. Wiederverwendbares Lower-Third als Subkomposition — Baue ein HyperFrames-Video (ein Open-Source-Framework, das eine HTML-Seite zu MP4 rendert, indem es eine GSAP-Timeline Bild für Bild durchläuft; GSAP kommt über ein CDN-Script-Tag) von 8 Sekunden, 1920x1080. Ein wiederverwendbares Lower-Third (Name und Berufsbezeichnung, die von links hereingleiten un…

Die Bewertung erfolgt programmatisch (versteckte Tests / Recall eingeschleuster Probleme / Constraint-Prüfungen / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Judge hat eine Punktzahl vergeben.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „HyperFrames-Kompositionsvertrag: ein eigenständiges Root-<div data-composition-id data-width data-height data-duration> in <body>; zeitgesteuerte Elemente tragen data-start und data-duration (class=clip); EINE gsap.timeline({paused:true}) bauen und bei window.__timelines['<root id>'] registrieren; Determinismus zur Renderzeit: kein Math.random/Date.now/Timer/rAF, kein repeat:-1, niemals display/visibility/autoAlpha eines Clips tweenen; Subkompositionen liegen in separaten Dateien mit data-composition-src, der Inhalt in <template> verpackt, Host-ID = innere ID = Timeline-Schlüssel.“

Mittelwert: 4.09 ohne vs. 4.94 mit Skill (Delta +0.85). Token pro Lauf: 239k vs. 114k (0.47x); Zeit 107s vs. 79s. Ein-Satz-Gruppe: 4.62 (Gewinn des Skills gegenüber dem Ein-Satz-Prompt: +0.32; Gewinn des Ein-Satz-Prompts gegenüber dem Lauf ohne Skill: +0.53); Token des Ein-Satz-Prompts 160k pro Lauf, der Skill kostet also 0.71x des Ein-Satz-Prompts.

Was dabei herauskam

• Kontrolle 4.09, Skill 4.94, Ein-Satz 4.62 (je n=6). Der größte Abstand zeigt sich beim Erklärer: Die Kontrolle schrieb in 2/2 Läufen visibility/display-Tweens oder autoAlpha auf Clips und registrierte die Timeline in 2/2 nicht bei window.__timelines; beide Skill-Läufe und beide Ein-Satz-Läufe waren sauber (5.0).
• Reparaturaufgabe: Der Skill erzielte 4.82 gegenüber 3.95 für die Kontrolle und 3.86 für den Ein-Satz-Prompt. Die Kontrolle ließ das Root in 2/2 ohne Dauer und mit fest codierter px-Größe, und die Dauer des Roots deckte den letzten Clip nicht ab; die Ein-Satz-Läufe codierten die px-Größe fest, und einer registrierte die Timeline nicht.
• Subkompositions-Aufgabe: Alle drei Gruppen erzielten 5.0; ein nacktes Modell beherrscht data-composition-src und den Template-Wrapper also bereits, wenn ein wiederverwendbares Bauteil verlangt wird.
• Token: Skill 114k, Ein-Satz 160k, Kontrolle 239k pro Lauf. Ohne den Vertrag braucht die Kontrolle deutlich mehr Schritte (13 Befehle pro Lauf gegenüber 9), um das Format herauszufinden; der Skill ist günstiger als gar keine Anleitung.
• Eine Prüfung („jedes zeitgesteuerte Element hat eine Dauer“) scheitert in 3 Läufen, darunter Läufe mit Skill; sie zählt in der Datei der Reparaturaufgabe nur zwei Clips und gilt für alle Gruppen gleich.

Bewertung nach Dimensionen

Grenzen dieses Tests

• Die Prüfungen sind statisch: HTML-Struktur, GSAP-Aufrufe und Timeline-Registrierung wurden geparst, aber es wurden keine Frames gerendert (die hyperframes CLI, Chrome und FFmpeg liefen nicht).
• Der Skill wurde auf Commit 207c8a4 getestet, weil HEAD ihn nicht mehr enthält; der Installationsbefehl im Review funktioniert möglicherweise nicht mehr gegen das aktuelle Repository.
• n=2 pro Zelle; die Tokenzahl der Kontrolle ist durch einige sehr lange Läufe (bis zu 440k) nach oben verzerrt.
• Die Prompts beschreiben HyperFrames in einem Satz; ein Agent mit Netzzugang könnte die Docs nachschlagen, doch das Netzwerk war aus.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst nur, was die Prüfungen sehen können; sie kann weder Geschmack noch beurteilen, ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 21 MEDIUM. Urteil: sicher ausführbar (Offline-Sandbox). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Wo das Format unbekannt ist, halbiert der Skill etwa die Chance auf Vertragsfehler und spart Token. Ein Absatz, der den Vertrag nennt, holt den größten Teil des Nutzens zurück. Da der Skill nicht mehr im Repo des Anbieters liegt, ist das Ergebnis als Aufzeichnung jener früheren Version zu verstehen.