hyperframes (heygen-com/hyperframes)

レビュー

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。環境：プロジェクトテンプレート（GSAP の script タグ付き index.html、コンポジションのメタデータ）は全群で同じです。サンドボックスにはネットワークも HyperFrames CLI もないため、どの群も check、snapshot、render を実行できず、ソースのみを書きました。その後、すべてのプロジェクトを別のオフラインマシンで、固定バージョンの HyperFrames 0.8.226（ドラフト品質）でレンダリングしました。これはスキルのテキストをテストするもので、CLI ループではありません。

3群の比較

Codex CLI で 18 実行を計測し、LLM 判定なしのルールベースのチェックで採点。合計 19.9 / 30、判定は 状況次第。

判定：状況次第（19.9 / 30）。 出典：heygen-com/hyperframes、skills/hyperframes、コミット af0d68d 時点。インストール：npx skills@latest add heygen-com/hyperframes --skill hyperframes。ライセンス： Apache-2.0。

概要

heygen-com/hyperframes の hyperframes スキル（Apache-2.0）。1,100 語の SKILL.md に、約 25 個のリファレンスファイルといくつかのヘルパースクリプトを加えたもので、一時停止した GSAP タイムラインをフレームごとにシークして MP4 にレンダリングする HTML として動画を作ります。12 個のルールからなるレンダリング契約（時間指定の要素はすべて data-start／data-duration 付きの class="clip"、window.__timelines に登録された一時停止タイムライン 1 つ、非決定的な要素はなし）、編集可能な構造（サブコンポジションごとに 1 シーン）、npx hyperframes CLI を中心とした作業ループ（check、snapshot、preview、render）を定めています。

テスト方法

Mac テストマシン上で Codex CLI 0.166（gpt-6-astra、低推論）、実行ごとに新規の一時プロジェクトと一時 HOME/TMPDIR/キャッシュを使用、スキルをインストール（スキルあり群）、スキルなし（対照群）、またはスキルの中核要件をプロンプト末尾に付けた一文に圧縮（一文プロンプト群）、タスクごとに各群 2 実行、ネットワーク無効、/tmp への書き込みはブロック。プロンプトはスキル名に一切言及しません（以下で注記する表現を除く）。

環境：プロジェクトテンプレート（GSAP のスクリプトタグ付き index.html、コンポジションメタデータ）は全群で同じです。サンドボックスにはネットワークがなく HyperFrames CLI もないため、どの群も check、snapshot、render を実行できず、ソースを書くだけでした。その後、別のオフラインマシンで、固定バージョンの HyperFrames 0.8.226（ドラフト品質）で全プロジェクトをレンダリングしました。これはスキルのテキストをテストするもので、CLI ループではありません。

1. 15 秒の製品ティーザー — この HyperFrames プロジェクト（index.html ルートコンポジション、GSAP タイムライン、npx hyperframes render でレンダリング）で、毎月の海藻スナックサブスクリプション Tidepool の 15 秒・1920x1080・30 fps の製品ティーザーを作成してください。画面上に必要なテキスト：名前 'Tidepool'、…
2. 20 秒の棒グラフ解説動画 — この HyperFrames プロジェクト（index.html ルートコンポジション、GSAP タイムライン、npx hyperframes render でレンダリング）で、20 秒・1920x1080・30 fps のアニメーション解説動画を作成してください。月次売上（Aug $42k、Sep $58k、Oct $71k）の棒グラフ。タイトル 'Revenue, last 3 months…
3. 30 秒の縦型キャプション付きショート — この HyperFrames プロジェクト（index.html ルートコンポジション、GSAP タイムライン、npx hyperframes render でレンダリング）で、30 秒・縦型 1080x1920・30 fps のソーシャルショートを焼き込みキャプション付きで作成してください。キャプションは順番に、それぞれ約 5 秒表示され、開始は…

採点はプログラム的（隠しテスト／仕込み問題の検出／制約チェック／該当する場合はレンダリング+OCR）で、実行ごとに 0〜5 点。スコアはどの LLM 判定者も決めていません。

結果

第3群に与えた一文プロンプト："HyperFrames の HTML コンポジションとして作成する：data-composition-id/data-width/data-height/data-duration を持つルート、時間指定の要素はすべて class="clip" と data-start、data-duration（秒単位）を付与、一時停止した GSAP タイムライン 1 つを window.__timelines["<composition-id>"] として登録、非決定的な要素はなし（Date.now()、シードなしの Math.random()、タイマー、ネットワーク、repeat:-1 は使わない）。"

平均スコア：スキルなし 4.9 対 スキルあり 4.89（差分 -0.01）。1 実行あたりのトークン：128k 対 249k（1.95 倍）、時間 154 秒 対 208 秒。一文プロンプト群：4.91（一文プロンプトに対するスキルの上乗せ：-0.01、スキルなしに対する一文プロンプト自身の上乗せ：+0.0）。一文プロンプトのトークンは 1 実行あたり 150k で、スキルのコストは一文プロンプトの 1.67 倍です。

何が起きたか

• 動画品質は同じでした。18 プロジェクトすべてが最初の試行で正しいサイズ・長さ・フレームレートでレンダリングされ、必要なテキスト（名前、タグライン、$14 / box、締めの一文、キャプション）は、それを含むべきすべての実行で OCR によって画面上に確認されました。平均スコアはスキルなし 4.90、ルールの一文版のみ 4.91、スキルあり 4.89。3 群すべてで失われた唯一のポイントは、棒グラフ解説動画が長時間静止していたことです（動きのあるフレーム 15〜23%）。
• 一文版はスキルと同等にできました。対照群のエージェントに契約の一文（clip クラス、data-start/data-duration、一時停止タイムライン 1 つ、非決定的なコードなし）を与えると、同じスコアと同じ見た目になりました。3 群すべてのティーザー、チャート、縦型ショートのコンタクトシートを確認しましたが、品質で順位を付けることはできませんでした。
• スキルは毎回読み込まれます（スキルあり群 6/6 実行）。ただし変わるのは見た目ではなくプロジェクトの構築方法です。スキルありの 6 実行はすべて、「編集可能に保つ」セクションの指示どおり、動画をサブコンポジション（compositions/*.html、シーンごとに 1 つ）に分割しました。スキルなしの 12 実行では 0 実行でした。時間指定要素への clip 付与はスキルではなく群によってばらつきました。スキルなしの実行はプロジェクトあたり 0〜6 個、スキルありは 1〜9 個、一文プロンプトは 3〜25 個です。これは、後で誰かが HyperFrames Studio でプロジェクトを開く場合に重要になる部分で、ここでは採点していません。
• コストは大きいです。1 実行あたり 249k トークン（スキルなし 128k の 1.94 倍、一文プロンプト 150k の 1.66 倍）。コマンドは 1 実行あたり 15 個（対照は 8 個）、所要時間は約 35% 増。エージェントは最初に SKILL.md と複数のリファレンスファイルを読み、自律モードでは誰も求めていない SPEC.md、REVIEW.md、README まで書きます（1 実行あたり 4.7 ファイル、対照は 1）。
• スキルの一部は実行できませんでした。SKILL.md のループは check、snapshot、review、そして render です。CLI がないため、エージェントは手書きの REVIEW.md ファイルにフォールバックしました。CLI が動く環境では結果が変わる可能性があり、今回の初回パスのプロジェクトにはなかったエラーを検出できるかもしれません。

次元別スコア

このテストの限界

• CLI ループ（check、snapshot、preview、render）はサンドボックスで利用できなかったため、これはスキルのガイダンスのみを採点しています。スキル自身の前提は、CLI がループを閉じるというものです。
• タスクは 3 つ。製品ティーザー、3 本の棒グラフ、縦型キャプション付きショートで、すべてコードで描画。映像素材、音声、マップ、レジストリブロック、HeyGen ベースのメディア機能はテストしていません。
• Linux マシンでのドラフト品質のレンダリング。動きのチェックは粗いフレーム差分のしきい値で、同じチャートタスクが全群で減点されています。
• 構造のカウント（サブコンポジション、clip 要素）はソースファイルを読んだもので、0〜30 のスコアには含まれません。
• ライセンスは Apache-2.0 ですが、スキルが依存する CLI は別の npm パッケージで、私たちは監査もテストコンピューターでの実行もしていません。無効化しない限り利用状況のテレメトリを送信します。
• タスク・群ごとに n=2。1 ポイント未満の差はノイズです。
• ルールベースの採点はチェックで見えるものだけを測ります。センスや、その結果が可能な限り最良かどうかは判定できません。

セキュリティ

security.md を参照。スキャン：27 CRITICAL / 26 HIGH / 88 MEDIUM。判定：実行しても安全（ネットワーク無効のサンドボックス）。クリーンなスキャン結果はスキルの安全性を証明しません。

まとめ

このサンドボックスでの 1 回限りのコード描画動画では、スキルは動画を良くせず、トークンは約 2 倍かかりました。契約の一文が同じ仕事を果たしました。価値があるのは、HyperFrames Studio で編集を続ける人向けのプロジェクト構造（サブコンポジションごとのシーン、マークされた clip）と、私たちが試せなかった CLI ループです。HyperFrames で日常的に作業するならインストールを。素早い使い捨てのレンダリングならスキップしてください。