hyperframes (heygen-com/hyperframes)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, um projeto temporário novo e HOME/TMPDIR/caches temporários por execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill condensado em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto o texto indicado abaixo). Ambiente: o template do projeto (index.html com a tag de script do GSAP, metadados da composição) é o mesmo para todos os grupos. O sandbox não tem rede nem a CLI do HyperFrames, então nenhum dos grupos conseguiu rodar check, snapshot ou render; eles escreveram apenas o código-fonte. Depois, renderizamos todos os projetos em outra máquina offline com o HyperFrames 0.8.226 fixado (qualidade draft). Isso testa o texto da skill, não o ciclo da CLI.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 19.9 / 30, veredito Situacional.

Veredito: Situacional (19.9 / 30). Fonte: heygen-com/hyperframes, skills/hyperframes, fixada no commit af0d68d. Instalação: npx skills@latest add heygen-com/hyperframes --skill hyperframes. Licença: Apache-2.0.

O que é

A skill hyperframes de heygen-com/hyperframes (Apache-2.0): um SKILL.md de 1,100 palavras mais ~25 arquivos de referência e alguns scripts auxiliares, para criar vídeos como HTML que é renderizado em MP4 avançando uma timeline GSAP pausada quadro a quadro. Ela define um contrato de renderização de 12 regras (todo elemento com tempo é class="clip" com data-start/data-duration, uma timeline pausada registrada em window.__timelines, nada não determinístico), uma estrutura editável (uma cena por subcomposição) e um ciclo de trabalho em torno da CLI npx hyperframes (check, snapshot, preview, render).

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em um Mac de teste, um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (grupo com skill), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desativada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pela formulação indicada abaixo).

Ambiente: o template do projeto (index.html com a tag de script do GSAP, metadados da composição) é o mesmo para todos os grupos. O sandbox não tem rede nem CLI do HyperFrames, então nenhum dos grupos pôde rodar check, snapshot ou render; eles apenas escreveram o código-fonte. Depois renderizamos cada projeto em uma máquina offline separada com o HyperFrames 0.8.226 fixado (qualidade de rascunho). Isso testa o texto da skill, não seu ciclo de CLI.

1. Teaser de produto de 15 s — Neste projeto HyperFrames (composição raiz index.html, timeline GSAP, renderizado por npx hyperframes render), crie um teaser de produto de 15 segundos, 1920x1080, 30 fps, para a Tidepool, uma assinatura mensal de snacks de algas. Texto obrigatório na tela: o nome 'Tidepool',…
2. Explicativo animado de gráfico de barras de 20 s — Neste projeto HyperFrames (composição raiz index.html, timeline GSAP, renderizado por npx hyperframes render), crie um explicativo animado de 20 segundos, 1920x1080, 30 fps: um gráfico de barras da receita mensal (ago $42k, set $58k, out $71k). Título 'Revenue, last 3 months…
3. Short vertical legendado de 30 s — Neste projeto HyperFrames (composição raiz index.html, timeline GSAP, renderizado por npx hyperframes render), crie um short social vertical de 30 segundos, 1080x1920, 30 fps, com legendas queimadas. Legendas, em ordem, cada uma na tela por cerca de 5 segundos começando em…

A pontuação é programática (testes ocultos / detecção de problemas plantados / verificações de restrições / renderização+OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer nota.

Resultados

A frase única dada ao terceiro grupo: "Crie como uma composição HTML do HyperFrames: uma raiz com data-composition-id/data-width/data-height/data-duration, todo elemento com tempo recebendo class="clip" mais data-start e data-duration em segundos, uma timeline GSAP pausada registrada como window.__timelines["<composition-id>"], e nada não determinístico (sem Date.now(), Math.random() sem seed, timers, rede ou repeat:-1)."

Nota média: 4.9 sem vs 4.89 com a skill (delta -0.01). Tokens por execução: 128k vs 249k (1.95x); tempo 154s vs 208s. Grupo de uma frase: 4.91 (ganho da skill sobre a frase: -0.01; ganho da própria frase sobre sem skill: +0.0); tokens da frase: 150k por execução, então a skill custa 1.67x a frase.

O que aconteceu

• A qualidade dos vídeos foi a mesma. Todos os 18 projetos renderizaram com o tamanho, o comprimento e a taxa de quadros corretos de primeira, e o texto obrigatório (nome, slogan, $14 / caixa, frase de encerramento, legendas) foi encontrado na tela pelo OCR em toda execução que deveria tê-lo. Nota média 4.90 sem a skill, 4.91 só com a versão de uma frase de suas regras, 4.89 com a skill. Os únicos pontos perdidos, nos três grupos, vêm do fato de o explicativo de gráfico de barras ficar parado por longos trechos (quadros com movimento de 15-23%).
• A versão de uma frase foi tão bem quanto a skill. Dar ao agente de controle uma única frase do contrato (classe clip, data-start/data-duration, uma timeline pausada, nenhum código não determinístico) produziu as mesmas notas e a mesma aparência: vimos folhas de contato do teaser, do gráfico e do short vertical dos três grupos e não conseguimos classificá-los por qualidade.
• A skill é lida sempre (6/6 execuções com a skill), mas muda como o projeto é construído, não como ele se parece. Todas as 6 execuções com a skill dividiram o filme em subcomposições (compositions/*.html, uma por cena) como pede sua seção 'mantenha editável'; Nenhuma das 12 execuções sem a skill fez isso. Marcar elementos com tempo como clips variou por grupo, não por skill: as execuções sem skill usaram 0-6 por projeto, as com skill 1-9, e as da frase 3-25. Essa é a parte da skill que importa se alguém for abrir o projeto no HyperFrames Studio depois, e não é pontuada aqui.
• Custa caro. 249k tokens por execução contra 128k sem a skill (1.94x) e 150k com a frase (1.66x), 15 comandos por execução contra 8, e cerca de 35% mais tempo. O agente lê o SKILL.md e vários arquivos de referência primeiro e, no modo autônomo, ainda escreve SPEC.md, REVIEW.md e um README que ninguém pediu (4.7 arquivos por execução contra 1).
• Parte da skill não pôde rodar. O ciclo do SKILL.md é check, snapshot, review e então render; sem CLI disponível, os agentes recorreram a arquivos REVIEW.md escritos à mão. Um ambiente com a CLI funcionando poderia mostrar um resultado diferente e talvez pegar erros que os projetos daqui, feitos de primeira, não tinham.

Notas por dimensão

Limitações deste teste

• O ciclo da CLI (check, snapshot, preview, render) não estava disponível no sandbox, então isto avalia apenas a orientação da skill; a própria premissa da skill é que a CLI fecha o ciclo.
• Três tarefas: um teaser de produto, um gráfico de três barras e um short vertical legendado, todos desenhados em código. Filmagens, áudio, mapas, blocos do registry e os recursos de mídia baseados no HeyGen não foram testados.
• Renderizações em qualidade de rascunho em uma máquina Linux; a verificação de movimento é um limiar grosseiro de diferença entre quadros e a mesma tarefa de gráfico perde pontos em todos os grupos.
• As contagens estruturais (subcomposições, elementos clip) vêm da leitura dos arquivos-fonte e não fazem parte da nota de 0-30.
• A licença é Apache-2.0, mas a CLI em que a skill se apoia é um pacote npm separado que não auditamos nem rodamos no computador de teste; ela envia telemetria de uso a menos que seja desativada.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação baseada em regras mede o que as verificações conseguem ver; não avalia gosto nem se o resultado é o melhor possível.

Segurança

Veja security.md. Varredura: 27 CRITICAL / 26 HIGH / 88 MEDIUM. Veredito: seguro para executar (sandbox sem rede). Uma varredura limpa não prova que a skill é segura.

Conclusão

Para vídeos avulsos desenhados em código neste sandbox, a skill não deixou os vídeos melhores e custou cerca do dobro dos tokens; uma frase do seu contrato fez o mesmo trabalho. Seu valor está na estrutura do projeto (uma cena por subcomposição, clipes marcados) para quem vai continuar editando no HyperFrames Studio, e no ciclo de CLI que não pudemos exercitar. Instale se você trabalha com HyperFrames regularmente; pule para renderizações rápidas e descartáveis.