hyperframes (heygen-com/hyperframes)

Reseña

Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en una máquina de pruebas Mac, con un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales en cada ejecución, la skill instalada (grupo con skill), ausente (control) o ausente con el requisito central de la skill comprimido en una frase añadida al prompt (grupo del prompt de una frase), 2 ejecuciones por grupo y tarea, sin red y con las escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo la redacción indicada abajo). Entorno: la plantilla del proyecto (index.html con la etiqueta script de GSAP y los metadatos de composición) es la misma para todos los grupos. El sandbox no tiene red ni la CLI de HyperFrames, así que ninguno de los grupos pudo ejecutar check, snapshot ni render; solo escribieron código fuente. Después renderizamos cada proyecto en una máquina sin conexión aparte con HyperFrames 0.8.226 fijado (calidad draft). Esto prueba el texto de la skill, no su bucle de CLI.

Comparación de tres ramas

Medido con Codex CLI en 18 ejecuciones, puntuado con comprobaciones basadas en reglas y sin juez LLM. Total 19.9 / 30, veredicto Según el caso.

Veredicto: Según el caso (19.9 / 30). Fuente: heygen-com/hyperframes, skills/hyperframes, fijada en el commit af0d68d. Instalación: npx skills@latest add heygen-com/hyperframes --skill hyperframes. Licencia: Apache-2.0.

Qué es

La skill hyperframes de heygen-com/hyperframes (Apache-2.0): un SKILL.md de 1,100 palabras más ~25 archivos de referencia y unos cuantos scripts auxiliares, para crear vídeos como HTML que se renderiza a MP4 avanzando fotograma a fotograma una línea de tiempo GSAP en pausa. Establece un contrato de renderizado de 12 reglas (cada elemento temporizado es class="clip" con data-start/data-duration, una única línea de tiempo en pausa registrada en window.__timelines, nada no determinista), una estructura editable (una escena por subcomposición) y un bucle de trabajo construido en torno a la CLI npx hyperframes (check, snapshot, preview, render).

Cómo lo probamos

Codex CLI 0.166 (gpt-6-astra, razonamiento bajo) en un Mac de pruebas, un proyecto temporal nuevo y HOME/TMPDIR/cachés temporales por ejecución, skill instalada (tratamiento) o ausente (control) o ausente con el requisito central de la skill comprimido en una frase añadida al final del prompt (grupo de una frase), 2 ejecuciones por grupo y tarea, red desactivada, escrituras en /tmp bloqueadas. Los prompts nunca mencionan la skill (salvo la formulación indicada abajo).

Entorno: la plantilla del proyecto (index.html con la etiqueta de script de GSAP, metadatos de composición) es la misma para todos los grupos. El sandbox no tiene red ni CLI de HyperFrames, así que ninguno de los grupos pudo ejecutar check, snapshot ni render; solo escribieron el código fuente. Después renderizamos cada proyecto en una máquina offline separada con la versión fijada de HyperFrames 0.8.226 (calidad draft). Esto prueba el texto de la skill, no su bucle de CLI.

1. Teaser de producto de 15 s — En este proyecto HyperFrames (composición raíz index.html, línea de tiempo GSAP, renderizado con npx hyperframes render) crea un teaser de producto de 15 segundos, 1920x1080, 30 fps para Tidepool, una suscripción mensual de snacks de algas. Texto obligatorio en pantalla: el nombre 'Tidepool',…
2. Explicativo animado de gráfico de barras de 20 s — En este proyecto HyperFrames (composición raíz index.html, línea de tiempo GSAP, renderizado con npx hyperframes render) crea un explicativo animado de 20 segundos, 1920x1080, 30 fps: un gráfico de barras de ingresos mensuales (Ago $42k, Sep $58k, Oct $71k). Título 'Ingresos, últimos 3 meses…
3. Short vertical con subtítulos de 30 s — En este proyecto HyperFrames (composición raíz index.html, línea de tiempo GSAP, renderizado con npx hyperframes render) crea un short social vertical de 30 segundos, 1080x1920, 30 fps con subtítulos incrustados. Subtítulos, en orden, cada uno en pantalla unos 5 segundos empezando en…

La puntuación es programática (tests ocultos / detección de problemas sembrados / comprobaciones de restricciones / renderizado + OCR cuando corresponde), 0–5 por ejecución. Ningún juez LLM decidió ninguna puntuación.

Resultados

La frase única que recibió el tercer grupo: "Constrúyelo como una composición HTML de HyperFrames: una raíz con data-composition-id/data-width/data-height/data-duration, cada elemento temporizado con class="clip" más data-start y data-duration en segundos, una única línea de tiempo GSAP en pausa registrada como window.__timelines["<composition-id>"], y nada no determinista (sin Date.now(), Math.random() sin semilla, timers, red ni repeat:-1)."

Puntuación media: 4.9 sin vs 4.89 con la skill (delta -0.01). Tokens por ejecución: 128k vs 249k (1.95x); tiempo 154s vs 208s. Grupo de una frase: 4.91 (la ganancia de la skill sobre la frase única: -0.01; la ganancia de la frase única sobre sin skill: +0.0); tokens de la frase única 150k por ejecución, así que la skill cuesta 1.67x la frase única.

Qué ocurrió

• La calidad de vídeo fue la misma. Los 18 proyectos se renderizaron al tamaño, la duración y la tasa de fotogramas correctos a la primera, y el texto obligatorio (nombre, eslogan, $14 / caja, frase final, subtítulos) se encontró en pantalla por OCR en todas las ejecuciones que debían tenerlo. Puntuación media 4.90 sin la skill, 4.91 solo con la versión de una línea de sus reglas, 4.89 con la skill. Los únicos puntos perdidos, en los tres grupos, vienen del explicativo de gráfico de barras, que se queda quieto durante tramos largos (fotogramas con movimiento del 15-23%).
• La versión de una línea rindió igual que la skill. Dar al agente de control una sola frase del contrato (clase clip, data-start/data-duration, una línea de tiempo en pausa, nada de código no determinista) produjo las mismas puntuaciones y el mismo aspecto: vimos hojas de contacto del teaser, el gráfico y el short vertical de los tres grupos y no pudimos ordenarlos por calidad.
• La skill se lee siempre (6/6 ejecuciones de tratamiento), pero cambia cómo se construye el proyecto, no cómo se ve. Las 6 ejecuciones con skill dividieron el vídeo en subcomposiciones (compositions/*.html, una por escena) como pide su sección 'keep it editable'; 0 de 12 ejecuciones sin la skill lo hicieron. El marcado de elementos temporizados como clip varió por grupo, no por skill: las ejecuciones sin skill usaron 0-6 por proyecto, las de skill 1-9, y las de una frase 3-25. Esa es la parte de la skill que importa si después alguien va a abrir el proyecto en HyperFrames Studio, y aquí no se puntúa.
• Cuesta mucho. 249k tokens por ejecución frente a 128k sin la skill (1.94x) y 150k con la frase única (1.66x), 15 comandos por ejecución frente a 8, y aproximadamente un 35% más de tiempo. El agente lee primero SKILL.md y varios archivos de referencia, y en modo autónomo además escribe SPEC.md, REVIEW.md y un README que nadie pidió (4.7 archivos por ejecución frente a 1).
• Parte de la skill no pudo ejecutarse. El bucle de SKILL.md es check, snapshot, review y luego render; sin CLI disponible, los agentes recurrieron a archivos REVIEW.md escritos a mano. Un entorno con la CLI funcionando podría dar un resultado distinto, y quizá detectar errores que los proyectos de primera pasada no tenían.

Puntuaciones por dimensión

Límites de esta prueba

• El bucle de CLI (check, snapshot, preview, render) no estaba disponible en el sandbox, así que esto puntúa solo la orientación de la skill; la premisa de la propia skill es que la CLI cierra el bucle.
• Tres tareas: un teaser de producto, un gráfico de tres barras y un short vertical con subtítulos, todo dibujado en código. No se probaron metraje, audio, mapas, bloques de registro ni las funciones multimedia basadas en HeyGen.
• Renders con calidad draft en una máquina Linux; la comprobación de movimiento es un umbral burdo de diferencia entre fotogramas y la misma tarea de gráfico pierde puntos en todos los grupos.
• Los recuentos estructurales (subcomposiciones, elementos clip) salen de leer los archivos fuente y no forman parte de la puntuación de 0-30.
• La licencia es Apache-2.0, pero la CLI en la que se apoya la skill es un paquete npm aparte que no auditamos ni ejecutamos en el ordenador de pruebas; envía telemetría de uso salvo que se desactive.
• n = 2 por grupo y tarea: las diferencias de menos de ~1 punto son ruido.
• La puntuación basada en reglas mide lo que las comprobaciones pueden ver; no puede juzgar el gusto ni si el resultado es el mejor posible.

Seguridad

Consulta security.md. Escaneo: 27 CRITICAL / 26 HIGH / 88 MEDIUM. Veredicto: segura de ejecutar (sandbox sin red). Un escaneo limpio no demuestra que una skill sea segura.

Conclusión

Para vídeos puntuales dibujados en código en este sandbox, la skill no mejoró los vídeos y costó aproximadamente el doble de tokens; una frase de su contrato hizo el mismo trabajo. Su valor está en la estructura del proyecto (una escena por subcomposición, clips marcados) para quien vaya a seguir editando en HyperFrames Studio, y en el bucle de CLI que no pudimos ejercitar. Instálala si trabajas con HyperFrames con regularidad; sáltala para renders rápidos y desechables.