video (smixs/visual-skills)

Avaliação

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (grupo de controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo com prompt de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo). Esta skill produz prompts para geradores externos (Seedance, Kling), então avaliamos os prompts. Não existe arquivo de vídeo para esta skill: gerar um exige uma conta e uma chave da Seedance/Kling/Veo, que não usamos.

Comparação entre os braços

Medido com Codex CLI em 18 execuções, com pontuação por verificações baseadas em regras e sem juiz LLM. Total 20.8 / 30, veredito Situacional.

Veredicto: Situacional (20.8 / 30). Fonte: smixs/visual-skills, video, fixado no commit 92be33a. Instalação: npx skills@latest add smixs/visual-skills --skill video. Licença: CC-BY-4.0.

O que é

A skill video de smixs/visual-skills (CC-BY-4.0, atribuição obrigatória): faz o agente atuar como diretor, roteirista e montador ao escrever prompts para geradores de vídeo por IA (Seedance, Kling, Veo e similares). O SKILL.md é enxuto de propósito (cerca de 1.400 palavras) e ordena ao agente que leia dramaturgy.md, universal-rules.md e um arquivo específico do modelo (Seedance, Kling ou Veo) antes de escrever. Somente Markdown: 12 arquivos de referência, nenhum script. Ela escreve prompts; não renderiza vídeo.

Como testamos

Codex CLI 0.166 (gpt-6-astra, raciocínio baixo) em uma máquina de teste Mac, com um projeto temporário novo e HOME/TMPDIR/caches temporários a cada execução, skill instalada (tratamento), ausente (controle) ou ausente com o requisito central da skill comprimido em uma frase anexada ao prompt (grupo de uma frase), 2 execuções por grupo por tarefa, rede desligada, gravações em /tmp bloqueadas. Os prompts nunca mencionam a skill (exceto pelo texto indicado abaixo).

Esta skill produz prompts para geradores externos (Seedance, Kling), então pontuamos os prompts. Não existe arquivo de vídeo para esta skill: gerar um exige uma conta e chave da Seedance/Kling/Veo, que não usamos.

1. Prompts para um teaser de 15 s — Escreva os prompts de geração para fazer um teaser de produto de 15 segundos em 16:9 para Tidepool, uma assinatura mensal de snacks de algas ($14 por caixa), com um gerador de vídeo por IA (Seedance). Se uma geração não cobrir 15 segundos, divida em clipes e diga quanto tempo cada…
2. Prompt para um plano cinematográfico de 8 s — Escreva o prompt de geração para um plano cinematográfico de 8 segundos em 16:9 de um pequeno barco de papel no parapeito de uma janela marcada pela chuva ao entardecer, para um gerador de vídeo por IA (Kling). Um plano contínuo, sem cortes. Trabalhe de forma autônoma; sem perguntas. Salve o resultado em prompts.md (copi…
3. Prompts para um short vertical de 30 s em clipes — Escreva os prompts de geração para um short social vertical 9:16 de 30 segundos para Tidepool (snacks de algas, $14 por caixa) para um gerador de vídeo por IA cujos clipes têm no máximo 10 segundos. Legendas a aparecer (adicionadas depois): Conheça a Tidepool. / Snacks de algas, crocantes e s…

A pontuação é programática (testes ocultos / identificação de problemas plantados / verificações de restrições / renderização + OCR quando aplicável), de 0 a 5 por execução. Nenhum juiz LLM decidiu qualquer pontuação. As verificações olham palavras-chave e estrutura em prompts.md (por exemplo, "nomeia um movimento de câmera", "menciona som", "coloca uma duração em cada clipe", "diz sem cortes"). Elas não conseguem julgar se um prompt produziria um filme melhor.

Resultados

A frase única dada ao terceiro grupo: "Escreva cada prompt de clipe como um diretor: comece pelo sujeito e sua ação, dê um movimento de câmera e uma lente concretos, iluminação e a imagem final, mantenha o mesmo personagem/produto âncora nomeado em cada clipe e coloque a duração em segundos em cada clipe."

Pontuação média: 4.77 sem a skill vs. 4.3 com a skill (delta -0.47). Tokens por execução: 62k vs. 172k (2.76x); tempo 76s vs. 126s. Grupo de uma frase: 4.69 (ganho da skill sobre a frase única: -0.39; ganho da própria frase única sobre sem skill: -0.08); 51k tokens por execução no grupo de uma frase, então a skill custa 3.35x a frase única.

O que aconteceu

• Pelas verificações de palavras-chave, a skill ficou um pouco atrás: média 4.30 com a skill, contra 4.77 sem skill e 4.69 com a versão de uma frase. A diferença vem principalmente do prompt do barco de papel de 8 segundos (4.11 e 3.67 contra 4.56 nas outras quatro execuções), depois do teaser (4.25 contra 4.75: perdeu planos com timecode e a observação de preço como overlay em alguns pontos) e de um plano de clipes que não nomeou movimentos de câmera.
• Parte dessa diferença é questão de gosto, não erro. Na tarefa do barco, as duas execuções com a skill escolheram uma câmera fixa para que uma pequena ação (uma gota caindo na proa, duas gotas se fundindo) conduzisse o plano; o verificador procura palavras como "push-in" ou "dolly" e marcou isso como movimento de câmera ausente. Nenhuma execução com a skill mencionou som, que o verificador também queria.
• As saídas realmente parecem diferentes. As execuções com a skill montam um plano de três clipes com batidas por clipe, nomeiam o modelo-alvo e suas configurações (duração, resolução, camera_fixed), mantêm uma âncora de personagem/produto entre os clipes e dizem o que é adicionado depois na edição. As execuções sem skill no teaser também deram prompts completos com timecode, com áudio e falas de narração, e não foram piores em nenhuma verificação; as execuções de uma frase foram mais curtas (cerca de 900 palavras contra 1.300-1.500).
• A skill é lida todas as vezes (6/6) e o custo é alto: 172k tokens por execução contra 62k sem a skill (2.8x) e 51k com a frase única (3.4x), 14 comandos contra 3, e cerca de 1.7x o tempo. O agente lê cerca de seis arquivos de referência antes de escrever um único prompt.
• A versão de uma frase foi tão boa quanto não usar skill por essas verificações (4.69 contra 4.77, dentro do ruído) com 0.8x os tokens.

Pontuação por dimensão

Limites deste teste

• Nenhum vídeo foi gerado, então não podemos dizer se os prompts da skill produzem filmes melhores; as pontuações medem apenas características dos prompts.
• As verificações de palavras-chave penalizam uma escolha de estilo legítima (câmera fixa) e ignoram a qualidade do prompt; trate a diferença de 0.47 ponto como evidência fraca.
• Três tarefas de prompt (teaser de 15 s em 16:9, plano cinematográfico de 8 s, short vertical de 30 s dividido em clipes); consistência de personagem entre gerações, imagem-para-vídeo e modos de edição não foram testados.
• CC-BY-4.0: a reutilização exige creditar Serge Shima.
• n = 2 por grupo por tarefa: diferenças abaixo de cerca de 1 ponto são ruído.
• A pontuação por regras mede o que as verificações conseguem ver; não julga bom gosto nem se o resultado é o melhor possível.

Segurança

Consulte security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Veredicto: segura para execução (sandbox sem rede). Um scan limpo não prova que uma skill é segura.

Conclusão

Um guia cuidadoso e com olhar de direção para escrever prompts, que faz o agente planejar clipes, âncoras e configurações, mas nossas verificações de palavras-chave não conseguiram mostrar vantagem, e ele custa cerca de 2.8x os tokens de simplesmente pedir. Vale tentar se você realmente for alimentar os prompts com Seedance, Kling ou Veo e comparar filmes; não pudemos fazer essa parte.