video (smixs/visual-skills)

Bewertung

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testrechner, einem frischen temporären Projekt und temporären HOME/TMPDIR/Caches pro Lauf; Skill installiert (Treatment) oder nicht vorhanden (Kontrolle) oder nicht vorhanden mit der Kernanforderung des Skills in einem an den Prompt angehängten Satz (One-Liner-Gruppe); 2 Läufe pro Gruppe und Aufgabe; Netzwerk aus; Schreiben nach /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung). Dieser Skill erzeugt Prompts für externe Generatoren (Seedance, Kling), daher haben wir die Prompts bewertet. Für diesen Skill existiert keine Videodatei: Die Generierung benötigt ein Seedance-/Kling-/Veo-Konto mit Schlüssel, das wir nicht verwendet haben.

Drei-Arm-Vergleich

Gemessen mit Codex CLI über 18 Läufe, bewertet durch regelbasierte Prüfungen ohne LLM-Richter. Gesamt 20.8 / 30, Urteil Situativ.

Urteil: Situativ (20.8 / 30). Quelle: smixs/visual-skills, video, gepinnt auf Commit 92be33a. Installation: npx skills@latest add smixs/visual-skills --skill video. Lizenz: CC-BY-4.0.

Worum es geht

Der Skill video aus smixs/visual-skills (CC-BY-4.0, Namensnennung erforderlich): Er lässt den Agenten als Regisseur, Drehbuchautor und Cutter agieren, wenn er Prompts für KI-Videogeneratoren (Seedance, Kling, Veo und ähnliche) schreibt. SKILL.md ist bewusst dünn (rund 1,400 Wörter) und weist den Agenten an, vor dem Schreiben dramaturgy.md, universal-rules.md und eine modellspezifische Datei (Seedance, Kling oder Veo) zu lesen. Nur Markdown: 12 Referenzdateien, keine Skripte. Er schreibt Prompts; er rendert kein Video.

So haben wir getestet

Codex CLI 0.166 (gpt-6-astra, niedriges Reasoning) auf einem Mac-Testgerät, pro Lauf ein frisches temporäres Projekt und temporäre HOME/TMPDIR/Caches, Skill installiert (Skill-Gruppe), nicht vorhanden (Kontrollgruppe) oder nicht vorhanden, aber mit der Kernanforderung des Skills als einem an den Prompt angehängten Satz (Ein-Satz-Gruppe), 2 Läufe pro Gruppe und Aufgabe, Netzwerk aus, Schreibzugriffe auf /tmp blockiert. Die Prompts nennen den Skill nie (außer der unten genannten Formulierung).

Dieser Skill erzeugt Prompts für externe Generatoren (Seedance, Kling), daher haben wir die Prompts bewertet. Für diesen Skill gibt es keine Videodatei: Das Erzeugen eines Videos erfordert ein Seedance-/Kling-/Veo-Konto und einen Schlüssel, die wir nicht verwendet haben.

1. Prompts für einen 15-s-Teaser — Schreibe die Generierungsprompts für einen 15-sekündigen Produkt-Teaser in 16:9 für Tidepool, ein monatliches Algen-Snack-Abo (14 $ pro Box), mit einem KI-Videogenerator (Seedance). Wenn eine Generierung keine 15 Sekunden abdecken kann, teile sie in Clips auf und sag, wie lang jeder ist …
2. Prompt für eine 8-s-Kinoeinstellung — Schreibe den Generierungsprompt für eine 8-sekündige Kinoeinstellung in 16:9 von einem kleinen Papierboot auf einem regennassen Fensterbrett in der Dämmerung, für einen KI-Videogenerator (Kling). Eine durchgehende Einstellung, keine Schnitte. Arbeite autonom; keine Fragen. Speichere das Ergebnis in prompts.md (Kopie …
3. Prompts für einen 30-s-Vertical-Short in Clips — Schreibe die Generierungsprompts für einen 30-sekündigen vertikalen Social-Short in 9:16 für Tidepool (Algen-Snacks, 14 $ pro Box) für einen KI-Videogenerator, dessen Clips höchstens 10 Sekunden lang sind. Später einzublendende Untertitel: Lerne Tidepool kennen. / Algen-Snacks, knusprig und s…

Die Bewertung ist programmatisch (versteckte Tests / Erkennung eingebauter Probleme / Constraint-Checks / Rendern+OCR, wo relevant), 0–5 pro Lauf. Kein LLM-Richter hat einen Score vergeben. Die Prüfungen sind Keyword- und Strukturprüfungen von prompts.md (zum Beispiel „nennt eine Kamerabewegung“, „erwähnt Ton“, „gibt jedem Clip eine Dauer“, „sagt, dass es keine Schnitte gibt“). Sie können nicht beurteilen, ob ein Prompt einen besseren Film erzeugen würde.

Ergebnisse

Der Ein-Satz-Prompt für die dritte Gruppe: „Schreibe jeden Clip-Prompt wie ein Regisseur: Beginne mit dem Motiv und seiner Handlung, gib eine konkrete Kamerabewegung und Objektiv an, Licht und das Schlussbild, halte in jedem Clip denselben benannten Charakter-/Produkt-Anker und schreibe die Dauer in Sekunden an jeden Clip.“

Durchschnittsscore: 4.77 ohne vs. 4.3 mit dem Skill (Delta -0.47). Tokens pro Lauf: 62k vs. 172k (2.76x); Zeit 76s vs. 126s. Ein-Satz-Gruppe: 4.69 (Gewinn des Skills gegenüber der Ein-Satz-Version: -0.39; Gewinn der Ein-Satz-Version gegenüber ohne Skill: -0.08); Ein-Satz-Version 51k Tokens pro Lauf, der Skill kostet also 3.35x so viel wie die Ein-Satz-Version.

Was passiert ist

• Nach den Keyword-Prüfungen lag der Skill leicht zurück: Mittelwert 4.30 mit dem Skill gegenüber 4.77 ohne Skill und 4.69 mit der Ein-Satz-Version. Der Abstand kommt vor allem vom 8-Sekunden-Papierboot-Prompt (4.11 und 3.67 gegenüber 4.56 in allen vier anderen Läufen), dann vom Teaser (4.25 gegenüber 4.75: Er verpasste stellenweise zeitcodierte Einstellungen und den Hinweis, den Preis als Overlay einzublenden) und von einem Clip-Plan, der keine Kamerabewegungen nannte.
• Ein Teil dieses Abstands ist ein Geschmacksunterschied, kein Fehler. Bei der Boot-Aufgabe wählten beide Skill-Läufe eine feste Kamera, damit eine kleine Aktion (ein Tropfen, der auf den Bug trifft, zwei Tropfen, die verschmelzen) die Einstellung trägt; die Prüfung sucht nach Wörtern wie „push-in“ oder „dolly“ und wertete das als fehlende Kamerabewegung. Kein Skill-Lauf erwähnte Ton, den die Prüfung ebenfalls sehen wollte.
• Die Ausgaben sehen tatsächlich anders aus. Skill-Läufe legen einen Drei-Clip-Plan mit Beats pro Clip an, nennen das Zielmodell und seine Einstellungen (Dauer, Auflösung, camera_fixed), halten einen Charakter-/Produkt-Anker über alle Clips hinweg und sagen, was später im Schnitt hinzukommt. Läufe ohne Skill lieferten beim Teaser ebenfalls vollständige zeitcodierte Prompts mit Audio- und Voice-over-Zeilen und waren nach keiner Prüfung schlechter; die Ein-Satz-Läufe waren kürzer (etwa 900 Wörter gegenüber 1,300-1,500).
• Der Skill wird jedes Mal gelesen (6/6), und die Kosten sind hoch: 172k Tokens pro Lauf gegenüber 62k ohne den Skill (2.8x) und 51k mit der Ein-Satz-Version (3.4x), 14 Befehle gegenüber 3 und etwa 1.7x die Zeit. Der Agent liest etwa sechs Referenzdateien, bevor er einen einzigen Prompt schreibt.
• Die Ein-Satz-Version war nach diesen Prüfungen so gut wie kein Skill (4.69 gegenüber 4.77, innerhalb des Rauschens) mit 0.8x so vielen Tokens.

Dimensionsbewertungen

Grenzen dieses Tests

• Es wurde kein Video generiert, daher können wir nicht sagen, ob die Prompts des Skills bessere Filme erzeugen; die Scores messen nur Prompt-Merkmale.
• Die Keyword-Prüfungen bestrafen eine legitime Stilentscheidung (feste Kamera) und ignorieren die Prompt-Qualität; betrachten Sie den Abstand von 0.47 Punkten als schwache Evidenz.
• Drei Prompt-Aufgaben (15-s-16:9-Teaser, 8-s-Kinoeinstellung, 30-s-Vertical in Clips aufgeteilt); Charakterkonsistenz über Generationen hinweg, Image-to-Video und Bearbeitungsmodi wurden nicht getestet.
• CC-BY-4.0: Die Weiterverwendung erfordert die Nennung von Serge Shima.
• n = 2 pro Gruppe und Aufgabe: Unterschiede unter etwa 1 Punkt sind Rauschen.
• Regelbasierte Bewertung misst, was die Prüfungen sehen können; sie kann keinen Geschmack beurteilen oder ob ein Ergebnis das bestmögliche ist.

Sicherheit

Siehe security.md. Scan: 0 CRITICAL / 0 HIGH / 0 MEDIUM. Urteil: sicher ausführbar (Sandbox ohne Netzwerk). Ein sauberer Scan beweist nicht, dass ein Skill sicher ist.

Fazit

Ein sorgfältiger, regieorientierter Leitfaden zum Prompt-Schreiben, der den Agenten Clips, Anker und Einstellungen planen lässt, aber unsere Keyword-Prüfungen konnten keinen Vorteil zeigen, und er kostet etwa 2.8x die Tokens einer einfachen Anfrage. Einen Versuch wert, wenn Sie die Prompts tatsächlich an Seedance, Kling oder Veo geben und die Filme vergleichen; diesen Teil konnten wir nicht machen.