Ich habe der KI-Videogenerierung eine einfache Previs aus Boxen und Schaufensterpuppen gegeben. Eine Previs ist eine grobe Vorabvisualisierung, mit der sich die Platzierung und Bewegungen der Figuren sowie die Kameraführung im Voraus festlegen lassen.

Kurz gesagt: Das funktioniert erstaunlich gut. Allerdings werden nicht alle Details exakt übernommen. Wenn man stattdessen die grobe Inszenierung vorgibt, ergänzt die KI die fehlenden Teile auf überzeugende Weise. Als Bauplan dafür war sie sehr praktisch.

Vergleich zwischen Previs und generiertem Ergebnis

In allen Videos ist oben das von der KI generierte Video und unten die ursprüngliche Previs zu sehen. Jedes Video dauert etwa 15 Sekunden. Ich habe getestet, wie gut sich der Ablauf einer Szene vermitteln lässt, ohne Hintergründe oder Figuren aufwendig auszuarbeiten.

Café am Meer

Aus einer einfachen Anordnung von Tisch und Figuren entsteht ein Café in der Abenddämmerung. Bewegungen wie das Trinken werden in fotorealistisch anmutende Aufnahmen übertragen.

再生

Spaziergang durch die Stadt bei Nacht

Die Positionen der Figuren und ihre Gehrichtung werden in der Previs festgelegt. Eine helle, einfache Stadtlandschaft wird per Prompt in eine nächtliche Stadt verwandelt.

再生

Meeresschildkröte unter Wasser

Aus einem groben Meeresboden und der Bewegung einer Meeresschildkröte entsteht eine Unterwasserlandschaft mit Lichtreflexen und Korallen. Dieses Beispiel zeigt besonders deutlich, wie die Optik ergänzt wird.

再生

Laufen am Meer

Vorgegeben werden eine laufende Figur und die Kamerabewegung, die ihr folgt. Der grobe Hintergrund wird durch eine Uferpromenade ersetzt.

再生

Regnerische Stadt mit Straßenbahn

Auf Basis der Positionierung einer Person mit Regenschirm und einer Straßenbahn wird die Stimmung einer regnerischen Nacht ergänzt.

再生

Die Erstellung ist einfach

Für dieses Projekt bin ich folgendermaßen vorgegangen:

1. Mit Python + Blender 4.2 eine Previs aus Boxen und einfachen Formen erstellen. Für die Bewegungen der Figuren kam auch Mixamo zum Einsatz.
2. Mit der Bildgenerierung von Codex Referenzbilder etwa für die Figuren erstellen.
3. MiniMax-H3 Ref2VA mit Previs, Referenzbildern und Referenzaudio versorgen und ein rund 15-sekündiges Video generieren.
4. Dialoge mit HiggsAudio v3, Soundeffekte mit Stable Audio 3 Medium und Hintergrundmusik mit ACE-Step 1.5 erstellen und alles mit ffmpeg mischen und bearbeiten. Für Produktionsskripte und die Ausführungsverwaltung habe ich Claude Code verwendet.

Der entscheidende Punkt bei den Anweisungen ist, die Rollen der Referenzen zu trennen: „Die Bilder sind für Gesicht und Kleidung, die Previs für Platzierung, Bewegungen und Kamerabewegung.“ Außerdem sollte man ausdrücklich sagen, dass das Aussehen der Schaufensterpuppen und Boxen nicht übernommen werden soll. Das finale Erscheinungsbild – etwa Nacht, Regen und Beleuchtung – habe ich textlich beschrieben.

Nutzbar, aber Details verändern sich deutlich

Die Platzierung der Figuren, Bewegungsrichtungen, Reihenfolge der Aktionen und die grobe Kamerabewegung lassen sich gut vermitteln. Präzise Vorgaben wie „nach wie vielen Sekunden anhalten“ oder „wie stark zoomen“ wichen dagegen ab oder wurden gar nicht umgesetzt. Details lassen sich also nicht exakt festschreiben.

Auch Flackern in der Beleuchtung der Previs oder zu regelmäßig angeordnete Hintergründe können im generierten Ergebnis erhalten bleiben. Es scheint daher besser zu sein, Beleuchtung und Formen in der Previs einfach zu halten und sich auf die Bewegung zu konzentrieren, die man vermitteln möchte.

Trotzdem ist es praktisch, dass aus groben Vorgaben ansehnliche Videos ergänzt werden. Die Details können sich zwar deutlich verändern, doch um den großen Rahmen der Inszenierung zu vermitteln, ist es absolut brauchbar. Mein Fazit nach diesem Versuch: Man muss die Previs nicht perfekt ausarbeiten – sie darf grob sein, aber man sollte sie nutzen.