Ich habe FL2 und REF4 von MiniMax H3 mit einer Beschleunigungs-LoRA ausgestattet und getestet, wie stark sich die Generierungszeit unter denselben Bedingungen verändert.

Die verwendeten Einstellungen:

• FL2: arry v4_step600. Standardversion mit 20 Schritten, Version mit Beschleunigungs-LoRA mit 8 Schritten
• REF4: PDD Ref2VA. Standardversion mit 20 Schritten, Version mit Beschleunigungs-LoRA mit 8 Schritten
• Alle Videos sind 8 Sekunden lang, mit 768×1344 und 24 fps
• Jedes Paar nutzt denselben Prompt, denselben Seed und dasselbe Referenzbild
• Links ohne Beschleunigungs-LoRA, rechts mit Beschleunigungs-LoRA

Getestet wurden fünf Szenarien: schnelle Bewegung, heftige Szenenwechsel, nahezu statische Bilder, feine Details bei Haaren und Stoffen sowie Kamerabewegung mit Verdeckung im Vordergrund. Es entstanden 10 Videos mit FL2 und 10 mit REF4, also insgesamt 20.

FL2 — arry v4_step600

1. Schnelle Bewegung

Ein Parkour-Video in einer verregneten Neonstadt. Die Bedingungen umfassen schnelle Bewegungen, Wasserspritzer sowie viel Bewegung in Kleidung und Haaren.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA dauerte es 504 Sekunden (8 Minuten 24 Sekunden), mit ihr 272 Sekunden (4 Minuten 32 Sekunden). Die Zeit ohne LoRA enthält auch das erstmalige Laden von FL2 in den VRAM. Beim ersten Wechsel zur LoRA-Version wurde die Containerverbindung einmal getrennt; angegeben ist daher die Zeit des erfolgreichen Wiederholungsversuchs.

2. Heftige Szenenwechsel

Ein Chromkolibri blieb konstant, während die Szene nacheinander zu einem Museum, Dschungel, Hochofen, einer Eishöhle, einer Papierstadt und in den Weltraum wechselte.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 454 Sekunden (7 Minuten 34 Sekunden), mit ihr 236 Sekunden (3 Minuten 56 Sekunden). In diesem Paar war sie etwa 1,92-mal schneller.

3. Video mit wenig Veränderung

Eine statische Kameraaufnahme eines Uhrmachers. Bewegt wurden nur Blinzeln, eine Pinzette um wenige Millimeter, der Sekundenzeiger und Staub.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 447 Sekunden (7 Minuten 27 Sekunden), mit ihr 233 Sekunden (3 Minuten 53 Sekunden). Auch bei wenig Bewegung änderte sich die Generierungszeit kaum; der Unterschied lag bei etwa dem 1,92-Fachen.

4. Feine Details bei Haaren und Stoffen

Schnelle Drehung in einem halbtransparenten Chiffonkleid mit eingewebten Silberfäden. Damit sollte geprüft werden, wie stark Stoffe und Haare bei der Beschleunigung zerfallen.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 448 Sekunden (7 Minuten 28 Sekunden), mit ihr 234 Sekunden (3 Minuten 54 Sekunden). Auch hier war sie etwa 1,91-mal schneller.

5. Kamerabewegung und Vordergrundverdeckung

Ein Mountainbike fährt durch einen Wald. Farne verdecken das Bild vollständig, während die Kamera sich um 180 Grad herumbewegt.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 448 Sekunden (7 Minuten 28 Sekunden), mit ihr 234 Sekunden (3 Minuten 54 Sekunden). Selbst bei starken Kamerabewegungen war sie etwa 1,91-mal schneller.

Über die vier FL2-Fälle, bei denen VRAM bereits geladen war, lag der Durchschnitt ohne LoRA bei 449,25 Sekunden, mit LoRA bei 234,25 Sekunden. In dieser Umgebung ergab das eine Beschleunigung von etwa dem 1,92-Fachen.

REF4 — PDD Ref2VA

REF4 erhielt ein mit der Bildgenerierung von ChatGPT erstelltes Sechs-Panel-Storyboard als einzelnes Referenzbild.

1. Schnelle Bewegung

Der gleiche Parkour-Ablauf wie bei FL2 wurde aus sechs Posen zu einem Video erzeugt.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 481 Sekunden (8 Minuten 1 Sekunde), mit ihr 299 Sekunden (4 Minuten 59 Sekunden). Die Zeit ohne LoRA enthält das Laden von REF4 in den VRAM. Beim ersten Versuch mit LoRA wurde die Verbindung beim Dekodieren getrennt; angegeben ist daher die Zeit des erfolgreichen Wiederholungsversuchs.

2. Heftige Szenenwechsel

Derselbe Kolibri und sechs verschiedene Welten wurden aus einem Sechs-Panel-Storyboard entwickelt.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 424 Sekunden (7 Minuten 4 Sekunden), mit ihr 251 Sekunden (4 Minuten 11 Sekunden). Sie war etwa 1,69-mal schneller.

3. Video mit wenig Veränderung

Die feinen Veränderungen des Uhrmachers wurden in sechs Panels dargestellt. Mit Beschleunigungs-LoRA blieben die Unterteilungen des Storyboards direkt im Video sichtbar.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 418 Sekunden (6 Minuten 58 Sekunden), mit ihr 247 Sekunden (4 Minuten 7 Sekunden). Zeitlich ist sie etwa 1,69-mal schneller, aber diesmal ist der visuelle Unterschied deutlich größer.

4. Feine Details bei Haaren und Stoffen

Die Drehung derselben Tänzerin wurde mit sechs Panels referenziert. In beiden Varianten, mit und ohne LoRA, ließ sich daraus ein vergleichsweise sauberes Vollbildvideo erzeugen.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 420 Sekunden (7 Minuten 0 Sekunden), mit ihr 249 Sekunden (4 Minuten 9 Sekunden). Sie war etwa 1,69-mal schneller.

5. Kamerabewegung und Vordergrundverdeckung

Annäherung des Mountainbikes, Wischblende durch den Vordergrund und eine Bewegung hinter das Bike wurden in sechs Panels vorgegeben. Diesmal blieb die Panelstruktur in beiden Ergebnissen deutlich erhalten.

Ohne Beschleunigungs-LoRA · 20 Schritte	Mit Beschleunigungs-LoRA · 8 Schritte
再生	再生

Ohne Beschleunigungs-LoRA waren es 419 Sekunden (6 Minuten 59 Sekunden), mit ihr 248 Sekunden (4 Minuten 8 Sekunden). Sie war etwa 1,69-mal schneller.

Über die vier REF4-Fälle, bei denen VRAM bereits geladen war, lag der Durchschnitt ohne LoRA bei 420,25 Sekunden, mit LoRA bei 248,75 Sekunden. In dieser Umgebung ergab das eine Beschleunigung von etwa dem 1,69-Fachen.

Was sich aus dem Test ergibt

Betrachtet man nur die Generierungszeit, ist der Effekt der Beschleunigungs-LoRA ziemlich groß. FL2 benötigte fast nur die halbe Zeit, bei REF4 ließ sich die Zeit um etwa 40 % reduzieren. Für schnelle Entwürfe beim Ausarbeiten von Prompts und Bildkompositionen dürfte das sehr praktisch sein.

Gibt man REF4 jedoch ein einzelnes Storyboard mit mehreren Panels, kann es passieren, dass das Modell das Raster selbst als Bildkomposition übernimmt. Insbesondere mit Beschleunigungs-LoRA blieben die Panelunterteilungen in einigen Fällen lange sichtbar. Wenn REF4 ein normales Vollbildvideo erzeugen soll, ist es vermutlich sicherer, die einzelnen Panels als separate Bilder zu übergeben statt als einzelne Kontaktübersicht.

Außerdem wurde bei FL2 und REF4 die Containerverbindung genau einmal getrennt, als erstmals von der Standardversion zur Beschleunigungs-LoRA-Version gewechselt wurde. Unter denselben Bedingungen lief ein erneuter Versuch erfolgreich, danach blieb alles stabil. Es scheint sinnvoll, nach dem ersten Wechsel zunächst ein kurzes Testvideo zu erzeugen.

Die hier genannten Zahlen sind Messwerte für diese Maschine, diese Auflösung und diese acht Sekunden langen Videos. Sie sind weniger als absoluter Benchmark gedacht, sondern als Vergleich zwischen LoRA und ohne LoRA unter derselben Umgebung.