Kling 4.0 Omni Reference: Bewegung, Figuren und Prompts

👁 117 Aufrufe

Kling 4.0 Omni Reference kann bis zu 15 Referenzen in einem Videoprojekt verarbeiten: Bilder von Figuren, Videos mit Bewegungsabläufen, Storyboards und Sprachproben. In der Praxis wirkt das wie eine Kombination aus zwei Funktionen, die in Kling 3.0 getrennt waren: Omni und Motion Control. Ich beschreibe die Limits aus der offiziellen Mitteilung, zeige Beispiele des Anbieters und stelle Prompt-Vorlagen vor. Eine davon habe ich mit Kling 3.0 Omni getestet, denn Kling 4.0 ist noch nicht über die API verfügbar.

Was ist Omni Reference in Kling 4.0?

Omni Reference ist eine Generierungsmethode, bei der das Modell neben einer Anweisung auch Material erhält, das zeigt, wie etwas aussehen oder sich bewegen soll. In Kling 4.0 werden alle Referenzen zusammen mit Text und Audio in einem Feld auf der Erstellungsseite gesammelt. Der Anbieter nennt drei Anwendungsbereiche: Figuren und Szenen kontrollieren, bestehende Videos mit neuen Produkten oder Darstellern „nachstellen“ und fertige Videos gezielt bearbeiten.

Der Modus ist in der vollständigen Version von Kling 4.0 verfügbar (seit Oktober 2026) und bereits in Kling 4.0 Flash enthalten (früher Zugang ab dem 28. September, laut Preisliste nur im Ultra-Tarif). Mehr zu beiden Versionen erfahren Sie im Überblick zu Kling 4.0.

Limits für Referenzen

Zum Vergleich: Kling 3.0 Omni in der API von fal.ai akzeptiert höchstens 4 Bilder und Elemente zusammen, wenn Sie ein Video hinzufügen. Kling 4.0 hebt diese Limits um ein Mehrfaches an. Wie es in der API aussehen wird, ist noch offen.

Was Sie als Referenz verwenden können

• Bilder: ein Foto einer Figur, Ansichten aus drei Richtungen, ein Bildraster, eine Infografik, Schlüsselbilder oder eine Layoutskizze (Wireframe). Sie dienen dazu, Aussehen, Komposition, Stil und Text im Bild festzulegen.
• Videos: Schauspiel, Körperbewegungen, Kamerafahrten und Tempo. Die Mitteilung nennt auch Videos mit einem grauen 3D-Modell und Tiefenkarten als Möglichkeiten, Bewegungen sehr genau zu steuern.
• Elemente: eine Figur oder ein Objekt, beschrieben mit mehreren Bildern oder einem Video, dem Sie eine bestimmte Stimme zuweisen können.

Bewegungen aus Referenzvideos und Kling Motion Control

Kling bietet bereits ein separates Werkzeug namens Motion Control an, das laut Tarifseite „komplexe Bewegungen und Mimik“ anhand von Motion Capture nachbildet. In Kling 4.0 lässt sich ein ähnlicher Effekt erzielen, indem Sie in Omni Reference ein Referenzbild mit einem Video kombinieren, das die Bewegung zeigt. Beides wird in einem Auftrag und mit demselben Modell wie der Rest der Szene verarbeitet. In der Mitteilung steht nicht, ob Motion Control als separates Werkzeug erhalten bleibt.

Ein Storyboard als Referenz

Das für mich praktischste Beispiel aus der Mitteilung ist ein Storyboard: mehrere Bilder mit Beschreibungen der Einstellungen statt einer langen Anweisung. Der Anbieter verwendete zwei Bilder, ein Figurenblatt und ein Storyboard mit skizzierten Einstellungen.

Prompt-Vorlagen

Die folgenden Vorlagen habe ich nach den Kategorien aus der Mitteilung zusammengestellt. Die Platzhalter @Image1 und @Element1 stammen aus der Syntax von Kling 3.0 Omni in der fal.ai-API. In der Kling-4.0-App fügen Sie Referenzen über das Erstellungsfeld ein; die Syntax kann dort anders aussehen. Die folgenden deutschen Fassungen sind Übersetzungen der englischen Vorlagen, keine neu getesteten Prompts. In meinem Test mit Kling auf Polnisch zeigte sich, dass Kling gesprochene Dialoge auch auf Englisch gut umsetzt.

• Eine Figur in einer neuen Szene: „Übersetzung der englischen Vorlage: @Image1 ist die Hauptfigur. Behalten Sie ihr Gesicht, ihre Haare und ihre Kleidung genau bei. Sie [Handlung] an [Ort]. [Kamerabewegung], [Beleuchtung]. Sie sagt auf Englisch: „[Dialog]“. Keine Untertitel, keine Musik.“
• Bewegung aus einem Video: „Übersetzung der englischen Vorlage: @Element1 führt genau die Bewegung aus @Video1 aus. Behalten Sie den Kamerawinkel und das Timing von @Video1 bei und ersetzen Sie den Hintergrund durch [Ort].“
• Ein Produkt austauschen: „Übersetzung der englischen Vorlage: Stellen Sie @Video1 Einstellung für Einstellung nach. Behalten Sie Tempo und Kamerabewegungen bei, ersetzen Sie aber die Flasche durch das Produkt aus @Image1. Der Text auf dem Etikett muss lesbar bleiben.“
• Storyboard: „Übersetzung der englischen Vorlage: Folgen Sie dem Storyboard in @Image2 Bild für Bild, mit einer Einstellung pro Bild und @Element1 als Hauptfigur. Gesamtlänge [N] Sekunden, Schnitt während der Handlung.“
• Kamerabewegung aus einer Referenz: „Übersetzung der englischen Vorlage: Verwenden Sie die Kamerabewegung aus @Video1 (langsame Umkreisung, dann Fahrt näher heran). Motiv: [Beschreibung]. Das Motiv soll in der Bildmitte bleiben.“

Mein Test: „Figur in einer neuen Szene“ mit Kling 3.0 Omni

Am 28. September 2026 habe ich die erste Vorlage mit Kling 3.0 Omni Standard (fal.ai, Modus reference-to-video) getestet, weil es sich um das neueste Kling-Modell mit Referenzen handelt, das über die API verfügbar war. Als Referenz diente ein Einzelbild aus meinem früheren Testclip, damit ich kein fremdes Material verwenden musste. Der folgende deutsche Wortlaut ist eine Übersetzung des tatsächlich getesteten englischen Prompts, kein erneuter Test: „@Image1 ist die Hauptfigur. Behalten Sie ihr Gesicht, ihre Haare und ihren Pullover genau bei. Sie steht vom Küchentisch auf, geht zum Fenster und schaut hinaus in den Regen. Langsame Kamerafahrt näher heran, weiches Tageslicht, realistisch. Am Fenster sagt sie auf Englisch: „It is finally raining.“ Keine Untertitel, kein Text im Bild, keine Musik.“

Das Aussehen der Figur, ihre Frisur und ihr Pullover stimmen mit der Referenz überein. Das Modell führte die gesamte Sequenz aus: Aufstehen, zum Fenster gehen, aus dem Fenster schauen, Regen und Dialog. Ein Nachteil: Die Frau spricht mit dem Rücken zur Kamera, sodass sich die Lippenbewegungen nicht beurteilen lassen. Für eine Nahaufnahme des Gesichts würde ich ergänzen: „Sie dreht sich vor dem Sprechen zur Kamera.“ Das ist meine Einschätzung auf Grundlage eines einzelnen Clips. Kling 4.0 soll für dieselbe Aufgabe bis zu 10 Bilder und Videos mit Bewegungsabläufen unterstützen. Kling 3.0 Omni bietet diesen Umfang nicht, daher kann das Ergebnis mit Version 4.0 anders ausfallen.

Häufige Fragen

Wie viele Referenzen unterstützt Kling 4.0?

Bis zu 15 pro Aufgabe: bis zu 10 Bilder, bis zu 5 Videos mit einer Gesamtlänge von höchstens 30 Sekunden, bis zu 7 Elemente (darunter 3 aus Videos) und eine Sprachprobe.

Gibt es Omni Reference in Kling 4.0 Flash?

Ja. In der Tabelle zu Kling 4.0 Flash in der Veröffentlichungsmitteilung ist Omni Reference neben der Generierung aus Text und Bild aufgeführt.

Ersetzt Kling 4.0 Motion Control?

In der Mitteilung steht das nicht. Omni Reference kann Bewegungen aus einem Referenzvideo auf eine Figur aus einem Bild übertragen. Motion Control wurde am 28. September 2026 weiterhin als separates Werkzeug auf der Tarifseite aufgeführt.

Darf ich ein fremdes Video als Referenz verwenden?

Technisch ist das möglich. Eine fremde Werbung mit einem ausgetauschten Produkt „nachzustellen“, kann jedoch Urheberrechte verletzen. Sicherer ist es, eigene Aufnahmen oder lizenzierte Materialien zu verwenden.

// weiterlesenKling 4.0 für Musikvideos: Shotliste, Figur und SchnittMagazinKling 4.0 Flash: Early Access ab 28. September, für wen?NachrichtenWie ein Risikogen für unruhige Beine die Bewegungsbremse im Gehirn löstMedizin