Gemini Omni: покрокове керівництво з генерації відео

Gemini Omni генерує відео на основі текстових запитів через інтерфейс Gemini або Google Flow. У демонстрації користувачі починали з англомовного промпта, щоб отримати базовий кліп за описом сцени.

У прикладі для базової генерації вказали сцену з двома засновниками компанії Incrypted у сучасному офісі. Система відтворила сцену за словами промпта, але не виконувала пошук в інтернеті для автоматичної ідентифікації конкретних людей за іменами.

Щоб підвищити схожість із реальними людьми, у промпт додавали їхні фотографії. Режим «reference anything» зв’язував обличчя і одяг з описом сцени. У тестах одяг відтворювався точно, натомість портретна консистентність була обмеженою: обличчя іноді виходили неточними або змінювалися після подальших правок.

Редагування сцени виконували текстовими підказками: змінювали оточення, наприклад з офісу на темну арену, і змінювали ракурси камери на загальний план. Система зберігала контекст сцени, тому кілька правок можна було поєднувати, а пози персонажів і камера оновлювалися відповідно до нових інструкцій.

Змінювати вбрання дозволяли додаткові зображення. Костюми успадковували рух і позу персонажа, при цьому можна було вимагати збереження обличчя й положення без змін. У прикладі одного персонажа переодягли в костюм Супермена, іншого — у вбрання ніндзя, і костюми відтворювали рухи за референсами.

Хореографію руху задавали за допомогою начерків. Omni інтерпретувала малюнок як орієнтир для траєкторії руху й не відображала сам начерк у фінальному кадрі. Після кількох ітерацій редагувань у тестах спостерігали погіршення впізнаваності осіб і часткове перетворення персонажів один в одного.

Перенесення руху з референсного відео і динаміки камери також було можливе: система застосовувала рухи і змінювала камеру в сцені відповідно до запиту. До сцени можна було додати підписи, синхронні з подіями на екрані; у демонстрації субтитри описували дії, проте синхронізація і формулювання були неідеальними.

Тестовий робочий процес проводився з англомовними промптами та зображеннями від Incrypted. Результати демонструють набір функцій для генерації та редагування відео з тексту і референсів, а також технічні обмеження, які спостерігали під час роботи з платформою.