Gemini Omni: как создавать и редактировать видео

Gemini Omni продемонстрировала набор инструментов для создания и редактирования видеоклипов. В демонстрации использовали материалы компании Incrypted и интерфейс Gemini (Google Flow).

В начальном этапе система генерирует базовый клип по текстовому запросу. В одном из примеров в промпте описывали двух основателей Incrypted, Андрея и Ивана, в офисной сцене. При генерации по одному тексту Omni не выполняет поиск для уточнения, о каких конкретно людях идет речь, поэтому результат остается обобщенным.

Чтобы сцены стали похожи на реальных людей, в систему загружали референс‑фотографии. Omni связывает лица и одежду с описанием сцены. При использовании фотографий система корректно перенесла элементы одежды, но портретная консистентность оказалась ограниченной.

Редактирование сцен выполнялось только текстовыми командами: смена окружения из офиса на темную арену, изменение ракурса камеры на общий план и последовательное наложение правок. Omni сохраняет контекст сцены, что позволяет применять несколько правок подряд.

Переодевание персонажей выполнялось через добавление референс‑изображений костюмов. Костюмы унаследовали позу и движение героев, при этом система стремилась сохранить исходные позиции персонажей.

Хореографию можно задать наброском. Omni использует рисунок как ориентир для траекторий движения, сам набросок в итоговом видео не отображается.

При подаче референсного видео Omni перенесла движения и динамику камеры на сцену. Система применяет общую динамику из входного ролика к кадру с персонажами и костюмами.

Omni умеет добавлять подписи, синхронные с действиями на экране. Подписи формировались автоматически, но описание происходящего в субтитрах не всегда соответствовало деталям кадра.

Тесты показали проблемы с портретной верностью: в итоговом видео лица часто теряют узнаваемость, отдельные персонажи частично «перетекают» друг в друга, а после серии редактирований черты отдельных фигур меняются и смешиваются.

В демонстрации показаны функции генерации по тексту, привязки к референсам, последовательного редактирования, смены окружения, рендеринга движений и автоматических подписей. В демонстрации также отмечены технические ограничения при работе с узнаваемыми лицами и сложной хореографией.

Фон: Gemini Omni описывается как мультимодальный инструмент для создания и правки видеоматериала с использованием текстовых подсказок, изображений и видео‑референсов.