Gemini Omni: generowanie i edycja wideo

W testach model Gemini Omni od Google wygenerował i edytował krótkie klipy wideo na bazie zapytań tekstowych oraz różnych materiałów referencyjnych. Do eksperymentów użyto danych oznaczonych jako Incrypted oraz opisów sceny dotyczących dwóch założycieli firmy Incrypted, Andrey i Ivan.

W pierwszym etapie Omni stworzył bazowy klip według anglojęzycznego opisu przedstawiającego dwóch założycieli w nowoczesnym biurze. System nie przeprowadził wyszukiwania w internecie, aby ustalić tożsamość konkretnych osób na podstawie samego opisu.

Po dołączeniu zdjęć referencyjnych model pracował w trybie „reference anything”, dzięki czemu powiązał dostarczone obrazy z opisem sceny. W wyniku tych działań elementy ubioru zostały przeniesione do wygenerowanej sceny, natomiast portretowa spójność twarzy nie była wierna zdjęciom źródłowym.

Kolejne edycje obejmowały zmianę scenerii na ciemną arenę walk, zmianę kąta kamery na plan ogólny oraz podmianę strojów na podstawie dodatkowych obrazów. Nowe kostiumy przejęły pozycje i ruchy postaci, a model zachował kontekst sceny między kolejnymi poprawkami.

Omni potrafił też wykorzystać szkic choreografii jako wskazówkę dla trajektorii ruchu, nie eksponując samego rysunku w finalnym wideo. Po wielokrotnych iteracjach jakościowa rozpoznawalność postaci obniżyła się i w niektórych fragmentach postacie częściowo się przenikały.

Do testów dodano materiał wideo referencyjny; Omni przeniósł z niego dynamikę ruchu i ruch kamery na scenę z kostiumami. Model wygenerował także napisy synchronizowane z akcją, które opisywały przebieg wydarzeń na ekranie, choć nie zawsze precyzyjnie.

Materiały wejściowe w testach obejmowały tekst, zdjęcia, szkice i wideo. System umożliwiał wieloetapowe edycje i łączenie różnych typów danych, a w przeprowadzonych próbach zaobserwowano ograniczenia w wiernym odwzorowaniu twarzy i zachowaniu tożsamości postaci podczas kolejnych modyfikacji.