Dzięki dynamicznemu rozwojowi technologii sztucznej inteligencji (AI), sektor badawczy przekracza kolejne granice, które jeszcze do niedawna były domeną science fiction.
W ramach tych pionierskich prac, grupa naukowców z Google przedstawiła metodologię, która pozwala na transformację statycznych zdjęć w dynamiczne, animowane avatary. Technologia ta, nosząca nazwę VLOGGER, rewolucjonizuje tradycyjne metody interakcji cyfrowej, otwierając nowe możliwości w komunikacji online oraz w sektorze rozrywki cyfrowej.
Opierając się na złożonej architekturze dyfuzyjnej, VLOGGER umożliwia konwersję nieruchomych obrazów i tekstów na animacje oraz modele 3D, wzbogacając tym samym doświadczenia użytkowników w wirtualnym świecie. Ta przełomowa technologia jest zdolna do symulacji naturalnych ruchów mimicznych i gestykulacji na podstawie jedynie oryginalnego zdjęcia oraz nagrania głosowego, co jest znaczącym krokiem naprzód w naśladowaniu ludzkich zachowań przez algorytmy AI.
Procedura przekształcania statycznego obrazu w „żywego” awatara za pomocą VLOGGER przebiega etapami. W pierwszym kroku, system analizuje dostarczone zdjęcie i ścieżkę dźwiękową, by następnie zainicjować proces generowania ruchu 3D. Kolejne etapy obejmują modelowanie „czasowej dyfuzji”, które ma na celu zsynchronizowanie animacji z dźwiękiem, w efekcie czego powstaje końcowy, realistyczny obraz. Kluczowe w tym procesie jest zastosowanie zaawansowanych technik sieci neuronowych, które umożliwiają prognozowanie zmian w ekspresji twarzy, postawie i spojrzeniu.
Sukces tej metodologii był możliwy dzięki wykorzystaniu rozległego zbioru danych MENTOR, składającego się z 800 000 video prezentujących rozmawiających ludzi, z detalami każdego aspektu ruchu. Dostęp do tak bogatego źródła informacji pozwolił na osiągnięcie niezwykłego realizmu w animacjach.
Chociaż VLOGGER jest na początkowym etapie rozwoju i nie został jeszcze wprowadzony na rynek jako gotowy produkt, jego potencjalne zastosowania są bardzo szerokie. Może zostać wykorzystany do tworzenia realistycznych tłumaczeń video, gdzie animacja mimiki i ruchów ust jest dostosowywana do nowej, przetłumaczonej ścieżki dźwiękowej. Ponadto, technologia ta ma potencjał do rewolucjonizowania sposobu tworzenia wirtualnych asystentów, chatbotów oraz postaci w grach, znacząco wzbogacając interakcje z cyfrowymi środowiskami.
Rozwój VLOGGER może również przyczynić się do ulepszenia komunikacji wideo o niskiej przepustowości przez umożliwienie tworzenia realistycznych rozmów video z użyciem animowanych avatrów zamiast pełnych sekwencji wideo. To otwiera nowe możliwości dla środowisk VR, poszerzając granice interakcji cyfrowych.
Pomimo obiecujących możliwości, projekt stoi przed wyzwaniami związanymi z adaptacją do dużych ruchów i zmiennych środowisk, jak również ograniczeniami czasowymi dotyczącymi długości generowanych animacji. Niemniej jednak, te trudności są typowe dla początkowych etapów rozwoju technologicznego i mogą być przezwyciężone wraz z postępem prac badawczych.
