Jedno zdjęcie wystarczy, by stworzyć film: stabilność sztucznej inteligencji zmienia zasady w świecie wideo

Sztuczna inteligencja może nas zaskoczyć na wielu frontach. Jednym z najbardziej niezwykłych postępów ostatnich czasów jest możliwość konwersji pojedynczych zdjęć na pełnometrażowe nagrania wideo. Najnowsze technologie, znane jako Stable Virtual Camera, wprowadzają metodę, w której skomplikowane techniki rekonstrukcji 3D lub wiele zdjęć z różnych perspektyw nie są już wymagane — wystarczy jeden obraz lub ograniczona liczba zdjęć, aby stworzyć iluzję realistycznej głębi i płynnych ruchów wirtualnej kamery.

• Dzięki aplikacji Stable Virtual Camera możliwe jest tworzenie realistycznych filmów 3D na podstawie jednego zdjęcia, bez konieczności rekonstrukcji 3D lub kosztownych sesji zdjęciowych.
• Technologia ta, oparta na modelach dyfuzyjnych, znacznie usprawnia i przyspiesza proces tworzenia filmów.
• Umożliwia tworzenie oszałamiających, dynamicznych wizualizacji nawet przy ograniczonym budżecie.
• Innowacje takie jak Stable Virtual Camera niosą ze sobą obietnicę transformacji nie tylko sektora kreatywnego, ale także edukacji, turystyki i handlu elektronicznego.
• Więcej informacji na temat biznesu znajdziesz na Businessinsider.com.pl.

Możliwości oferowane przez Stability AI oznaczają niewielką rewolucję w dziedzinie filmu i animacji. Jeszcze kilka lat temu koncepcja ta była ograniczona do science fiction.

Konwencjonalne techniki przechwytywania wielowymiarowych przestrzeni z pojedynczego obrazu zazwyczaj polegały na skomplikowanej fotogrametrii, przechwytywaniu ruchu lub wymagały kompleksowych badań objętościowych, w których wiele kamer działało jednocześnie. Rekonstrukcje 3D uzyskane za pomocą tych metod wiązały się z kosztownymi przygotowaniami i długotrwałymi działaniami postprodukcyjnymi. Podczas gdy stabilność obrazu czasami mogła być wystarczająca, często nie wystarczała do płynnej integracji wszystkich komponentów lub zapewnienia naturalnych efektów głębi i perspektywy.

Obecnie, dzięki rozwojowi sztucznej inteligencji, a zwłaszcza w zakresie modeli dyfuzji, wygenerowanie trójwymiarowych obrazów z pojedynczego zdjęcia może zająć zaledwie kilka sekund.

Koniecznie sprawdź: Nowa sztuczna inteligencja Chin wywołuje debatę. Jest „jak doświadczony stażysta”.

Wideo 3D ze zdjęć w mgnieniu oka

Stable Virtual Camera to taki skok naprzód. Ten model, obecnie dostępny w wersji zapoznawczej badań, może generować sekwencję wideo przy użyciu do 32 obrazów wejściowych lub nawet tylko jednego zdjęcia.

Dzięki zintegrowanym, predefiniowanym ścieżkom ruchu kamery, takim jak 360 stopni, Dolly Zoom, Spirala czy Pan, użytkownik ma dostęp do ustalonych trajektorii, które naśladują efekty znane z profesjonalnych środowisk filmowych.

Ponadto istnieje opcja ręcznego zdefiniowania dowolnej ścieżki kamery w przestrzeni — zapewniająca pełną kontrolę nad tym, jak widzowie wchodzą w interakcję ze sceną wirtualną. Model zapewnia spójność między klatkami , co oznacza, że różne kąty i odległości oglądania nadal przedstawiają tę samą scenę, wzbogaconą o autentyczne przejścia głębi i perspektywy.

Dla przemysłu filmowego i rynku kreatywnego oznacza to znaczącą poprawę w przepływach pracy produkcyjnej. Wcześniej osiągnięcie podobnego standardu pracy wymagało zorganizowania odpowiednich sesji zdjęciowych, użycia drogiego sprzętu do nagrywania objętościowego lub zmiany obrazu w postprodukcji za pomocą zaawansowanych technik VFX.

Ponadto każdy ruch kamery często wymagał ponownego uchwycenia sekwencji, a osiągnięcie właściwej kompozycji sceny, oświetlenia i scenografii wiązało się ze znacznymi inwestycjami finansowymi. Teraz, gdy modele generatywne autonomicznie produkują brakujące ujęcia i wzbogacają je o perspektywę 3D, istnieje potencjał na kreatywne eksperymenty nawet w produkcjach ze znacznie mniejszymi budżetami.

Przeczytaj także: Skomplikowane przepisy i umowy pełne zawiłego języka? Zleć to AI i chroń się przed wykorzystaniem.

Więcej za mniej

W praktyce oznacza to również rozwój nowych konwencji narracyjnych. Twórcy będą mogli tworzyć ujęcia, których tradycyjne kamery nie są w stanie uchwycić, płynnie przechodzić między różnymi punktami widzenia lub podkreślać szczegóły sceny w oszałamiający, trójwymiarowy sposób, a wszystko to bez potrzeby fizycznego zestawu.

W niedalekiej przyszłości może to wywołać wzrost kreatywności w reżyserii filmowej, teledyskach, projektach VR i interaktywnych doświadczeniach online. Wpływ technologii będzie również zauważalny w reklamie, gdzie przyciągnięcie uwagi odbiorców za pomocą skutecznych, zwięzłych formatów wideo jest kluczowe.

Należy jednak pamiętać, że podobnie jak inne przełomowe rozwiązania, Stable Virtual Camera i podobne modele wciąż borykają się z pewnymi ograniczeniami.

Podczas przedstawiania osób, zwierząt lub ruchu wody model może tracić szczegóły lub tworzyć niepożądane artefakty (błędy wizualne). Ten problem jest szczególnie widoczny w wysoce złożonych i niejednoznacznych scenach, gdy pożądany ruch kamery przekracza to, co sugeruje oryginalny obraz. W takich przypadkach mogą wystąpić błędy mapowania, migotanie krawędzi lub nienaturalne przeskoki.

Twórcy tych rozwiązań, w tym Stability AI, otwarcie przyznają się do swojego zaangażowania w ulepszanie modeli w celu zminimalizowania niedoskonałości. Obecnie technologia jest dostępna do celów badawczych na podstawie licencji niekomercyjnej, a jej kod jest dostępny do pobrania na platformach takich jak Hugging Face lub GitHub.

Znacznie tańsza produkcja wideo

W świetle przyszłości Internetu warto zastanowić się nad rosnącym znaczeniem treści audiowizualnych — zwłaszcza w formie wideo. Krótkie klipy zaprojektowane do szybkiego przechwytywania

Źródło