Google DeepMind proponuje samodoskonalenie AI. Przełom w badaniach

Twórcy AI twierdzą, że sztuczna inteligencja „przerobiła” już wszystkie dostępne dane i nauczyła się wszystkiego, co było możliwe do nauczenia się. Na pomoc ruszyli naukowcy Google, który uważają, że znaleźli na to rozwiązanie. Dla przeciętnego człowieka nie jest to odkrycie zmieniające życie, ale z pewnością niezwykle cieszą się z tego inwestorzy giełdowi i właściciele firm, którzy zainwestowali grube biliony dolarów w AI, licząc, że w będzie ona się rozwijać i ulepszać co najmniej w nieskończoność.

• Według współzałożyciela OpenAI, Ilyi Sutskevera, branża sztucznej inteligencji osiągnęła limit danych
• Badacze DeepMind uważają, że dane pochodzące z nowych modeli są źródłem świeżych danych treningowych dla sztucznej inteligencji
• Nowa metoda przetwarzania danych zostanie przetestowana w 2025 r.
• Więcej informacji o biznesie znajdziesz na stronie Businessinsider.com.pl

Współzałożyciel OpenAI, Ilya Sutskever, obwieścił coś, co powinno sprawić, że branża sztucznej inteligencji zadrży ze strachu. — Osiągnęliśmy limit danych i więcej ich nie będzie — powiedział podczas przemówienia na dorocznym wydarzeniu Neurips w grudniu.

Pisaliśmy o tym w Business Insider Polska w TYM ARTYKULE.

Wszystkie przydatne dane w Internecie zostały już wykorzystane do trenowania modeli sztucznej inteligencji. Proces ten, znany jako wstępne szkolenie, pozwolił na uzyskanie wielu ostatnich osiągnięć w zakresie generatywnej sztucznej inteligencji, w tym uruchomienie ChatGPT. Ulepszenia uległy jednak spowolnieniu, a Sutskever powiedział, że ta era „bez wątpienia się skończy”.

To przerażająca perspektywa, ponieważ biliony dolarów wartości giełdowej i inwestycji w sztuczną inteligencję zależą od tego, czy modele będą coraz lepsze.

Jednak większość ekspertów ds. sztucznej inteligencji wcale się tym nie martwi. Dlaczego?

Przebicie muru danych

Może istnieć sposób na przebicie się przez ten mur danych. Jest to związane ze stosunkowo nową techniką, która pomaga modelom sztucznej inteligencji „myśleć” o trudnych zadaniach przez dłuższy czas.

Podejście to, zwane obliczeniami w fazie testowania lub w fazie wnioskowania (test-time/inference-time compute), dzieli zapytania na mniejsze zadania, zamieniając każde z nich w nowe żądanie, z którym mierzy się model. Każdy krok wymaga uruchomienia nowego zapytania, co w sztucznej inteligencji określane jest jako etap wnioskowania.

Tworzy to łańcuch rozumowania, w którym rozwiązywana jest każda część problemu. Model nie przechodzi do następnego etapu, dopóki nie poprawi każdej części i ostatecznie nie wymyśli lepszej odpowiedzi końcowej.

OpenAI wypuściło we wrześniu model o nazwie o1, który wykorzystuje tę metodę. W ślad za nim szybko poszły Google i chińskie laboratorium AI DeepSeek, które wprowadziły podobne modele „wnioskujące”.

„Iteracyjna pętla samodoskonalenia”

Testy porównawcze tych nowych modeli wykazały, że często generują one lepsze wyniki niż poprzednia najlepsza sztuczna inteligencja, zwłaszcza w przypadku pytań matematycznych i podobnych zadań z jasnymi odpowiedziami końcowymi.

W tym miejscu sprawy stają się interesujące. Co by się stało, gdyby te wyższej jakości dane wyjściowe zostały wykorzystane do nowych danych szkoleniowych? Ta masa nowych informacji mogłaby zostać ponownie wykorzystana w innych cyklach szkoleniowych modeli AI, aby uzyskać jeszcze lepsze wyniki.

Naukowcy z Google DeepMind opublikowali w sierpniu badania na ten temat i zaproponowali tę technikę jako potencjalny sposób na ulepszenie dużych modeli językowych.

„W przyszłości przewidujemy, że wyniki zastosowania dodatkowych obliczeń w fazie testowania mogą być wykorzystane z powrotem w podstawowym LLM, umożliwiając iteracyjną pętlę samodoskonalenia” — napisali naukowcy. „W tym celu przyszłe prace powinny poszerzyć nasze odkrycia i wyjaśnić, w jaki sposób wyniki zastosowania obliczeń w fazie testowania mogą zostać wykorzystane do ulepszenia samego bazowego LLM” — czytamy.

Co na to naukowcy?

Autorami byli Charlie Snell, Jaehoon Lee, Kelvin Xu i Aviral Kumar. Xu nadal pracuje w Google, a Kumar zajmuje się DeepMind, natomiast Lee dołączył do Anthropic, rywala OpenAI.

Snell był współautorem artykułu podczas stażu w Google DeepMind. Obecnie wrócił na UC Berkeley. Zadzwoniłem do niego, by zapytać, co zainspirowało go do przeprowadzenia tych badań.

— Byłem zmotywowany niektórymi czynnikami, które uniemożliwiały dalsze skalowanie wstępnego szkolenia, w szczególności skończoną podażą danych — powiedział mi.

— Jeśli uda się sprawić, by model sztucznej inteligencji wykorzystywał dodatkowe obliczenia w fazie wnioskowania i poprawiał swoje wyniki, jest to sposób na generowanie lepszych danych syntetycznych — dodał. — To przydatne nowe źródło danych treningowych. Wydaje się, że jest to obiecujący sposób na obejście tych wąskich gardeł danych — dodał.

Satya jest zadowolony

Gdy w ostatnim podcaście zapytano go o spowolnienie w doskonaleniu modeli sztucznej inteligencji i brak nowych, wysokiej jakości danych treningowych, CEO Microsoftu, Satya Nadella, wydawał się niewzruszony, a nawet pełen optymizmu.

Opisał obliczenia w fazie wnioskowania jako „kolejne prawo skalowania”.

— Więc masz wstępne szkolenie, a następnie masz efektywne próbkowanie w fazie testowania, które następnie tworzy tokeny, które mogą wrócić do wstępnego szkolenia, tworząc jeszcze potężniejsze modele, które następnie pracują nad wnioskowaniem —wyjaśnił.

— Myślę, że to fantastyczny sposób na zwiększenie możliwości modelu — dodał z uśmiechem Nadella.

Sutskever wspomniał również o obliczeniach w fazie testowania jako jednym z możliwych rozwiązań problemu braku danych podczas swojego wystąpienia w Neurips na początku grudnia.

Czas na nową generację AI

W 2025 r. podejście to zostanie poddane sprawdzianowi. Efekty nie są pewne, choć Snell jest optymistą.

— W ciągu ostatnich trzech lat wydawało się to oczywiste — powiedział o postępach w dziedzinie sztucznej inteligencji. — Teraz jesteśmy w trybie eksploracyjnym — dodał.

Jedno pytanie pozostaje otwarte: Jak dobrze sprawdza się ta technika obliczeniowa? Snell powiedział, że dobrze radzi sobie z pytaniami, w których odpowiedź jest znana i możesz ją sprawdzić, na przykład w zadaniach matematycznych.

— Ale wiele rzeczy, które wymagają wyciągania wniosków, nie jest łatwych do sprawdzenia. Na przykład pisanie eseju. Często nie ma prostej odpowiedzi na pytanie, jak dobre jest to rozwiązanie — wyjaśnił.

Mimo to istnieją wczesne oznaki sukcesu i Snell podejrzewa, że dane wyjściowe z tego typu modeli są już wykorzystywane do trenowania nowych modeli.

— Istnieje duża szansa, że te syntetyczne dane są lepsze niż te dostępne w Internecie — powiedział.

Jeśli dane wyjściowe z modelu o1 OpenAI są lepsze niż GPT-4, poprzedni topowy model startupu, to te nowe dane wyjściowe można teoretycznie ponownie wykorzystać do przyszłego szkolenia modeli sztucznej inteligencji.

Snell podzielił się teoretycznym przykładem: Powiedzmy, że o1 uzyskuje 90 proc. wyniku w konkretnym teście porównawczym AI. Te odpowiedzi można przekazać do GPT-4, aby ten model również uzyskał wynik 90 proc.

— Jeśli masz duży zestaw zapytań, możesz pobrać kilka danych z o1 i utworzyć duży zestaw przykładów szkoleniowych i wstępnie wytrenować na nich nowy model lub kontynuować szkolenie GPT-4, aby był lepszy — powiedział Snell.

Raport TechCrunch z końca grudnia sugerował, że DeepSeek mógł wykorzystać dane wyjściowe z o1 OpenAI do trenowania własnego modelu sztucznej inteligencji. Najnowsza oferta firmy, zwana DeepSeek V3, osiąga dobre wyniki w branżowych testach porównawczych.

— Prawdopodobnie byli pierwszymi, którzy odtworzyli o1 — powiedział Snell. — Zapytałem ludzi z OpenAI, co o tym myślą. Mówią, że wygląda to tak samo, ale nie wiedzą, jak DeepSeek zrobił to tak szybko — stwierdził.

Artykuł jest tłumaczeniem z amerykańskiego wydania Business Insider.

Tłumaczenie: Mateusz Albin

Dziękujemy, że przeczytałaś/eś nasz artykuł do końca. Bądź na bieżąco! Obserwuj nas w Wiadomościach Google.

Źródło