Miliardy dolarów to i tak za mało. Twórcy AI nie mają na czym szkolić kolejnych wersji ChatGPT i innych narzędzi

OpenAI, Google i Anthropic wydają miliardy na rozwój sztucznej inteligencji, ale nawet te firmy mają już coraz większe problemy, by osiągać kolejne postępy. Koszty rosną, natomiast uzyskiwane korzyści są coraz mniejsze — opracowywane modele AI nie są o wiele lepsze od wcześniejszych.

• Firmy takie jak OpenAI, Google i Anthropic napotykają rosnące koszty rozwoju AI przy jednoczesnym zmniejszaniu się korzyści wynikających z opracowywania nowych modeli
• Braki w wysokiej jakości danych treningowych stają się jednym z głównych wyzwań 
• Obecne modele AI nie przynoszą już przełomowych postępów, co kwestionuje opłacalność ogromnych inwestycji finansowych
• W przyszłości rozwój AI może wymagać innowacji w pozyskiwaniu danych treningowych
• Więcej informacji o biznesie znajdziesz na stronie Businessinsider.com.pl

Kiedy OpenAI wprowadziło na rynek model GPT-4.0, był on wyraźnie lepszy od 3.0 i 3.5. Podobnych „skoków” w możliwościach i jakości generowanych wyników trudno jednak oczekiwać w obecnych realiach. Start-up prowadzony przez Sama Altmana regularnie pozyskuje nowe finansowanie i przeznacza miliardy dolarów na szkolenie modeli LLM (Large Language Model — duże modele językowe). Najnowszy model, o roboczej nazwie Orion, miał zapewnić kolejny, widoczny postęp w rozwoju AI, ale nie osiągnął pożądanej przez OpenAI skuteczności. Jak podaje Bloomberg, powołując się na dwie osoby zaznajomione ze sprawą, które wypowiadały się pod warunkiem zachowania anonimowości, Orion nie dawał sobie rady np. z pytaniami dotyczącymi programowania — miał sobie z tym radzić, ale jednak nie wypracowywał odpowiednich wyników. W rezultacie Orion nie jest uważany za duży krok naprzód w porównaniu z istniejącymi modelami OpenAI.

Na podobne przeszkody napotykają też inne firmy.

Pobierz za darmo: Zarządzaj ryzykiem, nie kryzysem. Raport o cyberbezpieczeństwie dla firm [POBIERZ]

Bańka trochę już pęka

Najnowsza wersja Gemini, sztucznej inteligencji rozwijanej przez Google’a, nie spełnia wewnętrznych oczekiwań — twierdzą pracownicy giganta. Anthropic, kolejny silny gracz AI, ma podobne problemy i jego najnowsze modele nie zapewniają już tak dużego postępu, na jaki liczyłaby firma, i który uzasadniałby ogromne inwestycje finansowe.

Co jednak sprawia, że biznesy AI mają problem ze szkoleniem swoich modeli?

Okazuje się, że coraz poważniejszym problemem staje się sam dostęp do danych. Trudno znaleźć nowe, niewykorzystane w innych miejscach źródła danych, które są w dodatku: wysokiej jakości, tworzone przez ludzi oraz dostępne do wykorzystania do rozwoju systemów AI. Modele są coraz częściej szkolone na danych, które nie są odpowiednio dobre, albo jest ich za mało. Wówczas ich skuteczność pozostawia wiele do życzenia, a sama inwestycja nie zapewnia pożądanych zwrotów — koszty związane z budową serwerów i za elektryczność są wysokie, a uzyskiwane modele mają skuteczność co najwyżej tylko trochę lepszą od tych poprzednich. To sprawia, że nie można ich określić nowszymi, lepszymi wersjami, lecz co najwyżej aktualizacjami obecnie dostępnych.

Wyzwania związane z tworzeniem lepszych modeli AI są o tyle kłopotliwe, że nie da się ich rozwiązać w łatwy sposób. Nie wystarczy np. zakup kolejnych serwerów czy 10 tys. chipów AI od Nvidii. Prawa skalowania nie mają tutaj zastosowania i większa wydajność infrastruktury nie przekłada się na lepszą jakość samych modeli AI.

Dario Amodei, dyrektor generalny Anthropic, twierdzi, że pewne rzeczy mogą „wykoleić” proces rozwijania bardziej potężnej AI w ciągu najbliższych kilku lat. Zakłada, że możemy też „wyczerpać dane”, choć sam pozostaje optymistą i wierzy, że firmie uda się znaleźć sposób na pokonanie wszelkich przeszkód. Poniekąd musi wierzyć, bo niedawno Anthropic pozyskał kolejne miliardy dol. od inwestorów.

Czytaj też: Pomaga kobietom w robotyce. „Wszyscy będziemy mieli kilka karier” [WYWIAD]

Zabraknie treści generowanych przez ludzi

ChatGPT i inne narzędzia AI tego rodzaju opierają się w dużym stopniu na pracy ludzi. Modele językowe, jakie zasilają te technologie, to m.in. książki, posty z mediów społecznościowych i forów dyskusyjnych, komentarze online, jak również artykuły dziennikarskie (często bez zgody wydawców i właścicieli praw autorskich). To wystarczyło, aby powstały narzędzia do generowania treści, niemniej o dość przeciętnej jakości. Jeśli chcemy natomiast tworzyć AI mądrzejsze od laureatów Nagrody Nobla, potrzebne będą inne źródła danych niż posty z Reddita czy wpisy na Wikipedii.

Niektóre firmy rozwijające AI mają budżety na zawieranie np. umów z wydawcami i dużymi mediami, by szkolić swoje modele na treściach wysokiej jakości, tworzonych przez doświadczonych dziennikarzy. Stale też pojawiają się ogłoszenia o prace etatowe dla inżynierów i specjalistów, zwłaszcza takich, którzy są dobrymi programistami lub matematykami. Wszystko po to, by „karmić” modele AI danymi wysokiej jakości, a także takimi na wyłączność — żadna z firm nie chce mieć tych samych danych, bo później oferowane produkty będą do siebie zbliżone.

Co ciekawe, w przyszłości może się okazać, że całkiem popularne stanie się tworzenie treści na potrzeby sztucznej inteligencji. Już teraz nie brakuje spółek, które zarabiają na tym miliardy dol., niemniej w najbliższych latach ma pojawić się dość trudny do wyobrażenia problem.

Z analizy Epoch.ai wynika, że całkowita ilość dostępnych publicznych danych tekstowych, tworzonych przez ludzi, może zostać w pełni wykorzystana przez modele AI między 2026 a 2032 r., w zależności od projektów i poziomu użycia. Może więc się okazać, że ograniczeniem w rozwoju AI dość szybko będzie nie tylko moc obliczeniowa i dostęp do chipów AI, ale też same treści, na których uczą się poszczególne rozwiązania.

Sprawdź też: 27-letni miliarder ma armię pracowników tymczasowych. Wykonują „brudną robotę”

Aby kontynuować rozwój po 2030 r., Epoch sugeruje, że potrzebne będą innowacje w zakresie samego pozyskiwania danych, np. tworzenie danych syntetycznych (de facto AI tworzy dane dla AI), jak również bardziej efektywne wykorzystywanie tego, co jest dostępne. Inaczej mówiąc: zanim dojdziemy do ogólnej sztucznej inteligencji (Artificial General Intelligence), która miałaby przewyższać człowieka praktycznie w każdym zadaniu, może się okazać, że nie będzie to możliwe, bo… ludzie nie stworzą wystarczająco dużo materiału treningowego. Pisaliśmy już na Business Insiderze, że sztucznej inteligencji kończy się paliwo — obecnie problem ten stał się jeszcze poważniejszy i strategia „więcej znaczy lepiej” przestaje się sprawdzać.

Na razie firmy AI stawiają na coś innego: agentów do automatyzacji zadań, by realizować wiele rzeczy bez nadzoru i zaangażowania człowieka. „To będzie następny wielki przełom w sektorze AI” — powiedział niedawno Sam Altman w trakcie konwersacji „Ask Me Anything” z użytkownikami serwisu Reddit.

Autor: Grzegorz Kubera, dziennikarz Business Insider Polska

Dziękujemy, że przeczytałaś/eś nasz artykuł do końca. Bądź na bieżąco! Obserwuj nas w Wiadomościach Google.

Źródło