Groq rzuca wyzwanie Nvidii. Ma nadzieję podbić Europę i zaczyna w Helsinkach.

W ciągu zaledwie czterech tygodni amerykański startup Groq przeniósł tysiące swoich niezwykle szybkich jednostek LPU do mroźnych regionów północnej Europy. Pierwsze zapytania klientów będą przetwarzane przez serwery zlokalizowane w Finlandii, a branża sztucznej inteligencji może wkrótce odkryć, czy ten nowy gracz rzeczywiście skróci czas reakcji modeli AI z sekund do milisekund – tym samym przejmując kontrolę nad najbardziej pożądaną infrastrukturą ery generatywnej sztucznej inteligencji od firmy Nvidia.

• Odkryj najnowszego rywala firmy Nvidia, który zapewnia ultraszybką infrastrukturę AI bez kosztowo wydajnych komponentów
• Co skłoniło firmę Groq do wyboru Helsinek na siedzibę swojej europejskiej siedziby i jakie korzyści niesie ze sobą ta decyzja?
• W jaki sposób przepisy UE i tendencja do suwerennej sztucznej inteligencji mogą pomóc nowym podmiotom w zdobyciu udziału w rynku?
• Oferujemy również informacje na temat szybko rozwijającego się rynku wnioskowania AI i potencjalnych scenariuszy jego rozwoju w Europie.
• Dodatkowe informacje o biznesie znajdziesz na Businessinsider.com.pl

Groq debiutuje w Europie w Helsinkach, a 7 lipca firma ogłosiła, że jej szafy serwerowe wyposażone w opatentowane procesory LPU (Language Processing Unit) docierają do zakładu Equinix. Pierwsze zapytania od europejskich klientów spodziewane są w tym tygodniu. Według prezesa Jonathana Rossa, przeniesienie części GroqCloud do Finlandii skróci czas przesyłu danych i umożliwi „najniższe możliwe opóźnienie” bez długiego oczekiwania na sprzęt.

Wybór Finlandii był celowy. Kraj ten od dawna przyciąga operatorów ze względu na chłodny klimat, ponad 60% udziału odnawialnych źródeł energii oraz najniższą stawkę podatku od energii elektrycznej dla centrów danych w UE (0,5 euro/MWh). Dzięki kablowi C-Lion1 opóźnienie do Frankfurtu spadło poniżej 20 ms, a obowiązujące przepisy i praktyki w zakresie cyberbezpieczeństwa należą do najbardziej rygorystycznych w Europie. To połączenie przyciągnęło już takich gigantów jak Google, Microsoft i atNorth. Tym samym Groq wpisuje się w trend „zielonej” infrastruktury, który pojawia się w północnej części kontynentu.

Firma Groq powstała w 2016 roku, gdy Jonathan Ross, współtwórca pierwszego układu TPU w Google, dostrzegł, że wąskim gardłem rynku stanie się obsługa wytrenowanych modeli AI, a nie ich trenowanie. Od tego czasu startup pozyskał ponad miliard dolarów finansowania, a runda finansowania serii D w sierpniu 2024 roku podniosła jego wycenę do 2,8 miliarda dolarów, przy wsparciu Samsung Catalyst Fund, Cisco Investments i BlackRock.

Ross ogłosił, że w nadchodzących tygodniach na całym świecie zostanie wysłanych dodatkowych 108 000 jednostek LPU, co uczyni firmę Groq największym niezależnym dostawcą mocy obliczeniowej dla sztucznej inteligencji.

Zobacz także: Sztuczna inteligencja prowadzi do redukcji zatrudnienia. Prezesi odchodzą od fałszywej narracji o „przydzielaniu ludziom kreatywnych zadań”.

Groq ma zamiar rywalizować z Nvidią

Architektura LPU została zaprojektowana specjalnie z myślą o szybkim generowaniu tokenów. W niezależnym teście przeprowadzonym przez ArtificialAnalysis.ai, klaster Groq z systemem Llama 2-70B osiągnął prędkość 241 tokenów na sekundę, a czas do wygenerowania pierwszego tokena wyniósł 0,8 sekundy, co wymagało rewizji skali w raportach badaczy. W wewnętrznych ocenach firma konsekwentnie osiąga prędkość 300 tokenów na sekundę, a cała sieć GroqCloud niedawno przekroczyła 20 milionów tokenów na sekundę przesyłanych strumieniowo do klientów jednocześnie. Podsumowując, modele sztucznej inteligencji działające w infrastrukturze Groq działają z imponującą prędkością.

Przewaga w zakresie szybkości jest wspierana przez niestandardowy łańcuch dostaw. Jednostka LPU wykorzystuje wyłącznie wbudowaną pamięć SRAM, eliminując w ten sposób zależność od deficytowych układów HBM, które wielu producentów uważa za trudne do pozyskania . Układy scalone tego startupu są produkowane w nowojorskim zakładzie GlobalFoundries z wykorzystaniem zaawansowanej litografii 14 nm, która, jak podkreśla Ross, minimalizuje ryzyko niedoborów komponentów i umożliwia produkcję wielkoseryjną z niską marżą. To sprawia, że segment ten jest mniej atrakcyjny dla firmy Nvidia.

Z drugiej strony, Nvidia nadal dominuje w dziedzinie uczenia modeli i niedawno podpisała umowy z rządami Francji, Włoch i Wielkiej Brytanii na budowę infrastruktury Blackwell o mocy ponad 3000 eksaflopów w całej Europie. Eksaflop to jednostka mocy obliczeniowej oznaczająca wykonywanie kwintyliona prostych operacji matematycznych na sekundę – mniej więcej tyle, ile cała populacja świata musiałaby wykonać łącznie przez ponad cztery lata, aby zrównać się z jednym eksaflopem działającym przez zaledwie jedną sekundę.

Warto zauważyć, że rynek jest daleki od zdominowania przez jednego lidera, ponieważ Nvidia koncentruje się na kartach H100 o wyższej marży i nadchodzącym GPU GB200. Groq, obok SambaNova, Cerebras i Ampere, wykorzystuje zatem lukę między popytem a podażą GPU, która pojawiła się po sukcesie ChatGPT.

Przeczytaj także: Sztuczna inteligencja już przewyższa lekarzy. „Pierwszy krok w kierunku medycznej superinteligencji”

Groq korzysta z korzystnych przepisów

Otoczenie regulacyjne w Europie sprzyja nowemu konkurentowi. Unijna ustawa o sztucznej inteligencji weszła w życie 1 sierpnia 2024 r., a kluczowe wymogi dla dostawców modeli ogólnego przeznaczenia, w tym obowiązki dotyczące dokumentacji energetycznej, wejdą w życie 2 sierpnia 2025 r. Bliskość centrum danych do użytkownika sprzyja przestrzeganiu zasady suwerennej sztucznej inteligencji, promowanej przez takie miasta jak Paryż i Berlin, a jednocześnie usprawnia świadczenie usług.

Źródło