Czarne chmury zbierają się nad AI; chodzi o koszty
Co za bzdura. widać że redaktor nie ma pojęcia o temacie. W mojej firmie budujemy AI i używamy zwykłych kart konsumenckich bo jedynym parametrem potrzebnym do trenowania jest ilość rdzeni CUDA. Każdy kto miał koparkę równie dobrze może trenować sztuczną inteligencję jak zainwestuje w lepsza platformę pod karty
Teraz to kazdy wklada AI co w drugi produkt raczej nie widze zastoju.
Jakie glupoty, przeciez jest zupelnie odwrotnie
polecam lekture https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
ludzie juz odpalaja LLaMA'e nawet na raspberry pi xd https://github.com/ggerganov/llama.cpp/issues/58
Z mojego doświadczenie ważniejsza zawsze była ilość pamięci RAM na karcie, bo co z tego jak mam moc RTX 4090 jak mój model nie mieści się podczas trenowania na karcie nawet przy batch size 1. Taki A100 ma nawet do 80GB ramu
Problem jest trochę inny, moc raczej na sto procent będzie rosnąc więc pewnie za parę lat zwykłe konsumenckie karty będą wstanie odpalić pełny GPT-4, wiec to jest kwestia czasu bardziej. Oczywiście rozmiary modeli też będą rosnąć
"Póki co, nic nie zwiastuje pojawienia się dziesiątek innych AI, rozwijanych przez mniejsze firmy." To są bzdury i wprowadzają użytkownika w błąd.
Przydałoby się, aby takie artykuły pisał programista, a nie osoba, która coś gdzieś przeczytała w internecie. Obecnie nie dziesiątki, nie setki, ale tysiące niekoniecznie dużych firm rozwijają swoje AI do różnych zastosowań i mają ambicie dogonić rynkowy sukces OpenAI. Do trenowania AI nie potrzeba sprzętu za wiele miliardów dolarów.
Jak już pozostali wspomnieli, artykuł jest raczej mało rzetelny. Olbrzymie koszty o których mowa chwilo potrzebne są do rozwoju coraz potężniejszych modeli na potrzeby komercyjne. Microsoft i Google ładują olbrzymie środki tylko po to żeby ich modele były chociaż trochę lepsze od tych open source, które dzięki wyciekowi z Mety powstają masowo i są coraz lepsze. Obecne open source modele są słabsze od GPT 4 ale niewiele (te najlepsze ofc). Nowe powstają i są ulepszane codziennie. Okazuje się, że sposób szkolenia może ekstremalnie zminimalizować koszt braku danych. Zresztą pomijając open source Google na swojej konferencji zapowiedziało wiele modeli różnych rozmiarów w tym takich na komórki.
