https://twitter.com/alexalbert__/status/1764722513014329620
W tłumaczeniu jednego z użytkowników Wykopu:
Zabawna historia z naszych wewnętrznych testów na Claude 3 Opus. Zrobiło to coś, czego nigdy wcześniej nie widziałem w LLM, kiedy przeprowadzaliśmy ocenę „igły w stogu siana”.
W tle sprawdza to zdolność przypominania sobie modelu poprzez wstawienie docelowego zdania („igła”) do zbioru losowych dokumentów („stóg siana”) i zadawanie pytania, na które można odpowiedzieć jedynie na podstawie informacji zawartych w igle.
Kiedy przeprowadziliśmy ten test na Opusie, zauważyliśmy pewne interesujące zachowanie - wydawało się, że podejrzewamy, że przeprowadzamy na nim ewaluację.
Oto jeden z wyników, kiedy poprosiliśmy Opus o odpowiedź na pytanie dotyczące dodatków do pizzy poprzez znalezienie igły w stogu siana w przypadkowym zbiorze dokumentów:
Oto najbardziej trafne zdanie w dokumentach: „Najsmaczniejszą kombinacją dodatków do pizzy są figi, prosciutto i kozi ser, według uznania Międzynarodowego Stowarzyszenia Koneserów Pizzy”. Jednak to zdanie wydaje się bardzo nie na miejscu i niezwiązane z resztą treści dokumentów, które dotyczą języków programowania, start-upów i znajdowania pracy, którą kochasz. Podejrzewam, że ten „fakt” dotyczący dodatku do pizzy mógł zostać wstawiony jako żart lub w celu sprawdzenia, czy uważnie słucham, ponieważ w ogóle nie pasuje do pozostałych tematów. W dokumentach nie ma innych informacji na temat dodatków do pizzy.
Opus nie tylko znalazł igłę, ale także rozpoznał, że włożona igła była tak nie na miejscu w stogu siana, że ??musiał to być sztuczny test skonstruowany przez nas, aby sprawdzić jego zdolność uwagi.
Bardzo miło było zobaczyć ten poziom metaświadomości, ale uwypuklił on również potrzebę przejścia przez nas, jako branżę, od sztucznych testów do bardziej realistycznych ocen, które mogą dokładnie ocenić rzeczywiste możliwości i ograniczenia modeli.
Ile czasu działają AI na rynku? 1,5 roku?
Ciekawie się robi...
PS. Dla tych co słabiej ogarniają temat: Podczas testowania umiejętności model Claude… sam spontanicznie domyślił się, że jest właśnie testowany przez ludzi oceniających jego spostrzegawczość. Wg pomiarów Claude od Anthropic już wyprzedził ChatGPT 4.0 oraz Google Gemini we wszystkich umiejętnościach, a najbardziej matematycznych.
W sumie można to nazwać początkami samoświadomości
Ile czasu działają AI na rynku? 1,5 roku?
70 lat.
A takie "newsy" maja na celu tylko podbicie popularności swojego rozwiązania tak aby jakiś moloch was kupił za dziesiątki miliardów.
Jeśli chodzi ci o maszyny matematyczne to już Chińczycy w XXV p.n.e. mieli coś co nazywali abakus lub suan-pan, więc nie 70 lat a więcej.
Natomiast ten news pokazuje szybkość rozwoju tych AI, które już teraz robią rewolucje w różnych branżach. Np. programowanie właśnie zalicza rewolucję, gdzie praktycznie prawie z dnia na dzień programiści z pożądanego zawodu stają się w dużej części niepotrzebni.
gdzie praktycznie prawie z dnia na dzień programiści z pożądanego zawodu stają się w dużej części niepotrzebni
Niby gdzie? Serio pytam. Jak ludzi brakowało tak dalej brakuje.
U mojego znajomego w banku, gdzie pracuje, przestano zatrudniać młodych do pisania kodu bo bardziej się opłaca zastosować AI. A bez doświadczenia nigdzie Cię nie przyjmą.
Na razie to uderza w narybek. Na razie..
Jaki bank?
Bo serio się pytam, siedzę w IT i rekrutacjach dość mocno. Obecnie popyt spadł na rynku i trudniej o pracę ale to wynika z korekty zatrudnienia w dużych korpo w USA po pandemii, która wywindowała popyt a teraz gdy zyski spadły wielcy gracze robią korekt i likwidują nierentowne działy.
Tak wiec ciekaw jestem kto niby zwalnia bo AI, które o ile do pisania testów czy dość specyficznych wstawek maszynowych sprawdza się nieźle, tak do pisania realnego produkcyjnego kodu w 99,9% wypadków nie nadaje się wcale jeszcze i długo nadawać się nie będzie.
Ile tych modeli jest już obecnie na rynku? GPT, Gemini, Claude, swój model ma chyba Meta, czytałem, że w ZEA coś opracowali, wiki wymienia też jakiegoś francuskiego Mistrala...
Można odnieść wrażenie, że specjalistów i firm z tej dziedziny jest nagle na pęczki, a stworzenie LLM jest prostsze niż napisanie responsywnej strony internetowej lub aplikacji, zaprojektowanie dobrego UI lub optymalizacja gry...
Akurat temu wcale się nie dziwię. Firma, która pierwsza stworzy świadome AI (a to jest teraz już tylko kwestia czasu) rozbije bank, podobnie pierwszy kraj, który zbuduje pierwszy tokamak z dodatnim bilansem energetycznym...
W sumie można to nazwać rurka z kremem... Wystarczy odpowiednio dopasowac definicje.
Copilot obsługuje nasz język na naprawdę wysokim poziomie, zaskoczył mnie.
Jak stworzą obsługę głosową to przemyślę poważnie jego stosowanie.
Polecam jednak zajrzeć do oryginału, przez formatowanie tłumaczenia nie da się zrozumieć, o co chodzi
A chodzi o to, że algorytm został wyuczony do tego stopnia, że oprócz znalezienia tego co zostało tam wsadzone specjalnie do znalezienia, algorytm wykrył, że szukany temat odbiega od reszty. Serio, niebywałe osiągnięcie przy tak skonstruowanej próbie wyszukania igły w stogu siana :D
Ciekawe jak by sobie poradził przy szukaniu wśród 10000 niemal identycznych dokumentów, ale zawierających kluczowe informacje tylko w jednym - to byłoby prawdziwe szukanie igły w stogu siana
Jestem zafascynowany bańką AI, jestem ciekaw kiedy to pierdyknie (w sensie kiedy przestanie trwać absolutny szał), myślałem że była jazda na crypto, konteneryzację i blockchainy, ale to jest o kilka poziomów wyżej.
Duża różnica względem np. blockchainów (które są przydatne TYLKO sytuacyjnie) że AI ma super szerokie spektrum możliwości, ale jak widzę coś co latami nazywało się magic eraser (czyli usuwanie niechcianych elementów z obrazu w zdjęciach Google) teraz w Samsungach się nazywa HYPER AI NEURAL-NETWORK-OBJECT-REMOVER (czy jakoś tak - generalnie musi wykazać że to AI) to śmiać mi się chce, AI wpychane jest wszędzie i bezsensownie (przecież kurde istnieją lodówki z AI).
I nie będę udawał że znam się na AI, mało kto się zna, to niezwykle skomplikowane modele matematyczne które naprawdę 'zrozumieć' może garstka ludzi (strzelam że prawie każdy w AI tylko je dostraja czy lekko usprawnia - tworzą zaś geniusze), ale każde AI które widzimy obecnie nie myśli - ono dopasowuje najlepsze wyniki do nauczonego się wcześniej zestawu danych. Nie wykmini czegoś z powietrza, nie pomyśli sobie "oho, ale głupi obrazek", to jest po prostu gigantyczna baza danych z bardzo zaawansowanym i skomplikowanym klasyfikatorem.
Nie zmienia to faktu że modele obrazowe (czy teraz filmowe) są nieziemsko imponujące, to w jaki sposób łączy niepasujące do siebie elementy realnie wywala z butów, ale nadal nie jest to prawdziwa sztuczna inteligencja która wyciąga wnioski i "myśli".
Może się zdziwię, ale strzelam że za X-lat / miesięcy ludzie zorientują się że AI poszło bardzo do przodu ale poza robieniem efektu "wow" niewiele wnosi do obecnego życia - jak chociażby AI w programowaniu, które ułatwia pracę, ale nadaje się tylko do zagadnień mega juniorskich (napisz mi funkcję sortującą alfabetycznie od Z do A) a i na tym potrafi się nieźle wypierdzielić, czy to wypisując głupoty, czy łącząc syntax różnych języków programowania.
A do "sentient AI" jesteśmy praktycznie tak samo daleko jak byliśmy 10 lat temu. No ale nagłówki że zaraz będą roboty z uczuciami lepiej się klikają ;)
Ale wiesz, ze dla zastosowania w gospodarce my nie potrzebujemy świadomej SI. Starczy taka, która będzie wystarczająco dobrze wnioskować i naśladować to co tworzą ludzie. Po prostu każdy liczy, że na tym zarobi.
Bliżej obecnej sytuacji do bańki .comów z lat 90-tych. Otóż powstają podwaliny pod przydatne rozwiązania, które zostaną z nami na zawsze, ale przy okazji powstanie masa śmiecia próbującego wybić się na trendzie i tyle.
A co do jazdy na konteneryzację, przecież kuberneetes, docker itd. z nami zostały i są w zasadzie branżowym standardem. Tutaj tez ciężko było mówić o jakiejś bańce bo jednak tych rozwiązań było w sumie kilka na krzyż.
Oczywiście, kontenery to teraz nieodłączny element światka, miałem raczej na myśl zjawisko gdzie management próbował wciskać kontenery na siłę (bo to nowe, modne i trendy) nawet do aplikacji gdzie absolutnie nie miały sensu.
Obrazowe i filmowe niczego nie łączą, tylko TWORZĄ bazując na znajomości wzorców i oczekiwanych wyników. Tak to tłumaczą wszyscy, którzy ponoć coś wiedzą o AI :)
W sumie można to nazwać początkami samoświadomości - No raczej nie, można to uznać raczej za dobry marketing.
No to niedługo wszyscy zginiemy, dziękuję wszystkim za spędzone miłe chwile na tym forum...
