NVIDIA Chat with RTX tylko dla osób z mocnym sprzętem; wymagania czatbota robią wrażenie
GPU nie są przystosowane do obsługi AI więc nie ma co się spodziewać cudów. Model wydaje się całkiem szybki, jednak pod względem parametrów ustępuje wielu modelom open-source i gpt 3,5. Jest przy tym cenzurowany co w zasadzie sprawia, że jest eksperymentem bez chwilowego zastosowania w stosunku do open source. Kierunek super ciekawy, jednak trzeba zupełnie zmienić architekturę kart żeby zrobić coś sensownego.
W przypadku pierwszej z wymienionych serii, jedynie najsłabszy RTX 3060 nie spełnia wymagań, gdyż posiada jedynie 6 GB pamięci.
Nigdy nie było takiego modelu. 3060 miały 8 albo 16 Giba RAMu.
Wersja 3050 z 6 Gb ramu dopiero weszła na rynek.
Sam mam 3050 8Gb od premiery w słabszym kompie.
"Czatbot NVIDIA Chat with RTX dzięki oparciu się o lokalne zasoby, ma lepiej dopasowywać się do użytkownika i przygotowywać bardziej dokładne odpowiedzi."
Uważajcie Mirki, bo te AI będzie udzielało odpowiedzi w oparciu o dane na dysku.
Trzeba wskazać folder, nie przeszukuje sobie dysku. Nawet nie widziałem takiej opcji, jeśli nie wskażesz repozytorium to zwróci komunikat, że nie ma dość informacji.
I w sumie to o czym pisze Samaritan byłoby super, brakuje tego w gpt. Podrzucasz mu jakieś swoje źródła, bo chcesz żeby je przeanalizował i odpowiedział na ich podstawie.
Grafika to pikuś. Wymóg W11, ktorego prawie (przynajmniej graczy) nikt nie używa bardziej zwala z nóg
no ale jednak większość graczy dalej używa windows 10, te windows 11 podejrzewam były wciskane z laptopami albo dzieciaki klikały ok jak wyskakiwał ogromny baner na cały ekran, że windows 11 jest gotowy do zaisntalowania, mi nie raz już się coś takiego pojawiało i gdybym nie wypatrzył małym druczkiem "narazie zostaje przy windows 10" to pewnie sam bym już siedział na 11
Prawie nikt vs 45%.
Sam zmieniłem dziesiątkę na jedenastkę i nawet sobie chwalę. Konfiguracja na starcie jest nieco upierdliwa (np przywrócenie menu kontekstowego, ustawienia prywatności, usunięcie śmieciowych aplikacji), ale sam ogarnia sterowniki i potrzebne pakiety. Po czystej instalacji dziesiątki musiałem bujać się ze wszystkimi DXami, NETami i innym szrotem, jedenastka ogarnęła to sama.
Czy wymagania systemowe są zawyżone? Może. Czy Microsoft to chciwe korpo? Pewnie tak (ceny oprogramowania i pożądanie danych). Ale ostatecznie i tak wszyscy przejdziemy na 11, a potem i na 12. Opór nie ma sensu, to jest przyzwoity system, pamiętam jak ludzie kiedyś narzekali na 7 i na 10; ostatecznie dziesiątka zdominowała rynek. Na siłę, owszem, bo wsparcie dla starszych systemów się skończyło, ale też te nowe systemy nie są takie złe. Jedenastka na pewno jest lepsza niż kiedykolwiek była ósemka.
Niezła odklejka , myślenie że nikt nie używa Win11. Takie myślenie zabetonowane ze 3 lata wstecz. Pisanie że tylko dzieciaki aktualizowały, jak w komentarzu niżej, też niezłe. Proponuję jednak zerknąć co używają ludzie i dopiero potem się ośmieszać.
Tak czy inaczej W11 jest wymagany, a to chore. Za kazdymi nowymi okienkami przemawia tylko nowe API. Gdy system takowego nie ma, nikt o zdrowych zmyslach nie zmieni dobrze sprawdzonego systemu.
Aha, no ja nie przeczytalem, tylko zainstalowalem...
Ten typ kiedyś chyba pisal, ze vr ma co drugi właściciel ps. Teraz, że nikt nie ma w11
No nie xd.
Za rok mniej więcej będą albo czasowo powinny wychodzić już karty rtx 5xxx
Z resztą taki rtx 3060 czy rtx 3070 to minimum do zabawy w 1080p na 60fps+.
To że te karty z powoli już najniższej półki cenowowej a w polsce nadal kosztują mnóstwo pieniędzy a kupno karty do 4k z rtx to koszt 1 nerki albo wielu miesięcy odkładania, to już inna kwestia.
Teraz seria 3xxx to szmelc w 2024 roku. Dobra zabawa zaczyna się od 4080 w wyż.
Poczekam na AMD i ich odpowiednik ktory bedzie dzialal nawet na GTX 1050ti XD
Dopiero coś ostatnio było słychać, że jednak AMD też się zajmie poważniej AI przy okazji następnych/nieistniejących jeszcze FSR.
Niby AI to open source, ale AMD zawsze gdzieś stało z tyłu z tymi "naukowymi" rozwiązaniami, głównie przez to też, że producenci softu też zaczęli olewać AMD i AMD to też głównie teraz kojarzy się z konsolami. Jak patrzę na opcje przy generacji modeli jest przełącznik na Nvidię, Procesor i GPU - nigdzie nie widziałem jeszcze akceleracji od AMD.
Większa szansa na dostanie czegoś na komórkę czy starego PC jest przy okazji bestsellerowych personalnych centrów dowodzenia - integracja takiego przez jakąś prywatną sieć - nawet z dużym Serwerem PC gdzie siedzi cała masa dedykowanych kart.
Prywatne modele i nauczanie ich jest jednym z większych problemów i dla mnie dopiero wtedy zaczynają być jakoś użyteczne.
Większość generatorów AI ma za zadanie przeklejanie w odpowiednim miejscu nauczonych fragmentów i ciężko z open sourcem nauczyć AI np. rysować robota jak wygląda Normandia SR1 gdy go nie ma w bazie/modelu z których są brane są "urywki do wklejenia/pokolorowania,...".
Nawet jak nie potrzebny mi jest Chat, to widać coraz wyraźniej postęp w nauczaniu AI i z roku na rok tempo rozwoju bywa zaskakująco szybkie (patrząc zwłaszcza na generatory Video)
Potrafi to coś pisać skrypty czy tylko to coś jest zdolne do wyszukiwania plików w naszym pececie?
Zdarza sie, ze spelnia funkcje Ctrl+F w wybranym folderze, jesli znajduja sie tam pliki .txt, .doc lub .pdf zawierajace zadowalajace nVidia tresci.
Ponoc potrafi tez przejrzec transkrypt z linka YT, ale nie korzystalem na tyle dlugo by sprobowac.
Nie są? Co masz na myśli? Moc mają dużą, co jest lepsze od nich? CPU widać nie bardzo.
Co do samego chatbota, to biorę wszystko, byle nie zmyślał odpowiedzi jak chat gpt, gdzie często nie, rżnie głupa i odpisuje bzdury, a jak mu się je wskaże, to rżnie głupa jeszcze bardziej... Ja bym wolał żeby odpisał: nie wiem, nie jestem pewny itd. Bo tak to nie wiadomo kiedy można mu zaufać i stanowi mało przydatną zabawkę nawet do celów niekomercyjnych.
Moja wiedza na temat tego typu sprzętu nie jest imponująca, jednak z tego co rozumiem z opinii ludzi od nauczania maszynowego i zapowiedzi nowych kart to karty do AI posiadają inną architekturę. Karty tego typu nie nadają się do gier, jednak przeskok w obsłudze AI jest olbrzymi. Taki WSE-3 który ostatnio zapowiedziano jest jakieś 50 razy mocniejszy od najmocniejszej karty Nvidii H100 którą obecnie używa się masowo przy treningu AI i która kosztuje fortunę od sztuki. Zmiana architektury całkiem dosłownie owocuje trudnymi do wyobrażenia przeskokami w wydajności AI. Na ten moment to nie są karty dla indywidualnych ludzi, jednak z pewnością powstaną i takie.
Ten Chabot podobnie jak każdy inny będzie "zmyślał" co jakiś czas. To tzw. problem halucynacji i nawet najmocniejsze modele go posiadają, mimo, że znacznie rzadziej. To jeden z największych problemów modeli językowych jednak każdy nowy model wydaje się lepszy pod tym względem więc to raczej kwestia czasu gdy przestaną halucynować. Ten model jest bardziej pokazowy niż praktyczny. Wydaje się być na niższym poziomie niż darmowy Chatgpt (który obecnie jest słabym modelem). W tym tempie rozwoju który posiadamy na ten moment liczyłbym na coś sensownego on Nvidii do roku max 2.
