- DIGI internet
- Vodafone otthoni szolgáltatások (TV, internet, telefon)
- DIGI kábel TV
- Nem szavazza meg Musk 56 milliárd dolláros csomagját a norvég állami vagyonalap
- Telekom otthoni szolgáltatások (TV, internet, telefon)
- A call centerekbe viszi az AI-t a Microsoft
- ASUS routerek
- Mozilla Firefox
- Max
- Otthoni hálózat és internet megosztás
Új hozzászólás Aktív témák
-
haxiboy
veterán
Jelenleg ezen dolgozik mindenki:
Whisper, Piper, Fooocus (Stable Diffusion modellek), LLama stb.Ami néhány éve még álom volt, majd megjelent cloudban, már elérhető otthon is. Bár valóban érdemes őket megtámogatni. Nem is a modellek futtatásával van jelenleg már a gond. Az új modellek készítése/fine tuneolása még mindig hatalmas erőforrást igényel.
"Így van! Amit, viszont el tudok képzelni, mondjuk 10 éven belül, hogy a nem fő NPC-k, AI generált válaszokat adnak a játékos viselkedése alapján."
https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs
Lehet vele játszani Bár ez pont GPT4, ha elérünk erőforrásban oda hogy nem horror összegekbe kerül feltanítani egy modellt...
Jó eséllyel ehhez nem fog kelleni 10 év. Ha valaki 5 évvel ezelőtt azt mondja nekem, hogy lesznek speciális AI modellek amik on-the-fly képesek nekem kódot írni, kontextus alapján, nagy valószínűséggel kitalálni hogy mit szeretnék csinálni, és/vagy specifikáció alapján kódot generálni, kiröhögöm. Most pedig napi szinten használom a munkámhoz.Egyébként meg az olyan nagy cégek mint a csúnya rossz Meta, sőt Microsoft, Apple és még sorolhatnám, tesznek közzé publikus modelleket és/vagy toolokat.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
A futtatásnál a probléma leginkább a szükséges RAM miatt probléma, de az izmosabb eszközökön a LLaMA2-7B -t már lehet futtatni vállalható sebességgel bár ehhez is szükséges kb 16gb ram
De a Fine tuneolásához egy 7B modellnek...háát mobil eszközökön ez nem mostanában lesz lehetséges.
Bár ez az önálló személyisége van dolgot nem igazán lehet értelmezni egy LLM esetében. Csak azt "tudja" egy model amin fel lett tanítva.
Persze szép és jó látni amikor egy öntanuló modellt ráengednek az internetre, mint anno a Microsoft a sajátját a Twitterre. Körülbelül 1 napig futott mert rasszista adatokkal etették.Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
válasz Kristof93 #33 üzenetére
Ps4 és Xbox one-nál -és az új konzolok esetében is- koherens memóriáról beszélünk. Kár összehasonlítani egy PC-vel.
Amikor a Ps4 megjelent a GTX Titan és Titan Z volt az nvidia legizmosabb kártyája, 6 illetve 2x6GB gpu-val.
A "standard" inkább a 2GB-s kártyák voltak akkoriban. Quantizált modelleket, alacsonyabb precizitással már egy 4GB Vram-mal rendelkező GPU-n is lehet futtatni.
Valószínű, ha szeretné a gyors elterjedését a Microsoft az otthoni offline AI-nak, akkor olyan modellt fog szállítani ami.
Az ASIC vagy FPGA alapú gyorsítók is hamarosan elérhető áron lesznek elérhetők. Mint pl a pici modellekhez szánt Coral.Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
válasz Kristof93 #45 üzenetére
"Senki nem fog ai gyorsítót venni" ?
Ez pont olyan kijelentés minthogy GPU-t nem veszünk mert van a prociba integrálva, vagy hangkártyát/hálókártyát mert van az alaplapon.Apple az A11 óta pakolja a Neural Engine-t hardware-be. Észre sem fogjuk venni, néhány generáció váltás, és az AI ready hardware-kben ott lesz.
Ahogy most az a menő hogy a videókártyádon van egy m.2 pcie csati az SSD-knek, miért ne jöhetne ilyen formátumban AI accelerator a jövőben vagy elhagyva a csatlakozót, rádrótozva a kártyára/alaplapra.
A Microsoft egy halom pénzt öntött az OpenAI-ba. Előbb utóbb követelménnyé fogják tenni az AI gyorsítót a copilot-hoz. Olcsóbb az usernél futtatni mint a datacenterben.
[ Szerkesztve ]
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
De nincs ezzel semmi gond, csak legyen egy jól lefektetett szabvány amit követnek a gyártók. A gyártóspecifikus baromságokat kéne elhagyni, csak úgy nehezebb versenyezni a konkurenciával ha mindenki ugyanazt árulja.
Ebből a szempontból tisztelem az AMD-t, a megoldásaik univerzálisak.Cuda szerencsére kezd kiesni a képből hála a ZLUDA-nak, ami fut AMD-n is.
[ Szerkesztve ]
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
-
haxiboy
veterán
válasz Kristof93 #54 üzenetére
A videóban a demot egy laptopon csinálta Chuck...leszámítva azt a néhány bevágást amivel demonstrálta mit lehet kihozni egy multi-gpu rendszerből.
De érdekességképpen most kipróbáltam egy Raspberry Pi5 -ön és egész vállalható sebességgel fut még a llava is.
Szerintem elképzelni nem tudod mennyi pénzt tolnak bele a cégek a publikusan elérhető modellek tanításába, amik futtatásához jé! nem kell atomerőmű.
Premium Mining Rigek és Gamer/Workstation gépek: tőlem, nektek :)
Új hozzászólás Aktív témák
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen