- Aliexpress tapasztalatok
- 10 éve nem változott ekkorát a Netflix tévés appja
- SkyShowtime
- Telekom otthoni szolgáltatások (TV, internet, telefon)
- Mesterséges intelligencia topik
- Hálózati / IP kamera
- Kodi és kiegészítői magyar nyelvű online tartalmakhoz (Linux, Windows)
- PHP programozás
- DIGI internet
- Tombol az AI-láz: az NVIDIA már értékesebb, mint az Apple
Új hozzászólás Aktív témák
-
ddekany
veterán
válasz Alchemist #46 üzenetére
Bocs, benéztem. Az inference rész nem olyan vészes. Feltéve hogy nem kell sok embert kiszolgálni párhuzamosan, csak a training a "szekrénysoros" kategória (valószínűleg ezt volt összekutyulva a forrásomban). De most tegyük fel, hogy a kész modellt megkapod. Akkor GPT 3.5 az 175B paraméter, arra itt azt a tipp, hogy 5 db V100-as (de lehetne A100-as is), azaz 5x80GB=400GB VRAM elég lehet rá: [link]. Ez kb konzisztens azzal, amit nyilt cuccokról láttam hirtelen (pl. hasonló méretű BLOOM). Illetve ha nem gond, hogy borzalmas lassú a cucc, akkor lehet kevesebb memóriával is (pl. CPU, 16 GB RAM, SSD, és akkor pár perc amig egyetlen tokent kidob... szóval nem annyira használható, mert pár óra is lenne úgy egy pár mondatos válasz). Az erre kicsit szűkös 4 db A100-et tartalmazó DGX Station-ok kb. 170e USD, szóval kb 70M Ft ahogy elnézem. (De biztos van használt olcsóbban, HA-n érdemes nézelődni... )
Viszont, a GPT 3.5 használhatósága, hát... nekem inkább tech demó kategória. A GPT 4-esről meg nem ismert a paraméterek száma, de a "közvélemény", hogy a 3.5-ös többszöröse. Az meg még nyílt kérdés, hogy mekkora lesz ez, amire igazán széles körben használható lesz. Jelenleg mondjuk a fő gond a hallucinálás, és az OpenAI-sok egyik fő törekvése, hogy ez megszűntessék valahogy. Hogy ez paraméter számban mit fog jelenteni, ha egyáltalán érdemben befolyásolja, ezt tán ők sem tudják még.
[ Szerkesztve ]
Új hozzászólás Aktív témák
- Nintendo Switch
- Aliexpress tapasztalatok
- Luck Dragon: Asszociációs játék. :)
- Parfüm topik
- Építő/felújító topik
- Milyen SSD-t vegyek?
- Azonnali fáradt gőzös kérdések órája
- Fortnite - Battle Royale & Save the World (PC, XO, PS4, Switch, Mobil)
- Milyen notebookot vegyek?
- 10 éve nem változott ekkorát a Netflix tévés appja
- További aktív témák...
- Corsair AX860i 860W Platinum Moduláris Tápegység
- Thrustmaster t-lcm pedál
- Dell Precision 5570 15,6" / I9-12900H/ 2TB/32GB/ RTX A2000/ Dell Garancia 2025.05.31-ig
- HP Victus 16-r0008ne - ÚJ 16" QHD IPS GAMER notebook - i7-13700H, 16GB, 1TB SSD, RTX 4060
- HP Victus 16-r0001nt - ÚJ 16" QHD IPS GAMER notebook - i7-13700H, 32GB, 1TB SSD, RTX 4070
Állásajánlatok
Cég: Alpha Laptopszerviz Kft.
Város: Pécs
Cég: Ozeki Kft.
Város: Debrecen