Új hozzászólás Aktív témák
-
ddekany
veterán
A nagy kérdés, hogy az minek a tech demója. Azaz mennyire következnek a felépítéséből a mostani gyengéi, túl fog-e rajta lépni. Most is amúgy legtöbben (talán te is) ChatGPT 3.5 alapján ítélsz. Nem próbáltam a fizetős 4-eset, de állítólag komoly előrelépés értelmi képességben. A "hallucinálás" megmaradt, de azt mondják fejesek, ezen dolgoznak, hogy "megneveljék" ilyen téren. (Ilya megfogalmazása azt sugallta, hogy sejtése szerint a rendszer képes lehet eldönteni hogy mennyire biztos valamiben, csak meg kell tanítani, hogy ezt vegye figyelembe.)
[ Szerkesztve ]
-
ddekany
veterán
válasz Alchemist #13 üzenetére
A mostani még nyilván számtalan teszten nem menne át. Pl drogteszten sem, amilyeneket képzeleg... De nem kell alábecsülni, nagyon fiatal cucc. Ahhoz képest hogy explicit semmit nem tanítottak neki, csak réömlött rakás anyag, érdekes "meglátásai" vannak néha. Pl. azt tedd valahova, ahogy SQL szerver meg bash shell-t utánoz... Hogy a frászba? Ahhoz már valamiféle "world model" kell, ha még egy olyan kis egyszerű világé is, mint egy fájlrendszer, vagy egy kupac tábla. Hogyan alakult ki benne?
"Csak szöveggeneráló" meg önmagában nem sokat mond. Ha pl. "Following is the detailed description of a practically useful fusion power plant", és úgy, folytatja, hogy működik...
-
-
válasz Alchemist #42 üzenetére
Nem mondtam, hogy a szerver mas kontinensen van, azt mondtam, hogy a sajat DC mar a mult. Hasznalhatsz Azure-t, GCP-t europai geolokaciokban is. Arrol viszont nagyvonaluan megfeledkezel, hogy a sajat DC egy rakas addicionalis koltseget is jelent, amivel egyutt mar nem versenykepes a felhovel szemben - ezert is tudott elterjedni a felho. Ehhez meg a felhoszolgaltatok hozzaadtak a felhos szolgaltatasok megosztott felelossegi koret (az ugyfel csak azert felel, amit o kontrollal) es a sajat DC vegkepp versenykeptelenne valt.
https://www.coreinfinity.tech
-
ddekany
veterán
válasz Alchemist #46 üzenetére
Bocs, benéztem. Az inference rész nem olyan vészes. Feltéve hogy nem kell sok embert kiszolgálni párhuzamosan, csak a training a "szekrénysoros" kategória (valószínűleg ezt volt összekutyulva a forrásomban). De most tegyük fel, hogy a kész modellt megkapod. Akkor GPT 3.5 az 175B paraméter, arra itt azt a tipp, hogy 5 db V100-as (de lehetne A100-as is), azaz 5x80GB=400GB VRAM elég lehet rá: [link]. Ez kb konzisztens azzal, amit nyilt cuccokról láttam hirtelen (pl. hasonló méretű BLOOM). Illetve ha nem gond, hogy borzalmas lassú a cucc, akkor lehet kevesebb memóriával is (pl. CPU, 16 GB RAM, SSD, és akkor pár perc amig egyetlen tokent kidob... szóval nem annyira használható, mert pár óra is lenne úgy egy pár mondatos válasz). Az erre kicsit szűkös 4 db A100-et tartalmazó DGX Station-ok kb. 170e USD, szóval kb 70M Ft ahogy elnézem. (De biztos van használt olcsóbban, HA-n érdemes nézelődni... )
Viszont, a GPT 3.5 használhatósága, hát... nekem inkább tech demó kategória. A GPT 4-esről meg nem ismert a paraméterek száma, de a "közvélemény", hogy a 3.5-ös többszöröse. Az meg még nyílt kérdés, hogy mekkora lesz ez, amire igazán széles körben használható lesz. Jelenleg mondjuk a fő gond a hallucinálás, és az OpenAI-sok egyik fő törekvése, hogy ez megszűntessék valahogy. Hogy ez paraméter számban mit fog jelenteni, ha egyáltalán érdemben befolyásolja, ezt tán ők sem tudják még.
[ Szerkesztve ]
Új hozzászólás Aktív témák
- iPhone 14 PRO - Arany - Gyönyörű
- iPhone 14 PRO MAX - 2026.10ig Garancia - Független
- Microsoft Surface Book 2in1 Érintős Szétszedhető Laptop Tablet 13,5" -60% i5-7300U 8/256 QHD+ Win 10
- Lenovo Thinkpad T490, 14" FHD IPS, I5-8365U, 16GB DDR4, 256GB SSD, WIN 10/11, Számla, garancia
- Féláron! Új Dell XPS 13 9315 Prémium Érintős Profi Ultrabook 13,4" -50% i7-1250U 16/512 UHD+ Iris Xe
Állásajánlatok
Cég: Ozeki Kft.
Város: Debrecen
Cég: Promenade Publishing House Kft.
Város: Budapest