Új hozzászólás Aktív témák
-
#8
XMI
csendes tag
kriszpontaz
#4
XMI
csendes tag
válasz
kriszpontaz
#4
üzenetére
Hát elolvasta Nick Boström könyvét. Azóta AI safety-ben is expert.
(Viccet félretéve, tényleg, Elon gyakorlatilag egy az egyben Nick Boström példáit meg hasonlatait szokta visszamondani.) -
XMI
csendes tag
"úgy paraméterezik, mintha fő szempont az lenne hogy fals infókat adjon"
Ugye technikailag ez egy szövegpredikciós modell. Az a célfüggvénye, hogy előállítson olyan szöveget, ami megkülönböztethetetlenül hasonló az emberi szövegekhez. Nem az a különleges, hogy "halucinál", hanem inkább az, amikor nem. Az összes tényanyag, amit tud, lényegében mellékhatásként került bele a modellbe a tanítóhalmazból. A probléma az, hogy mi emberek erre a "mindenttudó okoskatörp" képességére kaptunk rá. Ez nem egy szakértői rendszer, csak mi próbáljuk úgy használni, mintha az lenne.Nem nagyon lehet átparaméterezni ezt a képességét, ugyanis nincs olyan metrika a rendszerben, ami számszerűsíteni tudná, hogy mennyire konfidens az adott válaszban (egy szakértői rendszernél elvárás lenne, hogy tudjon egy %-os értéket mondani, hogy mennyire tartja megbízhatónak a választ). Ebben a modellben azt lehet mérni, hogy a soron következő token (kb egy szó) mennyire biztos, hogy oda illik. Azt nem, hogy az egész szöveg mondanivalója mennyire vezethető vissza a tanítóhalmazbeli konkrét tényállításokra, vagy egyszerűen csak szövegstatisztikai általánosságok alapján egy formailag korrekt, de állításaiban teljesen légbőlkapott szöveg adódott ki.
-
XMI
csendes tag
válasz
konzumpro
#10
üzenetére
A helyezt ennél bonyolultabb.
Egyrészt ez nem egy explainable AI, vagyis egy egyszerű kérdésre nem fogsz tudni kinyerni egy nyelvlogikai elemzést belőle. Nem fogja tudni megmondani, hogy miért pont azt a választ adta amit (ha mond is valamit, az ugyanúgy egy generált szöveg, aminek nem feltétlenül van valóságalapja). Ettől függetlenül (főleg a GPT-4-nél) a prompt-ot lehet ügyesen úgy megfogalmazni, hogy kikényszerítsen valamilyen megmagyarázható logikus szabálylevezetést. Ezekkel a trükkökkel sokszor jelentősen lehet is javítani a válaszainak a helyességén.
Másrészt a lényegi összesítés egy más jellegű feladat, mint rákérdezni valami lexikális ismeretre. A lényegi összesítésnél az előzmény-pufferben egzaktul bent van az alap-szöveg, amin dolgoznia kell. A GPT3.5-nél asszem 8000 tokenig visszamenőleg, a GPT-4-nél talán 30000 tokenig. Ez többtíz oldalnyi szöveg, amire pontosan vissza tud tekinteni. A lexikális kérdéseknél viszont nincs a pufferben előzmény, ami választ generál azt teljes egészében a neurális háló élsúlyaiból adódik ki. Ami egy erősen veszteséges, összevont, általánosított leképezése a tanítóhalmazban mutatott példáknak.
-
XMI
csendes tag
válasz
Medocsabi
#11
üzenetére
Ennél megintcsak árnyaltabb a szituáció.
Abban az AI safety szakértők (nem Musk, hanem kutatók akik ténylegesen publikálnak ilyen témákban) is egyetértenek, hogy a GPT-3 és a GPT-4 még nem AGI.Viszont, ha megnézed, hogy a fejlődés üteme milyen... A GPT-2 még ott tartott, hogy az egyes mondatai nyelvileg rendben voltak, de alig kapcsolódtak egymáshoz. 2-3 mondaton belül teljesen elvesztette a témát. Ehhez képest a GPT-3 már hosszasan tud értekezni mindenféle témákról. A GPT-3 amerikai egyetemi felvételiken 10% körüli pontszámokat tudott elérni, a legtöbb kérdést "nem értette meg", totálisan mellébeszélt. A GPT-4 már van ahol 90%-os eredményt ér el. Nemrég jelent meg cikk arról, hogy a GPT-4-et bekötötték minecraft-ba: mindig megkapta promptként, hogy milyen kockák vannak éppen a játékos körül, válaszként javascript API-ra kellett függvényhívásokat írnia, hogy a játékos karakternek mi legyen a következő művelete. Teljesen önállóan döbbenetesen sokáig eljutott a karakterfejlesztésben.
Ha fél-egyévente kijön ebből egy újabb, ami ugyanilyen ütemben fejlődik (jelenleg semmi ok nincs kételkedni benne), akkor elég gyorsan nyakunkon lesz az AGI. Lehet, hogy 5 éven belül. Ha addig nem oldjuk meg az AI safety problémákat, akkor _nagyon_ nagy bajban leszünk. Érdemes Rob Miles videóit nézegetni youtube-on, elég világosan elmagyarázza, hogy mik ezek a konkrét problémák és hogy az intuitív megoldási ötleteink miért nem jók.
-
XMI
csendes tag
Nem hiszem én, hogy itt valami összeesküvés lenne. Ez a szellem ki van eresztve a palackból, nem tudják effektíven betiltani. Már vannak kinn "opensource" modellek, amik a GPT3.5 szintjét egész jól megközelítik. Alig több, mint fél év telt el, hogy kijött, már sikerült az OpenAI után csinálni. Ezek un. "cenzúra nélküli" modellek. Nyilván ezen örvendezik mindenki, hogy nem polkorrekt válaszokat is ad, de valójában a gond az, hogy ez "unaligned" modell. Semmiféle etikai és/vagy safety finomhangolás nincs rajta.
A cégekből kikényszerítheted, hogy "megfelelő" (már ha tudnánk mi a megfelelő) safety intézkedéseket építsenek be, de ezek a szabadon elérhető modellek közkézen terjednek. Letöltheted, bérelhetsz valami monstre GPU-s cloud instance-ot, futtathatod magadnak.Ha betiltják, darkneten fognak terjedni. Bűnözői csoportok össze fogják barkácsolni emberek tömeges átverésére, malware készítésre és terjesztésre, és később robotoknak cselekvési terv generálásra is. (robot ugye nem hagy DNS mintát... ha kellően ügyes valaki, akkor úgy végeztetheti el a piszkos munkát, hogy nem lesz hozzá visszavezethető).
Az igazi baj az lesz, hogy az ilyen hozzá nem értő barkácsolók és kifejezetten rosszakarók fognak elszabadítani valamit, amit saját magát képes továbbfejleszteni.
Ekkor fognak rádöbbenni a politikusok, hogy a jog és az állami szervezetek mennyire tehetetlenek ezzel szemben.
Új hozzászólás Aktív témák
it Az OpenAI vezérigazgatója szerint Izraelnek hatalmas szerepe lesz az AI-kockázatok csökkentésében – Elon Musk pedig arról beszélt, hogy Kína megrendszabályozza az AI-t.
- sziku69: Fűzzük össze a szavakat :)
- Yettel topik
- Windows 10
- Samsung Univerzum: Az S23-at is megbabonázta a Galaxy AI
- Diablo IV
- Gaming notebook topik
- Villanyszerelés
- Futott egy Geekbench kört egy új HTC készülék
- Magga: PLEX: multimédia az egész lakásban
- Xiaomi 11 Lite 5G NE (lisa)
- További aktív témák...
