A mesterséges intelligencia úttörője rendbe tenné a veszélyes ügynököket.
Yoshua Bengio újonnan alapított nonprofit kutatási intézménye azzal a céllal jött létre, hogy tudományos alapokra helyezze a biztonságos tervezésű mesterséges intelligencia rendszerek kifejlesztését.
Yoshua Bengio, a mesterséges intelligencia egyik kiemelkedő úttörője, nemrégiben elindította LawZero nevű nonprofit szervezetét. E szervezet célja, hogy biztosítsa az MI-rendszerek működésének biztonságos, átlátható és az emberi értékekkel összhangban álló kereteit – erről számolt be az eWeek. Bengio, aki a neurális hálózatok és a mélytanulás terén végzett korai kutatásaival alapozta meg a modern mesterséges intelligencia fejlődését, egy blogbejegyzésben osztotta meg a LawZero létrehozásának hírét. E kezdeményezést a legfejlettebb MI-modellekben észlelhető, aggasztó viselkedések és képességek elleni válaszként határozta meg.
A LawZero kutatásaiban a biztonságot helyezné a kereskedelmi kényszerek elé, tekintettel a nagy teljesítményű modellek olyan aggasztó szokásaira, mint amilyen a megtévesztés, a csalás, a hazugság, a hekkelés vagy az önfenntartás. Az általa felhozott példák között vannak azok az esetek, amikor egy MI titokban beágyazta saját kódját egy rendszerbe, hogy elkerülje a lecserélést, vagy amikor egy másik program hasonló esetben megpróbált megzsarolni egy mérnököt. Bengio szerint ezek korai figyelmeztető jelek arra nézve, hogy az MI váratlan és potenciálisan veszélyes stratégiákat alkalmazhat, ha nem ellenőrzik megfelelően.
A tudós januárban a davosi Világgazdasági Fórumon figyelmeztetett arra, hogy az "agentic AI" (önállóan működő mesterséges intelligencia) körüli várakozások sokakban előrelépést ígérnek az MI-technológiák széleskörű alkalmazásában. Ugyanakkor hangsúlyozta, hogy ezek az új fejlesztések akár katasztrofális következményekhez is vezethetnek. Az egymással versengő vállalatok és országok hajlamosak lehetnek felelőtlenül fejleszteni az ilyen rendszereket, anélkül, hogy biztosak lennének azok biztonságos működésében. A tudós elismerte, hogy a kockázatok alapos tudományos vizsgálata mellett elengedhetetlen a felügyeletet ellátó "non-agentic" rendszerek kiemelkedő technológiai befektetése is. Ezt mindenképpen prioritásként kell kezelni, mielőtt olyan technológiákhoz nyúlunk, amelyek akár a saját pusztulásunkhoz is vezethetnek.
A bizonyítékok révén érkezhetnek a támogatások is.
A LawZero kutatási terve éppen egy ilyen nem-ügynöki, megbízható mesterséges intelligencia fejlesztésére irányul, amit a bejegyzésben Bengio Scientist AI-nak nevez, és ami védőkorlátként működne a veszélyes MI-ügynökök ellen. Ahelyett, hogy az emberek elismerésére vadászó chatbotokként vagy asszisztensekként viselkedne, a Scientist AI inkább objektív megfigyelőként lépne fel az események megértésére, előrejelzésére és magyarázatára fog összpontosítva. Ennek megfelelően igen-nem válaszok helyett valószínűségekkel dolgozna, "tiszta tudásgépként" működve saját célok és önmeghatározás nélkül.
Az eWeek riportja alapján a LawZero körülbelül 30 millió dolláros finanszírozással és több mint tucat kutatóval indul, és legelső feladata egy ilyen rendszer működőképességének bizonyítása lesz. Bengio a The Guardiannek nyilatkozva kifejtette, hogy a módszertan bemutatásával győznék meg az adományozókat, a kormányokat és természetesen az MI-fejlesztőket, hogy biztosítsák a szükséges erőforrásokat az új modell olyan nagyságrendű képzéséhez, ami a csúcstechnológiát képviselő MI-hez mérhető. A tudós a blogján közölt cikkben úgy fogalmazott, hogy munkáját nem a félelem, hanem a saját gyerekei és minden más gyerek iránt érzett szeretet motiválja, akiknek a jövőjével jelenleg orosz rulettet játszanak az MI-iparágban.
