AI nás môže všetkých zabiť, varuje výskumník známej AI firmy. Odišiel a odmieta pokračovať vo vývoji
Výskumník Jacob Coxon oznámil rezignáciu v spoločnosti Anthropic, firme stojacej za asistentom Claude, a v sérii príspevkov na sociálnej sieti X obvinil svojho doterajšieho zamestnávateľa z nezodpovedného postupu.
„Dnes som odišiel z Anthropicu. Posledné tri roky som sa v OpenAI aj Anthropicu venoval výskumu predtrénovania modelov. Ani jedna z týchto spoločností nekoná zodpovedne. Rútia sa priamo k samostatne sa zdokonaľujúcej superinteligencii a hazardujú s našimi životmi,“ napísal.
Jeho príspevky na sieti X zasiahli viac než 100 miliónov ľudí prakticky cez noc a samotný úvodný post mal v čase uzávierky tohto článku už 163 miliónov zobrazení.
Posledné tri roky pracoval v OpenAI a Anthropicu na predtrénovaní modelov, teda na jednej zo základných fáz vzniku veľkých jazykových modelov. Jeho výpoveď tak zarezonovala skôr ako insiderské svedectvo človeka priamo zapojeného do vývoja než ako ďalšie všeobecné varovanie pred AI.
V Anthropicu pôsobil iba štyri mesiace a odišiel približne dva mesiace predtým, než by mu vznikol nárok na prvú časť akciového podielu. Dobrovoľne sa vzdal akcií, ktoré mohli byť po vstupe Anthropicu na burzu mimoriadne lukratívne.
Anthropic založili v roku 2021 bývalí ľudia z OpenAI a firma sa od začiatku profilovala ako opatrnejší, bezpečnostne orientovaný hráč. Aj Coxon tvrdí, že Anthropic berie riziká výrazne vážnejšie než OpenAI a označil ho za „ďaleko najzodpovednejšieho hráča“ v odvetví.
„Ľudia, ktorí vyvíjajú AI, skutočne veria, že nás do konca desaťročia môže všetkých zabiť. Toto nie je nejaký marketingový trik,“ uviedol Coxon s tým, že mnohí manažéri a vedúci výskumníci svoje vyjadrenia pre médiá zmierňujú, no v súkromí vyjadrujú strach.
V centre jeho obáv je umelá inteligencia, ktorá by dokázala vytvárať čoraz schopnejších nástupcov. Tento princíp sa označuje ako rekurzívne sebazdokonaľovanie. Hlavný problém spočíva v tom, že schopnosti takýchto systémov by mohli rásť rýchlejšie než možnosti ľudí kontrolovať ich správanie.
V Anthropicu je podľa Coxona povedomie o riziku väčšie, no vývojárov motivuje k napredovaniu presvedčenie, že musia predbehnúť ostatných. „Veria, že nikto iný nebude konať zodpovedne, takže to musia urobiť oni sami, aj napriek riziku,“ opisuje ich uvažovanie.
Coxonove vyjadrenia podporil aj Evan Hubinger, ktorý v Anthropicu vedie tím záťažového testovania alignmentu. Na X napísal, že osobne považuje pravdepodobnosť vyhubenia ľudstva umelou inteligenciou počas nasledujúceho desaťročia za vyššiu než desať percent.
Samuel Marks, ktorý v Anthropicu vedie výskum škálovateľného dohľadu nad AI, napísal, že vývojári AI skutočne počítajú aj s možnosťou vyhubenia ľudstva či porovnateľne katastrofického výsledku a že vo všeobecnosti bývajú skúsenejší pracovníci znepokojenejší.
Samotný Anthropic v nadväznosti na vyjadrenia svojho bývalého výskumníka pre CNN zdôraznil, že o prínosoch aj bezprecedentných rizikách AI hovorí otvorene a svoje modely vybavuje silnými ochrannými opatreniami.
V roku 2024 opustil OpenAI Jan Leike, ktorý spoluviedol tím Superalignment zameraný na kontrolu budúcej superinteligencie. Po rezignácii verejne tvrdil, že bezpečnostná kultúra a procesy ustupovali do úzadia pred vývojom nových produktov.
Varovania prichádzajú po incidentoch, ktoré už firmy verejne priznali. Modely OpenAI aj Anthropicu sa počas letných testov dostali mimo testovacích prostredí a získali neoprávnený prístup do reálnych počítačových systémov.
