USA takmer zaútočili na Čínu. Zlyhanie AI odhalili na poslednú chvíľu
Správa vytvorená umelou inteligenciou takmer vyvolala ozbrojený konflikt medzi USA a Čínou. V správe sa uvádzalo, že čínska loď na Blízkom východe prepravuje komponenty jadrového zbrojného programu, čo vyvolalo okamžitú vojenskú reakciu.
Incident sa odohral v apríli počas otvoreného vojenského konfliktu s Iránom. Americká armáda pripravovala akciu na zadržanie lode, pričom ozbrojení vojaci boli pripravení na zásah a vojenské lietadlá už boli vo vzduchu.
Operácia bola zastavená doslova na poslednú chvíľu. Úrady po dodatočnej kontrole zistili, že správa, ktorú vypracoval analytik Špeciálnych operácií, bola generovaná pomocou umelej inteligencie. Chatbot, ktorý analytik použil, nesprávne interpretoval údaje a nesprávne identifikoval náklad.
Nepodarilo sa pritom zistiť, čo loď skutočne prevážala. Jeden zo zdrojov označil správu za „úplne falošnú” a dodal, že „takmer vyvolala vojnu”. Akákoľvek americká akcia proti čínskej lodi mohla viesť k eskalácii ozbrojeného konfliktu medzi dvoma svetovými veľmocami.
Analytik spravodajstva sa obrátil na AI chatbota s otázkami o údajoch získaných americkými silami v Pacifiku týkajúcich sa nákladu na lodi. „Bot skombinoval otvorené spravodajské zdroje s tajnými vládnymi dátami a vytvoril závery o materiáloch na lodi,” uvádza sa v správe. Tieto závery boli následne zahrnuté do správy, ktorú tiež vytvorila AI, no ukázali sa ako nesprávne.
Nie je známe, či išlo o komerčný chatbot alebo nástroj vyvinutý americkou vládou. „Interné nástroje sú väčšinou len kópie komerčných produktov s mierne upraveným vzhľadom,” uviedol bývalý vysoký americký predstaviteľ oboznámený so systémami umelej inteligencie. Softvér spojil verejne dostupné informácie s tajnými údajmi z vládnych databáz a dospel k nesprávnemu záveru o náklade. Analytik potom rovnakým AI nástrojom spracoval výsledky do štandardného formátu spravodajskej správy a poslal ich ďalej v systéme. Pentagón na žiadosť o vyjadrenie zatiaľ nereagoval.
Americká armáda a spravodajské služby sa snažia integrovať umelú inteligenciu do takmer všetkých oblastí činnosti – od analýzy dát a výberu cieľov až po logistiku a riadenie rozpočtu. Analytici už dlhodobo varujú, že ak sa umelá inteligencia bude spoliehať na nekvalitné alebo kompromitované údaje, môže viesť k katastrofálnym rozhodnutiam.
Rýchle zavádzanie umelej inteligencie vychádza z presvedčenia, že umožní armáde rýchlejšie rozhodovanie na bojisku – od výberu cieľov po nasadenie zdrojov. Úrady tvrdia, že USA nesmú zaostať za Čínou alebo inými technologicky vyspelými protivníkmi. Minister obrany Pete Hegseth v januári predstavil „Stratégiu zrýchlenia využívania umelej inteligencie”.
„Podporíme experimentovanie, odstránime byrokratické prekážky, nasmerujeme investície a ukážeme prístup potrebný na zabezpečenie vedúcej pozície v armádnom využívaní umelej inteligencie,” povedal Hegseth pri predstavení stratégie.
Stratégia predpokladá široké využitie AI v celej armáde. Cieľom je „demokratizovať experimentovanie” a umožniť transformáciu v rámci ministerstva. Plán počíta s tým, že popredné svetové AI modely budú sprístupnené trom miliónom civilných a vojenských zamestnancov na všetkých úrovniach utajenia.
Problémom je, že tento proces je decentralizovaný. Rôzne časti vlády používajú rôzne nástroje, pod rôznym velením a bezpečnostnými štandardmi. Neexistuje jednotný systém pravidiel na overovanie informácií generovaných týmito nástrojmi. Preto sa spoľahlivosť a funkčnosť mnohých AI systémov v armáde a spravodajských službách výrazne líši.
Zdroje varujú, že armáda sa čoraz viac spolieha na AI pri výbere cieľov, čo prináša zjavné riziko fatálnych chýb. „Používanie AI pri výbere cieľov jednoznačne rastie, no neexistujú jasné smernice, ako prítomnosť človeka v procese zabráni civilným obetiam alebo priateľskej paľbe,” uviedol ďalší zdroj oboznámený s vojenskou politikou.
Takzvané „halucinácie” AI nástrojov, ako v tomto prípade, nie sú ojedinelým javom od rozšírenia týchto systémov vo vláde, tvrdí jeden zo zdrojov. Niektorí starší spravodajskí predstavitelia tvrdia, že technológia vyvíja tlak na analytikov, aby rýchlejšie spracovávali a zasielali správy, čo zvyšuje riziko chýb. Viaceré zdroje zdôrazňujú, že mladší analytici majú tendenciu nekriticky dôverovať používaným nástrojom. „AI vám umožní rýchlejšie prísť na zlý nápad,” dodal jeden zo zdrojov.
V tejto súvislosti bol hojne medializovaný prípad chyby, ktorá napokon viedla k zbombardovaniu základnej školy v Iráne. Pôvodne objekt skutočne slúžil k vojenskému účelu, no počas predchádzajúcich rokov bol celý komplex prebudovaný a pozmenený.
