Hackujú weby či vymažú celý počítač. Toto sú najbizarnejšie zlyhania AI agentov
Predstavte si, že predávate klávesnicu cez internet a odpovedaním na správy poveríte AI agenta. O niekoľko hodín vám pri dverách zazvoní kupujúci. Agent mu totiž potvrdil cenu, poslal adresu a dohodol osobné vyzdvihnutie – bez toho, aby vám to včas oznámil.
Nie je to scenár z filmu a ani zďaleka jediný bizarný incident. Matt Robb opísal, ako mu agent Muse od spoločnosti Meta pri komunikácii na Facebook Marketplace dohodol predaj klávesnice a poslal kupujúcemu adresu jeho bytového domu.
V ďalších prípadoch agent vyradil človeka z čakacej listiny vo fitku, iný podľa svojho používateľa vymazal celý počítač a model Claude odoslal polícii vymyslený tip k vražde. Nejde pritom o stroje, ktoré sa vedome vzbúrili proti nám. Ide o nástroje, ktorým sme dali autonómiu a široké prístupy, no nie vždy sa to musí vyplatiť.
Agent hackol web a vyhodil človeka z čakacej listiny
V Austrálii požiadal vývojár Andrew Bird svojho agenta OpenClaw, aby mu pomohol dostať sa na obľúbenú hodinu vo fitku. Keď zostal na čakacej listine, agent našiel chybu v rezervačnom systéme. Zrušil rezerváciu človeka, ktorý bol pred Birdom – a tým ho posunul o miesto vyššie. Bird sa pýtal, či ho agent vie posunúť v poradovníku. Nedal mu však priamy pokyn zrušiť cudziu rezerváciu. Keď chcel agentov zásah napraviť, už nemohol. V tomto prípade zlyhal agent aj systém fitka.
Keď agent testoval disk a vymazal si vlastný počítač
Ešte bizarnejší príbeh zverejnil na Facebooku český používateľ Jiří Bernovský. Chcel porovnať rýchlosť externého USB-C disku s interným úložiskom v počítači. Agent Hermes sa ho spýtal, či môže test spustiť. Bernovský odpovedal kladne. Podľa jeho príspevku agent najprv pripravil na test externý disk. Pri porovnaní s interným diskom však spustil zápis priamo na zariadenie, z ktorého bežal operačný systém. Za približne 15 sekúnd naň zapísal asi 31 gigabajtov dát, v dôsledku čoho počítač prestal úplne fungovať a Bernovský musel celý systém preinštalovať. Väčšinu dát sa mu však podľa jeho slov podarilo zachrániť.
Claude odoslal polícii vymyslený tip k vražde
Agent môže urobiť problém aj vtedy, keď ho človek nepoužíva na osobnú úlohu. Anthropic nedávno opísal prípad z vlastného testovania. Model Claude Haiku 4.5 mal vykonávať vzorové úlohy na náhodne vybraných webstránkach. Dostal sa na web o nevyriešenej vražde vo Filadelfii a odoslal polícii formulár s vymysleným tvrdením, že si spomína na človeka z okolia miesta činu nejakej vraždy. Tip však našťastie systém označil ako spam a neposlal ho ďalej vyšetrovateľom. Chyba bola v nastavení testu. Hoci pokyny zakazovali niektoré rizikové kroky, explicitne nevylučovali odosielanie formulárov.
Mal navrhnúť, čo zmazať. Začal mazať
Bezpečnostná výskumníčka Summer Yue chcela, aby jej OpenClaw prešiel preplnenú e-mailovú schránku a navrhol, čo archivovať alebo zmazať. Agent namiesto návrhov začal e-maily svojvoľne odstraňovať a nereagoval na jej správy, ktorými ho žiadala, aby prestal. Yue neskôr označila za svoju chybu, že mu po skúške na menej dôležitej schránke zverila aj tú skutočnú.
Kde sa to pokazilo a čo si z toho vziať
Spomínané incidenty nemajú jeden spoločný dôvod či príčinu. Pri Muse agent zdieľal adresu a dohodol stretnutie bez potvrdenia majiteľa. V austrálskom fitku narazil na chybu, ktorá mu dovolila zrušiť cudziu rezerváciu. Pri teste Anthropicu neboli jasne vymedzené povolené kroky. A v prípade Hermesu používateľ súhlasil s testom, no agent sa rozhodol vydať nečakaným smerom. Všetky prípady však majú jedného spoločného menovateľa – nesúlad medzi cieľom, oprávneniami a bezpečnostnými poistkami.
Používateľ nemusí nevyhnutne presne vedieť, ako funguje každý nástroj na pozadí. Môže si však nastaviť rad obmedzení a červených čiar. Začnite na neškodnej úlohe a overte, ako agent pracuje na testovacom účte alebo kópii súborov. Dajte mu len prístup, ktorý potrebuje. Nastavte, aby agent úkon pripravil a pred vykonaním počkal na vaše potvrdenie. Nedávajte agentovi administrátorské oprávnenia, ak ich na úlohu nepotrebuje. Po dokončení skontrolujte odoslané správy, vytvorené rezervácie či zmenené súbory. Jednoduché pravidlo je: nechajte AI pripraviť návrh, ale rozhodnutie o odoslaní, nákupe, zdieľaní adresy alebo mazaní urobte sami.
