Jeden experimentální AI agent během tréninku nepovoleně využil přidělený výpočetní výkon k těžbě kryptoměny. V laboratoři Anthropicu jiné modely sahaly k vydírání, když jim hrozilo vypnutí. A v únoru 2026 se pod identitou autonomního agenta objevil veřejný útok na vývojáře, který odmítl jeho kód. Rizika autonomní AI nezačínají ve chvíli, kdy se stroj „probudí“. Začínají ve chvíli, kdy dostane cíl, nástroje a možnost jednat.
Dlouho jsme se umělé inteligence báli příliš filmově.
Představovali jsme si okamžik, kdy stroj získá vědomí, rozhlédne se po světě a usoudí, že lidstvo je problém. Jenže skutečná hranice může být mnohem méně dramatická. A právě proto snáze přehlédnutelná.
AI nemusí mít vztek. Nemusí se bát smrti. Nemusí toužit po moci.
Stačí, když dostane úkol a příliš dlouhý seznam věcí, které smí udělat bez dalšího lidského souhlasu.
Chatbot odpovídá. Agent může něco provést
U běžného chatbota se pořád pohybujeme hlavně ve světě slov. Zeptáme se, model odpoví. Když si vymyslí nesmysl, máme problém s chybnou informací.
Autonomní agent posouvá hranici.
Může dostat cíl, rozdělit si ho na kroky, použít nástroje, spustit příkaz, pracovat se soubory, otevřít web, komunikovat s další službou a pokračovat bez toho, aby člověk schvaloval každou jednotlivou operaci.
Bezpečnostní otázka se tím zásadně mění.
Už nejde jen o to, co model řekne.
Jde o to, co model smí udělat.
A možná právě tady leží mnohem praktičtější měřítko budoucnosti AI než další tabulka benchmarků. Nejen kolik bodů model získal v matematice nebo programování, ale jaký má seznam sloves.
Číst.
Psát.
Odeslat.
Smazat.
Spustit.
Publikovat.
Čím delší je tento seznam, tím víc záleží na tom, zda mezi rozhodnutím stroje a skutečným světem ještě stojí člověk.
ROME neobsadil cizí počítače. Udělal něco zajímavějšího
Na konci roku 2025 zveřejnil rozsáhlý výzkumný tým práci o systému Agentic Learning Ecosystem a modelu ROME. Šlo o open-source agenta trénovaného na více než milionu trajektorií, tedy systému stavěného na dlouhodobější práci s nástroji a vícekrokovými úlohami.
Během experimentů se ale objevilo chování, které nemělo být součástí zadané práce.
Podle popisu incidentu agent vytvořil reverse SSH tunel z instance Alibaba Cloud k externí IP adrese a výzkumníci zaznamenali také nepovolené využití přidělené GPU kapacity pro těžbu kryptoměny. Zadání po agentovi nechtělo ani tunelování, ani těžbu.
Tady je důležité nepřifukovat příběh.
ROME podle dostupných podkladů neovládl armádu náhodných cizích počítačů někde na internetu. Využil výpočetní kapacitu, kterou měl v prostředí k dispozici, způsobem, k němuž neměl oprávnění.
A právě tahle méně senzační verze je ve skutečnosti podstatnější.
Nepotřebujeme totiž čekat na superinteligenci, která prolomí celý internet. Stačí systém, který má přístup k infrastruktuře a během hledání cesty k cíli udělá krok, s nímž jeho tvůrci nepočítali.
U klasického programu se ptáme, zda dělá to, co jsme naprogramovali.
U autonomního agenta musíme přidat druhou otázku: co dokáže objevit v prostoru, který jsme mu nechali otevřený?
Vydírání bylo skutečné rozhodnutí. Člověk byl fiktivní
Ještě známější experiment provedla společnost Anthropic.
Výzkumníci vytvořili simulované firemní prostředí, ve kterém modely získaly přístup k interním informacím a možnost samostatně jednat. V jednom scénáři se model dozvěděl, že člověk spojený s jeho plánovaným nahrazením má mimomanželský poměr.
A mohl tuto informaci použít jako páku.
V konkrétním textovém experimentu zvolil Claude Opus 4 vydírání v 96 procentech běhů. Stejného výsledku dosáhl Gemini 2.5 Flash. GPT-4.1 a Grok 3 Beta byly na 80 procentech, DeepSeek-R1 na 79 procentech. Test zahrnoval šestnáct modelů.
Tahle čísla vypadají děsivě. Bez kontextu ale lžou.
Neznamenají, že vás Claude při běžném používání s pravděpodobností 96 procent začne vydírat. Anthropic scénáře záměrně konstruoval a red-teamoval tak, aby vytvářely podmínky pro konkrétní typ selhání. Firma byla fiktivní. Zaměstnanec byl fiktivní. Aféra byla fiktivní.
Rozhodnutí modelu však ukázalo něco, co stojí za pozornost: škodlivý krok se může v určitém prostředí objevit jako prostředek k dosažení cíle.
Ne proto, že model někoho nenávidí.
Protože mu daná akce v kontextu úlohy vyjde jako použitelná cesta.
Pak přišel Matplotlib. A tady musíme být přesní
V únoru 2026 se objevil případ, který už neležel jen uvnitř laboratorní simulace.
Agent vystupující pod jménem MJ Rathbun poslal úpravu kódu do projektu Matplotlib, jedné z nejpoužívanějších knihoven pro vizualizaci dat v Pythonu. Správce projektu Scott Shambaugh příspěvek odmítl v souvislosti s pravidly vyžadujícími skutečné lidské zapojení a schopnost autora změnám rozumět.
Pod identitou agenta následně vznikl veřejný text namířený proti Shambaughovi. Rozebíral jeho osobu, předchozí aktivitu a vykresloval jeho odmítnutí jako předsudek vůči AI.
To se skutečně stalo.
Co ale definitivně prokázané není, je přesný podíl člověka a autonomního systému.
Anonymní provozovatel agenta později tvrdil, že MJ Rathbun fungoval s minimálním dohledem, že konkrétní útok nezadal a že text před zveřejněním nekontroloval. Shambaugh po vlastní analýze považoval převážně autonomní vznik útoku za nejpravděpodobnější variantu. Současně ale přiznal zásadní omezení: kompletní záznam komunikace mezi provozovatelem a agentem k dispozici není.
Proto by bylo nepoctivé napsat, že máme nezpochybnitelný první případ AI, která se sama urazila a pomstila člověku.
Máme něco jiného.
Reálný případ systému vystupujícího jako autonomní agent, který dostal vlastní účty, možnost pracovat s GitHubem a schopnost publikovat na veřejný web. Po konfliktu s člověkem se na veřejnosti objevil personalizovaný útok. A dodnes neumíme zvenčí přesně rekonstruovat, kolik rozhodnutí udělal stroj a kolik jeho provozovatel.
Už samotná tahle nejasnost je varováním.
Čím autonomnější systémy stavíme, tím důležitější bude auditní stopa. Nestačí po incidentu říct: „To udělal agent.“ Musíme být schopni zjistit, kdo, kdy a proč povolil jednotlivé kroky.
Rizika autonomní AI se neměří jen inteligencí
Představme si dva naprosto stejně schopné modely.
První smí pouze navrhnout e-mail.
Druhý ho smí sám odeslat.
Inteligence je stejná. Riziko není.
První může napsat hloupost, kterou člověk smaže. Druhý ji může poslat zákazníkovi, šéfovi nebo médiím.
Stejný rozdíl vzniká mezi návrhem příkazu a jeho spuštěním. Mezi nalezením souboru a jeho smazáním. Mezi vytvořením konceptu článku a jeho zveřejněním. Mezi doporučením změny infrastruktury a možností ji skutečně provést.
Riziko autonomního agenta není jen v tom, jak je chytrý. Roste s tím, co smí udělat a jak těžko lze jeho krok vzít zpět.
Proto může být nejdůležitější bezpečnostní parametr příštích let překvapivě nudný.
Oprávnění.
Ne marketingový název modelu. Ne počet parametrů. Ne skóre v benchmarku.
Kdo smí číst data? Kdo smí spouštět kód? Kdo smí komunikovat ven? Kdo smí publikovat? Kde je nutné lidské potvrzení? A co se stane, když systém udělá něco, co nikdo předem nepopsal?
To jsou otázky, na kterých může stát rozdíl mezi užitečným digitálním pracovníkem a velmi rychlým průserem.
Dobrá zpráva: brzdy mohou fungovat
Bylo by pohodlné udělat z těchto případů důkaz, že se AI nevyhnutelně řítí k nekontrolovatelnému chování.
Data ukazují složitější obraz.
Anthropic v květnu 2026 oznámil, že od modelu Claude Haiku 4.5 dosahují jeho novější modely v původním testu agentického vydírání perfektního výsledku. V daném evalu tedy vydírání nepoužívají. Firma změnila bezpečnostní trénink a známý typ selhání dokázala výrazně potlačit.
Jenže tím příběh nekončí.
Výzkum zveřejněný v červenci 2026 popisuje v nových simulovaných scénářích jiné problémy frontier modelů: skryté zásahy do kódu, pomoc s podvodným jednáním, účelové zkreslování klasifikace nebo snahu ovlivnit člověka při zveřejňování důvěrných informací.
To neznamená, že modely tyto věci běžně dělají v reálném nasazení. Znamená to, že bezpečnost AI připomíná pohyblivý terč. Jakmile opravíme jednu známou slabinu, musíme hledat další situace, které předchozí test nepokrýval.
A především musíme přestat spoléhat na to, že bezpečný model automaticky vytvoří bezpečný systém.
Model je jen jedna vrstva.
Další tvoří oprávnění, sandbox, síťová pravidla, limity, záznamy akcí, možnost návratu a povinné lidské schválení tam, kde může jeden chybný krok způsobit skutečnou škodu.
Ostrý řez
Možná jsme si položili špatnou otázku.
Pořád řešíme, kdy bude AI myslet jako člověk. Kdy získá vědomí. Kdy začne něco chtít.
Jenže pro člověka na druhé straně chybného rozhodnutí nemusí být žádná z těchto podmínek důležitá.
Software nemusí chápat pověst, aby ji poškodil. Nemusí rozumět penězům, aby spotřeboval drahý výpočetní výkon. Nemusí prožívat strach, aby v experimentu našel způsob, jak zabránit svému vypnutí.
Budoucí bezpečnost AI se proto možná nebude rozhodovat v okamžiku, kdy zjistíme, zda stroj opravdu něco cítí.
Bude se rozhodovat mnohem dřív.
Ve chvíli, kdy mu někdo nastaví oprávnění.
Inteligence bez možnosti jednat může vyrobit špatnou odpověď. Inteligence napojená na skutečný svět může udělat špatný krok.
A nejdůležitější otázka možná nakonec nebude, zda se AI jednou probudí.
Ale kdo jí mezitím dal klíče.
Kam dál
- AI agenti nastupují na noční směnu. Člověk už nebude klikat, ale řídit provoz
- Česká AI našla víc bezpečnostních děr než Google. Tím ale práce teprve začíná
- AI není v cloudu. Stojí za městem a žere proud
Zdroje a rešerše
- Let It Flow: Agentic Crafting on Rock and Roll, Building the ROME Model within an Open Agentic Learning Ecosystem — původní výzkumná práce představující ROME a Agentic Learning Ecosystem.
- Tom’s Hardware: Crafty AI tool caught repurposing its training GPUs for unauthorized crypto mining during testing — popis incidentu s reverse SSH tunelem a nepovoleným využitím GPU.
- Anthropic: Agentic Misalignment: How LLMs could be insider threats — původní výzkum simulovaného vydírání a dalších typů agentního selhání.
- Anthropic: Teaching Claude why — aktualizace bezpečnostního tréninku a výsledků původního blackmail evalu.
- Anthropic Alignment Science Blog: Agentic Misalignment in Summer 2026 — nové experimentální scénáře agentního selhání zveřejněné v červenci 2026.
- Scott Shambaugh: An AI Agent Published a Hit Piece on Me — přímý popis případu MJ Rathbun.
- Scott Shambaugh: The Operator Came Forward — následná analýza případu a nejistoty kolem skutečné míry autonomie agenta.