AI superinteligence není bezprostřední hrozbou současných modelů. HN z téhle zprávy udělaly titulkovou výzvu o AI, která začne zabíjet lidi. Jenže přesnější a mnohem nepříjemnější je něco jiného. Dva lidé, kteří pracovali uvnitř předních laboratoří, popisují technologický směr, u něhož neumějí zaručit kontrolu. A přesto se v něm jede dál. Ne kvůli důkazu, že současný chatbot někoho zítra fyzicky napadne. Kvůli představě, že zastavit sám by znamenalo nechat rozhodnout soupeře.
Coxonovi je 27 let. Poslední tři roky dělal výzkum předtrénování v OpenAI a Anthropicu. Když z Anthropicu odešel, napsal, že obě firmy závodí k sebezdokonalující superinteligenci a neumějí prokázat, že ji udrží pod kontrolou. AI superinteligence pro něj není zítřejší jistota, ale směr, na který laboratoře sázejí bez hotové pojistky. Ta věta má váhu právě proto, odkud přichází. Nemá ale dovolovat zkratku, že jde o hotovou předpověď konce světa.
Obsah článku
Deset procent neřekl Coxon
Nejtvrdší číslo v celé debatě pronesl Evan Hubinger, šéf výzkumu alignmentu v Anthropicu. Jeho osobní odhad přesahuje deset procent pro scénář, v němž AI v příštích deseti letech zabije všechny lidi. Není to výsledek měření ani stanovisko firmy. Je to úsudek odborníka, který pracuje na tom, aby se takový systém dal řídit.
Hubinger současně výslovně oddělil dnešek od hypotetické budoucnosti. Aktuální modely podle něj nesou malé bezprostřední riziko. Obává se systému, který by dokázal rekurzivně zlepšovat vlastní výzkum a zrychlit tím další vývoj. To může přijít pomalu, rychle, nebo vůbec. Nikdo nemá data, z nichž by poctivě vytáhl přesné datum.
Právě proto je špatně udělat z jeho odhadu laciné proroctví. A stejně špatně je tvářit se, že větu takto postaveného člověka lze odložit do šuplíku s internetovým strašením.
AI superinteligence jako závod, z něhož nikdo nechce vystoupit
Nejzajímavější část Coxonovy výpovědi není technická. Je institucionální. Laboratoře nejedou jen za lepším produktem. Jedou proti sobě. Každá může říct, že její vlastní opatrnost nemá smysl, pokud ji předběhne méně opatrná konkurence. Strach se tak mění v plyn.
Tenhle mechanismus už není jen soukromou obavou několika odpadlíků. V červenci se pod prohlášení Pacing the Frontier podepsalo 1 386 zaměstnanců firem z čela AI průmyslu. Žádají nástroje, které by dovolily tempo vývoje koordinovat napříč laboratořemi a státy. Jejich formulace je střízlivá: jednotlivé firmy a země jsou pod tlakem nezpomalit samy, zatímco světu chybí technické i politické nástroje, jak zpomalit společně.
To není důkaz, že vývojáři objevili neovladatelnou bytost za sklem. Je to doklad, že lidé, kteří stavějí nejvýkonnější systémy, vidí problém s pobídkami. Bez společného pravidla je opatrnost ekonomická nevýhoda. A bez důvěry mezi státy se z bezpečnosti snadno stane jen složka ve firemní prezentaci.
Chemička by takto nemluvila
Představme si vedení chemičky, které by veřejně připustilo nenulovou šanci, že jeho budoucí výrobní postup může zničit životy v měřítku, jež neumí odhadnout. Debata by se netočila kolem toho, jak továrnu zrychlit, aby ji nepředběhl soused. Řešilo by se, kdo nese odpovědnost, kdo smí rozhodnout a co se musí ověřit před dalším krokem.
U AI je tenhle selský test těžší, protože hrozba není vidět v kouři nad komínem. Mluví se o neexistující superinteligenci, o hypotetickém sebezdokonalování a o dlouhých řetězcích podmínek. To je legitimní důvod k opatrnosti při soudu. Není to důvod rezignovat na pravidla.
OpenAI ve svém Preparedness Frameworku samo vede schopnost AI sebezdokonalovat se mezi sledovanými oblastmi závažného rizika. Právě AI superinteligence je scénář, v němž by taková schopnost přestala být jen technickou ambicí. Anthropic má Responsible Scaling Policy a pravidelně vydává risk reporty. Obě instituce tedy veřejně říkají, že vývoj potřebuje prahy, hodnocení a pojistky. To je lepší než předstírat, že problém neexistuje. Zároveň to nechává poslední rozhodnutí hlavně v rukou těch, kdo mají stejnou motivaci dostat systém na trh dřív než ostatní.
Co z toho zatím neplyne
Neplýne z toho, že AI během čtyř let začne vraždit lidi. Neplýne ani to, že Hubingerův osobní odhad je vědecký konsenzus. Lidé pracující v bezpečnosti mohou mít silnější citlivost na nejhorší scénáře než zbytek oboru. Firmy mohou bezpečnostní jazyk používat i jako součást boje o regulaci a důvěru trhu. Všechny tyto námitky patří na stůl.
Ale tím se nevymaže základní rozpor. Pokud laboratoře samy říkají, že nemají hotový plán pro kontrolu dostatečně schopné superinteligence, nestačí nám fráze o odpovědném škálování. Potřebujeme vědět, jaký konkrétní práh vývoj zastaví, kdo ho bude hlídat mimo firmu a co se stane, když konkurent udělá totéž špatně.
V tom je Coxonův odchod užitečný. Ne jako další apokalyptická marketingová kampaň. Jako nepříjemné svědectví o oboru, který si umí představit selhání, ale zatím neumí vytvořit důvod, proč by někdo první sundal nohu z plynu.
Kam dál
- Dvanáct let po Hawkingově varování už AI pomáhá vyvíjet další AI
- Rizika autonomní AI začínají u oprávnění, ne vědomí
- OpenAI izolovala AI agenty. Oni si vybudovali vlastní síť a zaútočili