Umělá inteligence by mohla v příštím desetiletí zabít všechny lidi, varují odborníci: ale jak vážně bychom je měli brát?

10. 9. 2026

 

Některé z těchto hrozeb byly vzneseny ve Velké Británii, kde se poslanci a členové Sněmovny lordů začali zabývat nebezpečím, že AI překoná lidské schopnosti. Varování týkající se jaderné hrozby zazněla od Dese Browna, bývalého ministra obrany, a profesora Stuarta Russella, významného počítačového vědce z Berkeley.

Beatrice Fihnová, která v roce 2017 získala Nobelovu cenu míru za vedení Mezinárodní kampaně za zrušení jaderných zbraní, řekla poslancům: „Není to poprvé, co čelíme schopnostem, které by nás nakonec mohly všechny zabít.“

Pondělní zasedání svolala organizace Control AI, lobbistická skupina usilující o mezinárodní regulaci této technologie. Podporuje návrh zákona, který tento týden v parlamentu předložil labouristický poslanec Alex Sobel a jehož cílem je zakázat vytváření umělé superinteligence (ASI).

V úterý večer jeden z vedoucích zaměstnanců společnosti Anthropic přiznal, že podle jeho názoru existuje více než 10% šance, že by tato technologie mohla v příštím desetiletí „zabít všechny lidi“, a varoval, že jeho společnost zabývající se umělou inteligencí nemá plán, jak zajistit, aby byla ASI „sladěna“, tedy aby neškodila. Odhady toho, kdy by mohlo být ASI dosaženo, se pohybují od několika let až po více než deset let.

Evan Hubinger, vedoucí výzkumu v oblasti zajištění bezpečného chování u Anthropic, zveřejnil tento komentář poté, co Jacob Coxon, 28letý výzkumník této sanfranciské společnosti, který dříve působil v OpenAI, podal výpověď s tvrzením, že „ani jedna ze společností nejedná zodpovědně“. Uvedl, že „hazardují s našimi životy“.

Coxon uvedl, že rizika ve společnosti Anthropic jsou dobře známa, ale že jsou „uvězněni v závodě o to, kdo se k tomu dostane jako první“. Jako jiskřičku naděje dodal, že je optimistický ohledně možnosti koordinace mezi americkými laboratořemi při určování tempa jejich pokroku v tomto závodě.

Společnost Anthropic byla požádána o komentář k této záležitosti. OpenAI odkázala na prohlášení svého hlavního vědce Jakuba Pachockého, který minulý týden uvedl: „Mezinárodní koordinace budoucího vývoje umělé inteligence se musí stát hlavní prioritou pro vlády po celém světě.“

Tlak na širší koordinaci s cílem kontrolovat ASI byl jádrem událostí ve Westminsteru tento týden. Podle deníku Financial Times vyjádřili vládní úředníci obavy, že společnost Anthropic odmítla předložit svůj nejnovější model – Mythos 5.1 – britskému Institutu pro bezpečnost umělé inteligence (AI Security Institute) k testování před vydáním.

Přístup k modelu Mythos 5.1 mělo pouze několik amerických organizací, potvrdila Úřad vlády. Mluvčí dodal: „Institut pro bezpečnost umělé inteligence nadále úzce spolupracuje s partnery z odvětví, včetně společnosti Anthropic.“

Poslanec za labouristickou stranu Darren Jones napsal premiérovi Andymu Burnhamovi a šéfům OSN a OECD dopis, v němž vyzývá k „mnohonárodní smlouvě o regulovaném a bezpečném vývoji superinteligence – nejde o zákaz inovací či vědeckého úsilí, ale o přístup, který při rychlém vývoji této technologie klade bezpečnost na první místo“.

S odkazem na Coxonovu rezignaci Jones dodal: „Debata se pohybuje od konce lidstva až po tvrzení o ‚marketingovém humbuku‘. Ať tak či onak, vlády nyní musí zasáhnout.“

Na druhé straně Atlantiku tento týden Bernie Sanders zintenzivnil svou kampaň za bezpečnost umělé inteligence tím, že znovu vyzval Kongres k regulaci této technologie. Poukázal na průzkumy veřejného mínění, podle nichž 81 % Američanů věří, že jejich politici by měli podniknout kroky.

Nezávislý senátor za stát Vermont řekl: „Nemůžeme dovolit, aby hrstka chamtivých lidí hrála na Boha a rozhodovala o budoucnosti lidstva – o naší ekonomice, životním prostředí, demokracii, soukromí a dalších věcech – bez zapojení veřejnosti.“

Organizaci ControlAI financuje Jaan Tallinn, multimilionář a zakladatel společnosti Skype, který se označuje za „anti-extinkcionistu“. Část svého jmění věnoval kampani za bezpečnost umělé inteligence a tvrdí, že někteří vedoucí pracovníci v oboru umělé inteligence by byli rádi, kdyby lidstvo zaniklo.

Přestože byl Tallinn jedním z prvních investorů do Anthropic a Google DeepMind, dvou předních laboratoří zabývajících se umělou inteligencí, odhaduje, že 10–15 % zaměstnanců v tomto odvětví věří, že tato technologie bude důstojným nástupcem lidstva.

V rozhovoru na začátku letošního léta řekl: „Jeden poměrně známý výzkumník v oblasti umělé inteligence mi řekl: ‚Jaane, s tím si nedělej starosti. Lidé jsou druh, který lze obětovat.‘ Pokud tomu dobře rozumím, nevadilo by mu, kdyby lidstvo vyhynulo.“

Tallinnova lobbistická skupina v pondělí uspořádala ve Westminsteru setkání pro poslance a členy Sněmovny lordů a vyzvala je, aby podpořili opatření k omezení nejvýkonnějších modelů umělé inteligence. Na každé židli ležela kopie knihy *If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI* (Pokud to někdo vytvoří, všichni zemřou: Argumenty proti superinteligentní umělé inteligenci).

Politici vyslechli Russella, který pronesl varování o Černobylu a řekl: „Druhou možností je mnohem větší katastrofa, při níž lidstvo nenávratně ztratí kontrolu. Nemáme však žádné slovo v tom, zda budeme i nadále existovat.“

Browne uvedl, že když byl ministrem obrany, považoval jadernou válku za nejpravděpodobnější hrozbu, jíž lidstvo čelí. Nyní se domnívá, že „superinteligentní umělá inteligence představuje hrozbu stejného, možná i většího rozsahu“.

Ostatní přispěvatelé byli opatrnější. Dr. Andrew Rogoyski ze Surrey Institute for People-Centred AI řekl: „Ve skutečnosti nejsou tyto systémy ani zdaleka tak všestranné jako lidé, natož pak lidé jednající kolektivně. Mám podezření, že směřujeme k ‚velkému zklamání‘, kdy se ukáže, že pokročilá AI je příliš nákladná a není dostatečně užitečná na to, aby mohla pokračovat ve své současné podobě.“

David Barber, ředitel Sofair, státem podporované výzkumné laboratoře pro umělou inteligenci sdružující akademiky z Oxfordu, Cambridge, Edinburghu a UCL, uvedl, že se obává, aby lidé „nevylili s vaničkou i dítě“.

„Umělá inteligence nezmizí,“ řekl. „Je neuvěřitelně užitečná, ať už jí povolíte zcela neomezený přístup k internetu a různým systémům, což je potenciálně problematické, nebo ne. Možná se budeme muset naučit, jak tyto věci lépe kontrolovat. V softwarových rámcích existují zranitelná místa, která je třeba opravit. Ale to je proveditelné.

„To, co jako země potřebujeme, je vyrovnat se s dualitou této technologie, která je na jedné straně neuvěřitelně důležitá a užitečná, a zároveň je to něco, co je třeba pečlivě zvážit a pečlivě kontrolovat.“

Sandra Wachterová, profesorka na Oxford Internet Institute, uvedla, že nevěří v „scénáře typu Terminátora“, ale že umělá inteligence představuje skutečné hrozby, včetně dopadu na životní prostředí, šíření dezinformací a nahrazování pracovních míst.

„Tyto problémy jsou reálné a naléhavé a je třeba se jimi zabývat hned,“ řekla. „Scénáře typu Terminátora jsou velkou překážkou v řešení skutečných problémů.“

Gary Marcus, komentátor v oboru umělé inteligence a akademik, uvedl: „Existuje rozdíl mezi superinteligencí, která je v souladu s lidskými zájmy (pokud je něco takového vůbec možné), a superinteligencí, která v souladu není.

Je přinejmenším představitelné, že ta první by mohla mít celkově pozitivní dopad. Zatím nemáme ani jednu z nich, ale přehnaný humbuk v kombinaci s nápadným nedostatkem opatrnosti ze strany OpenAI nás dovedl tam, kde se nyní nacházíme – k všudypřítomné hluboké nedůvěře.“

Zdroj v angličtině ZDE