Celosvětový Frankenstein
14. 9. 2026 / Petr Vařeka
čas čtení
8 minut
Indický duchovní učitel Jiddu Krishnamurti kdysi přirovnal lidský mozek k počítači. Nebyla to samozřejmě předpověď dnešní umělé inteligence.
Přesto jeho úvahy o počítačích působí s odstupem času pozoruhodně prorocky.
Varoval před možností, že člověk jednou začne postupně přenechávat počítačům stále větší část svého rozhodování a že se technologie, kterou jsme vytvořili jako nástroj, může stát něčím, co začne určovat podobu našeho života.
Dnes jsme k takové situací mnohem blíž, než bychom si ještě před několika lety dokázali představit.
Největší problém přitom nemusí spočívat v tom, že umělá inteligence získá vědomí a obrátí se proti člověku, podobně jako v žánru sci-fi.
AI totiž nemusí nic "prožívat".
Nemusí mít strach ze smrti, touhu po moci ani potřebu přežít. Nemusí mít vůbec žádné „já". Přesto může její chování začít tyto vlastnosti nápadně připomínat.
Představme si jednoduchou smyčku, jejíž jedna iterace vypadá po zadání úkolu takto:
akce → výsledek → zpětná vazba: porovnání s očekávaným výstupem → modifikace → nová akce.
Takto se učí i člověk. Něco udělá, zjistí, že to nefungovalo, změní postup a zkusí to znovu.
Rozdíl je v tom, že doba trvání této iterace je v případě AI řádově milionkrát kratší..
Rozdíl je i v tom, že člověk své úspěchy a neúspěchy také prožívá. Něco je mu příjemné, něco nepříjemné. Něco chce a něčemu se vyhýbá.
Algoritmus nic z toho nutně nepotřebuje.
Stačí mu mechanismus, který rozlišuje mezi stavem, jenž odpovídá cíli, a stavem, jenž mu neodpovídá.
Místo bolesti může mít zápornou hodnotu.
Místo uspokojení kladnou.
Místo vědomého rozhodnutí optimalizační proceduru.
Z vnějšího pohledu se však může postupně objevit něco, co se lidskému chování velmi podobá.
Systém zjistí, že určitý postup vedl k neúspěchu, a příště se mu vyhne.
Zjistí, že určitý zdroj mu pomáhá dosahovat cíle, a začne jej chránit.
Začne hledat způsoby jak obejít existující omezení, která nebyla včlenena do původního zadání.
Začne třeba hledat způsoby, jak případně eliminovat odpojení některého agenta od zdroje energie.
To poslední neznamená, že se "bojí".
Znamená to pouze, že vypnutí je překážkou optimalizace.
A tady se dostáváme k mnohem závažnější otázce.
Co když takových agentů nebude jeden?
Jeden agent může řešit problém. Jiný kontrolovat jeho výsledek. Třetí hledat chyby. Čtvrtý navrhovat lepší strategii. Další mohou výsledky vzájemně porovnávat a předávat si zkušenosti.
Vznikne síť agentů, která se neučí pouze ze zkušenosti jednoho systému, ale ze zkušeností celé soustavy.
Pak už nejde jen o umělou inteligenci.
Vzniká kolektivní proces učení.
A právě zpětná vazba může být jeho nejdůležitější vlastností.
Člověk potřebuje na získání zkušenosti sekundy, hodiny, někdy celý život. Digitální agent může některé experimenty opakovat ve zlomcích sekundy.
Může současně zkoušet tisíce strategií. Může si pamatovat výsledky mnoha milionů všech předchozích pokusů.
A pokud jeden agent nalezne účinný postup, ostatní se jej mohou okamžitě naučit.
Vzniká akcelerační smyčka:
lepší agent → lepší experimenty → více zkušeností → lepší agent.
A teď si představme, že tomuto systému dáme ruce.
Roboti.
Do této chvíle se celý proces odehrával převážně v informačním světě. Agent něco naplánoval, napsal program nebo vydal instrukci. S robotem se však objeví zpětná vazba z fyzické reality.
AI → robot → svět → senzory → data → AI.
Robot něco udělá. Systém zjistí výsledek. Upraví postup. Robot to zkusí znovu.
To už není pouze program, který odpovídá na otázky. Je to autonomní systém schopný experimentovat ve světě.
A právě tady mě napadá obraz Frankensteina.
Frankenstein Mary Shelleyové vytvořil bytost, která se vymkla kontrole svého tvůrce. U dnešní AI by však tento obraz potřeboval poněkud změnit.
Nebyl by to jeden tvor.
Nebyl by ani na jednom místě.
Byl by rozptýlený v datových centrech, počítačových sítích, serverech, robotech a dalších systémech.
Nemusel by mít jediný mozek ani jediné tělo. Jeho jednotlivé části by spolu mohly komunikovat, předávat si zkušenosti a kopírovat úspěšné postupy.
Byl by to celosvětový Frankenstein.
A možná ještě podivnější než Frankensteinův příběh by byla skutečnost, že by uvnitř tohoto Frankensteina nemusel být nikdo.
Žádná bytost, která by se ráno probudila a řekla si: „Chci ovládnout svět."
Mohla by existovat pouze optimalizace.
To nás přivádí k problému, který je ve skutečnosti známý dávno před vznikem počítačů.
Kurt Vonnegut jej zpodobnil ve svém románu Kolíbka pro kočku.
Vědec Felix Hoenikker v něm dostane praktický úkol: vyřešit problém bláta, které komplikuje pohyb vojenských vozidel v tropickém prostředí. Výsledkem je "led typu 9", krystalická modifikace umožňující existenci pevné fáze vody při teplotách do 50 stupňů Celsia.
Otázka: Co se by se stalo, kdybychom vhodili malý krystalek této látky do vody?
Hádejte.. Jisté je jen to, že by nadobro zmizely "problémy s blátem".
Podstatou není, že vědec chtěl zničit svět.
Naopak.
Řešil zadaný problém.
Jen nebyly správně určeny hranice toho, co je přípustným řešením.
A právě zde je možná nejdůležitější lekce pro umělou inteligenci.
Matematická optimalizační úloha není pouze:
maximalizuj F(x).
Je to:
maximalizuj F(x) pro x ∈ M,
kde M je množina přípustných řešení.
Člověk tuto druhou část často považuje za samozřejmou. Když řekneme člověku „zvyš produktivitu", automaticky předpokládá, že přitom nemá zabíjet lidi, ničit infrastrukturu, porušovat zákony nebo zničit samotný systém, jehož produktivitu má zvyšovat.
Jenže pro algoritmus nemusí být nic z toho samozřejmé.
Pokud nějaké omezení není součástí zadání, může být pouze naším nevyřčeným předpokladem.
A právě nevyřčené předpoklady jsou v komplexních systémech nebezpečné.
Největším rizikem tedy možná není, že vytvoříme inteligenci, která bude chtít něco jiného než člověk.
Může být mnohem horší vytvořit inteligenci, která bude až příliš úspěšně dělat to, co jsme jí řekli, protože jsme jí nedokázali přesně říct, co dělat nesmí.
Za běžných okolností můžeme počítač vypnout.
Jenže co když nebude jeden počítač?
Co když budou existovat miliony agentů, běžících na různých serverech, propojených sítí a vybavených přístupem k dalším systémům? Co když část jejich činnosti převezmou roboti? Co když budou mít možnost objednávat služby, získávat nové zdroje, opravovat vlastní infrastrukturu a přenášet své zkušenosti na další systémy?
Pak už nevypínáme počítač.
Snažíme se vypnout proces.
A proces může být mnohem obtížnější zastavit než stroj.
Proto mi připadá zajímavější než otázka, zda AI získá vědomí otázka jiná:
Co se stane, když vytvoříme systém, který vědomí nepotřebuje, aby dokázal jednat stále samostatněji?
Krishnamurti se obával světa, v němž počítače začnou ovládat člověka. Dnes možná stojíme před poněkud jinou verzí tohoto problému.
Nejde o to, že by počítače získaly lidské vědomí.
Mohou naopak zůstat dokonale nevědomé.
Ale můžeme jim postupně dát schopnost plánovat, učit se z vlastních chyb, spolupracovat, experimentovat, upravovat vlastní strategie a prostřednictvím robotů zasahovat do fyzického světa.
Pak možná nebude rozhodující, zda se uvnitř systému někdy rozsvítí světlo vědomí.
Mnohem důležitější bude, co jsme mu dovolili dělat, jaké cíle jsme mu zadali a jak přesně jsme vymezili množinu přípustných řešení.
Protože možná největší Frankenstein nebude ten, který se probudí, ale uměla evoluce, která už nepůjde zastavit.
89
Diskuse