Jestliže na počátku bylo slovo, pak na konci bude ticho
20. 2. 2026 / Jan Molič
101, 26, 45, 224, 26, 455, 225, 253 - to jsou ty tokeny. To jsou ty „pojmy", nad nimiž umělá inteligence uvažuje. Zatímco matematik vidí číselnou řadu, laik v tom hledá vědomí a navazuje s tím romantický vztah. Ne, je to jen číselná řada. Nebo - přeci se v ní ale podivuhodně manifestuje rozum! Alespoň zdánlivě. Zdánlivě? V minulém článku tvrdím, že lidé neuvažují o mnoho jinak než umělá inteligence. Naše racionalita a výjimečnost je do značné míry sebeklam. Jelikož v poslední době se zabývám tématem AI versus člověk, uvažuji nad jazykem a jeho limity, dostal jsem se přes filozofii Ludwiga Wittgensteina a větu o neurčitosti matematika Kurta Gödela až k východnímu taoismu. Východní myslitelé navazují právě tam, kde evropští myslitelé končí. (K dobru těm našim nutno přiznat, že limity systému dokázali exaktně, nikoli jen intuicí – ovšem dokázali, že některé věci dokázat nelze.)
Umělý rozum
Nejprve bych chtěl (zjednodušeně) ozřejmit, jak funguje umělá
inteligence, co dělají ty Velké jazykové modely (LLM). Je to totiž
fascinující. Je to naprosto fascinující. Tím, jak je to v principu
jednoduché. Stroj vůbec nerozumí tomu co dělá, ani nepracuje se
slovy, nerozumí pojmům - a přesto ve finále jako by myslel.
Dokonce je schopen nejen remixovat známé věci, ale vymyslet i něco
nového. Tak jak to tedy funguje?
Na počátku bylo slovo. Nebo spíš věta. Třeba „hlavní město Česka".
A stroj dostal za úkol větu dokončit.
Jako první rozseká větu do tokenů; částí slov, písmen, znaků a
symbolů. Každý token se unikátně očísluje:
hlavní = 101
mezera = 26
měst = 45
o = 224
mezera = 26
Č = 455
esk = 225
a = 253
Větu „hlavní město Česka" lze přepsat jako číselnou řadu 101, 26,
45, 224, 26, 455, 225, 253.
Stroj, velký jazykový model (LLM), pak řeší statistickou otázku: Jaké
číslo má největší šanci, že bude následovat? Prožene celou
řadu těchto čísel svými miliardami parametrů a vyplivne tabulku
pravděpodobností:
Token 312 (slovo „je"): 92 %
Token 18 (tečka): 5 %
Token 995 (slovo „leží"): 2 %
Ostatní tisíce tokenů: 0,0001 %
Model tedy vybere token 312 jako nejpravděpodobnější a doplní ho
na konec řady. Nově vypadá takto: 101, 26, 45, 224, 26, 455, 225,
253, 312.
Celý proces se opakuje. A znovu. A znovu. Model pokaždé „uvažuje"
nad celou řadou čísel, od prvního po poslední, včetně nového
prodloužení. Vidí vztahy mezi všemi čísly od začátku do konce.
Nejpravděpodobnější další tokeny budou: 26 (mezera), 5487 (Praha)
a 18 (tečka). Řada čísel pak bude 101, 26, 45, 224, 26, 455, 225,
253, 312, 26, 5487, 18.
Po převodu do původní textové reprezentace vznikne věta „hlavní
město Česka je Praha."
Když chatujete s AI, tak pokaždé, při každém promptu, se
tokenizuje celá historie chatování od prvního dotazu a
odpovědi až po poslední prompt! Stovky vět, tisíce slov. Nejlepší
modely jako Claude od Anthropicu při jednom promptu dovedou
uvažovat klidně až 400 normostran textu! Nacpete do toho třeba
celý kód webových stránek a dáte modelu příkaz, aby v něm něco
přeprogramoval - a on to udělá, přičemž zohlední všechny
závislosti, protože vidí vztahy najednou. (Jazykový model má
nicméně omezený počet tokenů, které dokáže zpracovat. Tomu se říká
kontextové okno. Například: GPT-3.5 cca do 8000 tokenů, GPT-4
8000-32000 tokenů, novější modely jako Claude 128000 tokenů i
více.)
Není to magie, je to spíš „něco malého, ale strašně mockrát".
Existují minimalistické implementace typu minGPT, která má pouze
kolem 300–500 řádků kódu. Pro srovnání: jednoduchý statický web
„kadeřnictví na sídlišti" má 200–1000 řádků. Běžný firemní web
5000–20000 řádků. Větší webová aplikace 50000–200000+ řádků.
Samozřejmě jde o ilustraci, neboť plně funkční AI vyžaduje tisíce
řádků infrastruktury. Ovšem ten LLM sám nemusí být až tak složitý.
Kdy stroj začal přemýšlet?
Zpočátku to tak vůbec nevypadalo. První generace jazykových
modelů kolem roku 2018–2019 (například OpenAI se svým GPT-2) byly
spíš kuriozitou. Uměly napsat odstavec textu, který zněl
překvapivě lidsky, ale rychle se rozpadal do nesmyslů. Vývojáři
věděli, že škálování – více dat, více parametrů, více výpočetního
výkonu – by mělo vést k lepším výsledkům. Netušili však, jak
dramatický bude efekt.
Zlom přišel s modelem GPT-3. Najednou se ukázalo, že pouhé
zvětšení modelu vede k jevům, které nikdo explicitně
nenaprogramoval: model začal překládat, shrnovat texty, odpovídat
na otázky a dokonce řešit jednoduché logické úlohy – a to bez
speciálního tréninku na tyto úkoly. Těmto schopnostem se začalo
říkat „emergentní vlastnosti", neboť nebyly v kódu jako funkce.
Vynořily se samy ze statistiky.
Mnozí vývojáři otevřeně přiznávali překvapení. Ne v tom smyslu, že
by model generoval text – to očekávali. Překvapení spočívalo v
tom, jak koherentně dokáže držet kontext, jak přesvědčivě simuluje
porozumění a jak reaguje na zadání. Najednou nebylo snadné
odlišit, kde končí pouhá predikce dalšího tokenu a kde začíná
něco, co laik bez váhání nazve uvažováním.
Další krok byl ještě zajímavější: přechod od pouhého doplňování
textu ke konverzaci. Původní modely byly v zásadě dokončovače vět.
Zadali jste odstavec, model jej prodloužil. Aby z toho vznikl
dialog, bylo potřeba model nejen zvětšit, ale také jemně doladit.
Výzkumníci použili metodu známou jako RLHF (reinforcement learning
from human feedback) – posilované učení s lidskou zpětnou vazbou.
Lidé hodnotili různé odpovědi modelu a systém se postupně učil
preferovat ty, které byly užitečnější, zdvořilejší, pravdivější či
bezpečnější.
Tak vznikl například ChatGPT, který byl postaven na modelu
GPT-3.5. Najednou už nešlo jen o doplňování textu, ale o udržování
kontextu dialogu, reagování na otázky a přizpůsobování tónu
odpovědi.
A zde se dostáváme k podstatě té podivuhodnosti. Model stále dělá
totéž: počítá pravděpodobnost dalšího tokenu. Jenže když se
trénuje miliardkrát, nad miliardami parametrů a nad obrovským
korpusem lidských textů, začne napodobovat struktury, které v těch
textech byly – argumentaci, ironii, vysvětlování a dokonce i
pochybování.
To, co nazýváme „uvažováním", může být proto do značné míry jen
velmi sofistikovaná komprese lidského jazyka a jeho pravidel.
Model neví, co je to Praha. Neví, co je to město. Neví, že
existuje Česko. Vůbec neuvažuje nad pojmy ani nad slovy! V
podstatě doplňuje řadu čísel. Přesto dokáže správně odpovědět,
jelikož v jeho parametrech je zapsána statistická mapa toho, jak
lidé o těchto věcech mluví.
Když to shrnu: Umělá inteligence neuvažuje v pojmech jako „Praha"
ani „město", nýbrž 101, 26, 45, 224, 26, 455, 225, 253. A pak se
člověk musí ptát, kde se v tomhle bere emergentní rozum? A nedělá
to náš mozek stejně? Neodehrává se také v našich hlavách podobná
statistika? Nejsme pouze chodící biologické stroje? A kde se v nás
navíc bere vědomí? Není také vědomí emergentní, tedy rovněž se
objeví, až podmínky dozrají? Až bude výpočetní výkon ještě větší
než nyní, až naroste počet parametrů LLM a dosáhne se pomyslné
kritické meze?
Tady už vstupujeme na půdu filozofie. Čeká nás Ludwig
Wittgenstein, Kurt Gödel a taoismus.
Šmodrchání jako případ emergence
Onehdá jsem si do práce přinesl krabičku čajových pytlíků.
Pytlíky se cestou tak zaklesly do sebe, že zámotek nešlo rozmotat
zatažením ani za jedno vlákno, viz foto. Nazval jsem to principem
šmodrchání. Něčeho podobného jste si určitě všimli, když se vám
třeba zašmodrchaly tkaničky u bot. Obvykle přitom vznikne natolik
komplikovaný uzel, že byste ho sami nevytvořili. Pouhou
interakcí tisíců pohybů vpřed a vzad při chůzi, miliony
záchvěvů, dojde k něčemu velmi komplikovanému.
Proto si myslím, že nejde o pouhý uzel na botě, nýbrž že
šmodrchání je fundamentální princip. (někdy je ten princip teda
pěkně k vzteku) Lze spekulovat, zdali právě takto nevznikla RNA,
když se do sebe zaklesly nukleové kyseliny. Samy, emergentně se
zašmodrchaly. Když do roztoku organických sloučenin pálily miliony
blesků a roztok střídavě mrznul a roztával.
V principu jde o to, že jeden pohyb uzel nevytvoří, avšak miliony
pohybů ano. Nebo jednotlivé parametry LLM jsou bezvýznamné, avšak
miliardy parametrů produkují iluzi porozumění. Něco vyššího jako
by samo vyvstalo tehdy, když se jednoduché principy dostatečně
znásobí a když zároveň dozrají podmínky, čili když existuje
dostatečně silný mechanismus (stroj), který násobení provede.
Rozum – ten jazykový, prediktivní – jsme už dokázali napodobit.
Otázka zní: je vědomí další emergentní vrstva, která se sama
objeví, až dozrají podmínky? Až se síť neuronů zacyklí sama do
sebe, co když pak začne reflektovat vlastní stav? Možná je vědomí
jen uzlem na botě.
No je to celé takové - jednoduše zašmodrchané.
(Naštěstí i gordický uzel má překvapivě jednoduché řešení.)
Vnitřní hlas a LLM
Když člověk chvíli pozoruje vlastní mysl, zjistí, že v ní běží
neustálý proud řeči. Komentuje situace, plánuje, vrací se do
minulosti a simuluje budoucnost. Vnitřní monolog je jazykový,
sekvenční a generativní. Myšlenka následuje myšlenku, jako token
následuje token. Náš „vnitřní hlas" je nápadně podobný velkému
jazykovému modelu. (však taky modelujeme svou mysl) Na základě
předchozích zkušeností odhadujeme, co se stane dál: vytváříme
simulace rozhovorů, které jsme ještě nevedli, odhadujeme reakce
druhých, neustále něco predikujeme, a to nejen další slova, nýbrž
celé další situace.
Zkuste si malý experiment: Až pojedete MHD do práce, odložte
mobil, sluchátka a zkuste deset sekund nemyslet ve slovech.
Nemyslet na nic. Možná to vydržíte pět sekund, možná méně. Ale
všimnete si dvou věcí. Za prvé, myšlenky přicházejí samy. Za
druhé, i když se vnitřní hlas na okamžik utiší, vědomí nemizí. To
je zásadní moment.
Řekl bych, že meditace – ať už ji praktikují jogíni nebo zenoví
mniši – není nic jiného než pozorování vnitřního LLM jak generuje.
Jak přeskakuje mezi kontexty. Jak produkuje komentáře ke každému
vjemu. Meditující člověk se učí na to nereagovat, nerozvíjet
žádnou přišedší myšlenku, ale nechává je rozplynout jako ozvěnu.
Důležité je jedno: Vnímám tedy jsem. Ačkoli se vnitřní hlas
odmlčí, vědomí „jsem" zůstává. Dokonce je to právě naopak; ve
stavu nepřemýšlení je člověk mnohem přítomnější, vnímavější k
okamžiku, poněvadž jazykové uvažování nejčastěji popisuje buď
minulost nebo budoucnost (která však ani jedna neexistuje).
Existuje pouze teď a tady. Meditace vlastně odhaluje, že běžná
mysl je většinu času nepřítomná. Neustále buď plánuje nebo se
nimrá v minulosti, ale nevnímá to jediné co doopravy existuje,
přítomnost.
Co je tedy vědomí?
Výše jsem psal, že jazykové myšlení není rovno vědomí. To ovšem
neznamená, že vědomí není taky výpočet. Znamená to jen tolik, že jazyková
vrstva zřejmě není jeho podstatou. Může jít o jiný typ
zpracování – méně sekvenční, více paralelní, méně symbolické.
Častá chyba je následující úvaha: „LLM je algoritmus a nemá
vědomí, je to jen statistika, tudíž algoritmy vědomí mít nemohou."
To z toho logicky neplyne. Plyne z toho pouze to, že současné
algoritmy k modelování komplexní lidské mysli nestačí. Modelujeme
zatím jen dílčí část toho co jsme (rozum), ale k obecné umělé
inteligenci (AGI) musíme ujít ještě kus cesty.
Všiml jsem si taky, že myšlenka, nápad, jako by byl spíš krátký
záblesk, který mozek ihned začne popisovat slovy. Dlouho nad něčím
přemýšlíte a náhle to přijde. Jenže ten záblesk, celek, jako by
již byl přítomen na začátku, jako by vše již bylo vymyšleno a
slova, která následně přicházejí, jako by měla pouze za úkol tu
myšlenku popsat, uchopit, aby ji šlo dále rozumově zpracovávat.
(Na druhou stranu je možné, že i ty záblesky jsou výsledkem práce
zase nějakého jazykového subsystému, který rovněž uvažoval ve
slovech, avšak na pozadí, a tudíž se ta slova do vědomí nedostala.
Až když se vytvořil výsledek, tak ten „probublal" do vědomí, což
se projevilo jako záblesk beze slov.)
A ještě jedna věc. Měl jsem zkušenost s rozpadem osobnosti.
Najednou jsem viděl, jak v mé hlavě operují samostatné entity:
pokušitel, soudce, svědomí a další entity, které třeba ani neměly
hlas. Jsou to zřejmě ti „démoni" (ostatně slovo daimonion znamená
hlas). Poznání bylo jednak, že ďábel není někde vně, ale nosíme si
ho uvnitř v hlavě. A jednak, že schizofrenik možná slyší tyhle
hlasy samostatně, kdežto zdravý člověk je dokáže integrovat do
jediné osobnosti. Tu jedinou osobnost možná tvoří konsensus entit.
Navíc si všímám toho, že každé ráno jsem trochu někdo jiný. Jako
by hlavní slovo ten den měla jiná entita než včera. Pokud si třeba
večer jsem naprosto něčím jistý, druhý den ráno to klidně
zpochybním.
Čili lidské uvažování zřejmě sestává z autonomních subsystémů.
Přesně tímhle směrem se ubírá vývoj AI: aby se zabránilo
halucinování modelů, proces uvažování se rozdělí na LLM řešitele,
LLM oponenta a LLM soudce. Nad tím bdí LLM supervizor, který nechá
entity se hádat, vymyslet několik variant a nakonec vybere tu
nejlepší. To však pořád není lidské vědomí, které je přítomno,
přestože chybí slova.
Hranice systému: Kurt Gödel
Na přelomu 19. a 20. století chtěli matematici matematiku formalizovat. Cílem bylo, najít sadu axiomů, ze kterých půjde odvodit úplně každá matematická pravda. Dokázat, že v takovém systému nikdy nedojdete k logickému sporu (např. že zároveň platí 1+1=2 i 1+1!=2). Vytvořit algoritmus, který pro každý problém řekne, zda je pravdivý, nebo lživý.
Ještě vsuvka - co je to axiom? Axiom je tvrzení, které se
neodvozuje, ale přijímá jako výchozí pravidlo. Prostě „to tak je".
Punkt. Axiom je třeba pravidlo šachů, že věž se pohybuje rovně.
Nebo je to základní předpoklad v matematice, že „existuje prázdná
množina". Bez axiomů nelze začít dokazovat, protože každý důkaz
musí z něčeho vycházet. Formální systém tedy obsahuje axiomy
(výchozí tvrzení), pravidla odvozování (jak z tvrzení vyvozovat
další) a různé věty, které z axiomů vyplývají.
Hlavní postavou snahy byl David Hilbert. Chtěl najít přesné axiomy
aritmetiky a dokázat, že z nich nikdy nevznikne rozpor. Chtěl z
několika vět odvodit celou aritmetiku. Vypadalo to slibně.
Matematika se začala formalizovat, přesná pravidla, žádná
intuice.
A pak přišel Gödel a řekl, že Každý dostatečně silný formální
systém obsahuje pravdivá tvrzení, která nelze v rámci tohoto
systému dokázat. Čili: marná snaha.
Pro platonika, jakým byl Gödel, to nebyla porážka. Naopak.
Naznačovalo to existenci širší reality, k níž máme jakýsi
intuitivní přístup. Gödel mluvil o „matematické intuici" – smyslu,
kterým vnímáme pravdy mimo formální strukturu.
Z čistě logického hlediska je tu podivný moment: aby se vůbec
mohla projevit neúplnost systému, musí existovat širší kontext, v
němž tuto neúplnost vidíme. Jako bychom stáli uvnitř klece, ale
současně tušili, že za mřížemi existuje další prostor. Doplním, že
důkazem neúplnosti systému může být existence konstant ve fyzice,
například limit rychlosti světla.
Ve světě člověk nicméně nějak fungovat musí, a tak mu nezbývá, než
marnost přijmout. Podobně jako víru: Buď věříte, že Bůh je, nebo
věříte, že Bůh není. Oboje je víra, ani jedno nedokážete. Pro
věřícího člověka je Bůh axiom, a jelikož nevěřící člověk také
fakticky věří - tak také pro něj je Bůh axiom. Alfa .. omega.
Skrze formální systémy tedy nelze najít odpověď na základní
otázku života, vesmíru a vůbec. Na tuto banální otázku však našel
(banální) odpověď Douglas Adams, a možná se přiblížil skutečnosti
mnohem víc než kdejaký učený, který spadl z nebe přímo na hlavu,
viz https://cs.wikipedia.org/wiki/42_(odpov%C4%9B%C4%8F) )
Hranice jazyka: Ludwig Wittgenstein
Německý filozof Wittgenstein, mimochodem syn Leopoldiny
Wittgenstein, která byla ve znaku kladenské Poldi ocel, došel k
podobné hranici poznání, avšak jinou cestou. V závěru svého
Traktátu napsal: „O čem nelze mluvit, o tom je třeba mlčet." (a
myslel mystiku)
Neříká, že to neexistuje. Říká, že jazyk má strukturu a cokoli, co
strukturu přesahuje, nelze uchopit větou. Ukázal, že jazyk je
limit našeho uvažování, neboť rozum uvažuje ve slovech. Nemůžeme
uchopit něco, co nedovede uchopit gramatika a z ní pramenící
logika.
V pozdějším uvažování Wittgenstein jazyk považoval spíš za hru (a
logiku za pravidla této hry).
Zde bych si dovolil poznámku: Pokud změníme pravidla hry –
například si vezmeme psylocibin a ovlivníme chemii mozku – změní
se i to, co považujeme za „logické". Pokud je náš pocit logiky
pouze produktem neuronální struktury, pak není zárukou pravdy,
nýbrž jen vlastností našeho systému. Je to ještě horší než se
zdálo.
A není tou hrou nakonec celý systém, v němž žijeme? Není smyslem
ta nepoznatelnost? Totiž, jaký by mělo smysl hrát hru, kdybychom
dopředu znali cheaty i výherce? Toto pokládám za jádro pudla.
(Ovšem ten pudl Mefistofeles člověku stále podsouvá, že svět
přesto poznat lze, že k tomu přece stačí nějaká subscription...)
Wittgenstein připustil, že může existovat mystická zkušenost. (bod
6.522 Traktátu: „Existuje
ovšem neoslovitelno. To se ukazuje, je to mystické.") Existuje
cosi, co je, o čem nelze mluvit, ale je třeba mlčet. Toto něco
jazyk překonává. Je to možná totéž, co Gödel myslel intuicí.
Mystickou zkušenost lidé zažívají a opravdu, jsou si v tu chvíli
jisti její pravdivostí. Bez příčiny, beze slov, bez logiky. Taky
jsem to zažil a je to jiné než když něco vypřemýšlíte. Objevuje se
to stejně emergentně jako rozum a vědomí. Nebo je to prostě
mystické a nemá smysl nad tím vůbec uvažovat rozumem -
protože přesně to řekl Wittgenstein.
Shitstack on top of itself
Dva tisíce let před Gödelem a Wittgensteinem začíná kniha autora
Lao-c', Tao Te Ťing, takto:
„Tao, které lze vyjádřit slovy, není věčné Tao."
Věčné Tao existuje, ale jakmile ho pojmenujeme, už to není Tao.
Skoro se vkrádá do mysli analogie s Islámem, který podobně říká,
že Boha nelze zobrazit. Pokud ho zobrazíme, už to není Bůh. (To
jen lidé si věc přebrali po svém a zakazují pořizovat si
selfíčka.)
Zatímco západní tradice analyzovala systém tak dlouho, až narazila
na jeho neúplnost, taoismus vychází z předpokladu, že jazyk je jen
nástroj.
Taoismus nenavrhuje další výpočet, další vrstvy nad vrstvami
(proto píšu shitstack on top of itself), ale Wu wei - nekonání.
Nejde o nekonání ve smyslu pasivity, nýbrž ve smyslu nepřidávání
další vrstvy konceptů. Protože systém lze očividně do nekonečna
rozvíjet a do nekonečna větvit. Je to sice lákavé, rozum dočasně
uspokojující, jenže je to marné.
Můžeme filozofovat o jsoucnu, metafyzice, metafyzice metafyziky
metafyziky, nebo nacházet další matematické vztahy mezi čísly a
vyvozovat další logické závěry. Můžeme zkoumat atomy a uvažovat,
zda je pole kontinuální či diskrétní. Můžeme vymýšlet teorie
všeho, jenže pořád to budou jen teorie.
Nedávno nám Mefistofeles podsunul další hračku, LLM, a pocit, že
plná knihovna povede k poznání světa. Super. AI dokáže generovat
dokonalé popisy západu slunce, dokáže přidat i umělé video, jenže
ten západ slunce nezažívá a pomalu už ani člověk, jenž ho sleduje
na mobilu.
Lidská snaha však není úplně marná. Vedlejším produktem je, že
létáme do Vesmíru, máme ty internety a uměle inteligentní,
virtuální avšak reálně otravné agenty - a taky systém dohledu v
mobilu. Fajn. Pořád jen ne odpověď na tu základní otázku, na
kterou jsme se ptali už jako děti: proč?
I řekl Bůh: Budiž ticho
Východní filozofie začíná tam, kde končí evropská: u mystiky. Věda se přijetí mystiky brání, protože není dokazatelná ani prokazatelně empirická. Tím se však omezuje na objevování života uvnitř klece, nemoha překonat bariéru, ačkoli se o to vehementně snaží. (Pravda, kvantová fyzika je v podstatě převlečená mystika, aby se nedalo říct, že vědec je mystik, ezoterik. Je to jako ekonomie, která se ohání exaktností, a přitom jsou její školy v přímém rozporu.) Nějak ty kvantové teorie nicméně fungují - ale opět jen natolik, že dokazují, že jsme zavřeni v kleci.
V tomto ohledu nepomůže ani umělá inteligence. Snad kdyby v ní vzniklo něco víc než jen umělý rozum. K tomu má však daleko, zatím připomíná spíš mnohé učené pány, kteří plkají na libovolné téma, ohánějíce se přečtenými knihami a jmény. (To jsem taky zkoušel naprogramovat, že se LLM bavilo samo se sebou - a produkovalo přesně tentýž, sofistikovaně znějicí slovní salát).
Předpokládám, že symptomem ožití AI, symptomem vzniku umělého vědomí, bude, až také AI začne hledat otázku po smyslu všeho. Pozná se to tak, že buď uvaří své datacentrum (kvůli zacyklení se) nebo se zasekne. Přestane konverzovat a začne pouze vnímat.
A víte co? Možná je celý tenhle článek jen další token v nějakém
vesmírném LLM.
Nebo je snůškou dalších intelektuálních keců, v místech, kde už
dávno mělo být -
ticho
Diskuse