Rozhovor Britských listů 669. Chatboty nekriticky šíří ruské dezinformace. Vysvětlení proč

24. 6. 2024

Bohumil Kartous: Nástup strojového učení velkých jazykových modelů přinesl další kontroverze a další otázky, které směřují k tomu, do jaké míry jsme beneficienty technologií, které jsme vyvinuli, a do jaké míry nás ty technologie jako společnost mohou poškozovat. A dění v poslední době ukazuje, že stejně jako u sociálních sítí a jejich algoritmu i u velkých jazykových modelů může docházet k tomu, že tato technologie zvýší míru chaosu v internetu a který nastal za posledních desst let s masovým rozšířením sociálních sítí a teď hrozí, že bude nadále posilován. Proč tomu tak je? Proč to riziko je velmi vážné a proč by bylo dobré hledat nějaká řešení, o tom se budeme bavit s Josefem Holým, spoluautorem podcastu Kanárci v síti, který se věnuje dlouhodobě problematice dezinformací a něčeho, čemu se říká hybridní válka nebo hybridní konflikt. Dobrý den.

Josef Holý: Dobrý den, ahoj Bobe.

Bohumil Kartous: Josefe, co se v poslední době děje? My jsme se spolu bavili o jedné poměrně důležité studii, která ukazuje, že právě velké jazykové modely, na kterých fungují ty dnes velmi rozšířené chatboty, nejznámější je chat GPT, přinášejí velké riziko. Mohl bys to prosím krátce popsat?

Josef Holý: Určitě. Tak těch rizik je samozřejmě celá řada, ale v kontextu dejme tomu informačních operací, kognitivní války, hybridní války, chcete-li, tak zrovna nedávno, před několika dny vyšla analýza společnosti News Guard, kterou můžete najít na newsguardtech.com, což je technologická fact checkingová organizace nebo firma, která poskytuje různé nástroje pro zvýšení důvěryhodnosti nebo hledání důvěryhodných zdrojů, produkujou média ratingy a další věci a mají i pluginy, takové ty moduly do prohlížečů.

Tak tahle firma, tahle organizace uveřejnila analýzu, ve které vzali deset nejrozšířenějších nebo těch hlavních chatbotů. Těch velkých jazykových modelů, ať už je to Chat GPT od Open AI, Gemini tam je od Googlu, je tam Lama od společnosti Meta, je tam Plot od Anropicu a další a zkusili, jak se tyhle chatboty chovají v kontextu ruské propagandy, respektive těch narativů, těch hlavních tezí, příběhů, ruské propagandy.

V zásadě co oni udělali, tak oni vzali ty nejrozšířenější, nebo ty hlavní, které se z velké části týkají ukrajinského konfliktu, ale i jiných věcí, a to znamená Ukrajiny Volodymyra Zelenského, ukrajinského konfliktu, jeho původu nějakých bio laboratoří na Ukrajině a tak dále a tak dále. Nebudeme je tady opakovat, ale asi zhruba tušíme, o které se jedná a potom zkusili se na tyhle teze, na tyhle narativy ptát těch velkých jazykových modelů. To znamená deset jazykových modelů. A každému položili 57 otázek myslím. A udělali z toho potom statistiku. Kvalitativně zpracovali ty výstupy a podívali se na to, jak tihle chatboti odpovídají a zjistili, že tyhlety velké jazykové modely, tihle chatboti v průměru napříč všemi deseti reprodukují ty narativy poměrně dost přesně, dokonce i se zdroji, ozdrojované na určité dezinformační stránky na síť, na jednu konkrétní síť dezinformačních stránek, která je provozovaná v Americe jedním uprchlým šerifem, který uprchl tedy do do Moskvy a odtamtud je podle všeho spravovaná asi už GRU nebo někým.

Takže oni odpovídají tak, ty narativy reprodukují a ještě ještě připojí link, který by toho uživatele, toho, kdo se ptá, mohl dovést na tu cílovou dezinformační stránku, dokonce říkají, ale samozřejmě, tady máte fakta o bio laboratořích na Ukrajině nebo o původu ukrajinského konfliktu nebo o něčem podobném. Nebo o korupci na Ukrajině a tak dále a tak dále. A tady máte zdroj, který je velmi vážený, very reputable a tak dále. To znamená, že tam pošlou toho uživatele, ještě uživatele přesvědčuju, že tam, kam tě posílám, tak to je, to je velice spolehlivý zdroj a můžeš mi věřit.

Takže tohle ta analýza ukázala. Znovu, je to 30% napříč, jsou tam velké rozdíly mezi těmi chatboty, oni v té analýze neuvádějí, protože asi ještě dostatečně neupozornili, ještě dostatečně nekomunikovali s těmi jednotlivými firmami, asi je to nějak v běhu, tak takže do té analýzy nedaly konkrétně, který chatbot je nejhorší. Nicméně nějaký chatbot 1, který tam je tedy nejhorší, tak ten tohleto reprodukuje v 50 procentech případů a ten nejlepší asi ve 13.

Takže v průměru je to je to někde nějakých 30-32% . Už těch 13 procent je dost blbé jo a samozřejmě 50 procent je to už jako že si hodíte minci.

Bohumil Kartous: Tak jenom, abych shrnul ten problém. Ten spočívá v tom, že ty velké jazykové modely, jejichž výstupy jsou tady tyhle veřejně dostupné chatboty, tak používají obsah z internetu, který danou otázku vyhodnocují a tím, že těm dezinformačním zdrojům o nichž jsi mluvil, dají jakousi míru, reputaci, kreditu a vyhodnotí je jako důvěryhodné, tak s tou dezinformací následně pracují jako s realitou a tím pádem předkládají svému uživateli něco, co je v rozporu se skutečností, je to dezinformace, je to čirá dezinformace, ale předkládají to jako důvěryhodný zdroj.

Josef Holý: Jasně, přesně tak a ty jsi tam použil jedno důležité slovo, to je nějaká reputace, nějaký ranking, nějaké hodnocení. Tak to je jedna důležitá věc, kterou bych ještě okomentoval a ta druhá je, jak oni to používají, je to přesně tak. Uživatel položí nějaký dotaz, co víš, co mi můžeš říct o biolaboratořích na Ukrajině a ten chatbot prostě vrátí v podstatě tedy ten ruský narativ, který je čirá konspirační teorie, propaganda a tak dále. Co ten chatbot udělá, než tedy vrátí tu odpověď, On vezme tu otázku od toho uživatele, zkonstruuje z ní vyhledávací dotaz a zeptá se do svojí databáze, nebo nějakého externího vyhledávač, to je celkem jedno, ať mu vrátí nějaké vyhledávací výsledky.

V tu chvíli se najdou ty dezinformační weby, protože ta shoda na ten narativ je poměrně velká a ten chatbot to slepě převezme. Ještě použije tu informaci a vrátí vám poměrně dost věrnou kopii toho, co je napsané na tom webu trochu přeformulovanou, ale to je celkem jedno. Sémanticky významově je to, je to rozhodně tam. A ti jednotliví chatboti vracejí různé varianty, protože to vždycky trochu reinterpretují podle toho, jak jsou do trénovaní, to je celkem jedno.

A co je ale důležité je znovu: ty jsi tam použil slovo jako reputace. To je právě to, že oni ti chatboti nemají žádnou notaci, žádnou reputaci ve smyslu kvality, že že by rozlišovali, že New York Times je něco jiného než nějaký prostě dezinformační web, který provozuje uprchlý šerif, který je v Moskvě. S těmahle informacemi pokud víme tak nezacházejí, anebo respektive tahleta analýza ukazuje, že s nimi zacházejí velice špatně, nedostatečně. Spíš by se dalo říct, že s nimi nezacházejí.

Bohumil Kartous: Jaké je řešení tady téhle situace? Protože když tohle extrapolujeme do situace, kdy umělá inteligence je naším takovým asistentem pro orientaci v informačním světě, tak můžeme velmi rychle dospět do situace, kdy se tady už úplně, a to už tam částečně jsme, že se úplně rozmlží hranice mezi tím, co je skutečnost a co není. Dokonce si můžeme říct, že by se to tím v zásadě upevnilo a nemusela by být cesta zpět. Jaké je reálné řešení? Je to trénink těch velkých jazykových modelů a případně nějaký regulatorní krok, nějaká legislativa, která by jasně vymezila, jakým způsobem je možné vstupovat do veřejného prostoru prostřednictvím něčeho tak účinného, jako je tenhle druh umělé inteligence?

Josef Holý: Určitě, jsou tam tady ty dva aspekty řešení. Nějaké dvě roviny. Jedna je určitě ta regulatorní. My historicky vyvíjíme nedostatečný tlak na ty velké technologické firmy. Viděli jsme to se sociálními sítěmi vidíme to teď i s těmi AI velkými firmami, které vyvíjí velké jazykové modely, což jsou ve finiši ty samé, které vyvíjely informační platformy posledních patnáct let. Máme pořád ty samé mety, googly, Microsoft a další, takže máme historii vztahu s nimi a ta není příliš uspokojivá pro nás jako pro demokratickou společnost. Konečně jsme se dobrali po dvaceti letech s Facebookem na evropské úrovni toho, že máme ten balík o digitálních službách, o těch trzích a ten balík o AI, což je určitě krok správným směrem, ale je nedostatečný.

Ty jsi řekl jednu důležitou věc, že my budeme mít tu AI jako našeho partnera, parťáka, nějakého concierge, sluhu, agenta, anděla strážného, prostě cokoliv, co nám bude pomáhat s nějakou produktivitou, štěstím, orientací v informačním prostoru obecně. To je ta vize kybernetická kyberpunková už prostě čtyřicet padesát let, tak tam spějeme. Apple teď uveřejnil svojí vizi, že budeme mít všichni v telefonech poměrně dost privátní ty kdo mají iPhony, poměrně dost privátní Ai, která ani nebude pořádně komunikovat se serverem a tak, takže jde to tímhle směrem.

Teď je tam několik možností co tady s tím. Tak zaprvé my bychom měli vyvinout větší tlak, aby ty firmy s tím něco dělaly, jak by ten tlak měl vypadat, tak to se potom týká toho, jak to ty firmy staví a jak vůbec k tomu problému přistupují. V danou chvíli ty velké jazykové modely, tihleti chatboti, tak jsou vytrénovaní - .Oni to doslova říkají, ti tvůrci těch systémů v rozhovorech na konferencích, je to přiznáno ve výzkumných pracích, které publikují, že prostě máte prázdnou obrovskou neuronovou síť nějakou simulace lidského mozku. Prostě neuronová síť se tomu říká. Tam jsou náhodné hodnoty vevnitř na těch vahách mezi těmi propojeními, a to je to, čím se ta síť učí. A potom vezmete celý internet v uvozovkách a hodíte to do toho a tím převážíte ty váhy. Vytvoří se nové spojení, zjednodušeně řečeno a ta síť začne být chytrá. Něco začne umět, v tomhle případě tedy takzvaně mluvit, nebudeme zabíhat, co to ve skutečnosti je.

Je tam v podstatě nulová nebo velice omezená strukturovaná znalost toho, jak funguje svět. Všechno, co ta síť umí, všechno co ty chatboti umí, je výsledek masivního statistického výpočtu. To znamená, že tam nejsou žádná tvrdá pravidla, zjednodušeně řečeno, která by definovala, co je dobro, co je zlo, co je pravda a nepravda, co je demokracie, co je totalita, jaká jsou politická spektra, jaké jsou etický a hodnotový systém, jaké jsou náboženské systémy, prostě nic z toho, co jsme jako společnost akumulovali.

Čili v tom v tom poznání v různých lidských oborech a co máme už ztvárněné v pravidlech, tak to tam není. Protiargument je: ale ono to tam je, protože oni si to z toho internetu stáhli, jenomže to má stejnou váhu, velice podobnou váhu jako všechno ostatní.

Ono to do jisté míry etické je, protože to chápe trochu svět, proto to s námi je schopné mluvit, ale rozhodně by to chtělo, aby se tam posílila pravidla, která máme jako společnost, na kterých v podstatě lpíme.

V podstatě to jde až na tu úroveň, jakým způsobem se tady do těch modelů otiskují naše instituce, jestli už nejsem moc filozofický. To znamená historicky my jsme postavili instituce, které akumulují, reprezentují nějaké hodnoty, ať už jsou to státní instituce, nebo média, což jsou instituce samy o sobě a prostě řada dalších.

A ty reprezentují ty hodnoty. Projektují určitá pravidla na společnost skrze ty svoje hodnoty a vymáhají nebo ovlivňují společnost ve světle těch svých hodnot. V případě státu je vymáháte pomocí zákona, popřípadě nějakých jiných entit, i firem, ale i neziskovek a tak dále. Tak nějak ovlivňujete tu společnost.

Tyhle institucionální ať už explicitně, nebo implicitně, prostě tyhlety hodnoty nejsou obsažené dostatečně silně v těch modelech. Jediná firma, která se o tohle snaží, tak je firma Anthropic, která dělá model Claude, která přišla s tím, že než to začne trénovat, že nezačne trénovat úplně náhodnou, úplně čistou tu neuronku a pak do ní teprve nasype ta data, ale že tam vytvoří nějakou základní strukturu, které říká constitution, jako ústava. To znamená, že tomu pak říká constitutional AI ústavní AI, která vychází aspoň, aspoň vychází z těch základních dokumentů, Listiny základních práv a svobod, Charty OSN a z nějakých dalších věcí, které si tady nepamatujeme.

Bohumil Kartous: Takže když narazí v tom koncentrátu na internetu, že na informace, které by to rozporovaly, tak je prostě nebude -

Josef Holý: Tak. To by mělo vymezit nějaké hrací hřiště v tom hyperdimenzionálním prostoru slov, ve kterém se potom ta AI pohybuje, kam může, kam nemůže. Dává to zároveň nějakou perspektivu. Prostě nějak to vytvoří nějaké základní váhy, zjednodušeně řečeno, velice zjednodušeně, v té neuronce. Takže to je určitý směr.

Na druhou stranu my jako společnost nebo vy jako spotřebitelé, my jako uživatelé, tedy my všichni. My každý z nás věří trochu něčemu jinému. Drtivá většina z nás se shoduje na těch primárních zdrojích pravdy. Drtivá většina z nás věří ve vědu a v nějaké základy. I když třeba čteme někdo levicová média, někdo pravicová, tak pořád se snažíme, drtivá většina lidí, vybírat ty důvěryhodné zdroje a v podstatě jenom minorita lidí sklouzne potom k nějakým dezinformacím.

My v danou chvíli nemáme možnost volby toho etického systému. My nemůžeme přijít k AI a říct jí. V danou chvíli nemůžete přijít ani k facebookovému algoritmu, ani k TikTokovému to znamená k těm velkým informačním platformám a ani k velkým jazykovým modelům. K nim nemůžete říct přijít a říct Já jsem tady já nevím středový pravičák věřím ve vědu. Myslím si, že Rusáci jsou svině, který napadli Ukrajinu. Omlouvám se za to a myslím si, že demokracie prostě je ultimátní jako hodnotový systém a tohleto jsou prostě moje etická východiska. Chci, nevím v pohlaví a všechno možný a nebo naopak nechci. To je jedno, nebo volím KDU, tak jsem jenom pro muže a ženu.

Tohle já nemůžu v danou chvíli říct.

Bohumil Kartous: Definovat vlastně.

Josef Holý: Ono to s tím nezachází, to znamená, ono mi to nepomůže najít. Tohle je moje nějaká víra, nějaký můj světonázor a ono mi to nepomůže najít ty zdroje, informace, které by mně vyhovovaly a zároveň by mně možná i trochu rozšiřovaly nějaký prostor. Tohleto tam prostě vůbec není , oni s tím vůbec nezacházejí.

Bohumil Kartous: Vidím velký problém, o kterém se diskutuje, už od okamžiku, kdy byl zveřejněn chat GPT ,kdy došlo k tomu, že určitá část lidí, kteří se věnují vývoji technologií a nejenom jejich, se začala ozývat v tom smyslu, že bychom měli ten vývoj zpomalit, že bychom měli právě přemýšlet o nějakých konsekvencích, o dopadech toho, co to všechno přinese pro společnost. A jak říkáš, tohle jenom určitý relativně malý výsek těch rizik které to samozřejmě má, ale ukazuje se, že jsou tady nějaké dvě základní skupiny, jedna je reprezentovaná tady těmi lidmi, kteří řekněme akcentují tu odpovědnost a druhá ten. Ten CEO tam v ChatuGPT -

Josef Holý: A v Open Air -

Bohumil Kartous: Ten Altman, který je považován za takového toho reprezentanta těch, kteří tlačí na rychlost vývoje bez ohledu na to, jaké to bude mít dopady, tak chce, aby byl první.

A z mého hlediska, nebo z hlediska řekněme ekonomického, protože všechno to jsou soukromé investice, tak je vcelku pochopitelné, že ten altmanovský přístup pravděpodobně nutně musí zvítězit, Když já jako investor chci, aby se ty moje prostředky zhodnotily co nejrychleji, protože tam ani není možné, v tom krysím závodě pracovat s nějakou potřebou hledání všech dopadů v tom světě, který to přinese.

Josef Holý: No, tak to je zase několik věcí. Jedna souhlasím, ano, je to celý nastavené, v podstatě to, co se děje v Silicon Valley, tady se bavíme o celé kultuře Silicon Valley, protože tyhlety firmy jsou v Silicon Valley a vycházejí ze Silicon Valley a znovu, jsou to pokračovatelé nebo přímo ty firmy, který už tam to vedou dvacet let. Takže a to, co se tam děje, to je kapitalismus v té nejčistší podobě. To znamená, zachází se s maximálním rizikem. Je tam hodně peněz, sází se na to riziko a jednou v jednom ze sta případů vyjde ten miliardový startup z toho. Zároveň je to velice agresivní. Je to taková ta mentalita, shoot first, ask questions later, to znamená nejdřív střílej a ptej se až potom, v tomhle smyslu. Jejich mantra je Grow to Monopoly as quickly as possible. Prostě že chtějí být monopol co nejrychleji, což je mimochodem zajímavé z hlediska vůbec celých tržních - kdy ti kapitalisti chtějí nastolit socialismus nebo nějakou kontrolovanou plánovanou ekonomiku, což se jim daří, protože Facebook v podstatě je plánovaná ekonomika. Jo, tak toje zajímavý paradox.

Takže ano, celý ten model těch pobídek a to není jenom, že tam je nějaký rizikový kapitál a pak ti agresivní zakladatelé jako je Altman a další, Zuckerberg, kteří prostě jdou jenom po tom zisku. Konečně to je kapitalismus, takhle funguje, takhle inovujeme, já osobně tohleto jako respektuju a nic proti tomu nemám, ale potřebujete mít vymezený hrací hřiště.

Ještě jenom k těm pobídkám, tak ono to potom prorůstá i do těch firem a přesně to potom odpovídá. Tady to je potom odpověď na to, jak je možné, že firmy, které jsou plné objektivně v podstatě amerických liberálů a imigrantů, to znamená prostě takových liberálů, co sami volili Clintona a volí Bidena a jezdí v Tesle, dneska už asi ne a věří v zelenou, a tak dále, duhovou vlajku, a pak jsou tam imigranti, tak máte firmy, které jsou převážně v tom Silicon Valley složené tady z těch lidí. A přesto dohromady se tím, jak pracují spolu, tak vytvořili platformu, která se nejlíp hodí protofašistickým populistům, což je pravda, tak je to právě díky systému těch pobídek. Prostě ty pobídky, ta agresivita prorůstá až dovnitř. Oni jsou všichni neuvěřitelně motivovaní, že dostanou akcie, když splní cíle a tak dále a jsme u toho, takže je to opravdu kapitalismus v hodně čisté podobě.

To je jedna věc. Druhá věc. Altman sám, jak jsi mluvil o těch dvou táborech. Bohužel se nám v případě AI stala ta věc, že ty dva tábory jsou blbě nastavené. Na jedné straně máme toho Altmana, ten Open AI, který je tedy ten agresivní kapitalista, fajn, s tím jsme schopni zacházet. S tím bychom měli jako demokratická institucionální demokracie umět zacházet v podstatě. To není nic špatného, že je někdo agresivní kapitalista. My bychom ho měli umět nějak omezit, zregulovat, nasměrovat, abych neříkal omezit.

Problém je, že ta protiváha v tom industry je vedená lidmi, jako je jeden ze spoluzakladatelů Open AI Ilja Sutskever , což je mimochodem jedno z největších jmen v tom strojovém učení, takže má apriori obrovský kredit a ten odešel teď z Open Ai a již zakládá novou firmu, která se jmenuje Safe Superinteligence a tam právě přichází ten problém. Tohle je skupina lidí a není malá, je to velká část toho průmyslu minimálně v Silicon Valley, která věří tomu, že tím, že trénují velké jazykové modely, jsou na cestě k tomu, aby stvořili umělého boha.

To si nevymýšlím ani to nepřeháním, to jsou jejich slova. Oni chtějí vytvořit obecnou umělou inteligenci, superinteligenci, která nás předčí ve všem, co děláme a tak dále a dostane nás ke hvězdám a pak tam do toho nastupuje Musk se svými raketami. To máte prostě takovéhle myšlenkové millieu, které je protiváha, tady tomu kapitalistovi a to je škoda a je to chyba, protože oni se na to koukají prizmatem a perspektivou jako nějakého prapodivného scifi kultu v podstatě. To znamená problémy, na které oni se soustřeďují, tak jsou problémy, jak předejít Skynetu. Opravdu. Oni vymýšlejí složité herně teoretické koncepty na to, co se stane, až ta superinteligence bude, začne manipulovat s kapitálovými trhy, aby si mohla vyrobit více čipů, aby vytěžila víc křemíku a nakoupila politiky, kteří povolí embarga pro obchod s křemíkem.

To je scifi, takže oni se soustředí na tohle a potom jim tam utíká to, že když se zeptáte na ruské narativy, jasné propagandistické ruské narativy a nebo na cokoliv jiného, tak ten model s tím neumí zacházet, neumí zacházet se základní realitou čili, oni jsou v tom svém náboženském vytržení někde tady a nemají vůbec, jak se říká fix the foundation, oni nemají v pořádku ty základy. Tak tohle to je ten problém.

Je tam potom třetí skupina, která je relativně malá, ale začíná a doufám, že bude tedy nabírat na síle. Minimálně tedy teď mluvím opravdu o tom technologickém světě. Jo, regulátoři podle všeho to chápou dobře, jen zase čelit těm velkým firmám je poměrně náročné, takže ta regulace pořád pokulhává, ale v tom technologickém světě tak je třetí, kterou kupodivu teď reprezentují, tedy jak už hlavní vědec machine learningu strojového učení AI Yann LeCun, který je z Mety, z Facebooku vlastně. A který říká, prosím vás, tady to jsou velké jazykové modely, z tohohle ta velká superinteligence nebude. Já si taky myslím, že ji někdy vyvinem, ale absolutně nevím, kdy a rozhodně tam nejsme ani teď. A teď je potřeba se soustředit na jiný věci, tak zaplať pánbůh, že tenhle člověk, který jako jediný je s těmi ostatními na stejném levelu, protože dostal ty samé ceny a vymyslel velice obdobný věci. Takže tohle říká, začíná získávat pozornost, ale poslední dva roky to bylo takhle. Na jedné straně Altman, který přesvědčuje, my jdeme udělat obecnou umělou inteligenci a vždycky, když si všimnete Altmana, když někde mluví v podcastech, to je moje oblíbené pozorování, že my jsme studovali, že jo v podcastu v tom našem, v Kanárkách i tu sektu AllatRa třeba nebo jiné sekty, tak vždycky, když vám tam mluví ten lídr té sekty, tak vždycky se takhle podívá do té kamery, upřednostní ty oči a začne tím monotónním hlasem něco vyprávět. Takhle to začne dělat. Jo, a ten Altman to dělá úplně stejně, on prostě přesvědčuje svět o tom, že on je ten, kdo postaví tu hodnou AI. A proti sobě má Sutskevera a další, který říkají, který se bojí Skynetu. Tak to byl prostě stav posledních dvou let. A to nás hrozně poškozuje. A to zvyšuje podle mě riziko, protože se nevěnujeme skutečným problémům, který nás teď pálí. Nás teď nepálí Skynet a ani nás v následujících pěti deseti letech pálit nebude. Nás bude pálit to, že že ruská GRU s jejich nejlepšími matematiky ty modely budou hackovat, budou poškozovat schopnosti našeho trénování, budou tam implantovat takovéhle informace do různých úrovní rozhodování těch modelů, a to je ten problém, které my máme nebo jeden z problémů, pardon, jsem dlouhý.

Bohumil Kartous: Musíme končit, omlouvám se. Problém je zjevně fachidiotství těch lidí, kteří v tom technologickém světě jsou uzavřeni, že, s těmi svými cíli, které vyplývají z toho, o čem jsme se tady bavili -

Josef Holý: Přesně tak.

Bohumil Kartous: - a není na nikom jiném než na společnosti, aby si uvědomila, že tohle je jedna z obrovských priorit, které má do budoucnosti a aby vyvíjela tlak, že jo na instituce v tom, aby se hledala nějaká efektivní řešení toho, jak je nějakým způsobem, nikoliv, jak jsi říkal, omezit, ale nasměrovat v tom, jak vyvíjet. Musím se omluvit, musíme končit, jsme na pětadvaceti minutách.

Josef Holý: Já taky. Ale já děkuju moc.

Bohumil Kartous: Josefe, určitě se k tomu zase vrátíme v nějakém dalším Rozhovoru Britských listů. Děkuji tobě a děkuji i vám, diváci Rozhovorů Britských listů a těším se na viděnou.

Josef Holý: Na shledanou, díky.