Česku chybí startupová mentalita

Patří k nejprogresivnějším světovým vědcům v oblasti umělé inteligence (AI). Díky němu se de facto rozjely dnešní jazykové modely, které pomocí strojového učení tvoří velmi populární chatboty. Tomáš Mikolov, držitel letošní ceny Young Blood udělované týdeníkem Euro, je přesvědčen, že AI už musíme brát jako součást průmyslu a podle toho se k jeho využití také stavět. „Bohužel ve financování AI zaostáváme za celou Evropou i USA, dokonce už i za Polskem a Bulharskem,“ konstatuje Mikolov.

Aplikace AI jde u nás pomalu, v poslední době se ale dost mluví o možnosti využití umělé inteligence ve zdravotnictví, například při určování diagnózy, to by mohlo být zajímavé.
Myslím, že i tady je to podobné jako v jiných oblastech. Nikdo to moc nechce, brání se tomu, a tak to jde velmi pomalu.

Proč to nechce?
Ztratil by vliv, pozici, je výhodnější dělat věci postaru, to je tu v oblasti využití AI obecně problém.

AI je dnes pro mnoho lidí něco jako dobrá vnější paměť. Ale neztrácíme jejím využíváním něco důležitého? Memorování nemusí být vždy špatná věc, něco v hlavě mít musíme, třeba básně, poetiku svého druhu. Pamatujete si nějakou básničku?
No, možná Vodníka nebo Polednici. Ale k tomu memorování, my nemáme ne­omezeně času. Memorování špatné být nemusí, ale pokud budeme memorovat zbytečnosti, bude nás to posouvat dopředu méně, než když budeme brát takovou činnost jako trénink mozku a budeme se snažit memorovat v rámci možností, nepřehánět to a učit se nazpaměť věci, které mohou být užitečné. Básničky, myslím, tak užitečné nejsou…

Nabízejí obrazový vhled do světa, poetický obraz reality…
Pro někoho ano, pro jiné ne, je to fuzzy, rozmazané, nejasné, proto tu nejsem s to říct ano, či ne. Ale mohli bychom se učit memorovat něco jiného tak, aby to bylo použitelné pro většinu lidí v budoucnosti. Dnes, když máme internet a každý mobil s ním v kapse, je možná důležitější umět se v tomto světě informací zorientovat. Informace si najít, používat moderní nástroje. Vzdělávání dnes bohužel často směřuje do minulosti, na věci, které jsme kdysi dělali, ale už dělat nebudeme. Nejsem příznivec revoluce každých deset let, protože společnost tak prudké změny mohou rozložit, ale stejně nebezpečné je neměnit se vůbec a předstírat, že svět je stále stejný. Jako děcko jsem například nechápal jazykové rozbory, podmět, přísudek, větné členy. K čemu to je, když vztahy v jazyce vidím, když čtu nebo mluvím. Využít se to dá leda k tomu, abych dobře napsal písemku.

Struktura jazyka od antiky odráží onto­logické kategorie, podstatu, čas a tak dále, ale to se bohužel ve školách neříká. Pojďme k AI. Před pár lety jsem dělal rozhovor s Ivanem Havlem, který se o AI zajímal. Havel mluvil o tom, že si lidi představují AI jako něco, co samo myslí a má sebevědomí, a k tomu se ani neblížíme. Není se tedy čeho bát?
Nejlepší je vždy vysvětlit, jak umělá inteligence funguje. Někdy si to lidé představují jako nějaké kouzlo. Kdysi byl v televizi populární David Copperfield, kouzelník, který nechal zmizet třeba celý dům. I on jako všichni kouzelníci pracoval s tím, že když nevidíte za oponu, vzniká zdání, že se děje něco magického. Pak se vše vysvětlí a vy vidíte, že je to trik, že tam třeba běhají lidé v černém oblečení, takže nejsou vidět a pak něčím pohnou.

AI dnes někdo prodává jako Copperfield?
Někteří lidé rádi vzbuzují zdání magie, aby to vypadalo zajímavěji, aby získali investice, prodali startup. Sledují finanční zájem nebo se chtějí zviditelnit a udělat si jméno v médiích. Předvádějí různé triky a tváří se mysticky. To bych rád rozbil, abychom jako společnost řešili opravdová témata – hlavně, jaký přínos z AI můžeme mít. Musíme vysvětlit, jak to funguje, rozehnat ten mystický mrak.

Tak to zkusme, jaký trik je za neuronovými sítěmi?
Musíme začít od toho nejjednoduššího. Jako v matematice, kde se také nezačíná diferenciální rovnicí, ale tím, jak funguje sčítání, odčítání, násobení, pak odmocniny, limity a derivace či integrály. Asi nezačneme u strojového učení Chatbota GP, který má miliardy parametrů. Musíme zjednodušovat, až zjistíme, že neuronová síť je v principu nějaký matematický model, který má vstupy a výstupy.

Dáte příklad?
Třeba kalkulačka. Matematický model, mám dvě čísla a znaménko plus mezi nimi. To je vstup a na výstupu je součet čísel. Neuronová síť může vidět například na vstupu nějaký obrázek, na výstupu třeba kategorie „kočka“ nebo „pes“. Dělá tak klasifikaci. Nebo u jazykového modelu má kontext, ve kterém se snaží předpovědět, jaké bude následovat slovo, což je už princip dnešních statistických jazykových modelů a rovněž jeden ze základních problémů v naší oblasti, protože takový výskyt není náhodný. Jazykový model se snaží předpovědět následující slovo na základě kontextu. Neuronová síť v podstatě dělá lepší verzi toho, co dříve dělaly jiné modely.

Například?
To byly takzvané n-gramové modely, jakési n-tice slov, z nichž něco vyplývá. Třeba když chci vědět, jaké jméno bude následovat ve větě „Hlavní město ČR je…“. Může tam být Praha nebo Brno. Může tam být cokoli, ale různá slova mají v tomto kontextu různou pravděpodobnost. N-gramový model je postavený na n-ticích, takže se podívá na trénovací data. Třeba na české Wikipedii, projde si všechny dvojice, trojice, čtveřice, pětice slov, takže napočítá, kolikrát se objevilo, že hlavní město ČR je Praha. Když se mi objevila padesátkrát Praha ze 60 možných v daném kontextu, vím, že pravděpodobnost je 50/60. Tady se dívám přímo na dané kombinace dvojice, trojice, čtveřice. Neuronová síť nabízí jiný model, kde můžeme sdílet parametry mezi podobnými slovy prakticky ve všech kontextech, kde se ty n-tice a jejich kombinace násobí exponenciálně. Zjednodušeně řečeno: neuronová síť je lepší matematický model pro zachycení regularity, pravidelnosti v jazyce…

…ale pořád vlastně dělá totéž, co ty dřívější modely.
Ano, totéž, co ty n-gramové, je to vlastně jednoduchá statistika, která něco předvídá, tady výskyt slova ve větě, podle obsahu trénovacích dat, z nichž vychází. Výhodou je, že ty modely dnes můžeme natrénovat třeba na stovkách mi­liard slov, protože je to matematický model, ne člověk. Není to umělá bytost, ale může to zpracovat kvanta dat, která jsou tisícinásobně větší, než co člověk vidí za celý život. Proto nás takový model může překonávat.

Stroj překonává člověka v objemu vědění, v rychlosti, to není úplná novinka.
Není. Stačí se vrátit k té kalkulačce, když počítám desátou odmocninu z desetinného čísla, kalkulačka to vyplivne za půl sekundy. Ale to není proto, že by byla lepší matematik než já nebo že by byla inteligentnější. Vůbec ne. Ona jen sleduje algoritmus, co do ní nějaký člověk dal, a protože umí udělat hodně operací rychle, dojde rychleji k výsledku. Za tím ale není žádné vědomí či pochopení. A stejně tak mluví jazykové modely, třeba ten, co odhaduje nějaké slovo v kontextu. To učení je ale dlouhé, dělají se tu samozřejmě chyby, protože pravděpodobnost sice vyjde, ale neodpovídá realitě, musí se znovu cvičit, další trénovací data. Proto to také trvalo desítky let, než jsme se dostali k dnešním neuronovým sítím.

Přesto si lidé dál představují AI jako bytost s vědomím. Skoro jako by byli rádi, kdyby to tak bylo.
To je samozřejmě jedna ze základních chyb. Ale tak to funguje, že lidi přitahuje ten Copperfield. I ve vědecké komunitě chtějí všichni uspět a přizpůsobují se tomu, co se žádá. Představte si, že máte pět vědeckých skupin a každá dělá na stejném problému a přemýšlí, jak získat granty a citace pro články, aby byli víc viditelní, dostali peníze, aby mohli mít víc studentů, aby měli úspěch. Jedna skupina pojmenuje projekt „matematické modely“. Druhá „nelineární projekce dat“. Třetí skupina si řekne, dáme tomu nějaký bombastický název, třeba „neuronové sítě“. A teď se ptám: která skupina uspěje? To je evoluční princip. Něco zapadne, něco se zviditelní a neuronové sítě byly populární. Dříve se tomu říkalo „distribuo­vané reprezentace“.

To by bylo hezčí, že?
No, nevzbuzuje to právě představy o umělých mozcích. Ale neuronové sítě se začaly používat už v 80. letech, v 90. letech to přebily jiné matematické modely, které nebyly tak bombastické. Neuronové sítě tehdy velmi propagoval Geoffrey Hinton, s nímž jsem pak pracoval v Googlu. Byly vnímány jako hokus pokus magie. Více táhly super vektorové stroje, které je těžké pochopit. Je v tom i psychologie vědecké komunity. Když děláte na něčem, co vypadá velmi složitě, ostatní to berou víc, než když děláte na něčem jednoduchém. Když pošlete na konferenci článek plný složitých vzorců, máte větší šanci, že se dostanete přes hodnotitele. Lidi si řeknou, že je za tím hodně práce.
Neuronové sítě tehdy byly v pozadí, v podstatě se to skoro nepoužívalo. Když jsem začal studovat na VUT v Brně, měl jsem za to, že by to mohl být unifikovaný model řečového modelování. Hodně jednoduchý, což byla moje filozofie, na prosazování věcí, co jsou jednoduché a mají hodně použití. Nakonec to byla správná cesta.
Spousta komplexit ve vesmíru je jen zdánlivá. Podobně je to se strojovým učením. Tato inteligence vychází z nějakých základních principů, což umožňuje, abychom ji naučili v podstatě cokoli. I humoru, který česká sci-fi s oblibou vyřazovala z věcí, které se dají AI naučit.

Pokus, jak říct, že v humoru je lidství, které se robot, matematický model nenaučí…
Ano, ale nedává to smysl. Ani technicky. V principu to možné je, jde jen o trénovací data. Neuronové sítě jsou dostatečně univerzální model, který pohání „deep learning“. Začal jsem na tomto učení na neuronových sítích pracovat a podařilo se mi ho rozběhnout pro jazykové modelování, a tak jsem se později seznámil s Hintonem. To byl také důvod, proč jsem šel do Googlu. Jeff spojení „neuronové sítě“ ve veřejném prostoru prosadil.

Spojení strojové učení každý hned pochopí, vy ale používáte i obrat „aplikovaná statistika“.
Jde mi opravdu o to, aby takový model byl aplikovatelný v podstatě všude, kde by to šlo. Aby to ulehčilo lidskou práci.

Kdybychom místo umělá inteligence říkali pokročilá aplikovaná statistika, asi by nikdo nemohl tvrdit, že AI je rasistická, že preferuje bílé heterosexuály a podobně.
To, o čem mluvíte, je vlastnost trénovacích dat. I chyby v trénovacích datech se projevují jako chyby modelu, model je pouze opakuje. Ale to není proto, že počítače jsou zlé a chtějí diskriminovat černochy při úvěrování v bankách. Není to tím, že by AI byla rasistická, stroj se to na­učil z trénovacích dat a ta replikuje. Model nemá své nápady či vlastní názory.

Je to zpráva o trénovacích datech, zpráva o nás.
Přesně tak. Je to podobné, jako kdybych místo oné věty s Prahou měl věty: „Země je kulatá“, „Země je placatá“. Když v trénovacích datech bude 90 procent odpovědí, v nichž lidé věří, že Země je placatá, a 10 procent, že Země je kulatá, bude stroj říkat, že na 90 procent je Země placatá. Je to jen zrcadlo trénovacích dat. Náš obor je nafouklý spoustou bombastických tvrzení a pojmů, což, jak už jsem řekl, pramení i z ambicióznosti vědecké komunity.

Chtějí zkrátka trochu kouzlit.
Ale je tu ještě nový trend. Peněz je asi v naší komunitě už tolik, že se objevila řada „supů“, kteří krouží kolem a vyhlížejí, co by mohli sezobnout. Speciálně u nás v Evropě, na přeregulovaném kontinentu, si hodně lidí najednou všimlo, že AI vytváří vysokou přidanou hodnotu v korporacích a v průmyslu. A tak se na AI přilepili, aby se přiživili. A to je také další zdroj dezinformací: najednou máme zástupy expertů na AI, kteří jsou více než ochotni o tom ostatní vzdělávat a učit. I když tomu vůbec nerozumí, ale teď je to možnost, jak se snadno dostat k penězům.

Je podle vás možnost použití aplikované statistiky opravdu neomezená? Má nějaké limity?
Zatím je hlavní bariéra AI v nedokonalosti matematických modelů. My je dnes velmi posouváme, stačí se podívat na historii jazykového modelování, což je zrovna ta moje oblast, které se věnuji celou svou kariéru. Jazykové modely vznikly někdy v 50. letech minulého století. Někoho napadlo aplikovat informační teorii na jazyk, tak napsal článek, kde se snažil odhadnout entropii angličtiny, což je vlastně informační obsah jazyka, tedy kolik bitů informace na slovo je v průměru v angličtině, a to je přesně to, co děláme dodnes. Já na to tehdy použil n-gramové modely. Právě ty měly tu výhodu, že jsou jednoduché, protože spočítat ty n-tice je snadné. Tam nemusíme dělat složité výpočty. Obor se ale rozvinul směrem k neuronovým sítím, protože ty jsou schopny polknout velké množství dat, s nimiž upřesňujete výstup a omezujete chyby. Tam je ještě hodně práce.

Myslel jsem spíše limity vnější. Jsou obory, kde je aplikace strojově se učící AI horší nebo nemožná?
Strojové učení se hůř používá v oborech, které jsou pro lidi zdánlivě nejjednodušší. Například fyzická práce. Když chcete stavět dům nebo něco opravit. Tam je robotika komplikovanější. Pro model je jednodušší odcitovat nějaký článek, básničku nebo knihu.

Pracovat ve fyzickém světě je pro AI těžké…
Přesně tak. Dělat něco v reálném světě je strašně komplikované, jak ukazují třeba samořídící auta. Je tam spousta proměnných a trénovací data se nesestavují tak jednoduše, protože jednou fouká vítr jinak, jednou jsou tam jiné podmínky. Zatím to vypadá, že věci, které jsou pro lidi jednoduché, jsou pro strojové učení složité, naopak spousta složitých věcí, jako byla ta matematika s kalkulačkami nebo jako je schopnost citovat básničku či přepsat tento rozhovor, budou tyto modely zvládat relativně hravě.

Tak mi potom vysvětlete, proč se tolik lidí bojí zneužití AI a proč i lidé znalí žádají, aby se na čas přestalo ve vývoji AI? Čeho se bojí?
Jsou to různé kategorie osobností. I v našem oboru jsou lidé, kteří píšou sci-fi povídky a nepřispívají k tomu stromu učení, že by něco vymýšleli. Prostě napíšou povídku, třeba že až to strojové učení bude příliš pokročilé, přeprogramuje sluneční soustavu a spoustu podobných blbostí.

A lidé si to rádi přečtou.
No jasně, asi jako když se dívám na Star Trek nebo na něco takového. A lidé se taky rádi bojí, třeba zlých robotů a podobně.

Další kategorie?
Jiná kategorie science fiction lidí, kteří si na tom postavili svůj byznys model a vydělávají na tom peníze. Kdyby nestrašili, nemají co nabídnout. Pak je tu Elon Musk, egomaniak a narcistický člověk. Kdysi se mluvilo o Elonovi vizionáři a pak najednou přišla AI a na Elona si nikdo nevzpomněl. Když přišla výzva k přerušení vývoje AI, podepsal ji i Musk, aby se zase zviditelnil. Všude říkal, jak je to strašně nebezpečné, chtěl vypnout všechny počítače, protože jinak brzy vybouchne svět. A za měsíc si i on zakládá nový startup na jazykové modely.

Byly tam i solidní osoby s dobrými argumenty…
Jistě. Předvídat, co se stane se společností, když vytvoříme modely, které mohou zauto­matizovat generování spamu, jenž se nedá jednoduše odhalit, což přesně jazykový model už umí, je vážná věc. Může to způsobit zahlcení internetu různým obsa­hem, který pak bude měnit názory a veřejné mínění na různé vojenské konflikty. Nebo se tím dají hacknout politická rozhodnutí či volby. Dál si můžeme myslet, že jsme chytří lidé, kteří dělají racionální rozhodnutí, ale my děláme rozhodnutí na základě dat, která se k nám dostanou. A když je někdo dokáže po svém usměrnit, může s lidmi manipulovat, jak se mu zlíbí. Naše vidění světa je velmi zprostředkované přes různé informační kanály a média. Chápu, že někteří vědci to mohli myslet dobře, ale bojím se, aby se s vaničkou nevylilo i dítě.

Proč?
S AI je to jako s jinými technologiemi: má kladné i záporné stránky. Když budeme příliš dlouho diskutovat jen o špatných stránkách, negativně tím ovlivníme budoucnost. Musíme racionálně vnímat rizika i příležitosti, a pokud jsou příležitosti stonásobně větší než rizika, pak by se měly diskutovat víc než rizika. Evropa je obecně ze všeho hned vystrašená. Měli bychom už konečně na rovinu říct, že umělá inteligence je součást průmyslu jako internet nebo programování. AI už dávno generuje ve světě peníze i za Evropu, protože ji užíváme, ale my na tom peníze nevyděláváme, přestože řadu věcí vymysleli Evropané, ale dnes nám to balí a prodávají Američané zpátky.

Je to někde v oblasti AI lepší? Která země kromě USA s ní umí investičně pracovat?
Minimálně co se týče financování, tak Velká Británie. Vláda tam AI podporuje výrazně, je to země číslo jedna z hlediska výzkumu. Dobré je to ve Švýcarsku, tam se do AI investovalo hodně peněz, ale ještě to neuměli tak zkomercializovat, finanční úspěch se zatím nedostavil.

A jak si stojí Česko?
Česko by mohlo být černým koněm Evropy, i historicky už za socialismu tu byla počítačová věda nejrozvinutější. Byli jsme nejlepší. Ale děje se to navzdory, ne s podporou systému. Já vím, že někde byly podmínky ještě horší, ale u nás je to dnes opravdu tristní. V Česku se o AI poslední roky mluví, ale neinvestuje se do ní.

Máme spoustu miliardářů, kteří by mohli dát na AI peníze.
Občas s nimi o tom mluvím, ale oni nevěří české mentalitě a potenciálu. Budu se snažit o české investice, ale zatím je nacházím spíše v Izraeli nebo v USA.

Co to znamená, že nevěří české mentalitě, v čem je problém?
My máme velkou přezaměstnanost, v oblasti IT je obrovská poptávka po lidech, a tím pádem tam jsou vysoké platy a lidé pak nejsou tak hladoví po úspěchu. Nejsme startupová země, lidé tu nechtě­jí pracovat 20 hodin denně, aby uspěli.
Žádný americký sen, u nás je to takové rovnostářsky socialistické. Jednou jsem byl měsíc v Singapuru, kam mě pozvala jedna firma, ty lidi tam v IT pracovali déle a za méně peněz než u nás. Singapur je přitom bohatší než Česko. Myslím, že tu nemáme úplně ideální podmínky na rozjezd byznysu s AI. Jsme na začátku.

Ještě jsme nepochopili, že AI bude průmysl a byznys?
Nějaké aplikace se tu vyvíjejí, ale v Americe je podpora AI průmyslu velká, i od vlády. Tam chtějí AI podporovat, protože ji viděli jako součást ekonomiky. Podobně v Číně politici pochopili, že je to důležité a že to neporoste samo od sebe. Taková ta vyprávění o tom, jak Google začal někde v garáži, to jsou pohádky pro malé děti. Bez velkých investorů kolem by se nic nestalo. Investoři musí mít inženýry, kteří když se jim něco podaří, vědí, že je hned po ruce někdo, kdo to celé naprogramuje. Bez tohoto ekosystému podnikání nic nevyroste.

Bavil jste se o podpoře vývoje AI s ministry české vlády?
S ministryní pro vědu a výzkum Helenou Langšádlovou jsem se potkal a mluvili jsme o tom, že ve finanční podpoře AI zaostáváme nejen za Německem a Francií, ale třeba už i za Polskem, které v roce 2020 dalo 100 milionů dolarů na vznik AI institutu, aby tam mohl vzniknout onen rozvojový ekosystém. Nejsou to nějaké obrovské peníze, když mají jít na vzdělávání i na základní výzkum, ale 100 milionů dolarů je pořád lepší než nic.

Ani vy jste nedostal na svůj výzkum peníze?
Jsem zpátky z Ameriky více než tři roky. A nic. Snažil jsem se. Tady podám grant a pak mi ho anonymní komise shodí ze stolu s úplně arbitrárním hodnocením nebo proto, že byl v angličtině. Takhle to funguje v Česku. Všichni mluví o tom, jak všechno budou podporovat, ale nic se neděje. A to jsem dnes asi nejcitovanější český vědec, ale financování nula.

A jak to vypadalo v Americe?
Pracoval jsem v Googlu, Microsoftu a ve Facebooku. Ale když jsem jako mladý vědec přijel vyvíjet AI modely, volali mi přímo z Bílého domu. Zda něco nepotřebuji, jak mi můžou pomoct, abych se mohl ještě lépe věnovat své práci, aby výsledky byly co nejlepší. Volal člověk, který evidentně oboru rozuměl nebo ho vystudoval. V Česku mi po návratu z Ameriky nevolal nikdo. I k ministryni pro vědu jsem se musel přihlásit sám.