OpenAI a rozpolcené srdce Silicon Valley

Sam Altman, generální ředitel technologické společnosti OpenAI, se v průběhu roku stal symbolem nesouladu, který je skryt v samém jádru umělé inteligence. Proč?

Osmatřicetiletý podnikatel před dvanácti měsíci uvedl na trh umělou inteligencí „poháněného“ chatbota s názvem ChatGPT a na vlně euforie se ze Silicon Valley vydal na celosvětové turné, během něhož se setkával s hlavami států a propagoval možnosti nové technologie. Zároveň však varoval, že pokročilé systémy umělé inteligence, jaké chce jednou OpenAI světu představit, mohou vést až k vyhynutí lidského rodu.

Tento zarážející rozpor vyvolal u mnoha pozorovatelů otázku, proč se tedy OpenAI a další firmy předhánějí v tom, která s potenciálně ničivou novou technologií přijde jako první? A naplno se tento nesoulad projevil i minulý týden, kdy šéf OpenAI nejprve dostal výpověď a poté byl znovu jmenován do funkce, neboť hrozilo, že s ním hromadně odejdou i zaměstnanci sanfranciského startupu zabývajícího se umělou inteligencí.

Čtyři členové představenstva OpenAI, kteří stáli za Altmanovým vyhazovem, bezprostřední příčinu nevysvětlili; pouze uvedli, že s nimi nejednal „dostatečně upřímně“. Napětí uvnitř firmy narůstalo již delší dobu, neboť Altmanovy ambice udělat z OpenAI nového mocného hráče v Silicon Valley narážely na původní poslání firmy, jejímž základním pravidlem má být bezpečnost na prvním místě.

Altmanův úterní návrat do funkce dramatickou situaci zmírnil – alespoň prozatím. Díky otřesům v představenstvu přišly do firmy zkušenější osobnosti (v podobě bývalého předsedy představenstva Twitteru Breta Taylora a bývalého amerického ministra financí Larryho Summerse). Rovněž se zvažují změny ve způsobu jejího řízení. Zatím sice není nic jisté, ale věci se pomalu vracejí do zajetých kolejí a Altman se opět ujímá vedení, ačkoli byl zbaven místa v představenstvu.

OpenAI byla založena jako výzkumná firma zaměřující se na budování bezpečné umělé inteligence ve prospěch celého lidstva. Drama posledních dní však naznačuje, že nezvládla obrovský úspěch pramenící z jejího vlastního technického náskoku. Zmatky navíc vrhly ostré světlo na otázku kontroly AI: přivodila krizi chyba ve fungování firmy, což by znamenalo, že má jen malý vliv na výsledek příštích pokusů o dosažení rovnováhy mezi bezpečností AI a honbou za ziskem? Nebo je to příznak obecnějšího rozkolu v oboru s vážnými důsledky pro jeho budoucnost – i pro tu naši?

V době vzniku společnosti OpenAI si zakladatelé „uvědomovali, že obchodní instinkty by mohly vyústit v katastrofu“, říká profesor informatiky Stuart Russell z Kalifornské univerzity v Berkeley, jenž jako jeden z prvních varoval před existenčními riziky umělé inteligence: „A teď obchodním instinktům sami podlehli.“

Názorový střet

Drama v OpenAI podtrhuje napětí mezi dvěma skupinami názorů v Silicon Valley, které se dostaly do popředí ve chvíli, kdy se ze zajímavého výzkumného projektu v oblasti generativní AI – který umožňuje aplikaci ChatGPT vytvářet kreativní obsah – stala nejslibnější nová technologie posledních mnoha let.

Jednu z těchto skupin tvoří známí zastánci optimistického technokapitalismu, který se šíří ze severní Kalifornie. Podle ní může každý převratný nápad (s použitím dostatečného množství rizikového kapitálu a dostatečné ctižádosti) ovládnout svět – nebo alespoň předehnat zaostávající průmyslové obory. Jako bývalý šéf nejvýznamnějšího inkubátoru pro startupy Y Combinator měl Altman jistě možnost sledovat, jak tento proces funguje.

Druhá skupina projevuje o poznání méně nadšení. Její filozofií je opatrnost, která se v Silicon Valley až tak nenosí. Vychází z přesvědčení, že při dnešním rozhodování je třeba brát v úvahu zájmy příštích generací, sahajících daleko do budoucnosti. Říká se tomu „long-termism“ od anglického výrazu long-term čili dlouhodobý a zastáncům této filozofie long-termisté. Její ústřední myšlenka je odnoží teorie efektivního altruismu, kterou formulovali filozofové Oxfordské univerzity William MacAskill a Toby Ord a jejíž stoupenci se snaží maximalizovat svůj vliv na planetu s cílem vykonat co nejvíce „dobra“. Usilují přitom o snížení pravděpodobnosti existenčních katastrof, které by znemožnily zrod budoucích generací – a právě rizika spojená s nezvládnutou umělou inteligencí se jim stala ústředním tématem.

Ostrý střet těchto dvou myšlenkových systémů uvnitř OpenAI byl výsledkem nároků kapitálu. Společnost vznikla roku 2015 s cílem provádět výzkum v oblasti bezpečného budování umělé, téměř lidské inteligence a prvními spolupředsedy jejího představenstva se stali Altman a Elon Musk. Hlavní metodou firemních výzkumníků bylo vytváření stále větších jazykových modelů, což vyžadovalo obrovské množství kapitálu. V roce 2019 vedla potřeba peněz k tomu, že OpenAI získala investici ve výši jedné miliardy dolarů od společnosti Microsoft.

Ačkoli měla finanční injekce za následek vytvoření nové, komerční dceřiné firmy využívající základní technologie OpenAI, celá společnost zůstala pod kontrolou neziskového představenstva, jehož hlavní odpovědností bylo dál zajišťovat využívání pokročilé AI ve prospěch lidstva. Dvě členky ze čtyřčlenného orgánu, jenž nedávno Altmana vyhodil – ředitelka pro strategii v Centru pro bezpečnost a nové technologie Helen Tonerová a podnikatelka v oblasti technologií Tasha McCauleyová – mají vazby na hnutí efektivního altruismu.

Tonerová se navíc podílela na textu naznačujícím, jaké napětí střet těchto dvou pohledů vyvolá. Autoři článku nepřímo kritizovali Sama Altmana za to, že uvolnil ChatGPT bez „zevrubných bezpečnostních testů“, což vedlo k „nastartování závodů“, proti nimž sama OpenAI vystupovala. Šílenství kolem chatbota vedlo Google a další společnosti k „urychlení nebo obcházení interních procesů pro bezpečnost a etiku“, napsala Tonerová i její kolegové.

S tím, jak rychle technologie OpenAI postupovala, se začaly objevovat další podobné obavy a mnoho odborníků z oboru nervózně sledovalo známky blížící se strojové inteligence na úrovni člověka, známé jako umělá obecná inteligence. Altman tento měsíc zřejmě ještě přitlačil na pilu, když naznačil, že společnost učinila další významný průlom, který „odhrne závoj nevědomosti a dál posune hranice našich znalostí“.

Pokud si však členové představenstva OpenAI mysleli, že ve využití podobné technologie budou mít poslední slovo, zřejmě se mýlili. Altmanovo náhlé odvolání technologický svět šokovalo a vyvolalo vzpouru zaměstnanců, z nichž mnozí hrozili odchodem, pokud nebude přijat zpět.

Microsoft, který společnosti přislíbil 13 miliard dolarů, rovněž usiloval o Altmanův opětovný návrat do funkce – což je přesně příklad vnějšího zásahu, jemuž měla interní pravidla OpenAI zabránit. Uběhlo pár dní a členové představenstva ustoupili. Dohoda, na jejímž základě byl Altman znovu dosazen do funkce, vedla k tomu, že Tonerová i McCauleyová odstoupily z představenstva. Spolu s nimi odešel i Ilya Sutskever, výzkumník v oblasti umělé inteligence, který letos vedl novou iniciativu uvnitř společnosti s cílem zabránit budoucí „superinteligenci“, aby si podmanila lidstvo, nebo jej dokonce vyhladila. „Na papíře sice představenstvo pravomoci mělo, jak to alespoň prezentoval Sam Altman,“ říká Ord, jenž spolu s McCauleyovou a Tonerovou působí v poradním sboru Centra pro řízení umělé inteligence, „ale zdá se, že velmi velkou část pravomocí má Altman sám, zaměstnanci a Microsoft.“

Ord tvrdí, že netuší, zda pro zmírnění současného napětí existuje nějaké řešení, ovšem o OpenAI dodává: „Alespoň jsme tu měli společnost, která byla odpovědná za něco jiného než za zisk. Nevidím žádnou alternativu… Možná ji má vláda, ale nevidím, že by vlády něco dělaly.“

Bezpečná budoucnost AI

OpenAI není jedinou společností zabývající se pokročilou umělou inteligencí, která experimentuje s novou formou podnikového řízení. Společnost Anthropic, jejíž zakladatelé v roce 2020 odešli z OpenAI právě kvůli obavám ohledně zabezpečení umělé inteligence, zkoušejí jiný přístup. Přijali sice menší investice od společností Google a Amazon, ale jako projev důrazu na bezpečnost AI jmenuje řadu členů představenstva firmy nezávislý trust.

Zakladatelé britské výzkumné laboratoře DeepMind, kterou téměř před deseti lety koupil Google, rovněž bojovali za větší míru nezávislosti, aby zaručili, že jejich výzkum bude vždy využíván k pozitivním účelům. Letos byla firma začleněna do ostatních výzkumných provozů Googlu v oblasti AI, sjednocenou formaci ovšem vede spoluzakladatel DeepMind – Demis Hassabis.

Kritici tvrdí, že podobné pokusy o samoregulaci jsou odsouzeny k neúspěchu, neboť v této hře jde o hodně. Jeden z investorů do AI, který Altmana dobře zná, říká, že šéf OpenAI bere potenciální rizika nové technologie vážně. Je však také odhodlán splnit cíl vyvinout obecnou umělou inteligenci. „Sam chce být jedním z největších lidí v dějinách a zásadním způsobem změnit svět,“ říká tento investor. Stuart Russell z Kalifornské univerzity k tomu dodává: „Moci i pocitu vyvolení, který z přetváření budoucnosti plyne, je opravdu těžké odolat. Nejde tu jen o peníze.“

Spoluzakladatel společnosti Skype a jeden z nejvýznamnějších zastánců efektivního altruismu Jaan Tallinn podporuje myšlenku, aby společnosti zabývající se umělou inteligencí přicházely s „promyšlenými strukturami řízení“ a nereagovaly pouze na tržní síly. Dodává však, že „krize ve vedení OpenAI bohužel ukazuje, že i dobře motivované modely řízení jsou méně robustní, než bychom si přáli“. Otřesy v OpenAI mezitím v Silicon Valley posílily rostoucí odpor proti zmíněnému long-termismu a zároveň dodávají munici odpůrcům větší regulace AI.

Pověst hnutí efektivního altruismu tento měsíc utrpěla značnou újmu, když byl za podvod odsouzen jeden z jeho nejvýznamnějších podporovatelů, zakladatel FTX Sam Bankman-Fried (psali jsme obsáhle v týdeníku Euro 46/2023). Tento kryptopodnikatel, jenž prohlásil, že většinu svého majetku rozdá, byl mimo jiné významným prvním investorem společnosti Anthropic. Zneužívat podobné situace „k tvrzení, že tato filozofie je mrtvá, je jako bychom říkali, že liberalismus je mrtvý kvůli jedinému politikovi“, říká Ord. A doplňuje, že „žádnou filozofii nelze takto kritizovat“.

Kritici pesimistického výhledu mezitím vystupují stále otevřeněji. Yann LeCun, hlavní výzkumník v oblasti umělé inteligence ve společnosti Meta, nedávno prohlásil, že je „absurdní“ domnívat se, že AI ohrozí lidstvo. Inteligentní stroje prý naopak podnítí druhou renesanci učení, pomohou nám řešit klimatickou změnu a léčit nemoci. „Není pochyb o tom, že nám budou pomáhat stroje, které budou chytřejší než my. Otázka zní: Je to děsivé, nebo vzrušující? Myslím, že je to vzrušující, protože ty stroje budou plnit naše příkazy. Budou pod naší kontrolou,“ řekl listu Financial Times.

Jeden z nejhlasitějších odpůrců regulace v Silicon Valley a investor Marc Andreessen označil lidi, kteří varují před existenčními riziky plynoucími z umělé inteligence, za stejnou sektu jako středověká náboženská hnutí varující před hrozícími sociálními katastrofami: „Vyhecovali se až k hysterii,“ napsal v červnu.

Kritici tvrdí, že pokud budeme stavět zájmy lidí žijících v budoucnosti na stejnou úroveň jako zájmy těch z dnešní doby, přivodíme tím zlověstné důsledky – pokud tuto myšlenku dovedeme k jejím logickým důsledkům, totiž že počet lidí v budoucnosti je mnohem vyšší a jejich zájmy převáží. V krajním případě by se prý mohla tato filozofie použít i jako záminka k podřízení velké části populace pomyslnému zájmu miliard lidí budoucnosti.

Zastánci long-termismu říkají, že takový argument jde schválně až do extrému, aby tuto filozofii zdiskreditoval, a tím se snížila pravděpodobnost, že bezpečnost AI bude regulována. „Kritika long-termismu jako nějaké podivné neofašistické mentality je scestná,“ míní Russell. Většina stoupenců tohoto hnutí se shoduje na potřebě „odečíst“ zájmy budoucích generací, což podle něj znamená, že při rozhodování budou mít menší váhu než zájmy lidí žijících dnes.

Long-termisté rovněž tvrdí, že se svým zaměřením na rizika spojená s umělou inteligencí neliší od lidí, kteří varují před jinými hrozícími katastrofami, jako je třeba změna klimatu. Jen proto, že pravděpodobnost zničení lidstva umělou inteligencí nelze přesně vyčíslit, podle nich neznamená, že by měla být tato možnost ignorována. Vzhledem ke všem proměnným, dodává Ord, je tvrzení, že umělá inteligence již nyní nepředstavuje pro lidi existenční riziko, „směšné“.

Novodobí alchymisté

Takové názory si našly posluchače i mimo technologický průmysl a filozofické fakulty Oxfordské univerzity. První pokus o globální politickou debatu ohledně existenčních rizik proběhl tento měsíc na summitu o bezpečnosti AI, který uspořádala britská vláda v Bletchley Parku.

Setkání, jehož se zúčastnili zástupci 28 zemí včetně USA a Číny a řada předních světových výzkumníků AI i technologických manažerů (včetně Altmana), otevřelo cestu k dialogu o zásadních otázkách. Výsledek? Příští rok se budou konat hned dva další summity v Jižní Koreji a Francii.

Dosažení shody na tom, že existenční rizika AI by měla být brána vážně, je však pouze prvním krokem. Jak Velká Británie, tak Spojené státy americké zároveň ustavují instituce pro bezpečnost AI, jež mají prohloubit odborné znalosti veřejného sektoru v této oblasti a testovat modely velkých společností zabývajících se AI. Britská vláda chtěla předat globálním politikům čerstvé informace, a tak si nechala vypracovat zprávu o situaci v oboru, jejímž autorem je Yoshua Bengio, jeden z průkopníků revoluce hlubokého učení a rovněž držitel Turingovy ceny.

Jediným způsobem, jak může svět „zvládnout nebezpečí spojovaná se všemocnou umělou inteligencí“, je podle Tallinna „zintenzivnění regulace, a to jak na místní, tak mezinárodní úrovni“.

Mnozí z předních světových vědců zabývajících se umělou inteligencí se však ve svých odhadech aktuálních schopností umělé inteligence a jejího budoucího vývoje velmi liší, což regulačním orgánům ztěžuje orientaci. „Tento obor – umělá inteligence – se skutečně mnohem více podobá alchymii než exaktní vědě,“ uvedla Tonerová, bývalá členka představenstva OpenAI, v nedávném rozhovoru pro podcast Financial Times, který byl natočen ještě před nedávným klopotným děním: „Prostě hodíte všechny přísady do hrnce a čekáte, co se stane…“

Způsob řešení otřesu v nejvyšších patrech společnosti OpenAI může ukázat, jak dobře se konkurenti firmy v klání o umělou inteligenci s lidskými schopnostmi dokážou vypořádat s hlubokými rozpory – mezi touhou jít kupředu a bezpečností.

Ačkoli je Sam Altman nyní zpět ve vedení OpenAI, nové představenstvo nepřišlo s vysvětlením, co se vlastně stalo. Ještě ani neoznámilo, jaké změny provede, aby zajistilo, že neuhne ze svého hlavního poslání, jímž je vytvořit počítačovou inteligenci bezpečnou pro lidstvo. A svět čeká.

Richard Waters, John Thornhill, FT