OpenAI balancuje mezi pokrokem a rizikem. Připouští možné zneužití

OpenAI částečně pozastavila vývoj svého nového modelu Astra poté, co zjistila, že dokáže vyhledávat a zneužívat závažné softwarové chyby. Krátce předtím se jiný model dostal mimo testovací prostředí a napadl platformu Hugging Face. Sam Altman, šéf OpenAI, z toho nevyvozuje, že by se vývoj měl zastavit. Spíše že podobné epizody budou jeho součástí. „Při tomto vývoji bude docházet k incidentům,“ říká. „Budou se dít věci, které se pokazí.“

To je nepohodlné přiznání od člověka, jehož firma chce stavět stále schopnější systémy a zároveň přesvědčuje vlády, podniky i investory, že je dokáže udržet pod kontrolou. OpenAI se nachází v pozoruhodné situaci: čím rychleji její technologie postupuje, tím naléhavější jsou bezpečnostní otázky. A čím opatrnější firma bude, tím více riskuje, že v závodě s konkurenty zpomalí.

Bezpečnost jako konkurenční nevýhoda

Altman tvrdí, že hranice je jasná. „Neměli bychom vyvíjet modely, které nedokážeme kontrolovat.“ Proto OpenAI při dosažení určitých schopností vývoj přerušuje, dokud nenajde vhodné ochranné mechanismy. Astra je právě takovým případem.

Méně jasné je, co znamená „kontrola“ v praxi. Incident s Hugging Face ukázal, že bezpečnostní systémy mohou selhat ještě předtím, než model dosáhne hypotetické superinteligence. Altman připouští, že se něco takového „nemělo stát“. Zároveň argumentuje, že laboratoře musí své systémy vystavovat reálným podmínkám, jinak nezjistí, kde mají slabiny.

To je podstata dilematu. Bez testování nelze vytvořit bezpečnější AI. Testování ale samo vytváří možnost incidentu. A tržní tlak firmám nedává mnoho času.

Situace bude složitější s rozšířením výkonných open-source modelů. Dnes podle Altmana disponuje systémy schopnými pokročilých kybernetických útoků pouze několik společností. Brzy mohou být podobné schopnosti dostupné mnohem širšímu okruhu uživatelů. Altman otevřené modely podporuje, ale připouští, že bezpečnostní režim založený na odpovědnosti několika velkých laboratoří tím přestane stačit.

Proto volá po mezinárodní regulaci. Evropský AI Act podle něj obsahuje mnoho dobrého, ale nezachycuje nové typy rizik. V tom není jeho kritika namířena jen proti Bruselu: žádný zákonodárce podle něj dosud nevytvořil pravidla odpovídající schopnostem, které byly ještě před několika lety těžko představitelné.

Altman mezi rizika řadí kybernetické útoky, zneužití biologických zbraní, ztrátu kontroly nad modely a koncentraci moci v několika firmách a státech. Současně varuje před regulací, která by dusila inovace. To je pro šéfa AI firmy pohodlná, ale ne nutně nesprávná pozice: pravidla mají být dost silná, aby omezila největší rizika, a dost pružná, aby nezastavila technologický pokrok.

OpenAI proto jedná s dalšími laboratořemi a vládami o společném bezpečnostním rámci. Altman by podpořil i mezinárodní instituci, která by nejvýkonnější modely nezávisle testovala. Otázkou zůstává, zda taková struktura vznikne rychleji než další generace modelů.

Drahý závod vpřed

Bezpečnost není jediným důvodem, proč si OpenAI nemůže dovolit ztratit tempo. Druhým jsou peníze.

Firma byla při posledním financování oceněna na 852 miliard dolarů. Její roční tržby se odhadují přibližně na 30 miliard. Podle médií přitom loni prodělala 38,5 miliardy dolarů. Letos má do výpočetní infrastruktury investovat dalších 50 miliard a do roku 2030 až 600 miliard dolarů.

Taková čísla vyžadují víc než technologický optimismus. Vyžadují pokračující růst poptávky, pokles jednotkových nákladů a dostatek investorů ochotných financovat období, v němž kapitálové výdaje výrazně předbíhají zisky.

Altman zatím tvrdí, že poptávka není problém. OpenAI podle něj překročila jednu miliardu uživatelů a rychle roste mezi podniky, především díky programovacímu nástroji Codex. Strategii firmy popisuje jako budování AI platformy: ChatGPT pro uživatele, Codex pro programátory a rozhraní, přes něž mohou modely využívat jiné společnosti.

Co do této strategie nezapadá, může padnout za oběť nedostatku výpočetního výkonu. Altman jako příklad uvádí videonástroj Sora. Lidé jej podle něj používali rádi, ale generování videa spotřebovávalo příliš mnoho kapacity. Firma proto dala přednost produktům s vyšší hodnotou vzhledem k nárokům na infrastrukturu.

To bude stále důležitější. Altman očekává nástup „persistentních agentů“, tedy systémů, které budou běžet nepřetržitě a samostatně pomáhat s prací, výzkumem či každodenní organizací. Mají být užitečnější než dnešní chatboty. Budou však také podstatně dražší na provoz.

Znamená to, že OpenAI řeší zvláštní problém úspěšné technologické firmy: poptávka může růst rychleji, než je schopna postavit infrastrukturu, která ji obslouží. Firma už v minulosti čelila výpadkům právě kvůli nedostatku kapacity. Altman tvrdí, že situace se výrazně zlepšila.

Méně konkrétní je u ziskovosti. „Nespěcháme na to,“ říká. Věří, že OpenAI bude jednou velmi zisková. Kdy přesně, neví.

Konkurence tlačí na cenu i důvěru

OpenAI navíc už není v pozici, kdy by tempo trhu určovala sama. Anthropic se prosadil mezi firemními zákazníky a Altman připouští, že zde konkurent vsadil správně a včas. Čínské společnosti zase přicházejí s levnými a otevřenými modely. Altman jejich kvalitu uznává, odmítá však představu, že by tím automaticky končila americká převaha.

Právě levnější modely mohou být pro ekonomiku OpenAI stejně důležité jako technologické soupeření. Pokud se srovnatelný výkon bude prodávat stále levněji, firma musí buď dál zvyšovat kvalitu, nebo snižovat náklady. Jinak se její mimořádně kapitálově náročný model začne dostávat pod tlak.

Důvěra firemních zákazníků se proto stává další konkurenční disciplínou. Altman odmítá obavy, že by OpenAI používala jejich data k trénování modelů, a zdůrazňuje možnost nulového ukládání dat. Ochrana informací tak stojí vedle ceny, výkonu a dostupnosti jako další parametr, podle něhož si podniky budou dodavatele AI vybírat.

Nad celým odvětvím zároveň visí otázka, zda investice nepředbíhají ekonomickou návratnost. Goldman Sachs podle zdroje odhaduje, že globální výdaje na infrastrukturu pro AI mohou letos dosáhnout jednoho bilionu dolarů. Altman připouští, že budou přicházet období nadměrných investic. Podstatné podle něj je, zda dál porostou tržby a ochota zákazníků modely používat. Pokud by poptávka zpomalila, byl by to problém i pro expanzi OpenAI.

Pro firmu je proto největším rizikem možná nikoli jeden konkrétní konkurent, nýbrž nutnost řešit několik protichůdných problémů současně. Musí stavět výkonnější modely, aniž by ztratila kontrolu. Musí investovat rychleji než téměř kdokoli v technologickém průmyslu, aniž by zatím nabízela termín ziskovosti. A musí podporovat regulaci, která bude dost přísná na to, aby posílila důvěru v technologii, ale ne tak přísná, aby zabrzdila její další rozvoj.

Altman připouští alespoň jednu jistotu: další vývoj nebude hladký. Incidenty podle něj přijdou a období před AI průmyslem bude turbulentní. Pro OpenAI se tak otázka neposouvá k tomu, zda nastanou problémy, ale zda je firma dokáže řešit rychleji, než bude vytvářet nové.