Mantinely pro algoritmy

Zástupci členských států Evropské unie dali zelenou takzvanému Aktu o umělé inteligenci (AI). Jde o první takovou úpravu na světě a mohla by iniciovat podobné normy také v zemích mimo EU. Nařízení zavádí klasifikaci technologií podle způsobu využití a nastavuje různé úrovně omezení podle míry jejich rizikovosti. Některé systémy chce EU zcela zakázat, další nástroje jako algoritmy na rozpoznávání obličejů budou podléhat silné regulaci.

Detaily a souvislosti spjaté s novou legislativou blíže představila Alžběta Solarczyk Krausová, šéfka Centra pro výzkum inovací a kyberpráva při Ústavu státu a práva Akademie věd ČR.

Jaké povinnosti a omezení nové nařízení přináší evropským firmám?
Rozsah povinností ovlivní, jaké systémy umělé inteligence budou firmy vyvíjet či využívat. Akt o umělé inteligenci je založen na principu regulace podle míry rizika. Některé inteligentní systémy mohou mít mnohem závažnější dopad na práva a svobody uživatelů, a proto je u nich důležité zavést procesy pro kontrolu a minimalizaci případných negativních dopadů. Jde například o systémy, které individuálně posuzují jednotlivce a určují pro ně ceny zdravotního a životního pojištění, systémy, které hodnotí uchazeče o práci a určují, jak bude vypadat pracovní smlouva, nebo třeba systémy využívané policií pro hodnocení spolehlivosti důkazů. To jsou jen příklady a takových systémů je řada.

Jaké kroky budou muset firmy vyvíjející takové systémy učinit?
Pro poskytovatele systémů s vysokým rizikem zavádí akt zejména povinnost zavést systém řízení rizik, zahrnující jejich identifikaci, analýzu a minimalizaci a povinnost testování. Dále je třeba zavést systém pro správu dat, což v praxi znamená mít popsané metody práce s daty, jejich značkování, zajištění jejich kvality a reprezentativnosti a další aspekty, které zajistí využívání kvalitních datových setů pro trénování inteligentních systémů. Je třeba vést i technickou dokumentaci, zaznamenávat aktivitu systému ve formě logů, poskytnout dalším firmám, které daný systém využívají, transparentní informace o jeho fungování a systém navrhnout tak, aby byl umožněn lidský dohled a kontrola. Akt obsahuje i požadavky na odolnost, přesnost a bezpečnost vysoce rizikových systémů.

Budou některé nástroje i zakázané?
Kromě pravidel pro vysoce rizikové systémy akt obsahuje i zakázané způsoby využívání umělé inteligence. Mezi ně patří třeba systémy, které záměrně manipulují uživatele, narušují jejich schopnost činit informovaná rozhodnutí, a tím jim mohou způsobit podstatnou škodu.
Nové povinnosti mají i poskytovatelé takzvaných základních modelů, tedy modelů trénovaných na velkých datových setech, které jsou schopné provádět celou řadu různých úkonů a být integrovány do jiných aplikací, například ChatGPT. Pak akt obsahuje několik jednotlivých povinností u určitých využití. Zde jde zejména o povinnosti informovat uživatele, že jednají s chatbotem, nebo o označování obsahu, který byl vytvořen či manipulován umělou inteligencí. Zbývající systémy umělé inteligence, kterých je obrovské množství, nebudou regulovány vůbec.

Hodně vášní vzbudil bod týkající se možnosti vyhodnocovat kamerové záběry s pomocí systémů schopných identifikovat biometrické údaje občanů. Možnost jejich používání byla v jednu chvíli z návrhu vyškrtnuta, později se však do něj opět vrátila a schválené znění ji umožňuje. Proč se děla tato škatulata?
Evropská komise, Evropský parlament i Rada EU měly odlišné názory, jak vybalancovat ochranu základních práv. Regulace zpracování biometrických údajů se v aktu týká více oblastí. Nejkontroverznějším bodem ale byla biometrika v reálném čase, protože může být zneužita ke kontrole společnosti. Nejstriktnější byla pozice Evropského parlamentu. Nakonec bylo ale dosaženo kompromisu, kdy se jasně specifikovaly případy použití a definovaly se dodatečné záruky.

Zmíněný nástroj bude moci policie podle schváleného návrhu využívat jen cíleně při vyšetřování konkrétních trestních činů a bude k tomu muset mít povolení. Kontrolu nad policejním nakládáním s tímto nástrojem mají vykonávat úřady členských zemí EU. Jaký by to měl být v Česku?
Akt stanoví, že každé využití technologie biometrického sledování v reálném čase bude muset být oznámeno národnímu orgá­nu dozoru nad trhem a dále národnímu úřadu na ochranu osobních údajů. Zatím nebylo rozhodnuto, který úřad se v Česku tímto orgánem dozoru stane. Po vydání aktu v úředním věstníku budou mít členské státy EU 12 měsíců na jeho určení.

V plánu je též ustavení nezávislého orgánu, který bude vydávat vodítka, podle nichž se firmy mají orientovat, do jaké ze čtyř kategorií rizikovosti systémů AI spadá, či nespadá jimi vyvíjený nástroj. Tento orgán má být evropský, nebo národní?
Akt předpokládá zřízení více orgánů. V lednu byl rozhodnutím Evropské komise zřízen Evropský úřad pro umělou inteligenci, jehož hlavní rolí je zabývat se základními modely umělé inteligence a riziky, která představují, a dále i aplikací pravidel pro zakázané praktiky a vysoce rizikové systémy. Tento úřad funguje přímo v rámci Evropské komise. Akt ale zakládá i Evropskou radu pro umělou inteligenci, která bude sdružovat zástupce členských států a koordinovat činnosti příslušných národních orgánů v oblasti dohledu nad systémy umělé inteligence.

Sankce za porušení nové normy mohou dosáhnout až 35 milionů eur nebo sedm procent ročního obratu firmy. Podle jakého klíče se budou uplatňovat? Pro startup může být 35 milionů eur likvidačních, zatímco IT giganty taková sankce příliš nezabolí…
Co se týče pokut, akt výslovně zohledňuje zájmy a ekonomickou životaschopnost startupů a malých a středních firem. Nabízí alternativní výpočty pro výše pokut, přičemž u velkých firem by měla být zvolena pokuta, která je z nich nejvyšší. U startupů a malých a středních firem by to mělo být naopak – tedy pokuta, která je ze všech variant nejnižší. Pro tyto firmy se také předpokládá výrazná pomoc veřejných orgánů tak, aby jim soulad s právem byl co možná nejvíce usnadněn.

Německý europoslanec Sergey Lagodinsky po schválení aktu prohlásil: „Je zapotřebí kontrolovat budoucí vývoj, než budoucí vývoj bude kontrolovat nás.“ Sdílíte jeho přesvědčení, že díky této úpravě má Evropa budoucí vývoj pod kontrolou?
Určitě máme mnohem větší šanci předcházet vývoji, který by mohl být pro naši společnost nebezpečný.

Jak je evropský Akt AI ošetřen proti nebezpečí, že bude zastaralý dříve, než vstoupí v platnost?
Tato otázka rezonovala mezi zákonodárci od samého počátku. Akt je z tohoto důvodu postaven na univerzálních principech, jako je předcházení rizikům, zajištění transparentnosti a podobně. Zároveň umožní Evropské komisi rea­govat pružně na technologický vývoj například přijímáním takzvaných aktů v přenesené působnosti a vyloučením systémů z kategorie vysoce rizikových, pokud splní určitá kritéria.

Regulace AI je velkým tématem i v USA a Číně. V USA tlačí v tomto směru prezident Joe Biden na Kongres, který je však zatím ve stadiu příprav legislativy. V Číně firmy vyvíjející nástroje AI potřebují státní souhlas. Máte informace, které by naznačovaly, jakým směrem se regulace AI mimo Evropu vyvíjí?
V USA se na legislativě pracuje poměrně intenzivně. Na podzim 2023 vydal Joe Biden výkonné nařízení na bezpečnou a důvěryhodnou umělou inteligenci. Toto nařízení se také zaměřuje na snižování rizik a vyžaduje například, aby vývojáři nejúčinnějších systémů sdíleli výsledky testů s vládou či aby vyvíjeli nové standardy pro bezpečnost.

V Číně byla přijata poměrně striktní regulace velkých jazykových modelů.
Nelze ale zapomínat ani na Indii. Ta předpokládá zveřejnění návrhu regulace umělé inteligence na přelomu června
a července tohoto roku. Směrodatná bude i mezi­národní úmluva Rady Evropy o umělé inteligenci, lidských právech, demokracii a panství práva, jejíž znění bylo finalizováno 14. března 2024 a následovat bude ratifikace.