Vývoj a predaj vysoko rizikových systémov umelej inteligencie (AI) na európskom trhu už nie je len technickou, ale predovšetkým legislatívnou a etickou výzvou.
Tento vcelku komplexný manuál poskytuje prehľad povinností, ktoré musí vývojárska spoločnosť zvážiť a dodržiavať, aby bola v plnom súlade s kľúčovými európskymi nariadeniami, ako napr. AI Act, GDPR, Data Act a Accessibility Act, a dopĺňa ich o strategické rámce, ako sú certifikácia Europrivacy a medzinárodná norma ISO 42001.
Hlavným zámerom je naznačiť, že súlad nemusí byť len legálnou prekážkou, ale aj strategickou výhodou. Proaktívny prístup k regulácii, pri ktorom sa súlad implementuje už vo fáze návrhu (prístup „by design“), minimalizuje riziká vysokých pokút a reputačných škôd, ktoré môžu dosiahnuť až 7 % z celkového celosvetového ročného obratu, a zároveň buduje dôveru so zákazníkmi a partnermi.
Základom pre pochopenie celého regulačného rámca je presná definícia vysoko rizikovej AI podľa AI Act. Nariadenie rozlišuje medzi štyrmi úrovňami rizika: neprijateľné, vysoké, limitované a minimálne. Väčšina povinností pre vývojárov sa vzťahuje na vysokorizikovú AI, ktorá môže predstavovať vážne riziká pre zdravie, bezpečnosť alebo základné práva osôb.
Kapitola I: Definícia a klasifikácia vysokorizikovej AI v zmysle AI Act
1.1. Dvojaký mechanizmus klasifikácie a jej nuansy
Nariadenie AI Act stanovuje, že AI systém sa považuje za "vysoko rizikový" na základe dvoch hlavných mechanizmov, ktoré sa môžu vzájomne prelínať. Prvý mechanizmus klasifikuje AI na základe jej integrácie do určitých typov výrobkov, zatiaľ čo druhý sa zameriava na špecifické prípady použitia v kritických sektoroch.
Kategória 1: Integrácia do produktov s harmonizovanou legislatívou EÚ: AI systém je považovaný za vysokorizikový, ak je sám o sebe produktom, alebo tvorí bezpečnostný komponent produktu, ktorý podlieha harmonizovanej legislatíve EÚ o bezpečnosti. Do tejto kategórie spadajú napríklad hračky, letecký priemysel, automobily, zdravotnícke pomôcky a výťahy. Tieto systémy musia pred uvedením na trh prejsť povinným posúdením zhody treťou stranou, čo ich jednoznačne klasifikuje ako vysokorizikové.
Kategória 2: Samostatné AI systémy vo vybraných oblastiach: Legislatíva presne vymenúva osem špecifických oblastí, v ktorých sa AI systémy považujú za vysokorizikové, ak predstavujú významné riziko pre základné práva jednotlivcov. Tieto oblasti pokrývajú široké spektrum aplikácií, od biometrickej identifikácie a riadenia kritickej infraštruktúry až po systémy používané vo vzdelávaní, zamestnanosti, presadzovaní práva a migračných procesoch. Sú to napríklad AI systémy určené na posudzovanie úverovej bonity alebo na vyhodnocovanie žiadostí o zamestnanie, pretože môžu výrazne ovplyvniť živobytie a profesionálny život osoby a zachovať historické vzory diskriminácie.
Základný prístup legislatívy spočíva v tom, že súlad nie je jednorazová aktivita pred uvedením na trh, ale nepretržitý proces, ktorý musí prebiehať počas celého životného cyklu AI systému. Táto skutočnosť si vyžaduje implementáciu komplexných a neustále sa opakujúcich procesov riadenia rizík a kvality.
Používatelia sú fyzické alebo právnické osoby, ktoré zavádzajú systém umelej inteligencie profesionálne, nie sú to teda dotknutí koncoví používatelia.
Používatelia (nasaditelia) vysokorizikových systémov umelej inteligencie majú určité povinnosti, aj keď menšie ako poskytovatelia (vývojári).
Týka sa to používateľov nachádzajúcich sa v EÚ a používateľov z tretích krajín, v ktorých sa výstup systému umelej inteligencie používa v EÚ.
1.2. Rozdiel medzi vysokorizikovou, zakázanou a nízkorizikovou AI
Na rozdiel od vysokorizikových systémov, ktoré podliehajú prísnym požiadavkám, existujú aj iné kategórie AI s odlišnými pravidlami. Systémy s „neprijateľným rizikom“ sú v EÚ úplne zakázané. Ide o praktiky, ktoré jednoznačne predstavujú hrozbu pre základné práva, ako je sociálne bodovanie (hodnotenie ľudí na základe ich správania a osobnostných čŕt), rozsiahle a necielené zhromažďovanie biometrických údajov z internetu alebo CCTV, či manipulácia s ľudským správaním a využívanie zraniteľností.
Na druhom konci spektra sa nachádza AI s „limitovaným“ alebo „minimálnym“ rizikom, ako sú spamové filtre alebo videohry, ktoré nie sú predmetom tak prísnej regulácie. Pre túto kategóriu platia prevažne povinnosti týkajúce sa transparentnosti. Napríklad, ak používateľ interaguje s chatbotom, musí byť informovaný o tom, že komunikuje so systémom AI. Podobne musia byť jasne označené aj deepfakes alebo iný obsah generovaný umelou inteligenciou.
1.3. Vplyv na poskytovateľov GPAI (General Purpose AI)
AI Act zavádza špeciálne pravidlá aj pre poskytovateľov AI modelov na všeobecné použitie (GPAI), ako je napríklad pokročilý model GPT-4. Tieto modely sú považované za potenciálne vysokorizikové, ak predstavujú systémové riziko, najmä ak sa trénujú s použitím výpočtovej kapacity presahujúcej 1025 FLOPS (poznámka: ukazovateľ výpočtového výkonu, teda toho, ako rýchlo a efektívne dokáže systém spracovať dáta). Ak sú tieto modely integrované do vysokorizikových aplikácií, ich poskytovatelia musia spĺňať prísne požiadavky na transparentnosť, ako je zverejňovanie súhrnov tréningových dát a dodržiavanie autorského práva EÚ.
Tabuľka 1: Klasifikácia a príklady vysokorizikovej AI podľa AI Act
Kategória | Oblasť použitia | Príklad AI systému | Kľúčová obava legislatívy |
Integrácia do výrobkov | Zdravotníctvo, automobily, letectvo | AI v robotickej chirurgii, autonómne riadiace systémy vozidiel | Bezpečnosť a ochrana života a zdravia. |
Samostatné AI systémy | Biometrická identifikácia a kategorizácia | Systémy na vzdialenú biometrickú identifikáciu (okrem overenia totožnosti) | Ochrana súkromia a základných práv. |
| Kritická infraštruktúra | AI systémy riadiace energetickú sieť alebo vodohospodárstvo | Rozsiahle narušenia a ohrozenie bezpečnosti osôb. |
| Vzdelávanie a odborná príprava | Softvér na posudzovanie prijímacích skúšok alebo hodnotenie študentov | Diskriminácia a dopad na budúce kariérne vyhliadky. |
| Zamestnanosť | Nástroje na triedenie životopisov alebo hodnotenie výkonnosti pracovníkov | Zvýšené riziko diskriminácie a ovplyvnenie živobytia. |
| Prístup k službám | Algoritmy na hodnotenie úverovej bonity alebo nároku na verejné dávky | Odoprenie prístupu k základným službám, ktoré má významný dopad. |
| Presadzovanie práva | AI na hodnotenie spoľahlivosti dôkazov alebo predikciu kriminality | Porušenie základných práv a nespravodlivé rozhodnutia. |
| Migrácia, azyl a hranice | Automatizované systémy na skúmanie žiadostí o víza a azyl | Nespravodlivé zaobchádzanie a porušenie ľudských práv. |
| Súdny systém a demokracia | AI na pomoc pri príprave súdnych rozhodnutí | Narušenie spravodlivosti a ovplyvnenie demokratických procesov. |
Poznámka k biometrickej identifikácii na diaľku:
Používanie RBI v reálnom čase s podporou umelej inteligencie je povolené len vtedy, ak by nepoužívanie nástroja spôsobilo značné škody a musí zohľadňovať práva a slobody dotknutých osôb.
Pred nasadením sa musí dokončiť posúdenie vplyvu na základné práva dotknutých osôb (DPIA – Data Protection Impact Assassment) a zaregistrovať systém v databáze EÚ, hoci v riadne odôvodnených naliehavých prípadoch sa nasadenie môže začať aj bez registrácie, ale len za predpokladu, že sa zaregistruje neskôr bez zbytočného odkladu.
Pred nasadením takejto AI sa musí tiež získať povolenie od súdneho orgánu alebo nezávislého správneho orgánu, hoci aj tu v riadne odôvodnených naliehavých prípadoch sa nasadenie môže začať bez povolenia, ale len za predpokladu, že sa o povolenie požiada do 24 hodín. Ak je autorizácia zamietnutá, nasadenie AI sa musí okamžite zastaviť, pričom sa vymažú všetky údaje, výsledky a výstupy.
Asi nebude zlé tiež naznačiť, že „nezávislé“ správne orgány môžu podliehať politickému vplyvu ako súdne orgány
Kapitola II: Prepojenie GDPR a AI Act: Dva piliere ochrany údajov a základných práv
GDPR a AI Act nie sú navzájom konkurenčné nariadenia, ale komplementárne legislatívne piliere, ktoré spoločne vytvárajú komplexný rámec pre zodpovedný vývoj AI. Zatiaľ čo GDPR definuje široké zásady a práva týkajúce sa spracovania osobných údajov, AI Act ich pre vysokorizikové systémy premenil na konkrétne, technické a organizačné povinnosti.
2.1. Aplikácia GDPR princípov na vývoj AI
Základné princípy GDPR (článok 5) sa priamo vzťahujú na celý životný cyklus AI systémov, najmä tých, ktoré spracúvajú osobné údaje.
Zákonnosť, spravodlivosť a transparentnosť: Každý AI systém musí mať jasný právny základ pre spracovanie údajov a používatelia musia byť transparentne informovaní o tom, ako sú ich údaje zhromažďované a využívané.
Účelové obmedzenie a minimalizácia údajov: Dáta musia byť zhromažďované len pre špecifické, explicitné a legitímne účely a AI modely nesmú opakovane použiť osobné údaje na nesúvisiace úlohy bez ďalšieho súhlasu. Vývojári sú povinní spracúvať len nevyhnutné dáta, čo môže predstavovať výzvu, keďže AI často profituje z veľkých objemov údajov. Riešením je používanie syntetických alebo anonymizovaných dát, ktoré znižujú riziko pre používateľov a pomáhajú dodržiavať predpisy.
Presnosť a zodpovednosť: Zásada presnosti vyžaduje, aby údaje pre tréning AI boli správne, úplné a aktuálne, pretože nekvalitné dáta môžu viesť k zaujatým a diskriminačným výsledkom, čo je v rozpore s GDPR aj AI Act. Na zabezpečenie zodpovednosti musí spoločnosť viesť podrobné záznamy o spracovateľských činnostiach a vykonávať pravidelné audity.
2.2. Práva dotknutých osôb a ľudský dohľad
GDPR dáva jednotlivcom právo nebyť podrobený rozhodnutiam založeným výlučne na automatizovanom spracovaní (článok 22), ktoré má pre nich významné dôsledky. Toto právo sa priamo týka AI systémov v oblastiach, ako je napr. hodnotenie úverovej bonity, nábor zamestnancov alebo policajná prediktívna činnosť.
S tým súvisí aj právo na vysvetlenie, ktoré vyžaduje, aby bolo možné zdôvodniť, ako AI dospela k danému rozhodnutiu. AI Act túto požiadavku ďalej formalizuje tým, že pre vysokorizikové systémy explicitne vyžaduje zabezpečenie ľudského dohľadu, čo znamená, že človek musí mať možnosť zasiahnuť do rozhodovacieho procesu AI.
2.3. Integrovaný prístup: Od ochrany údajov „by design“ k AI „by design“
Koncepcia „Privacy by Design“ (P-b-D) podľa GDPR (článok 25) nie je len o pridávaní bezpečnostných prvkov, ale o integrácii ochrany súkromia a údajov do celého architektonického návrhu systému od samého začiatku.2 Táto proaktívna stratégia je kľúčová pre AI systémy, ktoré spracúvajú osobné údaje.
Pre vysokorizikovú AI, ktorá spracúva osobné údaje, je navyše povinné vykonať Posudzovanie vplyvu na ochranu údajov (DPIA). AI Act tento koncept rozširuje zavedením posudzovania vplyvu AI (AIIA), ktoré sa zameriava na širšie etické a sociálne dopady, nielen na osobné údaje, čím sa dopĺňa a prehlbuje rámec zodpovednosti.
Tabuľka 2: Ako sa princípy GDPR premietajú do povinností AI Act
Princíp GDPR | Príslušný článok | Aplikácia na AI systém | Konkrétna povinnosť v zmysle AI Act |
Transparentnosť | Článok 5 (1) a) | Zabezpečiť, aby používatelia vedeli, ako AI funguje a robí rozhodnutia. | Požiadavka na podrobnú technickú dokumentáciu a automatické logovanie |
Účelové obmedzenie a minimalizácia údajov | Článok 5 (1) b), c) | Používať len nevyhnutné údaje na definovaný účel tréningu. | Požiadavka na systém riadenia kvality a správu údajov, ktorá zabezpečí, že dáta sú relevantné a reprezentatívne. |
Presnosť | Článok 5 (1) d) | Používať správne a nechybné tréningové dáta, aby sa predišlo zaujatosti. | Povinnosť používať vysokokvalitné dátové sady a zavádzať opatrenia na detekciu a zmiernenie zaujatosti. |
Právo nebyť predmetom automatizovaného rozhodovania | Článok 22 | Zabezpečiť, aby mal používateľ možnosť získať ľudské posúdenie. | Zavedenie požiadavky na ľudský dohľad a možnosť intervencie. |
Ochrana údajov „by design“ | Článok 25 | Integrovať technické a organizačné opatrenia do celého návrhu systému AI. | Povinnosť implementovať systém riadenia rizík (RMS) a systém riadenia kvality (QMS) počas celého životného cyklu. |
Zodpovednosť | Článok 5 (2) | Preukázať súlad s vyššie uvedenými zásadami. | Povinnosť viesť komplexné záznamy a dokumentáciu, ktoré sú k dispozícii pre kontrolné orgány. |
Kapitola III: Komplexné povinnosti poskytovateľov vysokorizikových AI systémov
Okrem dodržiavania GDPR musí vývojár vysokorizikovej AI spĺňať aj špecifické a rozsiahle požiadavky stanovené priamo v AI Act. Tieto povinnosti pokrývajú celý životný cyklus systému, od návrhu až po jeho vyradenie z prevádzky.
3.1. Rámce riadenia: RMS a QMS
Systém riadenia rizík (RMS): Poskytovatelia musia implementovať, dokumentovať a udržiavať RMS ako nepretržitý proces, ktorý prebieha počas celej životnosti AI systému. Tento systém musí identifikovať a hodnotiť známe a predvídateľné riziká pri zamýšľanom aj pri nesprávnom použití, a následne prijať vhodné opatrenia na ich zmiernenie.
Systém riadenia kvality (QMS): Poskytovatelia sú povinní vytvoriť a udržiavať QMS, ktorý zabezpečí, že dizajn, vývoj a nasadenie AI systémov je v plnom súlade s požiadavkami AI Act.
3.2. Správa a zabezpečenie kvality údajov
Jednou z najdôležitejších a najnáročnejších požiadaviek AI Act je zabezpečenie kvality tréningových, validačných a testovacích dát. AI Act vyžaduje, aby dáta boli relevantné, dostatočne reprezentatívne a, v čo najväčšej miere, bez chýb a zaujatostí. Zabezpečenie tohto stavu nie je jednorazová technická úloha, ale kontinuálny a extrémne náročný proces, ktorý si vyžaduje podstatné zdroje.
Spoločnosť musí zaviesť postupy na detekciu, prevenciu a zmierňovanie možných zaujatostí a pravidelne auditovať a aktualizovať dáta. Ak sa napríklad objaví chyba v tréningových dátach alebo ak používateľ uplatní „právo na zabudnutie“ (podľa GDPR), spoločnosť musí mať zavedené procesy na identifikáciu a vymazanie jeho údajov, čo môže viesť až k preškoleniu celého modelu. Takýto proces je extrémne nákladný a časovo náročný, čím sa len potvrdzuje, že správa dát sa stáva kritickým bodom pre AI vývoj.
3.3. Technická dokumentácia a vedenie záznamov (logy)
Dokumentácia: Pred uvedením vysokorizikového AI systému na trh musí poskytovateľ vypracovať rozsiahlu technickú dokumentáciu, ktorá obsahuje detailný opis systému, jeho vývojového procesu a implementovaného systému riadenia rizík. Táto dokumentácia musí byť k dispozícii pre dozorné orgány.
Automatické logovanie: Počas celej životnosti systému je povinné automaticky zaznamenávať udalosti (logy) na zabezpečenie vysledovateľnosti a transparentnosti jeho fungovania.
3.4. Ľudský dohľad a monitorovanie
AI systémy nesmú byť plne autonómne. Musí sa zabezpečiť primeraný ľudský dohľad, ktorý umožní človeku zasiahnuť do rozhodovacieho procesu, najmä v situáciách s vysokým rizikom. Zodpovedná spoločnosť musí navyše neustále monitorovať systém aj po jeho uvedení na trh a hlásiť akékoľvek vážne incidenty príslušným trhovým dozorným orgánom, pričom musí vykonať hodnotenie rizík a prijať nápravné opatrenia.
3.5. Posudzovanie zhody (Conformity Assessment) a registrácia
Pred uvedením na trh EÚ musia vysokorizikové AI systémy prejsť posúdením zhody, ktoré môže byť vykonané buď samohodnotením, alebo posúdením treťou stranou (tzv. "notified body"). Po úspešnom posúdení je povinné zaregistrovať systém a poskytovateľa v európskej databáze pre vysokorizikové AI systémy.
3.6. Robustnosť, presnosť a kybernetická bezpečnosť
Nariadenie vyžaduje, aby vysokorizikové AI systémy dosahovali vysokú úroveň presnosti, robustnosti a kybernetickej bezpečnosti. Cieľom je chrániť systém pred neoprávneným prístupom a zraniteľnosťami, a zabezpečiť jeho spoľahlivé fungovanie aj v nepredvídateľných situáciách.
Tabuľka 3: Kľúčové povinnosti vývojárov vysokorizikovej AI (Checklist)
Kategória povinnosti | Konkrétna požiadavka | Príslušné nariadenie | Poznámky/odporúčania pre implementáciu |
Riadenie | Implementovať a udržiavať RMS a QMS po celý životný cyklus. | AI Act, Čl. 8-25 | RMS musí byť iteratívny, QMS musí zabezpečiť súlad s celým AI Act. |
Správa údajov | Používať relevantné, reprezentatívne a nechybné dáta. | AI Act, GDPR | Zavedenie procedúr na detekciu a zmierňovanie zaujatostí. |
| Zabezpečiť „právo na zabudnutie“ (vymazanie údajov). | GDPR | Pripraviť sa na nákladné preškolenie modelu. |
Dokumentácia | Vytvoriť a udržiavať komplexnú technickú dokumentáciu. | AI Act, Čl. 11 | Zdokumentovať dizajn, vývoj, riadenie rizík a obmedzenia systému. |
| Implementovať automatické logovanie udalostí. | AI Act, Čl. 12 | Zabezpečiť vysledovateľnosť rozhodnutí systému. |
Dohľad | Zabezpečiť primeraný ľudský dohľad a intervenciu. | AI Act, Čl. 14, GDPR, Čl. 22 | Školenie zamestnancov a definícia jasných procedúr. |
| Pravidelne monitorovať systém a hlásiť incidenty. | AI Act, Čl. 19 | Zriadiť mechanizmy na neustále posudzovanie rizík. |
Posudzovanie zhody | Absolvovať posúdenie zhody (self-assessment alebo treťou stranou). | AI Act, Čl. 43 | Pripraviť sa na procesy auditu a overenia. |
Registrácia | Zaregistrovať systém a poskytovateľa v databáze EÚ. | AI Act, Čl. 49 | Povinná administratívna požiadavka pred uvedením na trh. |
Technické požiadavky | Zabezpečiť vysokú úroveň robustnosti, presnosti a kybernetickej bezpečnosti. | AI Act, Čl. 15 | Vykonávať pravidelné testovanie odolnosti a kybernetické audity. |
Uvedené povinnosti predstavujú len prvú časť komplexného rámca, ktorý musia vývojári a poskytovatelia vysokorizikových systémov umelej inteligencie zohľadniť.
V nadväzujúcej časti článku sa pozrieme na doplnkové regulácie a strategické rámce (ako napríklad Europrivacy a ISO 42001) a prinesieme praktické odporúčania a implementačný plán pre spoločnosti.
