AI Act a rizika umělé inteligence

Projdeme si řízení rizik při využití systémů umělé inteligence. Řízení rizik je také stěžejním aspektem nové regulace, AI Actu, který je už doslova za rohem!

AI Act

Kdy se dočkáme AI Actu?

AI Act byl 13. března přijat Evropským parlamentem, Rada Evropské unie jej následně schválila dne 21. května. Každým dnem čekáme jeho zveřejnění v úředním věstníku EU, čímž nabude platnosti. Dobře informované zdroje hovoří o tom, že k publikaci AI Actu pravděpodobně dojde 12. července tohoto roku.

Přímá účinnost AI Actu nastane za dva roky od jeho platnosti. Některé části a povinnosti však budou účinné dříve, např. článek 5 týkající se zakázaných systémů bude účinný již za 6 měsíců od platnosti, tedy na samém začátku roku 2025!

AI Act a řízení rizik

AI Act definuje tyto úrovně rizika pro dotčené osoby.

Nepřijatelné riziko

Jedná se například o systémy pro vytváření databází rozpoznávání obličejů, sociální scoring, systémy pro biometrickou identifikace v reálném čase ve veřejném prostoru či systém rozpoznávání chování v práci (jsou zde výjimky, např. rozpoznání únavy řidiče).

Tyto systémy jsou v EU zcela zakázány.

Vysoce rizikové systémy

Jedná se o systémy, které mohou mít nepříznivý dopad na bezpečnost fyzických osob. Mohou se vyskytovat jako součást bezpečnostního komponentu výrobku či jako samostatný výrobek. Oblasti pro využití systémů, které AI Act hodnotí jako vysoce rizikové, jsou kompletně uvedeny v příloze III tohoto předpisu. Jedná se například o oblast:

  • kritické infrastruktury, systémy umělé inteligence určené k použití jako bezpečnostní prvky při řízení a provozu kritické digitální infrastruktury, silniční dopravy nebo při dodávkách vody, plynu, tepla nebo elektřiny

  • vzdělávání, tedy systémy umělé inteligence určené k náboru, k analýze a filtrování žádostí o zaměstnání a k hodnocení uchazečů

  • oblast migrace, azylu, přeshraničních kontrol, např. systémy využívané veřejnými orgány ke kontrole hranic státu, k vyhodnocení bezpečnostních rizik migrace, nelegální migrace atd. 

Naproti tomu systémy pro odhalování podvodů při nabízení finančních služeb a pro obezřetnostní účely výpočtu kapitálových požadavků úvěrových institucí a pojišťoven NEJSOU považovány za vysoce rizikové podle tohoto předpisu.

Rizikovost systému s umělou inteligencí je vždy je nutné posuzovat v kombinaci s přílohou III AI Actu. Klasifikace rizik vychází z účelu, ke kterému je systém určen, v souladu se stávajícími právními předpisy EU o bezpečnosti výrobků.

Klasifikace rizika AI závisí na funkci a účelu, který systém plní!

Články 8 až 15 AI Actu se následně věnují požadavkům na tyto vysoce rizikové systémy AI. Jedná se např. o nastavení systému řízení rizik, správy dat, či technická dokumentace prokazující, že má vysoce rizikový systém AI vlastnosti požadované nařízením, požadavky na transparentnost

Články 16 až 27 AI Actu upravují další povinnosti pro poskytovatele, provozovatele a další zapojené subjekty v případě vysoce rizikových systémů. Jedná se například o zavedení systému řízení kvality, prohlášení shody, tzv. Conformity Assessment ve vazbě na článek 47 AI Actu, vyhodnocení dopadů na základní lidská práva, nebo požadavky na uchování dokumentace podle čl. 18 AI Actu. 

Omezené riziko

Omezené neboli transparentní riziko se týká AI systémů, které vytvářejí zvukový, obrazový nebo video obsah, který se podobá realitě, ale realitou není. Typicky se jedná o riziko manipulace AI s osobou, např. prostřednictvím chatbotů.

Jaké povinnosti na využití takovýchto systému formuluje AI Act? 

  • Uživatelé si musí být vědomi, že komunikují se strojem.

  • Informace o použité AI a právech uživatelů, které jsou vymezeny v čl.  50 AI Actu, je nutné dotčeným fyzickým osobám poskytnout jasným a zřetelným způsobem nejpozději v okamžiku první interakce nebo expozice vůči AI. I z této povinnosti existují výjimky, např. v zákonem daných případech za účelem odhalování, prevence, vyšetřování nebo stíhání trestných činů. Rovněž u uměleckých děl postačí zajistit transparentnost v rozsahu, který nenaruší samotné dílo. 

Minimální riziko

Do této kategorie spadají všechny ostatní systémy umělé inteligence. Patří sem většina systémů a nástrojů, které jsou dnes v EU používány.

Tyto systémy lze uvádět na trh a používat v souladu se stávajícími právními předpisy bez dodatečných povinností. Ostatní právní předpisy však musí být plněny, např. povinnosti pro automatizované individuální rozhodování dle čl. 22 GDPR, pravidla pro ochranu spotřebitele atd.

Využití vysoce rizikových AI systémů prakticky

Když už známe základní dělení rizikovosti systémů AI, přesuneme se na vybrané povinnosti u vysoce rizikových systémů.

Před uvedením vysoce rizikového systému AI (nebo při jeho změně) musí poskytovatel systému AI, což je ten, který AI vyvíjí a hodlá pod svým jménem uvést na trhu EU, provést posouzení shody dle článku 47 AI Act, tzv. Conformity Assessment. Dokument o posouzení shody musí obsahovat: 

  1. Název a typ systému AI a jakýkoli další jednoznačný odkaz umožňující identifikaci a sledovatelnost systému.

  2. Název a adresu poskytovatele.

  3. Deklaraci, že prohlášení je vydáno na výhradní odpovědnost poskytovatele.

  4. Prohlášení, že systém AI je ve shodě s regulací, tzn. s AI Actem.

  5. Pokud systém AI zahrnuje zpracování osobních údajů, prohlášení, že tento systém je v souladu s GDPR.

  6. Odkazy na všechny použité normy, např. ISO standardy

  7. Místo a datum vydání prohlášení, jméno a funkce osoby, která prohlášení podepsala.

Účelem posouzení je jednoduše prokázat, že systém AI splňuje povinné požadavky pro uvedení na trh v EU. 

Další požadavky na vysoce rizikové systémy

Z dalších požadavků na uvádění na trh a používání vysoce rizikových AI systémů uveďme ty nejdůležitější:

  1. Systémy AI musí být navrženy tak, aby byly transparentní, aby jim uživatelé rozuměli a mohli je správně používat. Dokumentace musí obsahovat návod k použití, informace o poskytovateli a rizicích spojených se systémem AI a také informace, jak se shromažďuji a ukládají datové logy.

  2. Systém AI musí být navržen tak, aby měl schopnost automaticky zaznamenávat svoji aktivitu a jednotlivé události po celou dobu životnosti. To má zajistit, aby bylo možné zpětně sledovat činnost systému, zejména v situacích, kdy by AI mohla představovat riziko nebo procházet významnými změnami.

  3. Poskytoval vysoce rizikového systému AI musí mít nastaven systém řízení rizik, který dokáže identifikovat a analyzovat potenciální rizika pro zdraví, bezpečnost nebo základní práva fyzických osob a přijmout opatření k jejich řízení.

  4. Systémy AI s vysokým rizikem by měly být testovány, aby se určila nejlepší opatření pro řízení rizik a aby se zajistilo, že fungují tak, jak mají. Poskytovatel by v rámci řízení rizik měl také zvážit, zda by AI mohla mít negativní dopad na osoby mladší 18 let.

  5. Vysoce rizikové systémy AI, které budou nasazeny orgány veřejné moci nebo subjekty jednajícími jejich jménem, budou muset být navíc registrovány ve veřejné databázi EU

Hodnocení dopadu AI na lidská práva

Další z novinek, které AI Act přináší, je tzv. posouzení dopadu na základní lidská práva. Také se používá zkratka FRIA z anglického pojmu Fundamental Rights Impact Assessment.

Kdo bude muset dopad AI na základní lidská práva hodnotit?

Tato povinnost dopadne v prvé řadě na veřejnoprávní subjekty nebo soukromé subjekty poskytující veřejné služby. FRIA však budou muset provádět i provozovatelé některých vysoce rizikových systémů AI, konkrétně těch, které budou využívány pro hodnocení úvěruschopnosti fyzických osob, stanovení kreditního skóre nebo pro posuzování rizik a cen v rámci životního a zdravotního pojištění. 

Co FRIA zahrnuje?

  •  Popisu procesu, resp. činnosti, ve které bude vysoce rizikový systém AI používán

  • Popis doby a četnosti, v níž má být vysoce rizikový systém AI používán, tj. časové období

  • Definici kategorií fyzických osob a skupin, které mohou být používáním AI systému v konkrétním kontextu dotčeny,

  • Identifikaci opatření, která mají být přijata v případě naplnění rizik.

Synergie s GDPR

Hodnocení dopadu AI na lidská práva (FRIA) se může překrývat s požadavkem posuzovat dopad zpracování osobních údajů na práva dotčených osob, tzv. DPIA. Mnoho vysoce rizikových systémů AI totiž bude rovněž zpracovávat osobní údaje, a proto musí splňovat i požadavky GDPR.

Procesy FRIA a DPIA jsou podobné tím, že hodnotí rizikovost určité činnosti (zpracování údajů, resp. využití umělé inteligence v konkrétním procesu) pro dotčené osoby. Částečně se ale liší svým rozsahem a zaměřením. Zatímco DPIA hodnotí dopad na práva a svobody subjektů údajů dotčených zpracováním jejich dat, FRIA se týká obecně rizik spojených s vysoce rizikovými systémy a jejich dopadem na bezpečnost i práva a svobody fyzických osob.

AI Act se tímto překryvem zabývá, když v 27 odst. 4 uvádí, že pokud jsou některé povinnosti již splněny prostřednictvím DPIA, pak jej hodnocení dopadu na lidská práva (FRIA) "doplňuje". V praxi proto bude efektivní obě posouzení, DPIA a FRIA, provádět společně. Jedním postupem, za využití obdobných či stejných metodických postupů, a dokonce mohou vyústit v jeden dokument.

Možnost kombinovat tato dvě hodnocení, stejně jako příslib standardizované šablony pro FRIA, představují jedno z opatření, která mají zmírnit administrativní zátěž spojenou s nutností dodržovat novou regulaci.

Loading...