Agenti s umelou inteligenciou sa do firiem nasťahovali rýchlejšie, než stihli vzniknúť pravidlá pre ich používanie. Nepýtajú si stoličku a ani kávu, nechodia na porady a predsa sami si plánujú úlohy, siahajú po dátach v databázach, odpovedajú zákazníkom, schvaľujú objednávky, predselektujú uchádzačov a rozhodujú. Keď však niečo pokazia, vynorí sa otázka, ktorá zaskočí nejedno vedenie: kto za to vlastne zodpovedá?
Tento článok naznačuje, ako sa s tým vysporiadať v logike GDPR, Zákona o umelej inteligencii a noriem rodiny ISO.
Riadenie agentov nie je o nedôvere k technológii. Je to o tom, že samostatnosť bez hraníc je riziko a hranice musí niekto výslovne určiť, zapísať a strážiť. Firmy nasadzujú agentov v desiatkach naraz, často bez toho, aby si to ústredie vôbec všimlo. Marketingové oddelenie si spustí asistenta na tvorbu obsahu, podpora chatbota, financie nástroj na spracovanie faktúr. Každý z nich pracuje s údajmi, každý koná v mene firmy a každý dokáže spôsobiť škodu. Keď sa takýto roj agentov rozbehne bez pravidiel, vzniká to, čo odborníci na riadenie rizík nazývajú medzerou v zodpovednosti. Stroj koná, ale zodpovednosť visí vo vzduchu, lebo nikto nepovedal vopred, komu patrí.
V nasledujúcich častiach prejdeme štyri rizikové skupiny a povinnosti, ktoré z nich plynú, konkrétne požiadavky GDPR, pohľad noriem ISO/IEC 27001 a ISO/IEC 42001, typické riziká agentov, riadenie dodávateľa, retencie, potrebnú dokumentáciu a napokon akčný plán na deväťdesiat dní.
1. Prečo je agent niečo iné než obyčajný softvér
Klasický program robí presne to, čo má naprogramované, a nič viac. Ak sa pomýli, chyba je v kóde a vinník je jasný. Agent je iný. Pohybuje sa v určenom rozsahu, ale v jeho rámci si volí postup sám, mení ho podľa situácie a niekedy prekvapí aj svojich tvorcov. Túto vlastnosť oceňujeme, lebo robí agenta užitočným. Zároveň je to dôvod, prečo sa naňho nedá uplatniť stará logika, podľa ktorej za softvér zodpovedá ten, kto stlačil tlačidlo.
Predstavme si agenta, ktorý samostatne vybavuje reklamácie a v rámci toho vracia peniaze. Ak mu nikto nenastavil hornú hranicu, môže za víkend vrátiť sumy, ktoré nikto neschválil. Technicky urobil presne to, na čo bol určený. Problém nie je v jednom kroku, ale v tom, že chýbalo vymedzenie, čo smie robiť sám a kde sa musí spýtať človeka. Riadenie agentov preto nie je o nedôvere k technológii. Je o tom, že samostatnosť bez hraníc je riziko a hranice musí niekto výslovne určiť, zapísať a strážiť.
2. Ochrana údajov: GDPR sa nepýta, či ide o umelú inteligenciu
Mnohí majú pocit, že umelá inteligencia je natoľko nová, že na ňu staré pravidlá neplatia. Opak je však pravdou. Všeobecné nariadenie o ochrane údajov, teda GDPR, sa nepýta, akou technológiou sa údaje spracúvajú. Pýta sa, či sa spracúvajú, na akom právnom základe a s akými zárukami. A agent, ktorý číta e-maily zákazníkov alebo posudzuje uchádzačov, spracúva osobné údaje rovnako reálne ako zamestnanec za stolom.
Z toho plynie niekoľko povinností, ktoré sa pri nasadení agenta až príliš často prehliadnu:
Po prvé, každá operácia potrebuje platný právny základ podľa článku 6, pri citlivých údajoch dokonca výnimku podľa článku 9.
Po druhé, ak je spracúvanie rizikové, tak treba ešte pred spustením vykonať posúdenie vplyvu na ochranu údajov, známe ako DPIA (Data Protection Impact Assessment), podľa článku 35 GDPR.
Po tretie, poskytovateľ modelu, ktorý spracúva údaje v mene firmy, je tkz. sprostredkovateľom a vzťah s ním musí ošetriť zmluva o ochrane osobných údajov podľa článku 28 (DPA – Data Protection Agreement).
A po štvrté, ak údaje opúšťajú Európsky hospodársky priestor, čo sa pri cloudových modeloch deje takmer vždy, treba na prenos primeranú záruku a hodnotenie rizík. Ide napríklad o rozhodnutie o primeranosti, a/alebo štandardné zmluvné doložky, či záväzné firemné pravidlá (BCRs). Určite však treba hodnotenie rizík (TIA – Transfer Impact Assessment) a aj dodatočné opatrenia ako napríklad silné šifrovanie (kde dešifrovací kľúč zostáva v EÚ) alebo pseudonymizáciu. Ak riziká nedokážete zmierniť, prenos sa podľa GDPR nesmie uskutočniť.
K tomu sa pridáva informačná povinnosť podľa článkov 13 a 14, ktorá má pokryť aj použitie AI. Nemožno zabudnúť ani na zásady minimalizácie a lehoty uchovávania podľa článku 5, ktorým sa venuje samostatná časť o retenciách.
Osobitnú pozornosť si zaslúži článok 22. Ten dáva človeku právo nebyť vystavený rozhodnutiu, ktoré je založené výlučne na automatizovanom spracúvaní a má pre neho právny alebo podobne závažný účinok. Tu sa skrýva pasca, do ktorej padá prekvapivo veľa firiem.
Žiaľ, firmy zvyknú tvrdiť, že agent len odporúča a konečné slovo má človek. Lenže ak ten človek len mechanicky odklikne každý návrh bez vlastného a metodického posúdenia, rozhodnutie je fakticky automatizované a zo zákona vyplývajú záruky: právo na ľudský zásah, na vyjadrenie vlastného stanoviska a na napadnutie rozhodnutia. Hranica medzi odporúčaním a rozhodnutím je tenká ako vlas a práve na nej sa láme súlad.
3. AI Act: nové pravidlá šité na mieru umelej inteligencii
Tam, kde GDPR mlčí o špecifikách umelej inteligencie, nastupuje Akt o umelej inteligencii, čiže európske nariadenie známe ako AI Act. Jeho logika je jednoduchá a férová: čím väčšie riziko systém prináša, tým prísnejšie sú povinnosti.
Systémy s neprijateľným rizikom, ako je sociálne skórovanie občanov, sú systémy zakázané úplne. Vysokorizikové systémy, kam patrí napríklad nástroj na výber zamestnancov, musia spĺňať celý rad požiadaviek. Systémy s obmedzeným rizikom majú najmä povinnosti transparentnosti a tie s minimálnym rizikom sú do veľkej miery voľné.
Pre firmu, ktorá agentov používa, sú kľúčové štyri veci:
Prvou je správne zaradenie každého agenta do rizikovej kategórie, lebo od neho sa odvíja všetko ostatné.
Druhou je ľudský dohľad podľa článku 14, ktorý musí byť skutočný, nie iba formálny. Dozerajúca osoba potrebuje právomoc, nástroje aj čas na to, aby mohla agenta zastaviť, pričom samotné zastavenie, teda akýsi núdzový vypínač, musí byť odskúšaný a nie len teoreticky možný.
Treťou je transparentnosť podľa článku 50: človek má vedieť, že komunikuje s AI, a obsah vytvorený umelou inteligenciou má byť označený.
Štvrtou, a často podceňovanou, je povinnosť zabezpečiť dostatočnú AI gramotnosť ľudí, ktorí s agentmi pracujú. Nepoučený zamestnanec je totiž najslabším článkom celého systému.
Dôležité je aj vyjasniť si vlastnú rolu. AI Act rozlišuje medzi tým, kto systém vyvíja a uvádza na trh, a tým, kto ho len používa. Väčšina firiem je v role používateľa, teda nasadzujúceho subjektu. Lenže ak firma agenta výrazne dotvorí alebo zmení jeho účel, môže sa nepozorovane preklopiť do role poskytovateľa, a tým na seba prevziať oveľa ťažší batoh povinností. Práve preto sa oplatí túto rolu pri každom agentovi určiť písomne.
4. Pohľad ISO/IEC 27001: bezpečnosť agenta v kontrolách
Tam, kde GDPR a AI Act hovoria o povinnostiach, norma ISO/IEC 27001 ponúka konkrétne bezpečnostné kontroly, ktorými sa tieto povinnosti napĺňajú v praxi. Príloha A normy obsahuje deväťdesiattri kontrol a pre AI agentov je relevantná najmä táto skupina:
• Inventár a klasifikácia (A.5.9 a A.5.12): každý agent a informácie, s ktorými pracuje, musia byť evidované a zatriedené podľa citlivosti.
• Riadenie prístupu a identity (A.5.15 až A.5.18, A.8.2 a A.8.5): agent dostane len nevyhnutné oprávnenia, jeho strojová identita je spravovaná, autentizačné údaje a kľúče sú chránené a rotované.
• Dodávateľský reťazec (A.5.19 až A.5.23): bezpečnosť vo vzťahoch s dodávateľmi, v zmluvách, v rámci celého reťazca a osobitne pri cloudových službách.
• Logovanie a monitorovanie (A.8.15 a A.8.16): činnosť agenta sa zaznamenáva a sleduje tak, aby bola spätne auditovateľná.
• Riadenie incidentov (A.5.24 až A.5.26): pripravenosť, posúdenie a reakcia na bezpečnostné udalosti vrátane tých, ktoré spôsobí agent.
• Výmaz a ochrana údajov (A.8.10, A.8.11 a A.8.12): bezpečné mazanie informácií, maskovanie a prevencia úniku dát, takzvané DLP.
• Bezpečný vývoj a testovanie (A.8.25, A.8.29 a A.8.31): agenta treba bezpečne nasadiť, otestovať vrátane red teamingu a oddeliť vývojové, testovacie a produkčné prostredie.
• Povedomie a ochrana súkromia (A.6.3 a A.5.34): školenie ľudí a ochrana osobných údajov ako prierezová kontrola.
Práve tu sa rodí jedno z najnovších a najpodceňovanejších rizík: neľudská identita agenta. Agenti sa voči systémom autentizujú vlastnými kľúčmi a tokenmi, a ak tieto strojové identity nikto nespravuje, stávajú sa tichou zadnou bránou do firmy. Kontrola A.5.16 a súvisiace kontroly preto pri agentoch nadobúdajú celkom nový význam.
5. Pohľad ISO/IEC 42001: systém manažérstva umelej inteligencie
Zatiaľ čo ISO/IEC 27001 rieši bezpečnosť, novšia norma ISO/IEC 42001 zavádza systém manažérstva umelej inteligencie, takzvaný AIMS. Je to strešný rámec, ktorý hovorí, ako má organizácia umelú inteligenciu zodpovedne riadiť ako celok, podobne ako ISO 27001 rieši informačnú bezpečnosť.
Norma vyžaduje politiku pre umelú inteligenciu a jasné roly a zodpovednosti, posúdenie vplyvov AI systémov, riadenie celého životného cyklu od návrhu po vyradenie, správu dát používaných systémami, informovanie dotknutých strán, pravidlá používania a osobitne aj vzťahy s tretími stranami a zákazníkmi. Pre firmu s viacerými agentmi je ISO 42001 prirodzeným domovom pre rolu gestora AI governance, pre register agentov, pre posúdenia vplyvu a pre pravidelnú revíziu. Spolu s 27001 tvoria dvojicu, ktorá pokrýva agenta z pohľadu bezpečnosti aj zodpovedného riadenia, a obe sa elegantne prepájajú s povinnosťami GDPR a AI Act.
6. Riziká, ktoré agenti prinášajú
Skôr než firma agentov pustí do ostrej prevádzky, mala by si pomenovať a ohodnotiť riziká, ktoré s nimi prichádzajú. Medzi najčastejšie a najzávažnejšie patria:
• Prompt injection: škodlivý vstup prinúti agenta konať mimo zámeru alebo vyzradiť údaje. Obranou je validácia vstupov, izolácia nástrojov, kontrola výstupov a DLP.
• Halucinácie: agent presvedčivo vytvorí nepravdivú informáciu alebo chybné rozhodnutie. Pomáha ľudský dohľad, kontrola výstupov a obmedzenie domén pôsobenia.
• Nadmerné oprávnenia a privilege creep: agent má viac práv, než potrebuje. Riešením je zásada najmenších privilégií a periodická revízia prístupov.
• Nespravovaná strojová identita: únik kľúčov agenta otvára útočníkovi dvere. Pomáha správa neľudských identít a rotácia tajomstiev.
• Automatizované rozhodovanie bez záruk: porušenie článku 22 GDPR pri agentoch rozhodujúcich o ľuďoch.
• Prenos údajov mimo Európskeho hospodárskeho priestoru bez záruky, chýbajúca sprostredkovateľská zmluva či tieňové nasadenie agenta bez evidencie.
• Zaujatosť a diskriminácia vo výstupoch, chýbajúce logy a neauditovateľnosť, prekročenie finančného limitu, závislosť na dodávateľovi, nedostatočná AI gramotnosť a nadmerná retencia údajov.
Osvedčeným nástrojom je tu register rizík, kde sa každé riziko ohodnotí podľa pravdepodobnosti a dopadu, vypočíta sa skóre a priradí opatrenie, zodpovedná osoba a termín. Tak sa z abstraktných obáv stane riadený zoznam s jasným vlastníkom.
7. Riadenie dodávateľa: TPRM (Third Party Risk Management) v praxi
Pri agentoch sa kritická časť zodpovednosti presúva na dodávateľa modelu alebo platformy. Ak to firma nepodchytí, riziko nesie sama. Preto je namieste zaviesť riadenie rizík tretích strán, takzvané TPRM, a posúdiť dodávateľa pred spoluprácou aj počas nej. Posúdenie by malo pokryť štyri okruhy.
V zmluvnej a v dátovej rovine ide o sprostredkovateľskú zmluvu podľa článku 28, štandardné zmluvné doložky a posúdenie prenosu pri údajoch mimo Európskej únie a o transparentný zoznam ďalších (sub)sprostredkovateľov.
V bezpečnostnej rovine o platnú certifikáciu ISO 27001 alebo správu SOC 2, o penetračné testovanie, šifrovanie údajov a bezpečnosť cloudových služieb.
V rovine špecifickej pre umelú inteligenciu o technickú dokumentáciu, o deklarovaný súlad s AI Act a o jasné stanovisko, či dodávateľ používa údaje zákazníka na tréning, a o opatrenia proti zaujatosti.
A napokon v prevádzkovej rovine o dohodu o úrovni služieb, o notifikáciu incidentov, o ukončení spolupráce a o kontinuitu vrátane preukázateľného vrátenia a výmazu údajov a o zmluvné právo na audit.
Tieto okruhy zodpovedajú kontrolám A.5.19 až A.5.23 normy ISO 27001 a tvoria jadro dodávateľského posúdenia.
8. Retencie a výmaz: ako dlho a čo s tým
Agenti produkujú obrovské množstvo údajov: vstupné prompty, výstupy, logy, konverzácie. Bez jasných lehôt z nich vzniká riziková a nezvládnuteľná množina dát. Retenčný plán by mal pre každú kategóriu určiť účel, právny základ, lehotu, spúšťač jej plynutia a spôsob výmazu.
Orientačne možno uvažovať takto:
• Vstupné prompty a požiadavky: spravidla 30 až 90 dní, potom automatický výmaz.
• Výstupy agenta: podľa účelu, typicky do jedného roka, s možnosťou anonymizácie.
• Audit a prevádzkové logy: 6 až 24 mesiacov, chránené pred zmenou.
• Konverzácie s chatbotom: 6 až 12 mesiacov, potom výmaz alebo pseudonymizácia.
• Účtovné a transakčné záznamy: 10 rokov podľa účtovných predpisov.
• Záznamy o incidentoch: odporúčane aspoň 5 rokov od uzavretia.
• Posúdenia DPIA a FRIA: počas životnosti agenta a niekoľko rokov po jeho vyradení, na preukázanie súladu.
Konkrétne lehoty si určí prevádzkovateľ podľa účelu a právneho základu, no zásada je vždy rovnaká: uchovávať len to, čo treba, a len tak dlho, ako treba. Výmaz musí byť pritom skutočný a doložiteľný, čo zodpovedá kontrole A.8.10 normy ISO 27001.
Na druhej strane si treba uvedomiť, že AI je „múdra“ vtedy, ak má čo najviac dát. Takže GDPR so svojou zásadou minimalizácie a AI so svojou potrebou maxima dát, k sebe veľmi nejdú. Tu treba mať experta aj na GDPR (napríklad pozícia DPO – Data Protection Officer) a experta na AI (napríklad RAI - Responsible AI Officer) a nájsť rozumný kompromis.
9. Dokumentácia, ktorú treba mať
Súlad sa nepreukazuje slovami, ale dokumentami a prácou s nimi. Pri riadení agentov by firma mala mať pripravený napríklad aj takýto súbor dokumentácie, ktorý zároveň slúži ako kontrolný zoznam:
• politiku a smernicu používania AI a pravidlá akceptovateľného použitia;
• register AI agentov a kartu agenta s maticou autonómie;
• posúdenie rizika a klasifikácie pre každého agenta;
• DPIA, FRIA, aktualizovanú RoPA a posúdenie oprávneného záujmu;
• sprostredkovateľské zmluvy, štandardné zmluvné doložky a TPRM posúdenie dodávateľa;
• privacy notice pokrývajúce použitie AI a automatizované rozhodovanie;
• register rizík, retenčný plán a logging policy;
• pravidlá riadenia prístupov a strojových identít, threat model a správu z bezpečnostného testovania;
• incident response plán, plán monitorovania a postup núdzového zastavenia;
• plán a evidenciu školení AI gramotnosti;
• dohodu o úrovni služieb, exit a continuity plán a postup riadeného vyradenia agenta.
Tento zoznam ale nie je kompletný a nie je to ani samoúčelná byrokracia. Každý dokument zodpovedá konkrétnej povinnosti a v prípade kontroly alebo incidentu je práve on tým, čo rozhoduje medzi preukázaným súladom a nepríjemnými otázkami.
10. Praktická cesta od chaosu k poriadku
Ako teda postupovať, ak agentov vo firme pribúda rýchlejšie než pravidiel? Najprv treba spraviť inventúru a zistiť, čo všetko je nasadené, vrátane tieňových agentov, o ktorých vedenie netuší. Potom každého agenta zaradiť do rizikovej kategórie a určiť rolu firmy.
Následne pri každom vymedziť účel, rozsah úloh a najmä hranice samostatnosti: čo smie robiť sám, čo len s ľudským schválením a čo nesmie vôbec. Ďalším krokom je priradiť roly cez maticu zodpovednosti, doplniť chýbajúce posúdenia a zmluvy a napokon všetko zastrešiť smernicou a školeniami.
Znie to ako veľa práce a do istej miery aj je. Lenže alternatíva je drahšia. Pokuty za porušenie GDPR aj AI Act sa počítajú v percentách z celosvetového obratu a popri nich stojí strata dôvery zákazníkov, ktorú nijaká pokuta nevyčísli. Firma, ktorá si svojich agentov ustráži, to nerobí z byrokratickej povinnosti, ale preto, že chce mať istotu, že stroj koná v jej mene tak, ako si to želá, a nie tak, ako sa práve pomýlil.
Záver
AI agenti nie sú hrozbou, ktorej sa treba báť, ani hračkou, ktorú možno nasadiť bez rozmyslu. Sú výkonným nástrojom, ktorý si vyžaduje to isté, čo každý nový a schopný zamestnanec: jasné zadanie, vymedzené právomoci, dohľad a niekoho, kto za jeho prácu ručí. Rozdiel je len v tom, že agentovi treba tieto veci nastaviť výslovne a vopred, pretože sám sa zdravého rozumu nedovolá.
