Rozhodnutí nizozemského dozorového úřadu Autoriteit Persoonsgegevens (AP) představuje jeden z nejvýznamnějších případů aplikace článku 22 GDPR. Uber měl v letech 2018 až 2022 používat automatizované systémy k dočasnému nebo trvalému deaktivování účtů řidičů, například v případě podezření na podvod nebo při nízkém hodnocení zákazníků.
Výsledek? Pokuta ve výši 824 990 000 eur, tedy druhá nejvyšší sankce uložená podle GDPR. Důležitější než samotná výše pokuty je však právní otázka, kterou případ otevírá:
„Kdy je rozhodnutí skutečně učiněno člověkem a kdy je člověk pouze formálním potvrzením rozhodnutí algoritmu?“
Algoritmus jako manažer
Platformy jako Uber jsou typickým příkladem tzv. algoritmického řízení práce.
Software může vyhodnocovat velké množství informací, například:
hodnocení zákazníků,
chování řidiče,
podezřelé aktivity,
možné podvody,
dodržování pravidel platformy,
další provozní a výkonnostní ukazatele.
Na základě těchto informací může systém vyhodnotit, že určitý řidič představuje riziko nebo nesplňuje stanovené požadavky.
Automatizace sama o sobě není problém.
Problém nastává ve chvíli, kdy systém nejen analyzuje nebo doporučuje, ale fakticky rozhodne.
V případě Uberu mohlo rozhodnutí znamenat deaktivaci účtu řidiče. Pokud řidič nemá přístup k platformě, nemůže prostřednictvím ní přijímat jízdy a generovat příjem. Právě zde se dostáváme k článku 22 GDPR.
Co říká článek 22 GDPR?
Článek 22 GDPR stanovuje, že osoba má právo nebýt předmětem rozhodnutí založeného výhradně na automatizovaném zpracování, včetně profilování, pokud toto rozhodnutí:
má právní účinky, nebo
ji obdobně významně ovlivňuje.
Ne každé automatizované rozhodnutí je tedy automaticky zakázané.
Aby se článek 22 GDPR uplatnil, musí být splněny zejména tři podmínky:
1. Rozhodnutí musí být založeno výhradně na automatizovaném zpracování
Klíčovým slovem je zde „výhradně“.
Pokud algoritmus pouze poskytuje doporučení a člověk následně skutečně posoudí konkrétní případ a může rozhodnutí změnit, nemusí se jednat o rozhodnutí založené výhradně na automatizovaném zpracování.
Pokud však systém rozhodne a člověk jeho závěr pouze formálně potvrdí, situace může být úplně jiná.
2. Rozhodnutí musí mít významný dopad
Ne každé automatizované rozhodnutí bude spadat pod článek 22 GDPR.
V případě Uberu byl dopad zřejmý.
Deaktivovaný řidič nemohl využívat platformu a tím mohl přijít o zdroj příjmů. Rozhodnutí proto mělo zásadní ekonomický dopad na jeho profesní činnost.
3. Musí existovat zákonný základ nebo výjimka
GDPR připouští automatizované rozhodování v určitých případech, například pokud je rozhodnutí:
nezbytné pro uzavření nebo plnění smlouvy,
povoleno právem Evropské unie nebo členského státu, nebo
založeno na výslovném souhlasu dotčené osoby.
Ani existence některé z těchto výjimek však neznamená, že správce nemusí poskytovat další záruky.
„Human in the loop“ nestačí
Jedním z nejdůležitějších témat celého případu je otázka tzv. smysluplného lidského zásahu.
Mnoho společností dnes používá argument: „V procesu je přece člověk.“ To však samo o sobě nemusí být dostatečné.
Představme si systém, který označí zaměstnance jako rizikového a doporučí ukončení jeho přístupu k firemnímu systému. Následně pracovník podpory klikne na tlačítko „Potvrdit“. Je to lidské rozhodnutí? Ne nutně.
Skutečný lidský zásah musí být více než formální kontrola nebo automatické potvrzení výsledku systému. Osoba, která rozhodnutí přezkoumává, by měla mít:
dostatečné informace,
kompetenci rozhodnutí posoudit,
pravomoc změnit výsledek,
možnost algoritmické doporučení odmítnout,
skutečný prostor pro individuální posouzení případu.
Jinými slovy, člověk nesmí být pouze „razítkem“ algoritmu.
Právě hranice mezi skutečným lidským rozhodnutím a pouhým potvrzením automatizovaného výsledku bude v následujících letech jednou z nejdůležitějších otázek ochrany osobních údajů.
Transparentnost je druhou částí problému
Případ Uberu se netýká pouze samotného automatizovaného rozhodování.
Stejně důležitá je otázka, zda dotčené osoby věděly:
že jsou předmětem automatizovaného rozhodování,
jaký typ rozhodování systém provádí,
jaký význam má toto rozhodování,
jaké mohou být jeho důsledky.
Pokud algoritmus rozhoduje o přístupu člověka ke službě, práci nebo příjmu, nestačí pouze obecná informace v dlouhém dokumentu o ochraně soukromí. GDPR vyžaduje odpovídající transparentnost.
Dotčená osoba musí mít možnost pochopit, že automatizované rozhodování probíhá a jaké důsledky pro ni může mít.
To neznamená, že společnost musí zveřejnit celý zdrojový kód nebo obchodní tajemství algoritmu.
Musí však poskytnout dostatečné informace, aby osoba nebyla postavena před situaci, ve které jí systém oznámí: „Vaše konto bylo deaktivováno,“ aniž by věděla, proč se tak stalo a jak může rozhodnutí napadnout.
Právo napadnout rozhodnutí
Pokud je automatizované rozhodování přípustné na základě některé z výjimek podle článku 22 GDPR, GDPR předpokládá také určité záruky.
Mezi nejdůležitější patří možnost:
získat lidský zásah,
vyjádřit svůj názor,
napadnout rozhodnutí.
Tyto mechanismy nemohou být pouze formální.
Například možnost poslat e-mail na obecnou zákaznickou podporu nemusí sama o sobě znamenat, že osoba skutečně získala smysluplnou možnost napadnout automatizované rozhodnutí.
Společnost by měla být schopna vysvětlit:
kdo rozhodnutí přezkoumá,
zda má tato osoba pravomoc rozhodnutí změnit,
jaké informace při přezkumu zohlední,
zda může dotčená osoba předložit vlastní argumenty,
zda existuje skutečný individuální přezkum.
Proč se případ netýká pouze Uberu?
Bylo by chybou vnímat rozhodnutí jako problém jedné platformy.
Automatizované rozhodování dnes využívají společnosti v mnoha oblastech.
HR a zaměstnávání
Algoritmy mohou:
vyřazovat kandidáty,
hodnotit zaměstnance,
doporučovat povýšení,
identifikovat údajně problémové pracovníky,
určovat pracovní směny,
hodnotit výkonnost.
Pokud automatizovaný systém rozhoduje o tom, kdo získá pracovní příležitost nebo kdo o ni přijde, může se článek 22 GDPR stát zásadním právním problémem.
Bankovnictví a úvěry
Automatizované systémy se používají například při:
kreditním scoringu,
schvalování úvěrů,
odmítání žádostí,
hodnocení rizika.
Právě oblast credit scoringu již byla významně ovlivněna judikaturou Soudního dvora Evropské unie, zejména rozhodnutím ve věci SCHUFA.
Společnost se nemůže automaticky zbavit odpovědnosti pouze tím, že samotné skóre vytvořil externí systém. Pokud je automatizovaný výstup určující pro konečné rozhodnutí, může se právní problém přenést i na tento mechanismus.
E-commerce a prevence podvodů
Velmi praktický příklad představují systémy pro odhalování podvodů.
Zákazník provede objednávku a systém ji automaticky vyhodnotí jako rizikovou.
Následně může dojít například k:
automatickému zrušení objednávky,
zablokování účtu,
odmítnutí platby,
omezení přístupu ke službě.
Společnosti by měly analyzovat, zda jejich systém pouze označuje případ pro lidské posouzení, nebo zda skutečně automaticky rozhoduje.
Rozdíl mezi těmito dvěma modely může být z pohledu článku 22 GDPR zásadní.
„Algoritmus rozhodl“ není právní obhajoba
Jedním z hlavních poselství případu Uber je skutečnost, že odpovědnost za rozhodnutí zůstává na společnosti.
Algoritmus nemá vlastní právní odpovědnost.
Pokud společnost nasadí systém, který:
vyhodnocuje lidi,
profiluje jejich chování,
přiděluje jim rizikové skóre,
omezuje jejich přístup,
rozhoduje o jejich příjmech nebo pracovních příležitostech,
odpovědnost za zákonnost tohoto systému zůstává na správci osobních údajů.
To bude stále důležitější také s rostoucím využíváním umělé inteligence.
GDPR totiž není předpisem, který by čekal na příchod AI Actu.
Pravidla pro ochranu osobních údajů se na automatizované rozhodování uplatňují již nyní.
Uber, GDPR a AI Act
Rozhodnutí přichází v době, kdy se stále více prolínají tři oblasti:
GDPR,
regulace platformové práce,
regulace umělé inteligence.
Evropská regulace se postupně posouvá směrem k větší kontrole tzv. algorithmic management, tedy situací, kdy digitální systémy řídí, hodnotí a kontrolují pracovníky.
Platformy mohou prostřednictvím algoritmů určovat:
komu nabídnou práci,
kolik práce získá,
jak bude hodnocen,
zda bude označen jako rizikový,
zda bude mít nadále přístup k platformě.
Právě zde se ochrana osobních údajů stává také otázkou pracovních podmínek a ekonomické autonomie. Rozhodnutí Uberu proto není pouze „případem o GDPR“. Je také ukázkou toho, jak může ochrana osobních údajů regulovat vztah mezi člověkem a algoritmem.
Co by měly společnosti udělat?
Společnosti využívající automatizované systémy by měly provést praktický audit svých rozhodovacích procesů.
Základní otázky jsou následující.
1. Rozhoduje algoritmus o člověku?
Je třeba identifikovat systémy, které mohou:
odmítnout zákazníka,
zablokovat účet,
ukončit službu,
odmítnout uchazeče o zaměstnání,
snížit přístup k určité příležitosti,
ovlivnit cenu,
ovlivnit pracovní podmínky.
2. Je rozhodnutí skutečně automatizované?
Nestačí pouze zjistit, zda je někde v procesu přítomen člověk.
Je nutné zjistit:
v jaké fázi člověk vstupuje do procesu,
co skutečně kontroluje,
zda může výsledek změnit,
zda má dostatečné informace,
zda je jeho rozhodnutí individuální.
3. Má rozhodnutí významný dopad?
Je třeba posuzovat skutečné důsledky pro člověka.
Zvláštní pozornost si zaslouží rozhodnutí, která mohou ovlivnit:
příjem,
zaměstnání,
přístup ke službě,
smluvní vztah,
finanční situaci,
profesní možnosti.
4. Jsou lidé dostatečně informováni?
Privacy notice by měla odpovídat skutečnému fungování systému.
Společnost by měla být schopna vysvětlit:
že automatizované rozhodování používá,
jaký má význam,
jaké mohou být jeho důsledky,
jaké záruky má dotčená osoba k dispozici.
5. Existuje skutečný mechanismus lidského přezkumu?
Je vhodné ověřit, zda osoba může skutečně získat individuální posouzení svého případu.
Nejde pouze o existenci odvolacího tlačítka.
Důležité je, co se stane poté, co jej člověk použije.
Výše pokuty není jediným poselstvím
Částka 825 milionů eur samozřejmě přitáhla pozornost médií. Samotná výše pokuty by však neměla zastínit skutečný význam případu. Uber nebyl sankcionován proto, že by někdo hacknul jeho systémy. Nešlo ani o klasický případ úniku osobních údajů. Jádrem problému bylo rozhodování o lidech prostřednictvím systémů, které podle zjištění dozorového úřadu fungovaly bez odpovídajícího lidského zásahu a bez dostatečné transparentnosti.
To je důležité pro každou společnost, která používá:
AI,
scoring,
profilování,
fraud detection,
automatizované HR systémy,
algoritmické hodnocení,
automatické blokování účtů.
Uber se bude bránit
Je důležité dodat, že věc není definitivně uzavřena. Uber s rozhodnutím nesouhlasí, považuje uloženou sankci za nepřiměřenou a avizoval, že se bude bránit. Společnost mimo jiné argumentuje, že její současné postupy zahrnují lidské přezkoumání a možnost napadnout rozhodnutí. Další vývoj proto může být pro výklad článku 22 GDPR mimořádně významný.
Případ může zejména přispět k dalšímu vyjasnění otázky:
Kolik lidského zásahu je potřeba, aby rozhodnutí již nebylo považováno za rozhodnutí založené výhradně na automatizovaném zpracování?
Odpověď nebude pravděpodobně spočívat v jednoduchém pravidle, že „stačí, aby člověk klikl na tlačítko“.
Rozhodující bude kvalita a skutečný význam lidského zásahu.
Závěr: nejde o zákaz algoritmů
Rozhodnutí proti Uberu neznamená, že společnosti nesmějí používat algoritmy nebo umělou inteligenci.
Automatizace může být legitimní a velmi užitečná.
Algoritmus může například:
analyzovat velké množství dat,
identifikovat rizika,
odhalovat podezřelé chování,
poskytovat doporučení,
upozorňovat na případy vyžadující pozornost.
Problém začíná ve chvíli, kdy se doporučení systému automaticky stane rozhodnutím o člověku.
Pokud algoritmus ovlivňuje něčí zaměstnání, příjem, přístup ke službě nebo jiné významné životní okolnosti, společnost musí věnovat zvláštní pozornost tomu, zda:
rozhodnutí není založeno výhradně na automatizovaném zpracování,
existuje skutečný lidský dohled,
dotčená osoba ví, že automatizované rozhodování probíhá,
může získat lidský zásah,
může vyjádřit svůj názor a rozhodnutí napadnout.
Nejdůležitější otázka proto dnes nezní, zda společnost používá umělou inteligenci.
Zní spíše:
Kdo skutečně rozhoduje, když algoritmus doporučí výsledek – člověk, nebo ve skutečnosti stále algoritmus?
