Európska únia opäť otvára Pandorinu skrinku pod názvom Child Sexual Abuse Regulation (CSAR), v komunite známejšiu ako „Chat Control“. Pod rúškom ochrany detí sa pripravuje upravený návrh Nariadenia, ktoré by umožnilo plošné skenovanie súkromnej komunikácie. Umelá inteligencia dostane mandát čítať správy ešte predtým, ako sa zašifrujú. Orwell by sa pousmial – jeho sci-fi literatúra sa stáva literatúrou faktu. Otázka však znie: ide naozaj o účinný boj proti zločinu, alebo len o nebezpečný experiment so základnými právami občanov?
Logika cisárových nových šiat
Oficiálne sa tvrdí, že šifrovanie ostane nedotknuté. V skutočnosti však ide o tzv. client-side scanning – skenovanie priamo na zariadení používateľa, ešte pred zašifrovaním. Inak povedané, niekto vám prečíta list predtým, ako ho vložíte do obálky. Takto sa síce formálne zachová princíp end-to-end šifrovania na komunikačných rozhraniach, no ochrana súkromia sa stratí.
V recitáli 25 v pôvodnom návrhu CSAR sa objavila demagogická veta, že: „žiadne ustanovenie tohto nariadenia by sa nemalo vykladať ako zákaz alebo oslabenie šifrovania medzi koncovými bodmi.“ Keby to nebolo smutné, bolo by to na smiech. Toto konštatovanie legislatívcov mi pripomenulo jednu scénu zo známej komédie „Jak básníkům chutná život“. Štěpán Šafránek a jeho spolužiaci sú v tejto časti študenti medicíny v študentskom domove. Jeden zo spolužiakov má vyložené nohy na bielej krabici, na ktorej je nápis „Tato koule je černá!“.
Client-side scanning skutočne nenaruší samotný šifrovaný komunikačný kanál. Akurát vám prečíta obsah ešte pred zašifrovaním a pošle ho vlastným komunikačným kanálom veľkému bratovi. Ale pokiaľ EÚ povedalo, že to nie je oslabenie šifrovania medzi koncovými bodmi, tak nie je! Bodka.
Viac zraniteľností – nižšia bezpečnosť
Z pohľadu technických hrozieb je problémom, že aplikáciám, ktoré sú určené na jeden konkrétny účel, budú musieť byť doplnené funkcionality, ktoré s pôvodným účelom aplikácie nesúvisia.
V tomto prípade nereferencujem zmenu účelu spracúvania podľa GDPR (hoci aj to je v danom prípade problém), ale fakt, že sa doplnkovými, vedľajšími časťami počítačového programu zbytočne zvyšuje zložitosť programového kódu. Zvýšená komplexita aplikácií však znamená nové zraniteľnosti.
Každý nový kód znamená potenciálnu programátorskú chybu. Ani tie najlepšie softvérové domy nedokážu odhaliť a zaplátať všetky zraniteľnosti. A sme pri probléme, ktorý sa nazýva zraniteľnosti nultého dňa (zero-day vulnerabilities). Zbytočná funkcionalita vedie ku nižšej pravdepodobnosti odhalenia 0-day zraniteľností. Zvyšuje sa riziko ich zneužitia.
A keďže každý poskytovateľ aplikácie bude funkciu implementovať po svojom, hrozí fragmentácia a rôzna úroveň bezpečnosti. Niektoré aplikácie budú deravé viac, iné menej – ale všetky budú zraniteľnejšie než sú dnes. To je historickými skúsenosťami dokázaný fakt. Súhrnne to povedie k rozšíreniu tzv. priestoru hrozieb (threat landscape). Aj laik si isto uvedomí, čo v praxi znamená rozšírený priestor hrozieb. Ja si rád pri vysvetľovaní pomáham fyzickým svetom: dom s jednými dverami sa dá ľahko chrániť jediným kvalitným zámkom. Ak má však dom veľa dverí, okien a balkónov, každý z nich predstavuje ďalší potenciálny vstup. Čím viac vstupov, tým väčší priestor hrozieb – a tým viac možností pre zlodeja.
Anonymita bude minulosťou
Hoci nie na právnom základe CSAR, ale Nariadenia o digitálnych službách (DSA), je ďalším plánovaným opatrením v diskutovanom kontexte zavádzanie vekovej verifikácie a identifikácie používateľov. Inými slovami, služby budú musieť rozlišovať, kto je dieťa a kto dospelý – čo si prakticky vyžiada spájanie účtov s konkrétnymi osobami. To znamená koniec anonymity na internete, pretože bez potvrdenia identity sa nebude dať bezpečne preukázať vek.
Na prvý pohľad sa to môže javiť ako logický krok – veď kto by bol proti ochrane detí pred nevhodným obsahom? Realita je však úplne iná – a netýka sa detí, ale dospelých: každý mechanizmus vekového overovania je mechanizmom identifikácie. Pri takýchto návrhoch je potrebné mať na pamäti, že požiadavka na identifikáciu (t.j. na POTVRDENIE TOTOŽNOSTI resp. vybraných atribútov fyzickej osoby) je presným opakom požiadavky na anonymizáciu (t.j. na UTAJENIE TOTOŽNOSTI resp. vybraných atribútov fyzickej osoby).
Európska komisia v júli spustila pilotný projekt na online verifikáciu veku. Tzv. mini-wallet by mal umožniť preukázanie veku „18+“ bez zdieľania mena, dátumu narodenia či iných osobných údajov. Predstava je taká, že by to malo fungovať pomocou aplikácie, do ktorej dôveryhodný poskytovateľ (čítajte: štát) na základe predloženia eID vydá akýsi bezvýznamový identifikátor - certifikát, alebo token. Fungovať by to malo nasledujúcim spôsobom:
Krok 1: Stiahnutie aplikácie
Krok 2: Vydanie dôkazu (anonymného tokenu) o veku na základe ID/eID
Krok 3: „Odpojenie“ identity od poskytovateľa dôkazu
Krok 4: Používateľ žiada o prístup k online službe pomocou tokenu
Krok 5: Internetová služba vyžiada anonymný dôkaz o veku (token)
Krok 6: Používateľ pomocou aplikácie odošle službe anonymný dôkaz (token)
Krok 7: Internetová služba overí pravosť dôkazu bez prístupu k vydavateľovi tokenu a bez osobných údajov
Krok 8: Internetová služba udelí používateľovi prístup
Podľa Komisie má ísť o riešenie, ktoré je údajne "privacy-preserving", a "user-friendly". Na prvé prečítanie to znie dobre. Má to však zopár, viac než drobných, zádrhelov.
Avšak existujú aj vedecky zdôvodnené argumenty, ktoré upozorňujú, že aj pri selektívnom zdieľaní a využití tzv. „zero-knowledge proof“ (ZPF) mechanizmu pretrváva riziko tzv. linkovateľnosti. Čo to znamená?
Aby mohla byť zriadená funkčná sieť dôveryhodných vydavateľov tokenov, bude potrebné mať v každom tokene uvedenú „cestu" k poskytovateľovi (veľmi podobne, ako je to riešené u certifikátov elektronického podpisu). Ak by taký spôsob zaručenia dôveryhodnosti vydavateľa nejestvoval, bolo by relatívne jednoduché podhodiť token. Ergo „vyrobiť“ si falošnú identitu.
Pomocou takto implementovaného spôsobu overenia dôveryhodnosti tokenu bude možné dostať sa k jeho vydavateľovi.
Každý vydavateľ tokenu (z dôvodu nutnosti zaručenia dôveryhodnosti vydaných tokenov a tiež kvôli prípadným dôkazným konaniam) bude musieť držať log o vydaných tokenoch.
Vyplývajúci paradox: ak každý vydavateľ bude udržiavať log o vydaných tokenoch, z ktorých každý bude obsahovať unikátnu „adresu“ vydavateľa, ako môže niekto seriózne tvrdiť, že nebude možné vystopovať skutočnú identitu používateľa? Skutočne nie?
Metadáta, kryptografické podpisy či revokačné identifikátory môžu umožniť spájanie transakcií naprieč platformami. Selektívne zdieľanie identity prostredníctvom tokenov vydávaných dôveryhodnými autoritami je síce určitý krok vpred, ale nie je zárukou anonymizácie. Odvážne tvrdenia o plnej anonymite identity typu "privacy-preserving" sú a zostanú iba politickým marketingom.
Možné následky v občianskej spoločnosti budú obrovské:
Novinári a investigatívci prídu o možnosť bezpečne komunikovať s anonymnými zdrojmi.
Whistlebloweri ktorí upozornia na korupciu či porušovanie zákona, sa ocitnú v ohrození. Bez anonymity si málokto trúfne odhaliť nekalé praktiky vo firme alebo vo verejnej správe.
Ľudskoprávni aktivisti a opoziční politici sa vystavia ešte väčšiemu riziku sledovania. V krajinách, kde je demokracia krehká, môžu byť tieto nástroje ľahko zneužité na umlčanie nepohodlných hlasov.
Obete domáceho násilia alebo šikanovania často potrebujú komunikovať bez toho, aby ich agresor vedel, s kým a ako sa spájajú. Povinná identifikácia ich zbaví tejto poslednej ochrany.
Všetko vyššie uvedené je presným opakom ochrany súkromia a slobody, ktorú EÚ deklaruje.
Na záver tejto časti je potrebné citlivo pripomenúť, že všetky centrálne databázy digitálnych identít, dokladov, biometrických údajov a iných dát veľkej časti populácie sú extrémne lákavým cieľom pre hackerov.
Slepá ulička falošných obvinení
„Vtipné“ na samotnom návrhu je, že je neefektívny. Výskumy totiž ukazujú, že podobné systémy môžu vykazovať veľmi vysokú mieru falošnej pozitivity, v niektorých prípadoch až 80 %. Ľudsky povedané: zo sto automatických hlásení bude osemdesiat úplne zbytočných.
Polícia takto dostane tisíce falošných hlásení denne – rodičovské fotografie detí z dovoleniek, lekárske konzultácie a množstvo ďalších, úplne nevinných súborov. Reálnych prípadov tento systém špehovania identifikuje menšie množstvo, než „identifikuje“ falošných zistení. Zahltení operátori si postupne prestanú všímať aj tie skutočné incidenty. Falošné pozitíva tak paradoxne znížia schopnosť riešiť reálnu kriminalitu. Polícia sa bude topiť v informačnom balaste - reálni pedofili im utečú pomedzi prsty.
Technologické riešenia na boj proti zločinu existujú. Štát môže na základe povolenia súdu nasadiť informačno-technické prostriedky voči osobám podozrivým zo spáchania závažného trestného činu a získať prístup k ich komunikácii a vybraným online aktivitám, v rozsahu, ktorý je technicky možný a zákonnom dovolený. Môže pribrať znalcov na forenznú analýzu. A to aj bez plošného monitorovania občanov.
Tu treba zdôrazniť, že kriminálne podsvetie používa vlastné nástroje – šifrovacie programy, anonymizačné služby, či darkwebové fóra. Ak bude Chat Control fungovať, zasiahne najmä obyčajných ľudí, nie kriminálne siete. Tieto už dávno počítajú s monitoringom a majú pripravené únikové cesty. Páchatelia sa jednoducho presunú do menších, neregulovaných platforiem. Výsledok: slušní ľudia pod drobnohľadom, zločinci v bezpečí.
Polícia naozaj nepotrebuje odpočúvať komunikáciu každého jedného človeka, aby vyšetrila a usvedčila konkrétnych podozrivých páchateľov. Opäť si pomôžme prirovnaním k fyzickému svetu: súhlasili by ste s návrhom zákona, ktorý by políciu oprávňoval k umiestneniu kamier do každej domácnosti – napríklad pod zámienkou, že je to vraj na ochranu vášho majetku? Zdá sa vám to absurdné? Presne takto to však podľa návrhu CSAR bude vyzerať v kyberpriestore.
Automatizované rozhodovanie ako jadro procesu
CSAR nie je len technicky sporný návrh – je aj právne vratký. Je v rozpore s Chartou základných práv EÚ, najmä s článkami 7 (právo na súkromie) a 8 (ochrana osobných údajov). Naráža na GDPR, ktoré zakazuje automatizované profilovanie (čl. 22) a vyžaduje šifrovanie (čl. 32 ods. 1 písm. a) a zabezpečenie dôvernosti systémov spracúvania a služieb ako bezpečnostné opatrenia (čl. 32 ods. 1 písm. b).
Mimoriadne problematické v návrhu je najmä profilovanie. Podľa čl. 4 ods. 4 GDPR: „profilovanie“ je akákoľvek forma automatizovaného spracúvania osobných údajov, ktoré pozostáva z použitia týchto osobných údajov na vyhodnotenie určitých osobných aspektov týkajúcich sa fyzickej osoby, predovšetkým analýzy alebo predvídania aspektov dotknutej fyzickej osoby súvisiacich s výkonnosťou v práci, majetkovými pomermi, zdravím, osobnými preferenciami, záujmami, spoľahlivosťou, správaním, polohou alebo pohybom.
Čo iné ako profiling navrhuje CSAR? Chce zaviesť plošné automatizované vyhodnocovanie obsahu (AI klasifikátory, hashovanie, analýza textu, vzorcov komunikácie). Toto vyhodnocovanie povedie k označeniu konkrétnej osoby ako potenciálneho páchateľa – ešte pred ľudským overením. Už samotné označenie vyvoláva právne a spoločenské dôsledky: môže dôjsť k pozastaveniu účtu, blokácii služby alebo hláseniu polícii. To sú samozrejme rozhodnutia založené výlučne na automatizovanom spracúvaní, ktoré významne ovplyvňuje dotknutú osobu – teda presne to, čo GDPR zakazuje.
Podľa čl. 22 ods. 1 GDPR dotknutá osoba má právo nebyť predmetom automatizovaného rozhodnutia, ktoré má:
právne účinky (lenže v CSAR ide o nahlásenie polícii či zablokovanie účtu, čo má priame právne následky…)
alebo ktoré ju významne ovplyvňuje (pričom už len fakt, že je niekto vyšetrovateľom kontaktovaný kvôli podozrivému obsahu, má závažný osobný aj reputačný dopad.)
Návrh síce formálne vyžaduje „ľudské potvrdenie“ pred nahlásením obsahu, ale ide až o druhý krok, kedy je už osoba označená monitorovacím systémom ako riziková. V praxi je takýto dohľad často formálny, pretože operátor potvrdzuje tisíce alertov denne. Tým pádom sa reálny rozhodovací proces udeje už na úrovni algoritmu – a teda spadá pod spomínaný zákaz.
Inými slovami: CSAR stavia algoritmus do roly sudcu, hoci GDPR garantuje občanom právo nebyť predmetom takéhoto algoritmického posudzovania. Následky sú navyše de-facto trestnoprávne – pretože sa spúšťa konanie v trestnom rámci.
Samozrejme, legislatívci už v čase tvorby GDPR tušili, že raz sa výnimka zo zákazu bude hodiť. A tak ju tam rovno napísali. Podľa čl. 22 ods. 2 písm. b) odsek 1 sa neuplatňuje, ak je rozhodnutie povolené právom Únie alebo právom členského štátu, ktorému prevádzkovateľ podlieha... alebo založené na výslovnom súhlase dotknutej osoby.
Už vidím, ako pedofili odklikajú súhlas so spracúvaním osobných údajov...
Európsky dozorný úradník pre ochranu údajov aj European Data Protection Board sa už k prvému návrhu CSAR v roku 2022 vyjadrili negatívne. V spoločnom stanovisku zdôraznili, že hoci je sexuálne zneužívanie detí obzvlášť závažný zločin, akékoľvek obmedzenie základných práv — ako sú ochrana súkromia a údajov — musí rešpektovať podstatu týchto práv a zostať obmedzené na to, čo je skutočne nevyhnutné a primerané. Ich závery boli nasledujúce:
EDPS:
varovanie pred narušením dôvernosti a súkromia
automatizované skenovanie považuje za extrémne invazívne
mohlo by vyústiť v masový dohľad nad všetkou komunikáciou
EDPB:
riziko vyšších škôd pre súkromie než pre deti
nedostatok právnej istoty a nejasné podmienky
riziko generalizovaného skenovania užívateľskej komunikácie
Právny servis Rady EÚ (CLS) takisto upozornil, že ide o neprimeraný zásah do základných práv. Podľa CLS režim detekcie na strane klienta vo svojej súčasnej podobe uplatňovanej na medziľudské komunikačné služby predstavuje mimoriadne závažné obmedzenie práv na súkromie a ochranu osobných údajov a vážne ohrozuje podstatu práva na súkromný život. CLS konštatoval, že plánovaný plošný monitoring komunikácií sa opiera o precedenty Súdneho dvora EÚ, ktoré už takýto dohľad odmietli.
Záver je jasný: návrh, ktorý by mal údajne ochraňovať, porušuje platné zákony a vlastné pravidlá Európskej únie.
Veľký brat a naivní politici
Politici často tvrdia, že takto chránia deti. Realita je, že chránia svoju popularitu. Lenže bezpečnosť občanov sa stáva len marketingovým sloganom, za ktorý predávajú naše základné práva. História pritom ukazuje, že plošný dohľad kriminalitu nerieši – iba ju presúva. Londýn plný kamier je ukážkou: pokles kriminality v centre, nárast v okrajových štvrtiach.
V kyberpriestore sa tento jav zopakuje v ešte väčšej miere. Politici budú tvrdiť, že konajú pre naše dobro, ale v skutočnosti otvárajú dvere orwellovskej dystópii, kde Veľký brat sleduje každú našu správu.
Jeden z najnebezpečnejších efektov podobných opatrení je podsúvanie falošnej istoty. Občanom sa podsúva tvrdenie: „ste v bezpečí, lebo vás sledujeme“. To je demagogický naratív, ktorý v praxi oslabuje prirodzenú obozretnosť. Bežní ľudia začnú žiť v presvedčení, že štát všetko „postráži“ za nich, ale v skutočnosti sa stanú zraniteľnejší – pretože prestanú myslieť kriticky.
Rovnako vážnym dôsledkom je psychologický efekt: vedomie, že každá správa môže byť čítaná, vedie k autocenzúre. Ľudia začnú váhať, či môžu otvorene napísať svoj názor, či môžu poslať ironický vtip alebo politický komentár. To je typický znak totalitných režimov – strach z toho, že aj banálna poznámka môže byť vytrhnutá z kontextu. Dokonca aj nevinný občan sa stáva „opatrnejším“. Tento jav sa v práve označuje ako „chilling effect“ – odstrašujúci účinok, ktorý umlčiava otvorenú diskusiu v spoločnosti.
Ďalšia hrozba, o ktorej sa menej hovorí, je geopolitická. Ak EÚ zavedie plošné skenovanie a automatické vyhodnocovanie komunikácie, vytvorí precedens, na ktorý sa autoritárske režimy s radosťou odvolajú. Čína, Rusko či iné nedemokratické krajiny získajú jednoduchý argument: ak to robí Brusel v mene ochrany detí, môžeme to robiť aj my v mene našej národnej bezpečnosti. A nepôjde len o prázdne vyhlásenia. Autoritárske režimy už dnes využívajú EÚ ako „štít“: ak Brusel zavádza plošný dohľad v mene ochrany detí, oni môžu zaviesť to isté v mene ochrany vlastných „hodnôt“ alebo „štátnej bezpečnosti“. Lenže tam, kde EÚ ešte udržiava právny rámec, sa v týchto krajinách dohľad zmení na nástroj politickej kontroly.
Starý kontinent je zatiaľ ešte stále baštou práv a slobôd. Ale ak budeme mlčať, naivní a populistickí politici zvíťazia a my sa ocitneme v realite, kde nás bude Veľký brat sledovať „pre naše dobro“. Nesmieme dovoliť, aby sa z nástroja na ochranu detí stal nástroj na kontrolu celej spoločnosti. Proti nezákonným činom sa má bojovať zákonnými spôsobmi – nie plošným špehovaním všetkých občanov.
Ak raz pripustíme, že štát môže čítať naše správy, už nikdy nebudeme mať istotu, že ich nebude čítať na iné účely. Orwellov román 1984 sa nesmie stať našou každodennou realitou.
