"Shadow IT může vaše data zneužít, ale Shadow AI si je nejen vezme, ale zároveň se z nich učí a dál je využívá"
Zatímco se IT a Security týmy konečně naučily, jak zvládat Shadow IT, před dvěma lety přišla nová a možná ještě zákeřnější hrozba – Shadow AI.
Se Shadow IT se setkáváme již dlouhou řadu let. Nejprve se jednalo o instalace nepovoleného SW ať už úmyslně anebo omylem. Nyní se Shadow IT projevuje například používáním Dropbox místo firemního SharePointu, firemní komunikace probíhá přes WhatsApp místo Teams anebo si uživatelé zakoupí potřebné aplikace prostřednictvím soukromé kreditní karty, protože "oficiální postup je příliš pomalý“ (což může být mimochodem pravda).
Podle analýz společnosti Torii zkoumané firmy spravují průměrně 668 SaaS aplikací, z nichž více než polovina (54 %) je klasifikována jako Shadow IT. A co je ještě horší – 61 % těchto SaaS aplikací je neaktivních, ale společnosti za ně nadále platí aktivní licence.
Motivace pro neřízené užívání Shadow IT je pochopitelná: zaměstnanci chtějí být produktivní a když jim oficiální procesy připadají příliš pomalé nebo nefunkční, najdou si vlastní způsob řešení. Dle studie společnosti Auvik až 80 % zaměstnanců sahá po Shadow IT právě z důvodu pohodlí a snahy o vyšší produktivitu.
Shadow AI: Když se data začnou učit
Shadow AI zahrnuje užití nepovolených, neautorizovaných či nedokumentovaných AI produktů či služeb. Na první pohled to může připomínat klasické Shadow IT, ale existuje zde zásadní rozdíl.
Představte si situaci, kdy ředitel marketingu vloží do ChatGPT kompletní strategický plán firmy na příští rok, aby mu AI pomohla s přípravou prezentace pro vedení společnosti. Vývojář nahraje proprietární kód do GitHub Copilot, aby mu AI pomohl zrychlit vývoj. HR specialistka zadá do AI nástroje citlivé informace o platech zaměstnanců pro analýzu mzdových nerovností.
Všechny tyto příklady mají jedno společné: kromě jednorázového zneužití data vložená do AI modelů mohou být aktivně analyzována, zpracovávána a následně použita k trénování. Na rozdíl od Shadow IT, kde jsou data "jen" uložena nebo přenesena, Shadow AI data aktivně "konzumuje".
Čísla týkající se Shadow AI jsou skutečně znepokojivá:
Množství firemních dat vkládaných do AI nástrojů vzrostlo mezi březnem 2023 a březnem 2024 o 485 %
Podíl citlivých dat na těchto vstupech se téměř ztrojnásobil z 10,7 % na 27,4 %
90 % využití AI v podnicích probíhá prostřednictvím neautorizovaných osobních účtů
38 % zaměstnanců přiznává sdílení důvěrných dat s AI platformami bez schválení
Obzvláště zarážející je zjištění, že 25 % samotných odborníků na kybernetickou bezpečnost používá AI nástroje bez oficiálního schválení. Pokud rovněž bezpečnostní experti používají neschválená AI řešení, je zřejmé, že firma má systémový nikoli pouze technologický problém.
Proč je Shadow AI horší než Shadow IT
1. Aktivní vs. pasivní zpracování dat
Shadow IT: Data jsou převážně staticky uložena nebo přenesena. Pokud dojde k úniku dat, máte jasně definovaný objem kompromitovaných informací.
Shadow AI: Data jsou aktivně zpracovávána, analyzována a potenciálně začleněna do znalostní báze AI modelu. Citlivá data, duševní vlastnictví nebo důvěrné informace neúmyslně zadané do veřejného AI modelu dnes mohou být použity k trénování tohoto modelu, což je potenciálně zpřístupní třetím stranám.
2. Trvalost dopadu
Shadow IT: Únik dat představuje typicky jednorázový incident. Jakmile zranitelnost opravíte, riziko opakování zcela mizí anebo je alespoň zmírněno.
Shadow AI: Na rozdíl od jednorázových incidentů může Shadow AI znamenat trvalé a opakované ohrožení, protože citlivá data mohou odtékat průběžně a bez povšimnutí.
3. Detekce a kontrola
Shadow IT: Hrozby a incidenty odhalujeme pomocí monitoringu sítě, inventarizace systémů a pravidelných auditů, které zjišťují, jaký software lidé skutečně používají.
Shadow AI: Detekce používání AI nástrojů a služeb je výrazně složitější, zejména kontrola nad tím, jaká konkrétní data jsou zaměstnanci vkládána do externích (veřejných) AI modelů.
4. Rozsah uživatelů
Shadow IT: Historicky omezeno na technicky zdatné uživatele nebo specifická oddělení.
Shadow AI: Nástroje AI mohou být jednoduše používány všemi zaměstnanci společnosti z různých oddělení, z nichž mnozí postrádají potřebné bezpečnostní znalosti k bezpečnému používání těchto nástrojů.
BYOAI: Bring Your Own Artificial Intelligence
Fenomén "Bring Your Own AI" (BYOAI) je přímým vývojem známých trendů BYOD a BYOA. Alarmujících 78 % uživatelů AI si „přináší“ vlastní AI nástroje do práce, především kvůli nedostatku jednoznačných pravidel užití AI nástrojů v organizaci.
Rizika Shadow AI
Úniky duševního vlastnictví - Ilustrativní je případ společnosti Samsungu z roku 2023, kdy zaměstnanci neúmyslně nahráli citlivý interní zdrojový kód a zápisy z interních porad do veřejně dostupného modelu ChatGPT. Samsung následně musel kontaktovat OpenAI se žádostí o odstranění dat a zavést interní omezení používání generativních AI nástrojů.
Finanční dopady - Průměrné náklady na únik dat související s "shadow daty" činí 5,27 milionu USD a jejich zvládnutí trvá o 20 % déle než u běžných incidentů.
Regulatorní rizika - Nárůst krádeží duševního vlastnictví souvisejících s přístupem útočníků k citlivým datům dosáhl 26,5 %, přičemž cena za záznam ztraceného IP vzrostla na 173 USD.
Halucinace a dezinformace - AI modely jsou náchylné k tzv. halucinacím – generování věrohodně znějících, ale fakticky nesprávných informací. Známý je případ dvou newyorských právníků, kteří předložili fiktivní citace případů generované ChatGPT, což vedlo k pokutě 5 000 USD.
Compliance výzvy
GDPR a Shadow AI
Shadow AI přímo obchází stávající rámce dodržování předpisů. Používání neschválených AI nástrojů může vést k vážným sankcím, včetně potenciálních pokut GDPR až do výše 4 % globálních příjmů.
Problém je o to závažnější, že stávající rámce dodržování předpisů a regulace, jako jsou GDPR, SOC 2, a PCI DSS, nebyly navrženy s ohledem na specifické vlastnosti AI.
EU AI Act
Situaci formuje EU AI Act, který vytvářií nové regulační požadavky specifické pro AI systémy. Organizace tak čelí výzvě dodržovat nejen stávající předpisy, ale i připravovat se na novou legislativu.
Jak řešit Shadow AI?
1. Audit a mapování současného stavu
Začněte důkladným auditem oddělení k identifikaci používaných AI nástrojů. Aplikujte principy "zero-trust", kdy je veškerá AI považována za rizikovou, dokud není ověřena, schválena a dokumentována. Znamená provedení průzkumu (a osvěty) mezi zaměstnanci o používání AI nástrojů, auditu užívání AI nástrojů a služeb, analýzu síťového provozu pro detekci přístupů k AI službám a kontrolu výdajů za SaaS služby s AI funkcemi.
2. Vytvoření AI governance frameworku
Vytvořte jasné zásady pro přijatelné používání AI, které klasifikují nástroje do tří základních kategorií. Schválené nástroje jsou bezpečné pro firemní použití, omezeně použitelné jsou vhodné pouze pro určité typy dat, zatímco zakázané představují nepřijatelné riziko. Klíčové prvky politiky AI musí zahrnovat definici přípustných případů použití AI, specifikaci typů dat, které lze nebo nelze vkládat do AI nástrojů, schvalovací procesy pro nové AI implementace a incident response procedury pro AI-související incidenty.
3. Zvyšování povědomí o AI
Zaměstnanci musí rozumět tomu, jak a jaké AI nástroje mají používat. Pravidelné vzdělávání je klíčové pro snížení rizika neúmyslného úniku dat nebo porušení interních pravidel. Školení by se mělo zaměřit především na následující témata:
Rozpoznání rizik spojených s různými typy dat – např. osobní údaje, obchodní tajemství, neveřejné dokumenty.
Základní principy bezpečného používání AI nástrojů – co (ne)vkládat, jak ověřovat výstupy, práce s citlivým obsahem.
Reálné příklady incidentů spojených se Shadow AI – ilustrujte rizika na konkrétních situacích z praxe.
Postupy pro hlášení podezřelé aktivity nebo incidentu – kam se obrátit, co zadokumentovat, jak rychle reagovat.
4. Poskytnutí schválených variant nástrojů AI
Jedním z klíčových způsobů, jak předcházet rizikům spojeným se Shadow AI, je aktivní nabídka bezpečných a schválených nástrojů pro práci s umělou inteligencí. Doporučuje se vytvořit interní katalog („AI AppStore“), který zaměstnancům usnadní přístup k ověřeným AI řešením.
Zajistěte, aby AI nástroje a služby:
byly snadno dostupné a přehledně kategorizované dle účelu použití,
byly integrovány do stávajících pracovních nástrojů a procesů,
nabízely podobnou nebo vyšší úroveň funkcionality oproti běžně používaným neschváleným alternativám.
5. Technické kontrolní mechanismy
Implementujte specializované nástroje pro detekci a kontrolu Shadow AI. Například DLP (Data Loss Prevention) řešení pro AI musí být schopno monitorovat datové toky do AI služeb, blokovat citlivá data založená na klasifikaci a poskytovat „real-time alerting“ při podezřelé aktivitě. Řešení pro správu cloudových a AI služeb s pokročilou detekcí a řízením přístupu jsou nezbytná pro odhalování neschválených AI aplikací, uplatnění politik na základě rizikového profilu uživatele a zajištění auditovatelnosti AI interakcí. Network monitoring vám pomůže identifikovat komunikaci s AI službami, analyzovat vzorce používání AI a detekovat anomální chování.
6. Řízení AI incidentů
Definujte jednoznačné postupy pro řešení incidentů souvisejících s AI. V první řadě je potřeba okamžitě zastavit službu, která se chová „podezřele“ s cílem předejít dalším negativním dopadům. Následně zjistěte, jaká data mohla být dotčena a jak citlivá jsou. Právní tým by měl zároveň posoudit, jestli je nutné incident ohlásit regulatorním úřadům. Nezapomeňte rovněž včas informovat všechny dotčené strany – od kolegů po zákazníky.
7. Monitoring a compliance
Zaveďte pravidelné audity a monitoring, které zahrnují pravidelné (například čtvrtletní) přehledy používání AI nástrojů, měření compliance s AI politikami, reporting pro management o AI bezpečnosti a aktualizaci politik na základě nových hrozeb. Monitoring musí být kontinuální proces, nikoli jednorázová aktivita. AI technologie se mění příliš rychle, abyste si vystačili s klasickými ročními audity.
Specifické výzvy v českém prostředí
Podle průzkumu Hospodářské komory ČR z prosince 2024 téměř 70 % českých firem zatím umělou inteligenci aktivně nevyužívá, což však neznamená, že u nás nehrozí riziko spojené se Shadow AI. V našem prostředí může sice nastat situace, kdy firmy AI oficiálně neimplementují, ale zaměstnanci si nové AI nástroje sami chtějí vyzkoušet. Pokud ve firmě chybí jasná AI strategie, schválené nástroje nebo pravidla pro používání AI, lidé si je začnou hledat sami, bez dohledu na zajištění požadavků na bezpečnost.
Firmy, které odkládají zavádění AI kvůli obavám z nákladů nebo nejistot v legislativě, tím často nevědomky podporují neřízené experimentování. Typicky český odpor k byrokracii a složitým schvalovacím procesům pak může vést k tomu, že lidé raději sáhnou po vlastním řešení – a vzniká tak rizikové prostředí pro rozvoj Shadow AI.
Proaktivní přístup místo reaktivního
Řešení problematiky Shadow AI by nemělo spočívat pouze v zákazech používání AI nástrojů. Takový přístup je v praxi jednak obtížně proveditelný a zároveň spíš škodí, než pomáhá. Cílem firem by nemělo být potlačování inovací a zákaz všech neschválených AI nástrojů, ale aktivní řízení rizik spojených s neřízeným používáním AI. Klíčem k úspěchu je přijmout fakt, že AI se stává běžnou součástí práce, a nabídnout zaměstnancům bezpečné, schválené alternativy místo zákazů. Patří sem rovněž pravidelné vzdělávání v oblasti bezpečného používání AI, průběžné sledování způsobu využívání AI ve firmě a nastavení efektivního řízení bezpečnosti AI, který se dokáže rychle přizpůsobit novým hrozbám i technologickému vývoji.
Závěr
Shadow AI už dávno není jen teoretická hrozba, ale děje se právě teď, často bez povědomí vedení, bez jednoznačného určení odpovědnosti a efektivních kontrol.
Shadow AI není Shadow IT plus, ale zcela odlišná hrozba. Pouze technická řešení nestačí, kombinace technologie, politik AI, a především vzdělávání je nezbytná. Organizace, které dnes investují do robustní AI governance, nejenže minimalizují rizika, ale také získávají konkurenční výhodu v bezpečném využívání AI technologií. Ty, které čekají, riskují, že se stanou dalším varovným příkladem v seznamu Shadow AI incidentů.
Článek byl připraven na základě informací a studií zabývajících se problematikou Shadow AI, rovněž byl inspirován diskusemi se security officery působícími ve finančním sektoru.
