Nebezpeční nejsou jen hackeři. Také vlastní zaměstnanec může firmu připravit o obchodní tajemství i miliony eur. Přesto většina českých firem stále podceňuje riziko, které přináší běžné používání umělé inteligence.
Partner DLA Piper Tomáš Ščerba v rozhovoru pro Ekonomický deník vysvětluje, proč by měla být Shadow AI novou noční můrou byznysu a co musí firmy udělat, aby se nestaly další obětí.
V právních i byznysových kruzích se stále častěji skloňuje téma Shadow AI. O co přesně jde?
Jde o nekontrolované nebo zakázané používání nástrojů umělé inteligence způsobem, který je v rozporu s interními pravidly společnosti – pokud vůbec nějaká existují. Zároveň je takové používání umělé inteligence v rozporu se základními principy ochrany obchodního tajemství, citlivých informací a dalších klíčových oblastí. Představuje zcela novou dimenzi hrozeb. Algoritmy generativní umělé inteligence totiž vložená data nejen ukládají, ale aktivně zpracovávají, integrují do svých vnitřních struktur a v případě spotřebitelských verzí je využívají k re-trénování modelů. To znamená, že citlivé firemní informace se mohou nevratně stát součástí veřejně dostupných znalostních databází a mohou být následně vygenerovány jako odpověď pro jiného uživatele.
A to ještě vůbec nemluvím o obecném nařízení o ochraně osobních údajů – takzvaném GDPR. Pokud data opouštějí hospodářský prostor Evropské unie, musejí být zajištěny odpovídající právní záruky. Jenže právě kvůli takzvanému black-box efektu velkých neuronových sítí dnes často není vůbec pod kontrolou, kdo s těmito daty pracuje a jakým způsobem data dál využívá. Dá se proto říci, že společnosti se takovým jednáním mohou automaticky dostávat do rozporu s GDPR a vystavují se sankcím. Nedokážou totiž doložit, kteří zpracovatelé mají data k dispozici, za jakým účelem se zpracovávají ani proč k jejich šíření vůbec došlo. A to je pouze špička ledovce.
Jak výrazný problém aktuálně Shadow AI podle vás představuje?
V byznysovém světě ji považuji za jeden z nejkritičtějších současných trendů. Podle mě je bohužel Shadow AI jednoznačně největší bezpečnostní riziko, které se v oblasti nakládání s daty za poslední roky objevilo. Přesto si jeho rozsah uvědomuje jen málokdo, zatím ani nedokážeme zmapovat všechny potenciálně negativní důsledky.
Závažnost tohoto problému podtrhují i celosvětové výzkumy. Například jarní průzkum společnosti Gartner, ukázal, že 69 % organizací má podezření nebo důkazy o tom, že jejich zaměstnanci používají nepovolené veřejně dostupné nástroje generativní umělé inteligence. Gartner předpovídá, že do roku 2030 zažije více než 40 % podniků bezpečnostní nebo compliance incidenty související s neoprávněným využíváním umělé inteligence.
Do jaké míry vlastně zaměstnavatel odpovídá za neoprávněné využití umělé inteligence svými zaměstnanci? Řada větších společností už má interní pravidla určující, co zaměstnanci smějí a nesmějí při používání AI dělat.
Z pohledu GDPR odpovídá ten subjekt, který určuje účel a prostředky zpracování. Typicky tedy organizace. Tedy správce osobních údajů. Pokud dojde k porušení pravidel ochrany osobních údajů, pokuta zpravidla stihne právě správce, tedy výše zmíněnou společnost.
Otázkou zůstává, zda může tuto škodu následně vymáhat po zaměstnanci, který porušil pravidla daná interní předpisy, nebo zákonnými povinnostmi. To je už mnohem složitější. Zaměstnance totiž chrání limit náhrady škody ve výši čtyřapůlnásobku svého průměrného měsíčního výdělku. Vymahatelnost takového regresu proto může být ve srovnání s mnohamilionovou pokutou prakticky zanedbatelná. Ve vztahu ke kontraktorům může být situace ještě závažnější, pokud nebudou mít sjednané adekvátní pojištění.
Znamená to, že ať společnost udělá cokoliv, vždycky největší díl odpovědnosti a případných sankcí ponese sama?
Obecně platí, že za vzniklou situaci odpovídá primárně společnost bez ohledu na to, zda interní pravidla měla, nebo neměla. Společnost se ale může své odpovědnosti za určitých okolností zprostit. V občanskoprávní rovině tehdy, pokud prokáže, že vynaložila veškeré úsilí, které po ní bylo možné spravedlivě požadovat. To znamená, že zaměstnance nejen formálně, ale skutečně kvalitně proškolila a dokáže to doložit. Musí umět prokázat, že školení proběhlo, že bylo řádné a že o něm existuje odpovídající dokumentace.
Dále je také důležité mít etický kodex. Ten hraje významnou roli například z hlediska compliance programů. Existuje stanovisko Nejvyššího státního zastupitelství, podle kterého se společnost může za určitých okolností zprostit i trestní odpovědnosti právnické osoby, pokud prokáže, že šlo výhradně o individuální pochybení zaměstnance. Tedy že zaměstnanec absolvoval školení, znal pravidla, přesto jednal v rozporu s nimi a selhal pouze on sám. Ani to ale neodstraní reputační škody. Ztráta goodwillu, pokles hodnoty společnosti, případně propad ceny akcií, pokud jde o veřejně obchodovanou korporaci, patří k záležitostem, které investoři i veřejnost vnímají velmi negativně bez ohledu na to, jak dobře společnost následně vše vysvětlí.
Co podle vás představuje pro společnosti největší riziko? Zmínil jste GDPR, ale mimo kontrolu firmy se může dostat i obchodní tajemství nebo smluvní informace. Která z těchto oblastí je nejrizikovější?
Pro společnosti představuje největší riziko únik kvalifikovaných informací. Může jít samozřejmě o obchodní tajemství, případně jiné citlivé obchodní informace, pokud jde například o energetickou společnost, mohou unikat takzvané chráněné informace podle energetického zákona, typicky informace o zákaznících. Další typickou kategorií jsou utajované informace, které splňují formální i materiální znaky podle zákona o ochraně utajovaných informací. Čtvrtou nejběžnější kategorií jsou osobní údaje. Pokud dojde k jejich úniku, společnost porušuje povinnost jejich ochrany a vystavuje se vysokým sankcím.
O jak vysokých sankcích mluvíme?
Relativně nejvyšší pokuty dnes nepřináší GDPR. Nejvyšší sankce stanovuje nařízení o umělé inteligenci. Ty mohou dosáhnout až sedmi procent celosvětového obratu nebo 35 milionů eur. U GDPR jde, pokud se nepletu, o čtyři procenta obratu nebo 20 milionů eur.
Vedle toho existují ještě informace, které sice nespadají ani do obchodního tajemství, ani mezi osobní údaje nebo utajované informace, přesto mají pro společnost zásadní hodnotu. Mohou to být například kurzotvorné informace nebo technologické informace, jejichž zveřejnění připraví společnost o konkurenční výhodu.
Mohlo by vás zajímat
Co se může v praxi stát, ukazuje případ společnosti Samsung. Bezprostředně po zrušení interního zákazu využívání ChatGPT nahráli zaměstnanci během několika týdnů do veřejné verze tohoto nástroje proprietární zdrojové kódy, algoritmy související s výrobou polovodičů a informace z důvěrného interního jednání vedení. Společnost ztratila absolutně kontrolu nad těmito informacemi a jejich dalším využitím. Taková společnost může ztratit své technologické prvenství nebo vedoucí postavení na trhu. A to může být někdy ještě bolestivější než samotný únik dat. Může ji to dokonce položit na lopatky.
Existuje už nějaká soudní rozhodnutí, která řeší zneužití dat prostřednictvím umělé inteligence?
Obecně už dnes existuje stále více rozhodnutí týkajících se zneužití dat nebo porušování autorských práv v souvislosti s umělou inteligencí. Vícekrát se řešila například otázka autorských práv k výstupům vytvořeným umělou inteligencí. Víme, že i v České republice vydal Městský soud jedno z prvních komplexně odůvodněných rozhodnutí, které se zabývalo otázkou, komu náleží majetková autorská práva k syntetickému výstupu vytvořenému systémem umělé inteligence. Tuto oblast už tedy soudy poměrně dobře řeší nejen u nás, ale i v zahraničí.
Vy se ale ptáte na něco jiného – zda už existuje rozhodnutí, kde by se společnost soudila se zaměstnancem, který nahrál interní data do veřejného AI modelu a způsobil tím společnosti značnou škodu. Takových rozhodnutí podle mě zatím mnoho není. Domnívám se, že společnosti se podobné případy snaží maximálně minimalizovat z hlediska mediálního dopadu. Nechtějí veřejně přiznat, že zaměstnanec vyvedl citlivá data ze společnosti. Zároveň by totiž zaměstnanec mohl namítat, že ho zaměstnavatel dostatečně neproškolil v povinnostech vyplývajících z AI Actu. To by mohlo vytvořit další významný problém. Proto si myslím, že podobných soudních rozhodnutí nebude ani v budoucnu příliš přibývat.
Jak se mohou firmy zneužití svých citlivých dat prostřednictvím Shadow AI aktivně bránit?
Předně společnost musí vytvořit komplexní systém vzdělávání zaměstnanců, externích spolupracovníků i obchodních partnerů, kteří využívají její infrastrukturu. Školení musí být pravidelná, cílená na konkrétní profesní skupiny a společnost musí být schopna doložit, že skutečně proběhla. Nestačí obecné školení o tom, jak je AI Act strukturován a co je jeho smyslem. Školení musí odpovídat konkrétní odbornosti. Jinak se školí manažeři, kteří rozhodují o nákupu AI nástrojů a potřebují rozumět především etickým principům a regulatorním povinnostem. Jinak se školí vývojáři a IT specialisté, kteří AI systémy skutečně nasazují nebo upravují a potřebují znát technické limity. A jinak se školí lidé z compliance, právního nebo obchodního oddělení. To považuji za první zásadní obrannou linii, která společnosti umožňuje zabránit některým největším přešlapům nebo se alespoň vyvinit z odpovědnosti.
Druhou obranou linii pak představuje kvalitní interní dokumentace. Na její nejvyšší úrovni by měly být politiky, pod nimi interní směrnice, dále standardy, pracovní postupy a nakonec konkrétní smluvní ustanovení. Měla by vzniknout určitá pyramida interní řídicí dokumentace, ze které bude každému jasné, co je dovoleno, a co nikoli.
Třetí důležitou oblastí obrany jsou kvalitní smlouvy. Základem je dobře nastavená smlouva mezi vývojářem a společností, která AI nasazasuje. Nasazující subjekt si může smluvně vyhradit například to, že AI nástroj automaticky odmítne zpracovávat data označená jako obchodní tajemství. Pokud si společnost svá data správně klasifikuje, označí je a technicky opatří příslušným příznakem, měl by systém jejich nahrání automaticky odmítnout.
Stejně důležité jsou smlouvy mezi společností a jednotlivými externími spolupracovníky nebo kontraktory. Pokud například banka nebo pojišťovna spolupracuje s OSVČ, měla by mít ve smlouvách odpovídající indemnifikační doložky, tedy ujednání, kterými se kontraktor zavazuje nahradit společnosti škodu nebo finanční ztrát vzniklou neoprávněným využitím umělé inteligence.
Do jaké míry může únikům dat zabránit, když společnost zaměstnancům nabídne vlastní prověřené a zabezpečené AI nástroje?
To určitě může hodně pomoci. Takzvaný white list povolených nástrojů by měl být součástí základní firemní politiky. Zaměstnanci musí přesně vědět, které AI nástroje smějí používat, za jakých podmínek a které jsou naopak zcela zakázané.
Společnost má v tomto směru několik úkolů. Nejprve musí zmapovat všechny AI nástroje, které se v organizaci používají, a ověřit, zda mezi nimi nejsou zakázané systémy. To je dnes naprostý základ. Současně musí posoudit, zda jejich funkcionality odpovídají interním pravidlům a zda zaměstnanci budou schopni tato pravidla dodržovat.
Stejně důležitá je i procurement politika pro pořizování nových AI nástrojů. Nové nástroje vznikají ve firemním prostředí prakticky každý den a pro konkrétní společnost může být jednou vhodné jedno řešení, podruhé jiné. Každý nový nástroj ale musí projít procesem posouzení, zda splňuje požadavky AI Actu a souvisejících předpisů.
O jaké požadavky konkrétně jde? Na co by se firmy měly zaměřit?
Odpověď má více vrstev a firmy je musí procházet v určitém pořadí, protože povinnosti se liší podle toho, kam nástroj i samotná společnost spadají. Úplně prvním krokem je klasifikace rizika. Celý AI Act je postavený na rozdělení systémů do kategorií: zakázané praktiky, vysoce rizikové systémy, systémy s povinností transparentnosti a systémy s minimálním rizikem. Firma proto musí u každého nástroje nejprve posoudit, do které kategorie spadá, protože od toho se odvíjí všechno ostatní. Nejdřív musí vyloučit zakázané praktiky podle článku 5 nařízení. Jde například o rozpoznávání emocí na pracovišti nebo některé formy biometrické kategorizace. Ty jsou od února 2025 mimo hru bez ohledu na jakýkoli byznysový a operační přínos.
Druhým krokem je určit vlastní roli, tedy zda je společnost pouze zavádějícím subjektem, nebo se stává poskytovatelem. To je přesně to, na co upozorňuje i Český telekomunikační úřad. Většina firem bude v pozici zavádějícího subjektu, ale ve chvíli, kdy nástroj podstatně upraví, dosadí na vlastní data nebo ho uvede pod vlastní značkou, může se z ní stát poskytovatel s výrazně těžšími povinnostmi. Patří sem i posouzení, zda nástroj stojí na některém z velkých obecných modelů. Pokud ano, je třeba ověřit, že jeho poskytovatel plní povinnosti pro obecné modely, které platí od srpna 2025, včetně technické dokumentace a politiky dodržování autorského práva.
To je vše?
Není. Důležitou rovinou, kterou musí korporace nejaktuálněji řešit, je pak transparentnost podle článku 50 AI Actu. Ten nabyla účinnosti letos 2. srpna a dopadá prakticky na každého. Chatbot musí uživateli dát najevo, že komunikuje se strojem. Obrazový, zvukový nebo video obsah vytvořený nebo výrazně upravený umělou inteligencí, který může působit autenticky, tedy deepfake, musí být označen. Text generovaný umělou inteligencí a zveřejněný za účelem informování veřejnosti o věcech veřejného zájmu musí být rovněž označen. Za porušení hrozí pokuta až 15 milionů eur nebo 3 procenta obratu.
Čtvrtou vrstvou, a z pohledu Shadow AI vůbec nejcitlivější, je ochrana osobních údajů. Firma si musí ověřit, zda nástroj používá vložená data k dotrénování modelu. To představuje klíčový rozdíl mezi spotřebitelskou a firemní verzí. Nejúčinnějším jednotlivým opatřením tady bývá firemní verze s nulovou retencí, s ukládáním dat v EU a se smluvním vyloučením trénování na datech zákazníka.
Do jaké míry si podle vás české firmy a jejich management uvědomují, jak velké riziko Shadow AI představuje? A že je skutečně dbát na vše, co jste zmiňoval?
Myslím si, že i když řada firem přesně neví, co pojem Shadow AI znamená a jak dalekosáhlé důsledky může mít, většina manažerů intuitivně cítí, že jde o problém. Co ovšem zatím úplně selhává, je schopnost jednotlivá rizika správně identifikovat a následně jim účinně předcházet. Právě to považuji za největší slabinu. Manažeři si také neuvědomují všechny možné dopady Shadow AI – právní, finanční, technické ani reputační.
Co by se muselo stát, aby se situace změnila, aby firmy v Česku začaly skutečně systematicky předcházet rizikům spojeným s AI?
Muselo by se sejít několik věcí a upřímně řečeno regulace sama o sobě je z nich možná ta nejméně důležitá. První je právní jistota. Firmy se začnou chovat systematicky ve chvíli, kdy budou vědět, kdo na ně dohlíží a co se stane, když pravidla poruší. V Česku se institucionální rámec právě dotváří. Dokud právní rámec úplně nedosedne, část firem bude vyčkávat.
Druhá věc, a to je spíš varování, je paradox odkladu. Digitální omnibus posunul povinnosti pro vysoce rizikové systémy až na prosinec 2027. Ten odklad je racionální, chyběly standardy i kapacity úřadů, ale nese s sebou riziko, že si firmy řeknou, že mají čas. Přitom to, co už dnes platí, tedy zákazy vybraných praktik, AI gramotnost od února 2025, transparentnost od 2. srpna 2026 i povinnosti u obecných modelů, se podceňuje právě proto, že se termín pro pravidla vysoce rizikových systémů posunul.
Třetí spouštěč je zcela praktický: první pokuta. Nic nezmění chování managementu společnosti tak jako první viditelný případ, ať už tuzemský, nebo od jiného evropského regulátora, obzvlášť pokud dopadne na známou značku. Do té doby zůstává riziko pro mnoho firem abstraktní.
Dalším prvkem je tlak trhu a posun v odpovědnosti vedení. Ve chvíli, kdy například pojišťovny začnou zohledňovat úroveň správy AI v pojištění odpovědnosti členů orgánů i v kybernetickém pojištění a kdy se AI rizika stanou přirozenou součástí péče řádného hospodáře, přestane jít o problém IT oddělení a stane se z toho otázka osobní odpovědnosti vedení firmy. Jinými slovy regulace nastaví mantinely, ale systematickou prevenci nakonec vytvoří kombinace jasných pravidel, dostupných nástrojů a firemní kultury, kde se o rizicích a přínosech umělé inteligence otevřeně mluví.
