Telefon zazvoní. Na druhém konci je generální ředitel společnosti. Naléhavě žádá finančního ředitele, aby okamžitě odeslal desítky milionů korun na nový účet. Hlas sedí, intonace také. Jenže šéf ve skutečnosti vůbec nevolá. Jde o podvodníka, který během několika sekund vytvořil jeho dokonalou hlasovou kopii pomocí umělé inteligence. Podobných případů přibývá a vlády začínají reagovat.
Takzvané deepfake technologie umožňující napodobit hlas i vzhled reálné osoby během posledních let výrazně pokročily. Zatímco dříve bylo falešné video poměrně snadné odhalit, dnešní generativní umělá inteligence dokáže vytvořit velmi věrnou podobu člověka, napodobit jeho hlas i způsob vyjadřování.
Vedle falešných videí politiků nebo celebrit proto rychle přibývají také útoky na firmy. Podvodníci využívají naklonovaný hlas manažerů, vytvářejí falešné videohovory nebo zneužívají podobu lidí k vydírání. „Velmi citlivou oblast představuje také zneužití deepfake k vytváření intimního nebo pornografického obsahu bez souhlasu dotčených osob. Rizikové je to zejména u dětí a dospívajících, kde může jít o nástroj kyberšikany a nátlaku,“ upozorňuje předseda Rady Českého telekomunikačního úřadu Marek Ebert. Nebezpečí zneužití technologicky upraveného obsahu vidí také v dalších oblastech – například při šíření falešných informací během krizových situací.
„Průzkumy ukazují, že přibližně každý čtvrtý člověk se setkal s nějakou formou podvodu vytvořeného za pomoci umělé inteligence. Další zajímavý údaj z Evropy i České republiky ukazuje, že sedm z deseti lidí říká, že je pro ně stále obtížnější rozeznat skutečný obsah od falešného,“ varuje generální ředitelka Vodafone Violeta Luca. Právě kvůli podobným případům začínají státy přijímat nová pravidla.
Označit upravená videa či fotky
První celoevropskou regulaci přinesl AI Act. Ten od letošního srpna poprvé nastavuje také pravidla pro obsah upravený umělou inteligencí. „AI Act poprvé na unijní úrovni výslovně pracuje s pojmem deepfake a zavádí pro něj specifické povinnosti v oblasti transparentnosti,“ říká partner advokátní kanceláře Dentons Zdeněk Kučera.
Podle něj není rozhodující, zda chtěl autor někoho úmyslně podvést. „Klíčové je, že jde o umělou inteligencí vytvořený nebo upravený obrazový, zvukový či audiovizuální obsah, který vypadá nebo zní jako reálná osoba, místo nebo událost a může u příjemce vyvolat dojem, že jde o autentický obsah,“ vysvětluje Kučera.
Neznamená to ale, že budou muset být označeny všechny výstupy umělé inteligence. „Povinnost se týká zejména obsahu, který napodobuje reálné osoby, místa nebo události natolik věrně, že by mohl působit jako pravý,“ pokračuje advokát. Zjevná umělecká, kreativní, satirická nebo fiktivní díla mají mírnější režim. A čistě fantazijní obsah, například draci nebo zcela nereálné scény, do definice deepfake vůbec nespadá.
Ještě přitvrdit
Jak vážně začíná Evropa nebezpečí zfalšovaných videí a podvrženého hlasu vnímat, ukazuje i nejčerstvější letošní legislativa. Přestože měl takzvaný AI Omnibus především ulevit byznysu od některých povinností stanovených nařízením o umělé inteligenci, v oblasti zneužívání umělé inteligence naopak přitvrdil. Do nařízení přidal nový zákaz dopadající na AI systémy generující materiál sexuálního zneužívání dětí nebo nekonsenzuální intimní obrazový materiál.
„Zákaz míří na systémy, jejichž účelem je taková tvorba, ale i na systémy, u nichž je takový výstup rozumně předvídatelný a poskytovatel nezavedl přiměřená technická opatření,“ vysvětluje partner DLA Piper Tomáš Ščerba. Do souladu s nařízením je musí jejich provozovatelé dát do 2. prosince 2026. Porušení zakázaných praktik je v nejvyšším sankčním pásmu, s nímž AI Act počítá. Pokuta za porušení pravidel tedy může vyšplhat až na 35 milionů eur nebo 7 % celosvětového obratu.
Mohlo by vás zajímat
Jenže označovat pozměněný obsah budou především ti, kteří pravidla dodržují. Organizované skupiny využívající umělou inteligenci k podvodům, vydírání nebo výrobě intimních deepfake si své výtvory dobrovolně označí stěží. Debata se proto v Evropě postupně posouvá od pouhé transparentnosti k otázce, jak podobné zneužívání účinněji postihovat.
Od Česka po Itálii. Státy hledají vlastní řešení
Vedle evropské regulace přijímají vlastní pravidla také jednotlivé státy. Česká republika letos rozšířila trestní zákoník. Nově postihuje zneužití identity při výrobě pornografie a současně umožňuje trestat i některé nepornografické deepfake vytvořené s cílem způsobit vážnou újmu na právech jiné osoby.
„Vedle trestního práva lze v některých případech využít také další právní nástroje, například ochranu osobnosti podle občanského zákoníku, pravidla ochrany osobních údajů nebo právní úpravu ochrany spotřebitele,“ podotýká Marek Ebert z Českého telekomunikačního úřadu. Ten má do budoucna dohlížet na využití umělé inteligence v Česku.
Nejdál v trestněprávní úpravě zašla Itálie. „Odnětím svobody od jednoho do pěti let trestá toho, kdo bez souhlasu zpřístupní nebo šíří obrazy, videa nebo hlasy zfalšované pomocí AI a způsobilé vyvolat klam o jejich pravosti, a způsobí tím jinému nespravedlivou újmu,“ uvádí Ščerba. Připomíná zároveň, že pokud pachatel ke spáchání trestného činu využije umělou inteligenci, italské zákony to považují za přitěžující okolnost.
Hlas či gesta pod ochranou autorského práva
Jiným směrem míří Dánsko. Tamní vláda připravila novelu autorského zákona, která má lidem poskytnout výrazně větší kontrolu nad jejich podobou, hlasem nebo gesty. Bez souhlasu dotčené osoby by nebylo možné zveřejňovat realistické digitální napodobeniny těchto osobních znaků. Ochrana by měla trvat ještě padesát let po smrti člověka. Výjimku by měly pouze satira, parodie nebo karikatura.
„Dánský přístup je koncepčně zajímavý tím, že nejde jen o transparentní označování obsahu jako v AI Actu, ale o posílení kontroly jednotlivce nad vlastní podobou, hlasem a projevem,“ říká Kučera z Dentons.
Podle něj jde o logické doplnění evropské legislativy. „AI Act cílí především na transparentnost, nikoli na osobnostní práva jako taková. Praktickou slabinou však zůstává teritoriální dosah, protože vnitrostátní úprava může mít omezenou účinnost vůči obsahu šířenému ze zahraničí nebo anonymně přes globální platformy,“ dodává Kučara.
Přísnější pravidla připravují nebo už přijaly také další země. Ve Španělsku například vzniká národní systém dohledu nad umělou inteligencí a vláda současně připravuje výrazně silnější ochranu podoby a hlasu člověka. Ve Spojených státech zaujal například Tennessee, které prostřednictvím takzvaného ELVIS Act rozšířilo ochranu hlasu proti AI imitacím. A do regulace umělé inteligence se pustila také Čína. Zavedla povinné označování syntetického obsahu i identifikaci uživatelů generativních nástrojů umělé inteligence.
Největší problém není nedostatek zákonů
Problémem obrany proti zneužití obsahu vytvořeného umělou inteligencí tedy není v tom, že by na ni zákony nepamatovaly. Na deepfake dnes dopadá celá řada právních nástrojů. Experti ale upozorňují na jejich slabiny.
„Mezera není primárně v hmotném právu, ale v tom, jak rychle a s jakými náklady se oběť domůže odstranění obsahu a satisfakce,“ říká Ščerba. Jako příklad uvádí případ německé herečky Collien Fernandes, která se obrátila na orgány ve Španělsku kvůli šíření nevyžádaného sexuálně explicitního deepfake obsahu vytvořeného s využitím její podoby. Zatím se ale nápravy nedomohla.
Zdeněk Kučera vidí jednu z největších výzev v dokazování. AI Act sice ukládá poskytovatelům relevantních AI systémů zajistit technická řešení umožňující rozpoznání uměle vytvořeného nebo upraveného obsahu, jenže takové označení nemusí být absolutně spolehlivé. „Metadata lze odstranit, obsah lze přeuložit, upravit nebo dále šířit způsobem, který původní technické značky oslabí,“ upozorňuje Kučera.
Podobné je to podle něj i s dalšími zaváděnými nástroji. „Watermarking a technologie pro ověřování původu obsahu, například standardy typu C2PA, mohou významně pomoci zejména u obsahu z důvěryhodných zdrojů, které je aktivně používají. U obsahu z otevřených, upravených nebo anonymně provozovaných nástrojů však jejich spolehlivost klesá,“ pokračuje.
Co bude dál?
Jisté je, že o deepfake neslyšíme naposled. Evropská unie na konci července zřídila tým, který má dohlížet na vývojáře umělé inteligence a zasahovat proti deepfake obsahu i hackerským útokům. Vznikl v reakci na obavy, že rychlý rozvoj umělé inteligence by mohl ohrozit nejen evropské občany, ale i unijní ekonomiku a demokracii.
Také soukromé firmy se snaží aktivně bránit zneužití umělé inteligence k podvodům. Mobilní operátor Vodafone se například chystá nasadit do svých sítí technologii společnosti Synhawk, jejímž cílem je odhalovat podvody využívající umělou inteligenci přímo v mobilních telefonech a počítačích. Do budoucna by se podobná ochrana mohla stát standardem i v dalších sítích.
Podle Eberta je potřeba přičinit se o obranu před zfalšovaným obsahem na všech úrovních. „Vývoj v této oblasti stále pokračuje a nelze očekávat, že by existovalo jedno univerzální řešení,“ míní. Významnou roli v obraně mají do budoucna hrát zejména technologie umožňující spolehlivé označování syntetického obsahu a nástroje pro jeho odhalování. Za nesmírně důležité považuje šéf Českého telekomunikačního úřadu také samotné internetové platformy. Jejich technické možnosti mohou významně pomáhat s identifikací a omezením škodlivého obsahu. „Do budoucna proto bude klíčová kombinace právních pravidel, technických řešení a digitální gramotnosti uživatelů,“ uzavírá Ebert.
