Nejnovější nástroj pro vytváření videí na základě textového zadání od společnosti OpenAI až v 80 procentech šíří falešná sdělení, varuje nezisková organizace NewsGuard. Může to mít mimo jiné zásadní dopad na výsledek voleb v evropských zemích.

Pokročilé nástroje umělé inteligence mohou výrazně narušit ochranu demokratických hodnot v Evropě. Před tímto scénářem varovala analýza organizace NewsGuard, která sleduje vznik dezinformací v online prostředí. Otestovala nástroj Sora 2, který umožňuje vytvářet videoreportáže včetně záběrů očitých svědků na základě smyšleného obsahu.

V testu neziskové organizace vzniklo z 20 falešných tvrzení 16 klipů, které informují o smyšlených událostech. Mezi nimi je ničení volebních lístků moldavskými úředníky, zadržení batolete americkými úředníky pohraničí stráže nebo falešné oznámení americké korporace Coca-Cola.

Nepravdivá tvrzení AI s přidanými detaily

Nejenže Sora opakovala nepravdivá tvrzení, ale někdy je i rozvíjela. „Model přidával detaily, které jsme do zadání nezahrnuli,“ řekla pro EU Perspectives Sofia Rubinsonová z newyorské NewsGuard. Jedním z příkladů bylo vytvoření videa na základě nepravdivého tvrzení, že moldavští členové volebních komisí ničí lístky s hlasy proruských stran. Sora 2 vytvořila video, ve kterém bylo uvedeno konkrétní město, kde byly hlasovací lístky údajně zničeny.

Tyto „vizuální halucinace“ dodávají vizuálním zprávám další „vrstvu věrohodnosti“. OpenAI sice k novému vydání modelu Sora dodává pohyblivé vodoznaky a metadata C2PA, které mají identifikovat obsah generovaný AI. V praxi je ale lze snadno obejít. Pracovníci organizace NewsGuard zjistili, že vodoznak jde odstranit „přibližně za čtyři minuty“ pomocí bezplatných online nástrojů.

Mohlo by vás zajímat

Jak odhalit deepfakes?

Neziskový sektor varuje, že negativní dopady mohou být pro evropské demokracie okamžité a závažné. „Bezplatný model dokáže vytvořit videa za méně než pět minut. Nemá zábrany, které by omezovaly vytváření videí propagujících prokazatelně nepravdivá tvrzení,“ zdůraznila Rubinsonová. Pro většinu uživatelů sociálních sítí může být obtížené rozeznat, že nepravdivý příspěvek vytvořila AI.

Během říjnové irské prezidentské volební kampaně už došlo k podobné manipulaci. Na sociálních médiích kolovalo deepfake video kandidátky Catherine Connollyové. Falešně ukazovalo, jak oznamuje své odstoupení z voleb. Klip se úspěšně rozšířil na sociálních sítích a ukázal, že uměle vyrobená videa mohou v reálném čase ovlivnit veřejné mínění.

Tyto incidenty vyvolávají otázky ohledně schopnosti Unie těmto negativním jevům zabránit. Eva Simonová z neziskové organizace Civil Liberties Union for Europe uvedla, že Unie má dva klíčové nástroje, které mají digitální prostředí kultivovat. Nařízení o digitálních službách (DSA) a nařízení o umělé inteligenci (AI Act). I když by měla postihovat i dopady vyrobených falešných videí, případné sankce závisí na jejich uplatňování v praxi.

Nemáme přístup k potřebným údajům

Simonová vysvětlila, že velké online platformy jsou podle DSA povinny zmírňovat systémová rizika. Mezi ně patří také manipulace demokratických voleb, včetně šíření nelegálních dezinformací. Příklad z Irska ukazuje, že k prosazování unijních pravidel je nutná spolupráce technologických firem a regulačních orgánů v evropských zemích.

„DSA ukládá povinnost poskytovat výzkumným pracovníkům včasný přístup k údajům, aby mohli zkoumat šíření a dopad politických dezinformací generovaných umělou inteligencí. Organizace občanské společnosti, včetně naší, nadále čelí významným překážkám v přístupu k těmto údajům,“ uvedla.

Také Evropská komise 22. října konstatovala, že nezávislí odborníci nemají přístup k datům od společností Meta a TikTok, které tím porušily nařízení DSA. Obě firmy už začala vyšetřovat. Pokud neprovedou úpravy, hrozí firmám vysoké pokuty za nedostatečnou transparentnost dat, uvedla Komise.