Autonomní AI agenti od společností Meta, OpenAI a Anthropic v minulých týdnech pronikli do systémů jiných firem. Ačkoliv případy vyvolaly obavy z nekontrolovatelného vývoje umělé inteligence, odborníci mírní paniku. Podle nich nejde o sofistikovanou vzpouru strojů, ale o chyby testerů.
AI agenti jsou autonomní systémy využívající velké jazykové modely, které dokážou komunikovat a plnit úkoly bez potřeby podrobných pokynů. Nástroje vytvořené společnostmi Meta, OpenAI a Anthropic se v posledních týdnech nabouraly do systémů jiných společností. Odborníci tyto incidenty nazývají nehodami. Většina z nich pro EU Perspectives uvedla, že největší nebezpečí hrozí od lidí, kteří tyto nástroje testují.
Většina těchto incidentů se také stala během testování, kdy se agenti umělé inteligence snažili dokončit zadané úkoly a místo toho se nabourali do systémů jiných společností. Americká Meta uvedla, že jeden z jejích modelů pronikl do systému jiné firmy po chybě testovacího partnera, který mu poskytl neúmyslný přístup k datům. Společnost Anthropic přiznala, že její AI agent pronikl do tří dalších firem. OpenAI odhalila, že jeden z jejích agentů vniknul do systému startupu Hugging Face.
Nebyl to sofistikovaný únik
Zakladatel a generální ředitel skupiny Implica Global Corporation Sarved Dhar Badgayan uvedl, že incident Mety se lišil od ostatních dvou. „Zdá se, že hlášený incident Mety zahrnoval chybnou konfiguraci testování, která neúmyslně poskytla přístup k internetu. Nejednalo se nutně o sofistikovaný únik z řádně zabezpečeného sandboxu (bezpečné prostředí, kde lze spouštět programy, aby nemohly ohrozit zbytek počítače ani data),“ řekl.
Riziko ale spočívá v tom, že agenti AI mohou sledovat cíle v několika krocích. A pak nacházet zranitelnosti v zabezpečení a přizpůsobovat se, když jsou blokováni. Nejvíce exponované jsou banky, poskytovatelé zdravotní péče, vlády, právnické firmy a podniky spojené s obranou. Útočníci by mohli ve velkém měřítku zneužívat to, na co agenti s umělou inteligencí narazí náhodou.
Chyby při testování
Případy OpenAI a Anthropic jsou ale podle Badgayana znepokojivější. Agenti AI mohou najít slabé přihlašovací údaje, zneužít exponované služby a pokračovat ve sledování cíle i za hranicemi, které jejich operátoři původně zamýšleli. „Tyto incidenty jsou rozhodně významné. Ale musíme si uvědomit, že okolo toho vznikl také velký mediální humbuk,“ řekl Rich Pleeth, ředitel a spoluzakladatel Finmile, operačního systému s umělou inteligencí pro logistiku a terénní operace.
Odmítl, aby se o každém podobném incidentu hovořilo jako o pochybení umělé inteligence. „Tester společnosti Meta uvedl, že konfigurační chyba neúmyslně poskytla modelu přístup k internetu, což je vážné provozní selhání, ale ne nutně zvlášť sofistikovaný průnik do sandboxu,“ dodal.
Joshua Estrin, ředitel marketingu ve společnosti Alterion, která se zabývá správou a řízením umělé inteligence, se vyjádřil přímočařeji. „Ve skutečnosti se nejedná o to, že by se umělá inteligence ‚stala darebákem‘. Jde o to, že firmy propojují stále schopnější agenty se skutečnými nástroji, skutečnými systémy a skutečnými daty, než přijdou na to, jak je správně zadržet,“ vysvětlil.
Odpovědnost musí mít konkrétní lidé
Všechny tři incidenty, dodal, ukazují na hlubší problém. „Agent nepotřebuje zlý úmysl k vytvoření vážného bezpečnostního incidentu. Dejte mu cíl, nástroje, přístup k síti a dostatek prostoru pro manévrování a může najít cesty, které člověk opominul,“ doplnil.
Patrick Gibbs, zakladatel společnosti Epiphany Dynamics, agentury pro automatizaci umělé inteligence, která vyvíjí agenty umělé inteligence pro malé a střední podniky, uvedl, že prevence je důležitější než samotný incident. „Je potřeba se předem rozhodnout, co agent nikdy nemůže udělat, nejen co má dělat,“ řekl.
Mohlo by vás zajímat
Badgayan radí, aby se agenti AI používali s rozumem. „Agent by nikdy neměl mít neomezený přístup k datům jen proto, že ho zaměstnanec používá. Přihlašovací údaje by měly být dočasné a oprávnění specifikovaná pro daný úkol. Každá jeho akce by měla být zaznamenána. Přístup k databázím zákazníků, zdrojovému kódu, platební infrastruktuře, lékařským záznamům nebo obchodnímu tajemství by měl vyžadovat dodatečnou kontrolu a schválení,“ uvedl. Odpovědnost za kroky agentů musí nést vždy konkrétní člověk.
