Umělá inteligence už není jen nástrojem pro kanceláře, školy nebo průmysl. V armádě může pomáhat se zpracováním obrazu, vyhodnocováním dat nebo řízením technologií. Jenže každý technický systém může udělat chybu.
Kdo za ni ponese odpovědnost, pokud bude mít dopad na bezpečnost nebo lidský život? Právě tuto otázku otevřel na konferenci Ekonomického deníku Jiří Veselý z Univerzity obrany.
Umělá inteligence musí na bojišti především správně vidět
Jiří Veselý je vedoucím katedry komunikačních technologií, elektronického boje a radiolokace na Fakultě vojenských technologií Univerzity obrany. Na konferenci Ekonomického deníku Nová éra inteligence, člověk, stroje a kvantum mluvil především o praktickém využití technologií v armádě.
Jednou z hlavních oblastí je rozpoznávání obrazu, a to ne jen ve viditelné části spektra. Univerzita obrany se podle Veselého zaměřuje právě na tuto oblast. Jeden z jeho kolegů se věnuje analýze signálů vysílaných z objektů na nízké oběžné dráze Země.
Pro armádu má zpracování obrazu zásadní význam. Voják musí nejprve získat informace o okolí. Teprve potom může člověk s využitím techniky rozhodovat, co s nimi udělá. „Při boji nebo při obraně je důležité „vidět“. A umělá inteligence může pomoci obraz zpracovat. Může také vyhodnocovat velké množství dat. Právě tady ale vzniká další problém. Co když systém obraz vyhodnotí špatně?
Jeden chybný obraz může znamenat velký problém
Při použití AI v armádě nestačí sledovat pouze to, zda systém většinou funguje správně. Důležité je také vědět, co se stane, když udělá chybu. Na konferenci zazněl příklad člověka v nebezpečné zóně. Umělá inteligence ho nemusí správně rozpoznat. Může také špatně vyhodnotit jinou informaci.
Veselý proto upozornil na základní vlastnost všech technických systémů. „Každý technický systém pracuje s chybou, s tím musíme počítat a také se s ní počítá a číselně se vyhodnocuje. Technicky ani nelze slučovat (fúzovat) informace z více zdrojů bez kvantifikace chyby.
Právě proto musí existovat postup pro takovou situaci. A také musí být jasné, kdo za rozhodnutí odpovídá.
Kdo ponese odpovědnost za chybu umělé inteligence?
Otázka se ještě více komplikuje u autonomních systémů. Co když autonomní robot nebo jiný systém udělá chybu? Bude odpovědný programátor? Operátor? Velitel? Nebo někdo, kdo systém nasadil?
Veselý hledal paralelu u současného způsobu použití vojenské techniky. Voják má v určité chvíli například prst na spoušti. Zároveň ale někdo vydal rozkaz a někdo mu velí. Podobně by to podle Veselého mohlo fungovat i u autonomních systémů. Člověk podle něj nesmí z rozhodovacího procesu jednoduše zmizet. „Nelze tyto systémy nechat pracovat v režimu plné autonomie„
Ani tím ale problém nekončí. Člověk, který systém kontroluje, také jedná na základě určitého zadání. Veselý proto upozornil na otázku, která může být v budoucnu velmi konkrétní. „V konečném důsledku je vždy za rozhodnutí zodpovědný velitel. Tato odpovědnost je nedělitelná a nelze ji delegovat.“
Armáda chce umělou inteligenci využívat, člověk ale zůstává v rozhodování
Na podobný problém upozornil také brigádní generál Petr Šnajdárek, ředitel sekce komunikačních a informačních systémů ministerstva obrany.
Armáda podle něj řeší využití AI v několika oblastech. Patří mezi ně administrativní procesy. Další oblast představují vojenské technologie. Jde například o rozpoznávání obrazu a zpracování velkého objemu dat.
Šnajdárek zároveň zdůraznil význam kvality dat. Pokud systém pracuje se špatnými daty, může být špatný také výsledek. U vojenských systémů proto podle něj zůstává zásadní úloha člověka. Výstupy senzorů je potřeba správně vyhodnotit a kvalifikovat. Konečné rozhodnutí proto podle Šnajdárka nemůže jednoduše převzít technologie.
Umělá inteligence už se testuje v praxi
Vývoj vojenských technologií nezůstává pouze u akademických debat. Na konferenci zazněla z úst emeritního děkana Technické fakulty České zemědělské univerzity Jiřího Maška také zkušenost s národním testovacím polygonem v Lipníku. Ten je určen mimo jiné pro bezosádkové systémy, systémy velení a řízení a využití umělé inteligence. Armáda chce jeho využití dále rozšiřovat.
Akademickou spolupráci tam už testoval také tým kolem platformy Hecthor. Ta vznikla ve fakultním startupu ProLab Engineering. Jde o robotickou platformu, která může fungovat s dálkovým ovládáním i autonomně.
Hecthor lze podle Jiřího Maška využít například pro potřeby integrovaného záchranného systému. Uplatnění může najít také v armádě. Záleží přitom na použité nástavbě. Právě podobné projekty ukazují, jak může vypadat spolupráce armády a univerzit.
Armáda potřebuje univerzity. Univerzity zase konkrétní zadání
Petr Šnajdárek na konferenci opakovaně vyzýval akademickou sféru ke spolupráci. Armáda podle něj potřebuje konkrétní řešení. Univerzity zase potřebují vědět, jaký problém mají řešit.
Kočí proto mluvil o konkrétních zadáních. Jako příklad uvedl postkvantové zabezpečení komunikace. Šnajdárek zároveň popsal snahu vytvořit širší spolupráci mezi armádou, univerzitami a průmyslem. Podle něj není možné nové technologie zavádět pouze uvnitř armády. „Překvapte mě, nabídněte to,“ vyzýval akademiky.
Podle něj přitom nejde pouze o nákup technologií. Armáda musí řešit také legislativu, veřejné zakázky, bezpečnost a další podmínky jejich použití.
Technologie jsou připravené. Problémem může být legislativa
Právě legislativa se během debaty vracela opakovaně. Jako příklad zazněly informace o autonomních zemědělských robotech. Technologicky už podle diskutujících existují komerční systémy. Jejich používání ale omezuje současný právní rámec.
Jiří Veselý proto upozornil, že technologie může být připravená dříve než pravidla pro její používání. Podobný problém podle něj armáda řeší také u nových vojenských technologií.
Petr Šnajdárek k tomu přidal další zkušenost z vojenského prostředím. Armáda musí respektovat český legislativní rámec. Zároveň ale potřebuje být schopná reagovat na nové technologie.
Proto podle něj nestačí čekat až na krizovou situaci. Na případné scénáře je potřeba být připravený předem.
Kritické myšlení zůstává stejně důležité jako samotná AI
Rychlý rozvoj umělé inteligence mění také požadavky na vzdělávání. Jan Kočí z Technické univerzity v Liberci upozornil, že samotná práce s jazykovým modelem nestačí. Uživatel musí umět výsledek posoudit. „Umělá inteligence nebo AI, to není nic, čeho bychom se měli bát.“ Důležitý je podle něj především způsob, jakým ji člověk používá.
Kočí zároveň upozornil na význam kritického myšlení. Technologie může podle něj postupně získat také nástroje, které umožní kontrolovat výstupy jiných modelů.
Pro technické univerzity z toho plyne další úkol. Studenti potřebují znát nejen samotné technologie. Potřebují také matematiku, fyziku a další základy, na kterých moderní systémy stojí.
Pelikán: Umělá inteligence může změnit pracovní trh
Proděkan Provozně ekonomické fakulty ČZU a spoluzakladatel iniciativy AI Bridge Martin Pelikán upozornil na širší dopady AI. Podle něj nemusí jít jen o otázku toho, zda lidé chtějí nové technologie používat.
K využívání AI může část společnosti tlačit konkurence. Jako příklad uvedl letní školu, kde studenti během jednoho týdne vytvořili aplikace s využitím generativní AI. Jeden ze studentů, aniž by byl IT expertem, vytvořil nástroj pro optimalizaci řezných plánů pro práci se dřevem. Podle Pelikána může taková aplikace nahradit software, za který se platí 6 000 dolarů ročně.
Pelikán zároveň připustil, že v některých profesích může v budoucnu dojít ke zkrácení pracovní doby. Neplatí to ale automaticky pro všechny obory.
Na konferenci také upozornil na širší společenské dopady rozvoje AI. Podle něj může umělá inteligence přinést výrazné změny v množství lidské práce. Zároveň může ovlivnit rozdělení ekonomických přínosů mezi jednotlivé skupiny.
Budoucí bojiště bude kombinací člověka a technologií
Podplukovnice Markéta Vršecká z Fakulty vojenských technologií Univerzity obrany vidí budoucí vojenské operace jako kombinaci několika technologií. Nejde podle ní o jednoduchý obraz bojiště, kde by člověka nahradily stroje. Umělá inteligence, robotické systémy a lidé budou podle ní pracovat společně. Stejně jako Veselý mluvila o významu vyhodnocování údajů a rozpoznávání cílů. Právě zde může AI pomáhat v rozhodovacích procesech.
Otázka lidského dohledu tím ale nezmizí. Naopak. Čím více úkolů převezmou autonomní systémy, tím důležitější bude vědět, kdo jejich činnost kontroluje a kdo nese odpovědnost za případnou chybu.
Umělá inteligence může změnit armádu. Chybu ale stále musí řešit člověk
Debata na konferenci ukázala dvě strany stejného problému. Na jedné straně stojí rychlý vývoj. Umělá inteligence už dnes dokáže zpracovávat obraz, analyzovat data a pomáhat při práci s autonomními systémy. Armáda proto hledá konkrétní způsoby, jak tyto technologie využít. Na druhé straně stojí otázka důvěry.
Technický systém může být velmi spolehlivý. Nikdy však nebude možné jednoduše předpokládat, že se chyba nemůže stát. A pokud bude mít chyba skutečný dopad na bezpečnost nebo lidský život, nestačí vědět, že systém fungoval ve většině případů správně.
Musí být také jasné, kdo rozhodoval, kdo systém kontroloval a kdo za výsledek odpovídá. Právě v tom podle Jiřího Veselého zůstává člověk v éře umělé inteligence nenahraditelný.
