Rosnące zainteresowanie sił zbrojnych i rządów sprawia, że sztuczna inteligencja i systemy autonomiczne stają się obiektem coraz intensywniejszych dyskusji i badań. Jednym z przykładów jest niedawny raport Instytutu Narodów Zjednoczonych do spraw Badań nad Rozbrojeniem (UNIDIR) zatytułowany Known Unknowns: Data Issues and Military Autonomous Systems. Jego autor, Arthur Holland Michel, skoncentrował się jednak nie na możliwościach, jakie dają systemy autonomiczne, ale na niebezpieczeństwach, które stwarzają.
Założenia Michela jako żywo przywołują w pamięci historię celowników bombowych Nordena z czasów drugiej wojny światowej. Podczas testów na bezchmurnym niebie Arizony i Nevady pozwoliły one radykalnie zwiększyć skuteczność ataków lotniczych, jednak w trakcie działań nad pochmurną Europą Północno-Zachodnią celownik Nordena przynosił jedynie umiarkowaną poprawę celności. Wyniki dotychczasowych eksperymentów pokazują, że ze sztuczną inteligencją kierującą systemami autonomicznymi może być podobnie. Warunki realnego pola walki znacząco odbiegają od tych z poligonów, o laboratoriach już nie wspominając.
Algorytmy sztucznej inteligencji karmią się informacjami. Jak zauważył na łamach serwisu Popular Science omawiający raport UNIDIR Kelsey D. Atherton, systemy autonomiczne mogą działać niezależnie, ponieważ zbierają dane o otaczającym je środowisku i na tej podstawie podejmują działania. W warunkach poligonowych i laboratoryjnych pozyskiwane dane są właściwe, kompletne, dokładne i odpowiedniej jakości. W warunkach bojowych nie ma takiej możliwości, otoczenie zmienia się dynamicznie i w trudno przewidywalny sposób, a panujące warunki są złożone, trudne i często niesprzyjające. Istnieje stuprocentowa pewność, że pojawią się sytuacje nieprzewidziane przez programistów.
Michel wskazuje na cztery możliwości, przez które coś może pójść źle: systemy obserwacji mogą zebrać dane niekompletne, złej jakości, niepoprawne lub zgoła fałszywe. W myśl praw Murphy’ego jeśli coś może pójść źle, na pewno tak się stanie, należy tez oczekiwać sytuacji, w których pozyskane dane nie będą odpowiadać tym zapisanym w bankach pamięci. Wszystko to może prowadzić sztuczną inteligencję do podejmowania błędnych decyzji, takich jak nierozpoznanie realnego zagrożenia i ostrzelanie na przykład obiektów cywilnych.
Nie są to czcze akademickie dywagacje. W październiku ubiegłego roku firma FLIR przedstawiła system celowania rozwijany w ramach programu bojowych pojazdów bezzałogowych Ripsaw dla wojsk lądowych USA. System zachwalano jako zdolny odróżnić człowieka nieuzbrojonego od uzbrojonego i pojazd cywilny od wojskowego, jednak na przedstawionym w trakcie prezentacji filmie z testów algorytmy wskazywały idącego człowieka jako taki sam typ celu jak drzewo. Atherton zadaj w tym miejscu słuszne pytanie, czy nawet jeżeli w trakcie testów sztuczna inteligencja nauczy się odróżniać człowieka od drzewa, czy będzie tak w trakcie walki. Strzelanie do drzew oznacza najczęściej niepotrzebne marnowanie amunicji. Strzelanie do wszystkich ludzi prowadzić będzie natomiast do niepotrzebnych strat.
Demonstrator bezzałogowego pojazdu lądowego Ripsaw MS2.
(US Army)
Chińscy analitycy Zhao Xiangang i Liu Xiaoxing już w roku 2019 na łamach Jiefangjun Bao (Dziennika Armii Ludowo-Wyzwoleńczej), oficjalnego organu prasowego chińskich sił zbrojnych, zwrócili uwagę na jeszcze inne wyzwania. Zadali wówczas pytanie, jak systemy autonomiczne powinny reagować w przypadku natknięcia się na rannych lub rozbrojonych żołnierzy przeciwnika czy też kiedy wróg używa cywilów jako żywych tarcz. W opinii Zhao i Liu pozostawienie decyzji w gestii maszyn poważnie podważy w prawie międzynarodowym rozróżnienie miedzy cywilami a kombatantami, a także zasadę, że członkowie sił zbrojnych, którzy złożyli broń, nie mogą być przedmiotem ataku.
Pewnym wyjściem są systemy samouczące się, są one jednak ciągle niedoskonałe i niekiedy niebezpiecznie dążą w kierunku osobliwości technologicznej – technologii, której ludzie używają, ale nie są w stanie zrozumieć, jak działa. Stwarza to kolejne problemy. Maaike Verbruggen z Vrije Universiteit Brussel zastanawia się, jak żołnierze mają oceniać zalecenia sztucznej inteligencji, jeżeli nie będą rozumieć, w jaki sposób doszła ona do takich, a nie innych wniosków. Michel podchodzi do sprawy podobnie, jednak pod nieco innym kątem. Żołnierze nie muszą wiedzieć, że system źle ocenił sytuację, a w warunkach pola walki na weryfikację i wykrycie ewentualnych błędów zwyczajnie nie będzie czasu.
Sprawa jest bardzo istotna w sytuacji, w której wojska lądowe między innymi Stanów Zjednoczonych i Wielkiej Brytanii chcą wykorzystywać sztuczną inteligencję do sugerowania marszrut i wyznaczania stanowisk strzeleckich. Samochodowe systemy nawigacji niejeden raz już udowodniły, że maszyny mylą się nie rzadziej niż ludzie, zwłaszcza gdy brakuje im aktualnych i właściwych informacji.
Known Unknowns wskazuje na jeszcze inne ryzyko, na które narażone są systemy strzeleckie, a mianowicie przeciwdziałanie ze strony wroga. Jak pokazują dotychczasowe doświadczenia, nie chodzi tylko o zaawansowane zdolności walki radioelektronicznej, pozwalające zakłócać sygnały czy hakować systemy. Już przeszło dwa lata temu Amerykanie ukuli termin „sztuczna głupota” (artificial stupidity), odnoszący się do popełnianych przez systemy autonomiczne błędów, jakich nie popełniłby człowiek. W trakcie jednego z eksperymentów prowadzonych przez DARPA na zwykłym znaku drogowym „STOP” przyklejono w kilku krytycznych punktach kawałki taśmy odblaskowej. W efekcie sztuczna inteligencja rozpoznała znak nie jako polecenie zatrzymania się, ale ograniczenia prędkości do czterdziestu pięciu mil na godzinę.
Rosyjski robot bojowy Uran-9 podczas pokazu dynamicznego w 2017 roku.
(Vitaly V. Kuzmin, Creative Commons Attribution-Share Alike 4.0 International)
Michel podaje w raporcie jeszcze bardziej porażający przykład. Sztuczna inteligencja o złożonych algorytmach skutecznie rozpoznawała jabłko jako jabłko, dopóki prowadzący eksperyment nie przykleili na owocu kartki z napisem „iPod”. System zidentyfikował wówczas owoc jako iPod. Takie luki w systemie otwierają ogromne pole dla ludzkiej kreatywności. Atherton sugeruje pierwszy z brzegu możliwy przykład: na improwizowanym ładunku wybuchowym zostaje umieszczona kartka z napisem „piłka futbolowa”. Czy w takiej sytuacji autonomiczny robot rozpoznawczy zignoruje zagrożenie i nie ostrzeże podążających za nim żołnierzy? A może bardziej zaawansowane algorytmy poradzą sobie z takimi oszustwami?
Wracamy tutaj do punktu wyjścia. Algorytmy oparte są na matematyce i logice, a programiści nie są zdolni przewidzieć wszystkich możliwych sytuacji i scenariuszy zdarzeń. Ludzie nie zawsze działają logicznie, lecz kierują się instynktem, intuicją i zdrowym rozsądkiem, zaś sytuacje ekstremalne sprzyjają podejmowaniu bardzo niekonwencjonalnych działań. Known Unknowns przypomina, że nawet gdy w wyniku badań, testów i prób w polu wcześniej nieznane zagadnienia zostają opisane, nadal pozostają jedynie podzbiorem wszystkich zagadnień ukrytych w systemie. Z kolei Mike Kramer, ekspert do spraw sztucznej inteligencji, zwraca uwagę, że w konfrontacji z systemami autonomicznymi głównym celem ataku są nie platformy bojowe, ale kierująca nimi sztuczna inteligencja. Tym samym w wojnie algorytmicznej kluczowym czynnikiem staje się wyszukiwanie luk i błędów w algorytmach przeciwnika.
Raport UNIDIR porusza także coraz istotniejsze zagadnienie ujęcia wykorzystania systemów autonomicznych w ramy prawa międzynarodowego. Takie próby trwają już od dobrych dziesięciu lat, aczkolwiek bezskutecznie. Pierwsza próba, podjęta przez ONZ w roku 2013, zakończyła się fiaskiem z powodu braku zgody co do właściwej definicji, czym są zautomatyzowane lub autonomiczne systemy uzbrojenia. Kolejna próba przyniosła również niepowodzenie z powodu veta Rosji. Pod koniec roku 2017 Moskwa zapowiedziała, że będzie prowadzić prace nad „robotami zabójcami” niezależnie od wszelkich międzynarodowych decyzji w tej sprawie. W oficjalnym komunikacie Kreml uznał, że wszelkie ograniczenia mogą odbić się negatywnie na cywilnym wykorzystaniu sztucznej inteligencji.
Nie bez znaczenia był również rosnący brak zaufania między Stanami Zjednoczonymi a Chinami, jednak w ostatnich czasach analitycy w Waszyngtonie i Pekinie zaczęli postrzegać podobnie konieczność uregulowania wykorzystania systemów autonomicznych. Przytoczeni już Zhao Xiangang i Liu Xiaoxing ostrzegają, że postępująca robotyzacja może zachęcać wielkie mocarstwa do użycia siły, a także prowadzić do dalszej dehumanizacji przeciwnika i rozprzestrzeniania się „syndromu PlayStation”. Chen Dongheng i Li Xin’an również na łamach Jiefangjun Bao wzywali do stosowania w przypadku systemów autonomicznych podstawowej zasady „human-in-the-loop” i dawania pierwszeństwa ludzkiemu osądowi, obsłudze i kontroli.
15 grudnia ubiegłego roku amerykański samolot rozpoznawczy U-2S wykonał lot ćwiczebny, w którym za obsługę radaru i wybranych sensorów odpowiadała wyłącznie sztuczna inteligencja nazwana ARTUµ.
(USAF / Luis A. Ruiz-Vazquez)
Podobne zalecenia daje Known Unknowns. Raport proponuje częściowe lub całkowite moratorium na rozwój systemów autonomicznych albo wprowadzenie ograniczeń co do ich użycia. Kolejne propozycje to ścisłe reguły odpowiedzialności i należytej staranności, ludzkiej kontroli oraz wreszcie rewizji przepisów prawa krajowego i międzynarodowego. W podobnym duchu wypowiadał się w kwietniu tego roku generał Mike Murray z amerykańskiego Army Futures Command. Zgłosił jednak kilka zastrzeżeń. Przede wszystkim rosnące tempo działań zaczyna wymykać się ludzkiej percepcji, stąd zdaniem Murraya reguły przyjęte dla walki między ludźmi mogą zupełnie nie sprawdzić się w przypadku konfrontacji miedzy dwoma systemami autonomicznymi, jak na przykład starcia z rojem dronów.
Zdaniem generała jednym z możliwych rozwiązań jest pozostawienie ostatecznej decyzji człowiekowi w sytuacjach, gdy decyzja dotyczy życia i śmierci innych ludzi oraz umożliwienie komputerom swobodnego, autonomicznego działania tam, gdzie nie ma zagrożenia dla ludzkiego życia.
Podobnego zdania jest były zastępca sekretarza obrony Robert O. Work. W raporcie dla think tanku CNAS zatytułowanym Principles for the Combat Employment of Weapon Systems with Autonomous Functionalities zgadza się on z potrzebą wypracowania ogólnie akceptowanych międzynarodowych reguł wykorzystania systemów autonomicznych, sprzeciwia się jednak kontroli człowieka na każdym stopniu łańcucha decyzyjnego.
Work podaje przykład pocisku zwalniającego czterdzieści sztuk autonomicznej subamunicji. Przy sztywnym trzymaniu się zasady „human-in-the-loop” w przypadku każdego podpocisku konieczne będzie podjęcie osobnej decyzji, co w celu utrzymania odpowiednio krótkiego czasu reakcji wymagać będzie monitorowania sytuacji przez czterdzieści osób. Zdaniem Worka konieczny jest „odpowiedzialny ludzki łańcuch dowodzenia i kontroli” kierujący wykorzystaniem systemów autonomicznych i pozostawieniu decyzji o wykorzystaniu siły zawsze w rękach człowieka.
Przeczytaj też: Benji – Splash One! Strącenie irackiego MiG-a-25 przez F-16
Dick Thomas Johnson, Creative Commons Attribution 2.0 Generic license
Zgłoś naruszenie/Błąd
Pozytywnie
Neutralnie 
Negatywnie
Lubię to!
Super
Ekscytujący 
Ciekawy
Smieszny
Smutny
Wściekły
Przerażony
Szokujący
Wzruszający
Rozczarowany
Zaskoczony
Prawda
Manipulacja
Fake news
Oryginalne źródło ZOBACZ
Dodaj kanał RSS
Musisz być zalogowanym aby zaproponować nowy kanal RSS