Wanneer decomputer beslist
ANALYSE
De rol van AI in moderne oorlogsvoering
De invloed van kunstmatige intelligentie op het slagveld groeit, bewijzen de oorlogen in Gaza en Oekraïne. Gaan machines beslissen over leven en dood? Als ergens de vraag speelt hoe de mens de controle kan houden, is het hier.
Volkskrant, Laurens Verhagen. 2 maart 2024
Illustraties Ricardo Tomas
Terwijl het publiek ouderwets ogende loopgraven en kapotgeschoten tanks in Oekraïne ziet of gebombardeerde gebieden in Gaza, heeft een nieuw soort wapentuig zijn intrede gedaan: AI. Onzichtbaar voor het blote oog, maar steeds meer bepalend voor het verloop van de strijd.
Het Evangelie heet het hypermoderne AI-systeem dat Israël inzet om doelen in Gaza te selecteren. ‘De blijde boodschap’ is een wat cynische naam voor een technologie die met dodelijke efficiëntie en in een veel hoger tempo dan waartoe mensen ooit in staat zullen zijn, aanwijst waar raketten moeten neerkomen.
Het Israëlische leger prijst The Gospel aan als een systeem dat ‘nauwkeurige aanvallen’ uitvoert op de Hamas-infrastructuur en ‘grote schade’ toebrengt aan de vijand, terwijl burgers ‘minimale schade’ oplopen, blijkt uit een korte verklaring van het Israëlische leger in The Guardian.
Je zou bijna denken dat deze vorm van AI kan worden bijgeschreven in het boek van nuttige en humane toepassingen. Maar wat gebeurt er als de mens steeds meer beslissingen aan AI overlaat? Het moderne militaire slagveld laat van alle terreinen waar kunstmatige intelligentie een rol speelt misschien wel het best zien wat er op het spel staat als de balans tussen mens en machine verschuift.
De woorden ‘minimale schade’ zal het Israëlische leger zorgvuldig gekozen hebben, maar ze zijn niet onomstreden. Volgens cijfers van het leger zelf, geciteerd door de Britse krant, is het aantal aanvallen deze oorlog aanzienlijk hoger dan bij voorgaande conflicten. De eerste 35 dagen voerde Israël 15 duizend aanvallen uit op doelen in Gaza, vergeleken bij maximaal zesduizend gedurende 51 dagen in de oorlog van 2014.
Israël beroept zich op de geavanceerde risico-afwegingen die zijn AI kan maken: het systeem werkt met kleuren die in één oogopslag laten zien welke doelen het best kunnen worden bestookt. Rood? Te veel risico, bijvoorbeeld omdat er kinderen in de buurt spelen. Groen: ga er maar op af.
Dat is de theorie inderdaad, zegt Taís Blauth, onderzoeker AI & Internationale Relaties aan de Rijksuniversiteit Groningen: algoritmes zorgen ervoor dat het leger gerichter doelen kan uitkiezen, waardoor er aan beide zijden minder levens verloren gaan. ‘Misschien dat het in de toekomst zo werkt, maar nu is de technologie simpelweg nog niet zover.’ AI is bijvoorbeeld nog niet accuraat genoeg in het onderscheid tussen burgers en militairen, aldus de onderzoeker. ‘Objectherkenning zal kijken naar wapens die iemand vasthoudt. Maar dat is niet waterdicht. Het systeem kan ten onrechte alarm slaan.’
Misschien minder voor de hand liggend, maar van grote invloed, is het gebruik van AI bij het fabriceren en verspreiden van desinformatie of bij het beïnvloeden van de publieke opinie. Het is een wezenlijk onderdeel van de hedendaagse hybride oorlogsvoering.
Killer bots
De bekendste en meest besproken toepassing is die van de killer bot. Deze vorm van AI komt niet in actie bij het selecteren van doelen, zoals bij Het Evangelie, maar op een later moment, bij het herkennen van objecten, situaties of personen en het daaropvolgende vuren. Het zijn wapens of voertuigen die eigenhandig, op basis van vooraf meegegeven instructies, in actie komen.
Killerdrone in Libië
In mei 2020 vinden waarnemers bij de Libische hoofdstad Tripoli de restanten van een drone van Turkse makelij, de STM Kargu-2. Het is een van de weinige bekende voorbeelden waar autonome dodelijke wapens echt in actie zijn geweest. Althans: volgens de Verenigde Naties, die in een rapport uit 2021 melden dat Turkije een jaar eerder een luchtaanval met drones uitvoerde zonder dat er nog mensen aan de knoppen zaten. Deze drones waren zo geprogrammeerd dat ze doelen konden vinden en aanvallen zonder dat er een dataverbinding tussen mens en machine was. Het is onduidelijk of deze drones hun doelen ook op eigen houtje selecteerden.
De STM Kargu is een compacte drone van Turkse makelij die munitie kan meedragen. Het apparaat is uitgerust met gezichtsherkenning en kan in zwerm-formatie opereren.
Het is niet met 100 procent zekerheid vast te stellen of er werkelijk sprake was van een volledig autonoom opererend systeem, zegt Blauth. ‘We zien alleen de hardware, in dit geval de drones. We weten niet wat er precies achter zit. Landen delen die informatie niet.’
De moordrobot staat inmiddels symbool voor de gevaren van AI in oorlogssituaties. Een machine zou nooit mogen beslissen over leven en dood, vindt een brede groep tegenstanders.
‘Ernstige zorgen’
‘Wij maken ons ernstige zorgen over de ontwikkeling van dodelijke autonome wapens die zonder betekenisvolle menselijke controle doelen kunnen selecteren en aanvallen’, schreven bijvoorbeeld ruim 150 Nederlandse AI- en robotica-wetenschappers in 2020. Killerbots zijn volgens de wetenschappers een ernstige bedreiging voor de mensenrechten en de menselijke waardigheid. ‘Eenmaal ontwikkeld, zullen autonome wapens de drempel verlagen om oorlog te voeren en ligt snelle escalatie van conflicten op de loer.’ Ook organisaties als Amnesty willen een verbod op de killerbot.
Nederland bepaalde al eerder zijn standpunt. Het kabinet Rutte II schreef in een Kamerbrief in 2016 dat autonome offensieve wapens een onderdeel zijn van een ‘blijvend technologisch hoogwaardige Nederlandse krijgsmacht’. Het lastige in de hele discussie over autonome wapens is echter dat er veel verwarring is over de exacte definities, zegt Blauth. In andere woorden: het ene autonome dodelijke wapen is het andere niet.
Een protest tegen zogenoemde killerbots in Washington.
Bij human-out-of-the-loop is er geen menselijke interactie meer en gaan de wapens, eenmaal gelanceerd, geheel autonoom op hun doel af. Binnen VN-verband wordt al jaren gesproken over het reguleren van autonome wapensystemen, maar een internationaal akkoord is er voorlopig nog niet.
Wel nam de Algemene Vergadering van de VN in november een resolutie aan over de aanpak van volledig autonome wapensystemen, de killer robots. Een overgrote meerderheid van 164 landen stemde voor, waaronder alle NAVO-landen, en dus ook Nederland. Rusland, Belarus, India, Mali en Niger stemden echter tegen, terwijl onder andere China, Israël en Turkije zich onthielden van stemming.
Volgens Ilse Verdiesen, onderzoeker Autonome Wapens aan de TU Delft en ook werkzaam bij Defensie, is de discussie over autonome wapens een lastige. In de eerste plaats omdat de verschillende landen zeer uiteenlopend over een verbod denken: ‘Er zijn landen die voor een totaalverbod zijn op autonome wapens en je hebt landen die hier überhaupt niet over willen praten. Nederland zit een beetje in het midden.’
Er speelt nog een probleem. ‘Zelfs over de terminologie bestaat geen consensus.’ De centrale term in het debat is ‘betekenisvolle menselijke controle’; zolang hier nog sprake van is, zouden autonome wapens kunnen worden toegestaan. Dat is bijvoorbeeld het standpunt van Nederland. Het is de vraag wat betekenisvolle menselijke controle precies is. ‘De definities moeten scherper’, stelt Verdiesen
‘Oorlog is smerig’
Maar de vraag blijft: wat doe je als je tegenstander een stuk losser omgaat met regels, of andere regels hanteert? Op dezelfde conferentie in Den Haag waar Onno Eichelsheim hamerde op het belang van ‘betekenisvolle menselijke controle’ (het human in the loop-principe), wierp de commandant der strijdkrachten ook precies dit dilemma op.
Zijn antwoord was veelbetekenend: ‘Oorlog is smerig. Onze vijanden gebruiken ook AI, en misschien niet volgens de strikte regels die wij hanteren. We moeten ook oplossingen hebben op de momenten dat we ons moeten verdedigen.’ En dus, stelt de generaal, zouden we wel eens ‘sneller dan ons lief is’ AI moeten gebruiken.
Shield AI, opgericht door een voormalig officier van een speciale Amerikaanse elite-eenheid, maakt AI-software voor het besturen van vliegtuigen, waarbij het draait om een combinatie van snelheid, ervaring en strategie. Piloten van vlees en bloed hebben jarenlang training nodig, maar Shield AI reduceert de training van zijn synthetische piloot tot weken.
‘We gingen van amper het vliegtuig kunnen besturen naar een koelbloedige moordenaar’, zegt een medewerker van Shield AI trots. De documentaire laat vervolgens een (via VR-brillen) gesimuleerd gevecht zien tussen AI en een ervaren piloot dat niet zou misstaan in een film als Top Gun. De piloot heeft geen schijn van kans en wordt keer op keer meedogenloos in de pan gehakt. Net als Kasparov, die in 1997 verloor van Deep Blue, moet ook de piloot zijn nederlaag tegen AI erkennen.
Voor zowel de piloot als Shield AI leidt het geen twijfel dat AI de mens zal vervangen als piloot van moderne straaljagers. Darpa, de onderzoekstak van het Amerikaanse ministerie van Defensie, doet al testen met AI-piloten en de software van Shield AI. Het zal volgens kenners dan ook niet lang duren voordat we een tijdperk betreden waarin autonome wapens het strijdtoneel domineren en waar algoritme tegen algoritme vecht.
De software plooit zich constant naar de veranderende omstandigheden en zoekt zelf de beste strategie. ‘En dat is vanuit ethisch oogpunt een probleem’, zegt Van Diggelen. ‘We weten niet meer wat de gevolgen zijn van het handelen van de software. Dat is problematisch: we dreigen controle te verliezen.’
Volgens Van Diggelen dreigen we nu al op de grens te botsen waarbij het gedrag van de machine niet meer geheel voorspelbaar is. ‘Wat gebeurt er precies als je een drone de lucht instuurt met de foto van een terrorist in combinatie met gezichtsherkenning? Welke afwegingen maakt die drone bij zijn actie? Hebben we nog steeds controle? Wie is verantwoordelijk als het mis gaat?’
Op dit moment bouwen legerleiders vanuit ethisch oogpunt nog mechanismen in die ervoor zorgen dat de mens op het laatste moment nog meekijkt met de camera, zodat een militair tot op het ultieme moment nog kan ingrijpen. ‘Maar’, waarschuwt de TNO-onderzoeker, ‘we zijn slechts één software-update verwijderd van een situatie waarbij die laatste check verdwijnt.’
Uit militair gezichtspunt kan het zelfs aantrekkelijk zijn de menselijke check eruit te halen, stelt Van Diggelen: ‘Menselijke controle maakt je niet alleen iets langzamer, maar soms ook kwetsbaar. Je hebt namelijk een radioverbinding nodig. Je tegenstander kan zo lokaliseren waar de drone zich bevindt, of kan de verbinding ontregelen.’
Spin in het web
Tech- en AI-bedrijven staan inmiddels te popelen legers te voorzien van het modernste wapentuig in de vorm van software. Ook ChatGPT-maker OpenAI verbiedt niet langer dat zijn software voor militaire doeleinden kan worden gebruikt. Een ander, minder bekend, Amerikaans bedrijf is vooralsnog de spin in het web: databedrijf Palantir, mede opgericht door de invloedrijke Silicon Valley-investeerder Peter Thiel.
Palantir zet zich bij monde van CEO Alex Karp nadrukkelijk op de kaart als een onmisbare schakel voor het Westen om zich te verdedigen tegen de dreiging vanuit China of Rusland. Wie AI goed weet te gebruiken, zal landen kunnen verslaan tientallen miljarden aan traditioneel oorlogstuig hebben uitgegeven, aldus Karp vorig jaar in Den Haag.
Het moge duidelijk zijn dat Palantir deze software levert. Het gaat onder andere om offensieve technologie waarbij AI de doelen identificeert, zoals ook in Israël gebeurt met Het Evangelie.
Oekraïne is een van de landen waar de AI-wapenleverancier zijn diensten heeft aangeboden. Volgens berichtgeving in het Amerikaanse tijdschrift Time Magazine, dat de oorlog tussen Rusland en Oekraïne als ‘de eerste AI-oorlog’ aanduidt, gebruiken verschillende Oekraïense ministeries de software van Palantir, onder andere voor ‘het analyseren van satellietbeelden, open-sourcegegevens, dronebeelden en rapporten vanaf de grond’ om commandanten militaire opties te bieden. Palantir zou hiermee verantwoordelijk zijn voor het grootste deel van de door Oekraïne geïdentificeerde doelwitten.
Het is slechts het begin. Bedrijven als Shield AI, maar ook landen als Rusland, dromen alweer van een volgende stap: autonome drones die als een zwerm bijen leren optimaal samen te werken en dankzij AI als één entiteit optreden, bijvoorbeeld om op een vijand te jagen. Zie daar maar eens controle over te houden.