Habsora

Trouw, .Isabel Bolle 19 december 2023

Na vele weken van Israëlische bombardementen ligt een groot deel van Gaza in puin. Er wordt op veel grotere schaal gebombardeerd dan tijdens vorige oorlogen, mede door een speciaal ontwikkeld AI-systeem dat in rap tempo doelwitten genereert. ‘Wat vroeger uren duurde, duurt nu slechts enkele minuten’.

Het Israëlische leger stelde vorige week in een verklaring dat het sinds 7 oktober al zeker 22.000 doelwitten in Gaza onder vuur heeft genomen. Tijdens geen enkele eerdere oorlog lag het ‘tempo’ zo hoog. Dat tempo wordt elke dag gezet in het ‘Directoraat van Doelwitten’, dat een paar jaar geleden is opgericht met als streven de lijst van mogelijke Hamas- en Islamitische Jihad-doelwitten in Gaza, die onder vuur genomen kunnen worden, flink uit te breiden.

Hoewel het directoraat uit honderden militairen bestaat, is één van de stuwende krachten binnen de eenheid – volgens het leger – van een andere aard: kunstmatige intelligentie, ook wel bekend als artificial intelligence (AI). Met name een specifiek programma met de naam Habsora (‘het goede nieuws’), dat op hoog tempo doelwitten kan genereren. Het bestaan van het systeem was al enige tijd bekend, maar een onderzoek van de Israëlische publicaties +972 Mag en Local Call bracht opnieuw onder de aandacht hoe groot de rol is die de technologie speelt in de huidige oorlog, en de verwoesting van een groot deel van de Gazastrook. Een oud-inlichtingenofficier die met de mediaplatformen sprak, bestempelde Habsora als een ‘massamoord-fabriek’.

Het topje van de ijsberg

Hoe het systeem exact werk is niet bekend, maar verscheidene experts gaan ervan uit dat de AI wordt losgelaten op verschillende ‘datastromen’. Daaronder satelliet- en dronebeelden, informatie over de verplaatsingen van Hamas-leden en mogelijk onderschepte communicatie. Zo wordt een doelwit berekend waar een bepaald lid zich zou kunnen bevinden.

Het is zeker niet voor het eerst dat Israël kunstmatige intelligentie inzet in oorlogsvoering, vertelt Federico Mantellassi, onderzoeker en projectmedewerker bij het Geneva Centre for Security Policy, die zich onder andere buigt over de inzet van AI in oorlogen. “Tijdens de vorige oorlog tussen Israël en Hamas – in 2021 – kondigde het Israëlische leger al aan dat dit de eerste ‘AI-oorlog’ was die het voerde”, herinnert Mantellassi zich.

Het zou hem niet verbazen als Habsora ‘het topje van de ijsberg’ blijkt te zijn als het gaat om de inzet van kunstmatige intelligentie door het Israëlische leger. Het bestaan van andere systemen is al bekend, waaronder de Alchemist – dat vooral gespecialiseerd lijkt op het verzamelen van inlichtingen – en de Vuurfabriek, dat onder andere ingezet wordt voor logistieke zaken, zoals het berekenen van de benodigde munitie en het samenstellen van vluchtschema’s.

Technologische revolutie

De legertop lijkt vooral verrukt met de snelheid van het systeem. In een interview met de Israëlische nieuwssite Ynet deze zomer was Aviv Kohavi, tot begin dit jaar stafchef van het Israëlische leger, vol lof over het gebruik ervan. Hij noemde Habsora niet bij naam, maar sprak uitgebreid over een nieuw AI-systeem dat werd ingezet om doelwitten te genereren. “Het is een machine die grote hoeveelheden data verwerkt, sneller en effectiever dan welk mens dan ook, en dit vertaalt in bruikbare doelwitten”, zei Kohavi destijds.

Volgens hem kon het systeem – toen het werd ingezet tijdens de oorlog met Hamas in 2021 – destijds tot wel honderd nieuwe doelwitten per dag genereren. “Om dat in perspectief te plaatsen: vroeger produceerden we vijftig nieuwe doelwitten in Gaza per jaar”, aldus Kohavi.

Mantellassi ziet de rol van AI op het slagveld in de toekomst alleen maar toenemen, maar volgens hem is het oppassen met het idee dat dit een verbetering zal zijn. “Sommige mensen hebben de opvatting dat AI meer ‘nauwkeurig’ zal zijn, of dat de inzet ervan het aantal burgerslachtoffers zal beperken”, legt hij uit. “Maar als de houding van de militairen zélf – ten aanzien van bijvoorbeeld burgerslachtoffers – niet verandert, dan zal het integreren van AI in het proces daar ook geen verandering in brengen. Als het doel van het Israëlische leger in dit geval alleen het uitbreiden van het aantal doelwitten is, dan valt het eindresultaat te raden: het zal alleen maar leiden tot meer doden.”

Mona Shtaya, onderzoeker bij het Tahrir Institute for Middle East Policy op het gebied van surveillance en digitale rechten, sluit zich daarbij aan; volgens haar leidt Habsora tot “de massamoord op mensen in de Gazastrook, en neemt het aantal blinde aanvallen hierdoor alleen maar toe, met de dood van nog meer burgers tot gevolg”.

“Het is een voortzetting van hoe de Israëlische regering surveillance-middelen inzet tegen Palestijnen”, vertelt ze aan de telefoon. “AI-technologieën zijn niet alleen tijdens dit conflict als wapen ingezet, maar ook eerder al.” Shtaya, die zelf op de bezette Westoever woont, noemt de bewakingscamera’s met gezichtsherkenning die bij elk checkpoint hangen als voorbeeld, of de ‘smart shooters’ – onbemande geweren die van een afstand bediend kunnen worden en met behulp van AI een doelwit kunnen kiezen – die onder andere in Hebron geïnstalleerd zijn.

Een match tussen mens en machine

Het Israëlische leger zelf benadrukt dat in het geval van Habsora alle doelwitten die door de AI worden voorgesteld, eerst nog door een medewerker geverifieerd moeten worden, voordat er bepaald wordt of er een aanval doorgaat. Medewerkers van de ‘doelwitfabriek’ – een van de bijnamen die het leger hanteert voor het directoraat die de doelwitten genereert – met wie +972 Mag en Local Call voor hun onderzoekgesproken hebben, bevestigen dit beleid.

Maar, vertelt één van hen, dat betekent niet per se dat er een uitgebreid verificatieproces plaatsvindt. “Het is net als in een fabriek. We werken snel en er is geen tijd om je te verdiepen in een doelwit. Het idee heerst dat we beoordeeld worden op basis van hoeveel doelwitten we weten te genereren.” Dat er niet veel tijd voor verificatie is, werd eerder dit jaar ook tegenover Bloomberg beaamd door ‘kolonel Uri’, het hoofd van de ‘digitale transformatie’-eenheid binnen het Israëlische leger, die naar eigen zeggen vanwege veiligheidsredenen zijn achternaam niet kan prijsgeven. “Wat vroeger uren duurde, duurt nu slechts enkele minuten, met een paar extra minuten voor een menselijke beoordeling”, zei hij.

Mens en machine moeten, zo stelt het leger, uiteindelijk tot dezelfde conclusie komen: “Het doel is dat er een complete match plaatsvindt tussen het voorstel van de machine, en de identificatie die door een mens wordt uitgevoerd”, zegt een woordvoerder in een verklaring.

Maar de realiteit is altijd weerbarstiger, weet Mantellassi. “Uit onderzoek blijkt dat mensen zelden ingaan tegen beslissingen die door machines worden gemaakt. Het heet ‘automation bias’: mensen worden gemakzuchtig wanneer ze autonome systemen gebruiken. Ze hebben er te veel vertrouwen in, omdat ze de wiskundige ingewikkeldheid van zo’n systeem erkennen, en ervan uitgaan dat het wel beter weet. Dus als zo’n systeem met een suggestie komt, zullen mensen meestal meegaan in die keuze”. Hij heeft daarom zijn twijfels bij de doeltreffendheid van het toezicht op Habsora. “Ik denk niet dat de mensen die toezicht houden écht, op een betekenisvolle manier, kritisch kijken naar de suggesties die de machine doet.”

‘Bijkomende schade’

De laatste jaren lijkt er binnen het Israëlische leger niet alleen een verschuiving te hebben plaatsgevonden in wie het voortouw neemt – mens of machine – in het genereren van doelwitten, maar ook in het gemak waarmee bepaalde afwegingen gemaakt worden.

Uit de gesprekken die 972+ Mag en Local Call met medewerkers en betrokkenen van de ‘doelwittenfabriek’ hebben gevoerd, blijkt dat de inlichtingendiensten vrij goed op de hoogte zijn van hoeveel burgerdoden er kunnen vallen als er een aanval op een huis of appartement wordt uitgevoerd. Dat, bevestigen vijf verschillende geïnterviewden, is te vinden in het dossier van een potentieel doelwit onder het kopje ‘bijkomende schade’.

Volgens een oud-medewerker die betrokken was bij het genereren van doelwitten tijdens eerdere oorlogen, was er vroeger wat meer terughoudendheid in het goedkeuren van een doelwit, als er risico was op meerdere burgerdoden. Doorgaans kwam volgens hem vooral groen licht als er kans was een vooraanstaand lid van Hamas te doden. “Maar van wat ik nu hoor, kunnen ze alle huizen van leden van Hamas markeren”, vertelt hij. “Dat zijn veel huizen. Hamas-leden die er niet echt toe doen leven door heel Gaza. Die woningen worden gemarkeerd, gebombardeerd, en iedereen daar wordt gedood.”

Dat AI inmiddels wordt ingezet in zulke processen is een problematische ontwikkeling, vindt Montellassi. “Het kan ertoe leiden dat mensen steeds vaker de cognitieve en morele last van bepaalde keuzes zullen overhevelen naar kunstmatige intelligentie.” Dat het niet altijd te doorgronden is hóé kunstmatige intelligentie tot een bepaalde keuze is gekomen, maakt het er volgens de onderzoeker niet beter op. Want, benadrukt hij, in de kern gaan die keuzes over leven en dood. “Hierdoor neemt de ontmenselijking toe; wanneer doelwitten gegenereerd worden op basis van een hele reeks verschillende datastromen en een ingewikkelde berekening, kan het uitlopen op een kille en afstandelijke manier van doden”.

Nauwelijks regulering

Maar of deze ontwikkeling te stoppen valt, is de vraag. Vooralsnog zetten legers over de hele wereld vol in op kunstmatige intelligentie; geïntrigeerd door de mogelijkheden en tegelijkertijd bang om achter te raken in een nieuwe wedloop. Van enige regulering is amper sprake.

Er worden wel pogingen ondernomen om een raamwerk op te zetten dat AI moet reguleren – onder andere binnen de EU – maar tot grote stappen heeft dat nog niet geleid. Maar regulering, benadrukt Shtaya, is hard nodig. “Wetgeving op een wereldwijde schaal, voorbij de pogingen die de Europese Unie nu doet, is echt essentieel. Er is internationale regelgeving nodig om mensen wereldwijd – onder andere in Palestina – te beschermen.”

Mantellassi is het daarmee eens, maar denkt niet dat het er snel van komt. “Hoewel een meerderheid van landen wil dat er iets van een regulerend kader komt, zijn de grootste en belangrijkste legers daar vooralsnog tegen.” Wel waarschuwt hij ervoor kunstmatige intelligentie niet te snel als zondebok aan te wijzen. “Het is in dit geval goed om te onthouden dat AI op zichzelf niet het probleem is. In het geval van Gaza heeft het zeker een rol gespeeld in het verergeren van de vernietiging. Maar uiteindelijk is het de onderliggende houding van ménsen tegenover deze ‘doelwitten’ – en de mate waarin hoge ‘bijkomende schade’ breed geaccepteerd wordt – die schuld dragen voor de uiteindelijke vernieling.”