Alice Civitella, Università degli Studi di Torino/Centro Alti Studi per la Difesa

Introduzione

Il 3 aprile 2024 è stata pubblicata su Magazine 972+ l’inchiesta «‘Lavender’: the AI machine directing Israel’s bombing spree in Gaza» che mette sotto i riflettori l’uso, da parte delle forze armate israeliane, di un software di intelligenza artificiale impiegato per identificare possibili obiettivi, il c.d. Lavender. Tale software si va ad aggiungere al già conosciuto The Gospel, con una fondamentale differenza: se The Gospel identifica obiettivi militari intesi come beni, Lavender, invece, viene utilizzato con lo scopo di identificare individui potenzialmente affiliati ad Hamas.

L’impiego di sistemi fondati su algoritmi di intelligenza artificiale è diventato una tratto comune ai conflitti armati odierni (per un approfondimento, v. Bo, Dorsey). Dall’analisi dei dati, all’impiego nell’intelligence fino ad arrivare ai sistemi d’arma autonoma, le sfide che questa tecnologia comporta per il rispetto del diritto internazionale umanitario sono, invero, senza precedenti (ad esempio, v. Amoroso e Tamburrini). Ciò è ancora più evidente quando questi sistemi sono utilizzati per identificare e/o colpire esseri umani (per un approfondimento sulla generazione automatica di obiettivi, v. Mauri; Mauri, “Tecniche della profilazione e uso della forza contro individui” in Protezione dei dati personali e nuove tecnologie. Ricerca interdisciplinare sulle tecniche di profilazione e sulle loro conseguenze giuridiche, 2022, pp. 103-118). Già nelle primissime fasi del conflitto instauratosi a seguito dell’attacco del 7 ottobre 2023, in base alle informazioni riportate nell’inchiesta, tramite l’uso di questo programma sono stati identificati approssimativamente 37000 potenziali obiettivi. Diversi di questi erano «junior militants», ossia individui situati nelle posizioni più basse della catena di comando di Hamas.

La pubblicazione di questa inchiesta rappresenta l’occasione per riflettere sull’impiego dell’intelligenza artificiale nelle operazioni di targeting e delle criticità di tale impiego per il rispetto del diritto internazionale umanitario. A tale scopo, questo post si concentrerà sull’uso di Lavender da parte delle forze armate israeliane mettendone in luce le caratteristiche, le modalità di utilizzo ed i problemi legati al rispetto diritto internazionale umanitario, basandosi sulle informazioni che sono attualmente disponibili.

Le caratteristiche di Lavender e i problemi relativi al rispetto del diritto internazionale umanitario

Sviluppato dall’Unità 8200, una divisione di intelligence delle Israel Defence Forces (IDF), Lavender può essere fatto rientrare nella categoria dei Decision Support Systems (DSS), ossia computerised tool (Holland, p. 17) creati allo scopo specifico di supportare ed aiutare gli operatori umani nel prendere decisioni complesse. I DSS analizzano e classificano i dati precedentemente raccolti al fine di fornire all’operatore umano informazioni fondamentali per prendere decisioni o, in altri casi, proporre alternative tra cui l’operatore umano può scegliere per portare a termine una determinata linea d’azione. Nel caso di specie, Lavender è un programma fondato su algoritmi di intelligenza artificiale il cui scopo principale è quello di riconoscere potenziali affiliati di Hamas e del Movimento per la Jihad Islamica in Palestina, che vengono poi segnalati dal programma come obiettivi militari. Più nel dettaglio, Lavender analizza le informazioni preventivamente raccolte da un sistema di sorveglianza di massa sui cittadini palestinesi, per poi attribuire loro un punteggio da 1 a 100 in base alla probabilità che essi siano militanti di Hamas o del Movimento. La classificazione avviene in base a dati concernenti predeterminate (ma non specificate) caratteristiche associate a già noti esponenti di Hamas. 

Deve quindi essere sottolineato sin dal principio un tratto saliente di questo sistema. Analogamente al caso di The Gospel, infatti, non si tratta di sistemi d’arma autonoma in cui l’intelligenza artificiale «controlla» ed «opera» un’arma associata. Questi sistemi sono fondati su diverse tipologie di intelligenza artificiale, che, pur essendo usate a scopi militari, non sono associate a sistemi d’arma, limitandosi, per così dire, ad una prima fase identificativa dei potenziali obiettivi. La fase di pianificazione e condotta dell’attacco, dunque, rimane esclusivamente nelle mani degli operatori umani (per un approfondimento, v. CICR, Geneva Academy, pp. 9-10). Questi programmi, quindi, devono essere tenuti distinti dagli esistenti sistemi d’arma autonoma già operati da Israele, come il sistema difensivo Iron Dome o i missili Harpy NG.

Vale la pena sottolineare che questi programmi, analogamente ai sistemi d’arma sopracitati, sono regolati dalle norme specifiche del diritto internazionale umanitario inerenti ai mezzi e i metodi di guerra. I DSS, dunque, non si trovano ad operare in un vacuum normativo. Infatti, come codificato all’articolo 35(1) del Primo Protocollo Addizionale (IPA), il diritto delle parti nella scelta dei mezzi e dei metodi di guerra è soggetto a delle limitazioni. Tali limitazioni si possono riassumere in tre categorie di mezzi e metodi di guerra vietati:  mezzi/metodi di guerra che causano mali superflui e sofferenze inutili (articolo 35(2) IPA);  mezzi/metodi di guerra che provocano danni estesi, durevoli o gravi all’ambiente naturale (articolo 35(3) IPA); infine, mezzi/metodi di guerra che sono per loro natura indiscriminata, ossia che non permettono di effettuare una distinzione tra beni/persone civili da un lato e obiettivi militari/combattenti dall’altro o capaci di provocare effetti indiscriminati (articolo 51(4)(b)(c) IPA). Il diritto internazionale umanitario non impone limitazioni solo in relazione alla natura dei mezzi/metodi di guerra, ma anche al modo in cui essi vengono utilizzati. In altri termini, sia i mezzi che i metodi di guerra devono essere impiegati in modo tale da rispettare anche il c.d. diritto del targeting, ossia l’insieme di norme che regolano il modo in cui viene pianificato e condotto un attacco armato. Il rispetto di questo diritto, come vedremo, è uno degli aspetti più critici dell’uso che viene fatto di Lavender.

Per quanto, dunque, l’uso di DSS nei conflitti armati non sia una novità (per un approfondimento, v. CICR, Geneva Academy, pp. 13-14), quello che emerge nel caso di Lavender è un utilizzo potenzialmente problematico per il rispetto del diritto internazionale umanitario. I problemi sono principalmente di tre tipi: 1) errata identificazione degli obiettivi; 2) mancanza di verifiche e di controllo da parte degli operatori umani; 3) modalità di attacco. 

In relazione al primo problema, si riscontrano diverse criticità nella genericità dei dati forniti nella fase di training dell’intelligenza artificiale alla base di Lavender. A causa di tale genericità, Lavender commette errori nell’identificazione di alcune categorie di persone. Ad esempio, poliziotti e operatori della protezione civile erano spesso confusi con militanti di Hamas, a causa della particolarità delle loro mansioni. A ciò si deve aggiungere il secondo problema evidenziato, ossia la mancanza di verifica e controllo da parte degli operatori umani prima di attaccare gli obiettivi identificati. A causa di tale mancanza, è immaginabile che molte persone non direttamente associate ad Hamas siano state erroneamente colpite. Infatti, l’inchiesta mette in luce come nessuna verifica sulla veridicità delle informazioni fornite da Lavender- e, di conseguenza, nessuna verifica degli obiettivi -sia stata fatta prima di eseguire gli attacchi, ignorando il margine di errore di Lavender, che si assesta intorno al 10%. Solo nel caso di individui di alto profilo all’interno di Hamas veniva richiesta una verifica ulteriore prima dell’attacco; invece, nel caso dei militanti «junior», gli operatori umani dovevano solo verificare che l’obiettivo fosse di sesso maschile. Questa modalità, infatti, permetteva di risparmiare molto tempo.

Vale la pena di ricordare che il principio di distinzione impone alle parti in conflitto di distinguere in ogni momento tra persone e beni civili da un lato ed obiettivi militari e combattenti dall’altro, dove solo i secondi possono essere fatti oggetto di attacco. Codificato all’articolo 48 IPA, questo principio ha natura consuetudinaria (Regola 7, CICR “Customary International Humanitarian Law”) applicandosi, quindi, anche a coloro che non hanno ratificato i suddetti protocolli e, di conseguenza, anche allo Stato di Israele. In base al principio di precauzione, invece, le parti in conflitto sono sotto l’obbligo di effettuare in ogni momento la verifica che l’obiettivo identificato sia un obiettivo legittimo (v. Longobardo, pp. 37-59). L’articolo 57 IAP infatti impone, tra le altre cose, che gli attacchi avvengano «[…]curando costantemente di risparmiare la popolazione civile, le persone civili e i beni di carattere civile».

Si capisce, dunque, come l’affidamento ad un sistema DSS nella selezione degli obiettivi non può essere totale: l’operatore umano ha l’obbligo di fornire dati e parametri adeguati, nonché di verificare gli obiettivi segnalati dal sistema prima di effettuare ogni singolo attacco. Alla luce di questa ricostruzione, dunque, il principio di distinzione risulta spesso compromesso. Essendo l’IDF a conoscenza del margine di errore di Lavender nell’identificazione degli obiettivi e della possibilità che, a causa della grande generalità dei dati fornitigli in fase di training, venissero inclusi nei possibili obiettivi anche individui che non erano affiliati di Hamas, verifiche aggiuntive delle informazioni fornite dal DSS avrebbero dovuto essere effettuate prima di ciascun attacco al fine di rispettare i principi di distinzione e precauzione.

Quanto al terzo problema, emergono diverse criticità collegate alle modalità ed al luogo in cui gli obiettivi identificati sono stati colpiti. Infatti, grazie all’utilizzo di Where’s Daddy?, un sistema di tracciamento utilizzato per localizzare costantemente gli obiettivi identificati da Lavender, le forze israeliane erano in grado di sapere il momento in cui gli obiettivi tracciati fossero tornati nelle loro abitazioni, per poterli così colpire più facilmente. Tuttavia, poca considerazione è stata data al fatto che anche le famiglie potevano essere presenti nelle abitazioni, causando, di conseguenza, numerose vittime civili. Viene descritto, infatti, come siano stati utilizzati alcuni software per determinare il numero di persone presenti negli edifici prima di attaccare, ma che nessuna sorveglianza degli edifici o verifica delle stime venisse fatta prima di sferrare l’attacco.

Di conseguenza, diversi attacchi hanno causato molte più vittime di quelle che erano state previste dai software, a causa dei dati e delle informazioni di partenza, in alcuni casi parecchio datate. A tali elementi si deve aggiungere il denunciato utilizzo di dumb bombs, ossia bombe a caduta libera. Utilizzate dall’IDF per ragioni economiche, queste munizioni sono caratterizzate da un livello molto basso di precisione nel colpire gli obiettivi identificati, provocando, dunque, numerosi danni collaterali. A tali elementi bisogna aggiungere la politica adottata dall’IDF in relazione ai danni collaterali tollerati negli attacchi. Viene denunciato che, in base a decisioni prese all’inizio della campagna militare, per gli obiettivi di minore importanza strategica venivano tollerate anche fino a 15 o 20 vittime civili, arrivando fino a 100 nel caso di comandanti di alto livello.  Problemi emergono, dunque, anche in relazione al rispetto del principio di proporzionalità. Tale principio, disciplinato all’articolo 57 del IPA e considerato anch’esso di natura consuetudinaria (Regola 14, CICR “Customary International Humanitarian Law”), impone alle parti in conflitto di determinare, prima di sferrare un attacco, che il danno collaterale atteso non sia superiore al vantaggio militare diretto e concreto previsto.  In altri termini, qualora si preveda un danno collaterale eccessivo, le parti in conflitto hanno il divieto di effettuare tale attacco. Le modalità degli attacchi descritte nell’inchiesta potrebbero essere in contrasto con tali obblighi. Innanzitutto, viene descritto come il calcolo di proporzionalità non sia stato effettuato caso per caso, ma come sia stato predeterminato un certo numero ammesso di danni collaterali a seconda dell’importanza degli obiettivi. Viene denunciato infatti, come anche per gli obiettivi di minore importanza fossero ammessi dai 15 ai 20 danni collaterali, senza considerare la specificità di ciascun attacco e di ciascuna circostanza. L’utilizzo del sistema di tracciamento Where’s Daddy?, inoltre, ha permesso di attaccare gli obiettivi nel momento stesso in cui rientravano nelle abitazioni, provocando un elevato numero di danni collaterali tra le loro famiglie. Come descritto, tali attacchi non prevedevano una verifica dell’effettiva presenza di famigliari o altri civili all’interno degli edifici, in pieno contrasto, come visto, col principio di precauzione.

Considerazioni conclusive

Questo contributo vuole suscitare alcune riflessioni critiche in merito all’utilizzo di Lavender nel conflitto Israelo-palestinese. Alcune delle criticità descritte in relazione a tale uso sono da ricondursi alle caratteristiche intrinseche ai sistemi di DSS che impiegano intelligenza artificiale (ad esempio, v. Holland Michel, pp. 31-35); altre, invece, sono da attribuirsi al modo in cui tale sistema è utilizzato nel caso di specie.

In merito alle norme sopracitate, possono essere fatte due considerazioni. La prima riguarda la potenziale non conformità di Lavender ai sensi dell’articolo 51(1)(b) del IPA. Dati non aggiornati, viziati o troppo generici possono avere conseguenze disastrose, portando ad un’inclusione troppo vasta di individui tra i potenziali obiettivi e a conseguenti errori nella fase di identificazione. Qualora, dunque, questo programma identifichi come potenziali obiettivi sia civili che combattenti, potrebbe insorgere un problema in merito alla sua natura indiscriminata. Basandosi sulle informazioni a disposizione, è parere di chi scrive che l’uso di questo DSS sia configurabile come un uso indiscriminato ai sensi del diritto internazionale umanitario. La seconda riguarda la mancanza di un controllo prima degli attacchi sugli obiettivi identificati dal programma. È intrinseco in ogni sistema o software che impiega algoritmi di intelligenza artificiale un certo margine di errore. In tal caso, come già ricordato, esso si assesta attorno al 10%. A priori, dunque, si è consapevoli che questi sistemi commettono errori in base ad una certa percentuale; di conseguenza, maggiore cura deve essere prestata nel controllo e nella verifica delle informazioni fornite da tali sistemi, in modo tale da mitigare questi errori (per un approfondimento, v. Holland Michel e Holland Michel). La mancanza di controllo da parte dell’IDF potrebbe derivare dall’ intenzionalità di sferrare attacchi contro i civili e la popolazione civile, che, qualora si configuri l’elemento della mens rea (v. art. 30, Statuto di Roma), potrebbero considerarsi crimini di guerra ai sensi del diritto penale internazionale.

In conclusione, anche nel caso dei sistemi DSS, come nel caso dei sistemi d’arma autonoma, diversi Stati, organizzazioni internazionali ed esponenti della società civile sostengono la necessità del mantenimento del controllo umano, che sia però «significativo», nel loro impiego (ad esempio, v. ICRC; U.S. Department of State; per un approfondimento v. Steene, Jenks). L’uso che viene fatto di Lavender da parte di Israele ha portato alla luce le conseguenze della mancanza di tale controllo: la possibilità di identificare migliaia di obiettivi in pochi istanti risulta particolarmente pericolosa se non associata ad un reale controllo da parte degli operatori umani. Per quanto concerne, invece, le modalità in cui questo tipo di software viene utilizzato, si segnala una generale mancanza del rispetto dei principi fondamentali del diritto umanitario. L’utilizzo di DSS, infatti, è finalizzato ad aiutare le forze armate nel rispetto delle regole del diritto internazionale umanitario (ad esempio, v. Margulies); l’utilizzo che viene fatto di Lavender, al contrario, sembrerebbe comprometterlo.