Robots assassins sense línies vermelles: l'ONU defineix les armes autònomes però en dilueix el seu control
Mentre 168 estats celebren haver arribat a un acord preliminar per definir les armes autònomes letals, experts en tecnologia critiquen que el text va esquivar qüestions ètiques fonamentals. Entre ells, la implicació humana "significativa" en la presa de decisions o l'obligatorietat de transparència.
Madrid--Actualitzat a
Entre el 31 d'agost i el 4 de setembre va tenir lloc la reunió del Grup d'Experts Governamentals (GGE) de l'ONU sobre els sistemes d'armes autònomes letals (LAWS en anglès). Després de cinc dies de discussió, 168 estats -inclosa Espanya- van establir la primera definició conjunta sobre armes autònomes o amb IA. Segons el document final de la reunió, les LAWS es caracteritzen "com la combinació d'una o més armes i components tecnològics que, en operar junts, poden identificar, seleccionar i atacar un objectiu amb força, sense la intervenció d'un ésser humà que operi el sistema".
Això últim, aclareixen els experts, no exclou de la definició d'aquells sistemes que han estat programats per persones o els objectius potencials de les quals també siguin determinats per éssers humans. D'altra banda, si aquests sistemes són utilitzats per danyar objectes o causar lesions en humans, en comptes d'assassinar-los, no significa que deixin de considerar-se armes autònomes letals.
Per als més crítics, el document del GGE crida més l'atenció pel que omet que pel que tracta
Si bé aquest text no és el definitiu -encara ha de ser ratificat pels estats de la Convenció sobre Certes Armes Convencionals (CCW) que es reunirà al novembre-, és un primer pas per avançar cap a una normativa internacional sobre aquest tipus d'armes. Així ho confirma a aquest diari Pere Brunete, investigador del Centre Delàs d'Estudis per la Pau. Malgrat això, no es mostra molt esperançat amb el procés. "L'interès que existeix per part dels estats que fabriquen, compren o utilitzen sistemes autònoms o gairebé autònoms, és molt baix", com evidencia "la reducció de les expectatives de l'informe final".
Relacionat amb aquest tema
Per als més crítics, el document del GGE és més cridaner pel que omet que pel que realment aborda. A més d'una definició conjunta sobre les armes amb IA, en la reunió de principis de setembre, els experts de l'ONU van discutir sobre quins havien de ser els límits d'aquestes armes, així com els mecanismes que haurien de crear-se per vigilar que no es transgredeixin aquestes línies vermelles.
Aquests debats van estar condicionats per desacords que van començar a evidenciar-se anys enrere i que van comportar la desaparició de certes qüestions ètiques del debat. Per exemple, la necessitat que hi hagués un control significativament humà -"Meaningful human control"- sobre aquestes armes o la necessitat de transparència i fiscalització.
Com es va arribar a aquest punt? Totes aquestes qüestions van començar a desdibuixar-se el 2021, quan els membres del Grup d'Experts Governamentals (GGE), creat per posar les bases d'una regularització sobre les armes amb IA, van cristal·litzar l'existència de dos corrents oposats.
La primera, impulsada per Àustria, Pakistan, Costa Rica i altres estats llatinoamericans, buscava avançar en un tractat d'armes restrictiu i vinculant. La segona tenia al capdavant els EUA, Rússia i Israel, que pressionaven per aconseguir que el text final fos voluntari i no inclogués prohibicions específiques per a les armes amb el EUA, sinó que se servís de les generals establertes en el Dret Internacional Humanitari.
Relacionat amb aquest tema
Com evidencia el text publicat aquest setembre, el resultat d'aquest desacord va ser el triomf dels segons sobre els primers. O, el que és el mateix, d'una aposta per una regulació laxa que afavoreix la simbiosi entre certs Estats i les tecnològiques que es desenvolupen al caliu d'aquests. Com explica Ekaitz Cancela, investigador de la Universidad Complutense de Madrid (UCM) i d'Utopies digitals (Verso Libros), "no hi ha un Estat bel·licista al qual unes empreses capturen des de fora: el capital tecnològic està plenament integrat a l'Estat i ocupa alguns dels càrrecs més importants d'aquest".
Cancela posa com a exemple l'actual subsecretari de l'Exèrcit nord-americà, Michael Obadal, que fins a l'arribada de Donald Trump al poder exercia com a executiu a Anduril, una empresa nord-americana de tecnologia de defensa especialitzada en el desenvolupament de sistemes autònoms avançats. Al juny de 2025, van jurar com a oficials de l'Exèrcit nord-americà Shyam Sankar, Andrew Boz Bosworth, Kevin Weil i Bob McGrew, executius de Palantir, Meta i OpenAI. La llista és immensa."No és pulsió guerrera ni cobdícia individual, sinó un problema de rendibilitat: la despesa militar és l'únic programa de demanda garantit per a les empreses".
Relacionat amb aquest tema
Prohibir-les no és una opció
El 2024, el text sobre el qual treballava el GGE de l'ONU incloïa el concepte “dignitat humana” i “el dret internacional dels drets humans” com a criteri normatiu independent. Això significava que la seva protecció podria condicionar la regulació de les armes amb IA. Això deixava la porta oberta al fet que poguessin prohibir-se o restringir-se l'ús d'armes que atemptessin contra la "dignitat humana" i els "drets humans". El text publicat aquest mes de setembre omet tots dos conceptes. En el seu lloc, només hi ha una referència al respecte al Dret Internacional Humanitari (DIH).
Mentre que el dret internacional dels drets humans fa referència a qüestions que van més enllà de la guerra, com el dret a una vida digna, el DIH regula les normes de la guerra. En paraules de Brunete, "és un mecanisme per justificar les guerres". Des del punt de vista de l'investigador del Centre Delas, en mantenir únicament la referència al DIH en l'esborrany de la regulació, s'apel·lava al bon ús d'aquestes armes dins de la guerra i s'eliminava la possibilitat que no poguessin usar-se pel fet que atemptaven contra la "dignitat humana".
El que inicialment semblava una qüestió menor era, a ulls de Pere Brunete, una oportunitat perquè la indústria tecnològica continués creixent en "una escalada sense fi". "Els sistemes d'atac, per exemple els drons autònoms, són cada vegada més sofisticats, el que al seu torn produeix que els sistemes de defensa, els sistemes anti-drons, també siguin més sofisticats", convertint la innovació militar en "una espiral a la qual no se li veu el final".
Després d'això no hi hauria "una pulsió guerrera, ni cobdícia individual, sinó un problema de rendibilitat: la despesa militar és l'únic programa de demanda garantit per a les empreses", explica Ekaitz Cancela. Per la seva banda, l'investigador del Centre Delas sospita que darrere de la necessitat de les companyies que desenvolupen la IA per créixer hi ha un risc de fallida. "Els diners que reben les grans tecnològiques arriben principalment dels pressupostos militars".
"Meaningful human control"
Un dels punts que més preocupa als experts en tecnologia i armament és la desaparició del concepte de "control humà significatiu" a l'hora de descriure la necessitat d'implicació dels éssers humans en la utilització d'armes autònomes letals. En el seu lloc, l'esborrany inclou el concepte "judici i control humà" -"human judgement and control"-. Què significa aquest canvi?
Per entendre-ho, cal començar pels tres tipus de control de la tecnologia per part dels humans. Aquest pot ser un control dins del sistema -"human in the loop"-, a la frontera del sistema -"human on the loop"- o fora d'ell -"human out the loop"-. En el primer d'ells, el militar ha de prendre la decisió de si el sistema ha d'atacar o no quan trobi un objectiu. En el segon, s'estableix un límit de temps per decidir. Si el militar no pren aquesta decisió, el sistema podria atacar o no, en funció del seu disseny. En el tercer, la decisió depèn completament de l'algoritme de la IA.
Quan els primers esborranys del document del GGE incloïen la necessitat d'un control "significativament" humà feien referència al primer model -"human in the loop"-, que acabava amb la possibilitat que la IA de l'arma prengués la decisió de si atacar o no. Per contra, en afegir únicament la necessitat d'un judici i control humà, el que es planteja és la possibilitat que s'usin armes "on" i "out the loop".
La programadora i analista alemanya Aya Jaff, present a la reunió de Ginebra del GGE, va recollir en xarxes algunes de les preocupacions que la Nobel de la Pau, Beatrice Fihn, li va traslladar sobre aquesta qüestió. Segons Jaff, Fihn va afirmar que "els estats estarien usant el concepte de "human judgement and control" per no ser prou específics, de manera que "ningú pogués demostrar que s'ha infringit una norma". Segons la Nobel de la pau, aquesta seria, precisament, la qüestió central del debat sobre les armes autònomes letals: "mai es va tractar de les armes, sinó de la implicació humana en elles".
Sobre la firma
Comentaris dels nostres subscriptors
Per veure els comentaris dels nostres subscriptors, inicia sessió o registra't.