Entrevista a Carlos Castillo"El risc real de la IA no és el de les pel·lícules, sinó el d'un sistema que et nega una feina o una llibertat condicional"

En una prestatgeria del seu despatx, l'investigador Carlos Castillo, ChaTo, té una postal amb una calavera coronada per una presó. A sota s'hi llegeix un missatge, escrit en els ossos que completen aquest dibuix: "El pobre mai surt. El ric mai entra".

Castillo dirigeix el Grup d'Investigació en Computació Social i Responsable de la Universitat Pompeu Fabra (UPF). El seu equip porta anys investigant RisCanvi, però també altres sistemes basats en dades i la forma en què aquests models impacten en diferents grups, en funció de les seves característiques socials.

A partir del cas del sistema predictiu de les presons catalanes que documenta una investigació de Público, Castillo repassa en aquesta entrevista la importància de la transparència al voltant d'aquestes tecnologies, com una garantia cap a altres drets. I defensa amb vehemència la necessitat d'una regulació forta sobre les aplicacions d'intel·ligència artificial (IA) per frenar els seus impactes negatius en els drets de les persones.

En què treballa l'equip que dirigeix?

Un dels temes centrals de les nostres investigacions és l'equitat algorísmica, una disciplina relativament nova que busca estudiar dues coses. Primer, de quina manera un algoritme o un sistema tecno-social pot crear discriminació. I, segon, un cop es descobreix que aquest sistema té biaixos, busquem maneres de mitigar-los.

En tots els casos d'ús d'IA que s'apliquen sobre persones, en tot tipus de dominis - des de la banca fins a la salut o l'administració de justícia- sempre s'han detectat biaixos. I si un desenvolupa un sistema d'aquest tipus sense tenir en compte aquests biaixos, el que produeix és discriminació.

Com explicaria què és el sistema RisCanvi d'una forma senzilla?

El RisCanvi és una eina de suport a la decisió que pren una sèrie de factors d'un intern i usant tècniques estadístiques produeix una predicció: la probabilitat que aquesta persona, en tres, quatre o cinc anys, cometi un nou delicte. El RisCanvi està fet en base a tècniques estadístiques i d'anàlisi de dades bastant conegudes i tradicionals.

Forma part a més d'una família d'eines denominades models predictius estadístics o d'aprenentatge de màquina basats en estadística. A partir de dades històriques es troben patrons en ells per produir una predicció. Ara, aquesta predicció mai és perfecta, està subjecta a incerteses i a incerteses que són irreductibles. I que provenen tant del fet que ni el RisCanvi ni ningú coneix tots els factors d'una persona com el fet que no coneixem el futur.

Se sol dir que aquesta eina no inclou intel·ligència artificial com a tal.

La IA és una branca de la computació aplicada bastant gran i que inclou una sèrie de mètodes. Hi ha qui consideraria que una tècnica simple de predicció com la del RisCanvi no és un sistema d'IA. I potser en l'ús comú que se li dona ara a aquest terme, probablement no. Perquè ara anomenem IA a la IA generativa o a sistemes massius basats en xarxes neuronals. Però si anéssim més enrere i li preguntéssim a un cientista de la computació dels anys 80 o 70 si això és IA, diria absolutament que sí.

Què han esbrinat amb el seu treball al voltant d'aquesta eina?

La nostra recerca té parts quantitatives i qualitatives. Hem vist com els professionals de les presons que tenen accés al RisCanvi poden fer prediccions que són una mica millors que les que podrien fer pel seu compte. No són infinitament millors i tampoc significa que l'encert sigui d'un 100%. Però sí hem vist que, consistentment, el RisCanvi pot servir-los per aconseguir una millor precisió.

L'altra cosa que hem vist és que la veuen com una eina que serveix per al professional que acaba d'arribar, com a part de la seva formació. I també els permet posar més atenció sobre casos que potser se'ls han passat i que tenen característiques molt particulars. El RisCanvi els ajuda a mantenir una certa homogeneïtat en el tractament d'aquest procés tan important que és la predicció de risc.

Crec que no cal oblidar que els serveis de rehabilitació [de les presons] i les juntes de tractament tenen l'obligació d'avaluar el risc. I aquesta avaluació naturalment és predictiva: no parla del risc que aquesta persona tenia abans, sinó del que tindrà. Quantes més eines puguem proveir a aquestes persones perquè la seva acció pugui ser més precisa, millor. Però sempre amb la formació i el context apropiat perquè les usin.

Relacionat amb aquest tema

Un algoritme dificulta la reinserció dels presos vulnerables a Catalunya

Pablo Jiménez Arandia

Precisament, nosaltres hem investigat què passa quan els resultats del RisCanvi els fan servir professionals de fora de la presó

En la meva disciplina, l'equitat algorítmica, nosaltres estudiem sistemes sociotècnics. Aquests sistemes tenen una part que és algorísmica i una part que és humana, o de vegades més aviat organitzacional o institucional. És a dir, una institució on aquesta tecnologia està estructuralment inserida i on la gent té la formació apropiada per usar-la.

Si tu agafes aquesta tecnologia i la treus d'aquest sistema ja no podem predir què passarà o com s'utilitzarà. Per tant, prendre una predicció de RisCanvi i utilitzar-la en un context per al qual no va ser dissenyada és un error. És un error perquè el sistema és sociotècnic i tots dos components han d'operar en coordinació.

El RisCanvi és una eina per donar suport a les decisions de les juntes de tractament a la presó. Per a això està dissenyada i per a això ha estat provada. I fins al moment la meva impressió és que la contribució neta a aquest procés és o neutra o positiva. Les juntes poden recolzar-se en ella i prendre decisions que siguin tan bones com les que prenien abans [d'aquesta eina] o potser millors.

Prendre una predicció de RisCanvi i utilitzar-la en un context per al qual no va ser dissenyada és un error, perquè el sistema és sociotècnic i tots dos components han d'operar en coordinació

Però el RisCanvi no és per ser utilitzat pels jutges ni pels fiscals. Això és simplement un ús no previst, un ús no anticipat de l'eina. I aquests usos són els que normalment porten a situacions de discriminació i biaixos.

Una altra crítica habitual a aquest i altres sistemes, usats en àrees sensibles del sector públic és la falta de transparència. Per què?

La transparència és un requeriment bàsic d'equitat algorísmica que permet l'exercici de molts altres drets. Per exemple, un intern hauria de tenir la possibilitat de veure com es va realitzar el seu RisCanvi i de dir que hi va haver un error en el procés. El mateix s'aplica a altres persones i sistemes.

Però el dret a oposar-se a una predicció algorítmica requereix una transparència. Perquè hi hagi responsabilitat i perquè no hi hagi errors en la implementació d'aquests sistemes es requereix transparència. Hi ha diverses raons per les quals aquests algoritmes haurien de ser públics.

La regulació d'intel·ligència artificial europea per als sistemes d'alt risc, i el RisCanvi és un sistema d'alt risc, imposa una obligació de registre. Han d'estar registrats en una base de dades central d'algoritmes d'alt risc. I aquest és un pas bàsic: que tots aquests algoritmes que incideixen sobre el futur d'una persona estiguin, com a mínim, registrats.

Podria aprofundir una mica en què diu aquesta normativa ja aprovada, que alguns actors volen retardar i modificar?

La regulació europea sobre IA parla d'una sèrie d'aplicacions d'alt risc, com el control de fronteres, el monitoratge d'infraestructura crítica i l'administració de la justícia, entre d'altres. Per a aquests sistemes s'imposen una sèrie de requeriments. Hi ha ara dubtes sobre en quin moment això serà aplicat o no, però crec que la direcció és clara i hi ha un camí marcat, que parla d'aplicacions especialment preocupants. No és el mateix una IA que gestiona la dificultat d'un videojoc respecte a una que s'usa en salut o en justícia.

Crec que també cal estar oberts al fet que en alguns dominis no es necessita IA. Això ha d'estar també clar: la IA és una eina que pot ser útil en alguns contextos en els quals es necessiti una eina de suport a la decisió, per exemple, i pot no ser útil en un altre. O fins i tot pot tenir efectes negatius.

Relacionat amb aquest tema

RisCanvi: els detalls d'un sistema predictiu en plena actualització

Pablo Jiménez Arandia

El primer pas és preguntar-se si es necessita intel·ligència artificial en aquest escenari específic o no, i aquesta és una pregunta que roman oberta constantment

Llavors, el primer pas és preguntar-se si es necessita intel·ligència artificial en aquest escenari específic o no. I aquesta és una pregunta que roman oberta constantment: la regulació exigeix als sistemes d'alt risc que tinguin sistemes de monitoratge continu. És a dir, que periòdicament es pot examinar si el sistema continua contribuint a una millor decisió o no.

Per què creu que és important que Europa es mantingui en aquest camí del qual parlava?

L'autora Katy O'Neill va encunyar una expressió que em sembla molt apropiada. Igual que hi ha armes de destrucció massiva, O'Neill parla d'armes de destrucció matemàtica. I crec que una intel·ligència artificial pot ser una cosa molt perillosa. No perillós com en les pel·lícules de Hollywood en les quals una IA que sent i amb consciència pren el control d'una arma i comença a matar gent.

El cas real de risc d'IA és el del sistema que et nega una ocupació per raons aleatòries. És la IA que et diagnostica malament en un hospital. És la IA que et nega la llibertat condicional o la que està operant una línia de trens i comet un error. La IA està penetrant moltes àrees de la societat on té incidència directa sobre la salut, la justícia, l'educació, la vida de les persones i, per tant, ha de ser un camp regulat. No són només abstraccions. Perquè si no, hi ha abusos i errors que no són detectats durant moltíssim temps. I hi ha danys a les persones i a les institucions.

Sobre què planegen seguir investigant vostè i el seu equip en els propers anys?

Hi ha força feina a fer respecte a abusos de la IA en aplicacions d'alt risc i en sistemes de suport a la decisió. I crec que aquests sistemes són super interessants perquè és la interacció entre una tecnologia i una persona. Sobretot una persona experta. I hem fet força experimentació respecte a com reaccionem davant la IA.

Per exemple, de vegades hem fet exercicis del tipus: et mostrem dues fotos de la mateixa persona i et preguntem si són la mateixa persona, però en diferents moments del temps. I et diem: una IA diu que aquestes dues persones són un 95% similars. I tu dius: bé, potser sí que són la mateixa persona... Però també et podem ensenyar fotos de diferents persones i dir-te: una IA pensa que aquestes són un 95% similars i de vegades induir a l'error. De vegades confiem massa en la IA.

No volem una IA en la qual confiar. Volem més aviat una IA i un sistema sociotècnic en el qual dipositar una confiança proporcional a la seva precisió

La Comunitat Europea parla de la IA fiable. Jo sento aquesta frase i per dins crido. No volem una IA en la qual confiar. Volem més aviat una IA i un sistema sociotècnic en el qual dipositar una confiança que sigui proporcional a la seva precisió. Ni més ni menys que això.

No volem tancar la porta al desenvolupament tecnològic, però tampoc volem apagar les nostres pròpies capacitats cognitives i descarregar-ho tot en les màquines. És una línia molt fina de navegar i això és el que realment a mi em sembla súper interessant d'investigar.