RisCanvi: els detalls d'un sistema predictiu en plena actualització

Antonio Andrés Pueyo, catedràtic de Psicologia a la Universitat de Barcelona (UB), explica que a finals de la dècada dels 2000 els responsables de presons a Catalunya es van acostar al seu grup de recerca amb una idea en ment. Volien replicar als centres catalans les eines predictives que ja llavors Estats Units o Canadà usaven per avaluar el risc a les seves presons.

Aquest va ser el punt de partida de RisCanvi, el sistema algorítmic que des de 2010 avalua a totes i cadascuna de les persones privades de llibertat en aquesta comunitat. I que, tal com ha documentat una investigació de Público, avui funciona també com a conseller dels jutges que decideixen sobre una llibertat condicional, un permís de sortida o una progressió de grau. Amb efectes en ocasions molt negatius per als interns vulnerables.

El disseny de RisCanvi "es va fer seguint els estàndards científics d'una eina psicològica d'avaluació", explica avui Pueyo en una aula de la facultat on aquest professor i investigador segueix donant classes. Els seus models predictius es van fer a partir de tècniques d'estadística avançada que ja llavors s'usaven en àrees d'allò més diverses. Des de la meteorologia a la indústria de les assegurances.

L'equip del Grup d'Estudis Avançats en Violència (GEAV) de la UB que Pueyo dirigeix va treballar directament amb les dades històriques de reincidència que el Departament de Justícia comptava en aquell moment. D'aquí van extreure patrons que van derivar en una llista de "factors de risc". Un tipus d'informació que, d'acord a les dades que van analitzar, podia preveure si la persona en qüestió reincidiria o no en deixar la presó. A aquests factors van afegir quatre variables moduladores fixes: sexe, edat, nacionalitat i situació penal de l'intern.

Aquesta llista de variables alimenta les dues aplicacions que integren les dues versions de RisCanvi: la screening (només 10 variables) per als reclusos que entren per primera vegada a presó; i la completa (43 variables). Dins d'elles funcionen cinc escales o algoritmes que avaluen el mateix nombre de riscos. Encara que va néixer com un protocol per pronosticar només el risc de reincidència, anys després es van incorporar escales per predir també comportaments violents i trencaments de condemna.

En fixar-nos en l'escala de reincidència violenta, per exemple, veiem que s'inclouen variables sobre el crim comès i el comportament a la presó de l'intern; les seves característiques personals i sociofamiliars; i també els seus trets clínics i de personalitat. Cada escala té una combinació diferent de variables sobre les quals influeixen diferents ponderacions. És a dir, un nombre que defineix quant pes té cadascuna d'elles.

RisCanvi exemplifica com els governs porten anys introduint algoritmes en els seus processos de presa decisions, també en àrees delicades com les presons i la justícia. Un procés que va començar molt abans de l'actual boom de la intel·ligència artificial (IA). I que en la majoria dels casos s'ha caracteritzat per la seva opacitat i escassa rendició de comptes.

Una renovació tècnica

Després de gairebé dècada i mitja d'ús, la Generalitat va publicar la primera auditoria independent sobre RisCanvi el 2024. Un estudi sobre els aspectes tècnics de l'eina fet per Dribia Data Research, una firma especialitzada en ciència de dades. Els autors de l'Informe Tiresias van concloure, entre altres punts, que la capacitat predictiva dels models segueix alineant-se amb altres algorismes similars usats a l'estranger, tal com havia estimat la Generalitat en la seva última anàlisi interna.

Després de la seva publicació, el Departament que avui dirigeix Ramon Espadaler va iniciar un procés d'actualització del sistema, encara en curs. L'agost de 2025, Público va realitzar una sol·licitud d'informació pública sobre els detalls d'aquesta renovació. La resposta des de la Generalitat es va limitar a enllaçar els informes previs del sistema ja publicats al seu web.

Posteriorment, i a preguntes realitzades a través del seu gabinet de premsa, el Departament va oferir alguns detalls més sobre aquesta actualització. Fonts oficials expliquen per correu electrònic que la nova versió incorporarà "nous punts de tall, millores tècniques i es preveu que entri en funcionament durant 2026".

Un dels canvis tècnics que múltiples veus reclamen des de fa temps és una modificació substancial de com influeixen les diferents variables dels algoritmes. "Hem demanat que hi hagi menys pes en els factors estàtics i més en els factors dinàmics. Particularment aquells que estan sota el control de l'interior. Perquè en el fons el camí de rehabilitació d'una persona passa per uns certs canvis conductuals que han de poder portar a una reducció del risc", assenyala el científic de dades de la Universitat Pompeu Fabra (UPF) Carlos Castillo, que porta anys investigant al costat del seu equip aquest sistema.

La informació facilitada a aquest mitjà assenyala canvis en aquesta línia, encara que sense entrar en detalls. "Es preveu estudiar els factors de risc dinàmics amb l'objectiu de reduir el pes dels factors estàtics, per així millorar la sensibilitat del model a l'evolució de l'intern", afirmen des de la Generalitat.

L'Informe Tiresias feia també una sèrie de recomanacions tècniques i de transparència que, d'acord amb la informació compartida, semblen haver estat escoltades per l'executiu català. Amb aquest objectiu assegura que es preveu "crear un repositori de codi i documentació viva, l'obertura de dades anonimitzades per a la comunitat científica, i la publicació del codi per garantir la transparència i la revisió externa".

"També s'està treballant en un sistema automàtic d'informes de precisió i control de biaixos", sostenen fonts oficials.

Una de les incògnites que està sobre la taula és si el nou sistema incorporarà o no, i de quina manera, tècniques d'aprenentatge automàtic (Machine Learning), una de les branques més comunes de la IA moderna. Els algoritmes actuals de RisCanvi es van construir per mitjà de regressió logística, una tècnica pròpia de l'estadística avançada.

“L'actualització dels algoritmes que formen part del protocol RisCanvi preveu la incorporació de tècniques d'aprenentatge automàtic, concretament mitjançant l'adopció de models de Fairness-Aware Maching Learning”, expliquen des de Justícia per correu electrònic. Aquests models són un camp emergent en l'ampli món de la IA, que tracta d'abordar tècnicament el problema dels biaixos i les discriminacions derivades cap a certs grups.

"Aquestes tècniques intenten que el model predictiu funcioni de manera similar per a diferents subgrups dins del model. Per exemple, si hi ha una certa precisió del model, que aquesta sigui similar per a homes i dones, nacionals i estrangers, majors i menors de 40 anys, etc.", explica Castillo, qui aclareix que això "no significa que funcioni igual per a totes les persones", sinó que el que es busca és que hi hagi una "equitat a nivell de grup".

En cas de concretar-se, aquests canvis implicarien que RisCanvi ja no funcionaria a través de pesos fixos, sinó que el sistema aprendria de les dades amb què compta i es recalibraría de forma constant. En definitiva, un “salt qualitatiu en complexitat tècnica”, analitza Judith Membrives, responsable de Tecnologia i Drets Humans a Lafede.

Per a Membrives aquests canvis en principi van en una direcció correcta per a la protecció dels drets dels grups vulnerables, però adverteix que encara que poden millorar la fiabilitat de les seves prediccions, també presenten nous reptes. "Com més dinàmic i sofisticat és el model, més difícil resulta entendre com arriba a una determinada conclusió i més complex és auditar-lo de forma independent", assenyala.

"El risc és presentar l'actualització com una solució tècnica a problemes estructurals de desigualtat que, en realitat, no poden resoldre's únicament amb ajustos matemàtics", afegeix.

La interacció entre un humà i una màquina

Un dels arguments habituals per defensar el protocol RisCanvi en la gestió penitenciària és el seu caràcter no determinista. És a dir, que sempre hi ha un professional prenent la decisió final. No obstant això, en aquesta interacció entre l'humà i la màquina hi ha moltes preguntes sense respondre encara.

“L'experiència comparada mostra que els sistemes predictius tendeixen a generar un efecte d'autoritat tècnica”, assenyala Judith Membrives, en referència als estudis que mostren com les recomanacions algorítmiques condicionen en moltes ocasions de facto les decisions humanes.

El 2024 un equip del laboratori de Psicologia Experimental de la Universitat de Deusto va publicar una investigació inspirada en RisCanvi. L'estudi va mesurar com una predicció errònia per part d'un sistema d'IA influïa decisivament en les decisions dels humans que interactuaven amb ell. Els quals es deixaven portar per aquesta predicció errònia, tot i tenir informació en un altre sentit.

Els interessava també com reduir aquesta tendència humana, així que van realitzar un experiment en el qual van canviar l'ordre en què li lliuraven la informació. En comptes de mostrar-li primer els resultats algorítmics, primer els van oferir testimonis de persones que anaven en la direcció contrària, per després lliurar el diagnòstic de la màquina. "D'aquesta manera vam veure que millorava el resultat de la predicció", explica a Público la catedràtica Helena Matute, que dirigeix el laboratori autor de l'estudi.

"El que veiem des de la psicologia és que és molt necessari estudiar i investigar l'humà que està treballant amb aquesta tecnologia i veure com treballen junts", assenyala Matute, autora del llibre Nuestra Mente nos Engaña. Sesgos y errores cognitivos que todos cometemos (Shackleton Books) .

"Pot haver-hi ocasions en les quals l'algoritme des d'un punt de vista tècnic no té cap problema, però si està fent que la decisió humana sigui pitjor, pels motius que sigui, intencionats o no, doncs això hauríem de corregir-ho", apunta la catedràtica, per a qui encara falta "moltíssima investigació" entorn d'aquesta matèria.