¿Puede la Inteligencia Artificial mejorar la Justicia?

Lorena Jaume – Palasí es una experta en filosofía del derecho, que trabaja en Berlín hace 15 años investigando la relación entre ética y tecnología. ¿Puede un software ayudar a que mejore la Justicia?

Algorithm Watch: Lorena Jaume - Palasí es la catalana que forma parte del grupo de sabios españoles en Inteligencia Artificial.

Algorithm Watch: Lorena Jaume - Palasí es la catalana que forma parte del grupo de sabios españoles en Inteligencia Artificial.

En esta modernidad líquida, es difícil pensar la sabiduría. Generalmente hablamos de expertos o eminencias; leemos artículos de profesores, científicos, analistas, divulgadores. Escuchamos speakers que nos cuentan cómo es el futuro que no se sabe bien quién avizora, o construye, o vende. Si bien hoy día el conocimiento es materia de estudio, la información corre a demasiada velocidad, y los textos se leen en diagonal; no tenemos tiempo de detenernos a razonar junto con el autor de ninguna reflexión profunda.

Pues bien. Ante semejante panorama, la Secretaría de Estado para el Avance de la Agenda Digital de España ha definido un grupo de sabios sobre IA y Big Data. Y resulta que Lorena Jaume – Palasí (Barcelona, 41) es una experta en filosofía del derecho, que trabaja en Berlín hace 15 años investigando la relación entre ética y tecnología, y forma parte de ese grupo de sabios, mal que a ella le pese:

- Por favor no me llames sabia – me advierte, y lanza una carcajada.

- Bueno ese es el título que te dio el Estado español…

- ¡Sí, por desgracia, y no estoy nada conforme con ello!

No pienso rectificarme. Es mi oportunidad de hablar con lo más parecido a un Sócrates del siglo XXI, y no la voy a dejar pasar.

Más aun, teniendo la excusa perfecta: a fines de este mes se realizará la primera Cumbre Latinoamericana de Inteligencia Artificial que tendrá lugar en Boston, Massachussets, sede del prestigioso MIT. Allí se presentará nuestro pequeño orgullo argento: Prometea, la Inteligencia Artificial creada por el Ministerio Público Fiscal de la Ciudad de Buenos Aires, que se aplica hace dos años en la justicia porteña, y en Mendoza, y ha sido exportada a la Corte Constitucional de Colombia.

Nadie mejor que Jaume – Palasí para conversar al respecto. Vamos.

Periodista: En un contexto de creciente desconfianza respecto del uso de Inteligencia Artificial en la Justicia, especialmente a partir del debate sobre el sistema COMPAS, en Estados Unidos ¿creés que es posible que un software como Prometea sea la alternativa superadora?

Lorena Jaume – Palasí: A ver, tomaré un poco de carrerilla para responderte -se ríe-. El problema que tenemos con la IA es el problema que tenemos con la infraestructura. Tenemos que hablar de estándares. Todo tipo de concepción infraestructural requiere de la previa creación de estándares y eso significa que se tomen decisiones colectivistas, intentando un promedio, pero no de la suma de individuos, sino de los conjuntos colectivos que componen una sociedad. Hay que entender a las sociedades de forma arquitectónica, colectivista, considerando que el todo es mucho más que la suma de los individuos. Y aquí tenemos un problema con los Derechos Humanos, sobre los que se apoya Prometea, porque, a nivel dogmático normativo, o sea legal y ético, ellos se concentran en la individualidad y no en lo colectivo. Por ello las sociedades democráticas cuando tratan temas infraestructurales siempre han tenido problemas, porque intentan entender el bosque controlando cada árbol por separado. Si no podemos ver los animales, el ecosistema, y todo lo que enriquece y hace al bosque muchísimo más complejo que la suma de los árboles, siempre tendremos problemas.

P.: ¿Y cuáles serían las herramientas colectivistas que servirían para resolver el asunto de la Justicia algorítmica?

L.J-P: Bueno. En Europa hemos estado tratando de crear principios de trabajo de coordinación en infraestructura. Por ejemplo, el principio de cohesión social, que se fija en los diferentes colectivos que componen las sociedades heterogéneas. Es un reto muy importante, pero al menos no pone el foco en las libertades individuales, sino que observa los grupos que existen al interior de cada comunidad. Es decir, creo que deberíamos pensar la coordinación social.

P.: ¿Este sería un paradigma superior respecto de lo que hasta hoy fue el basamento de la normativa democrática en Occidente?

L.J-P: No digo superior, pero sí hay que distinguir dimensiones. Toda sociedad es más que la suma de sus individuos y toda sociedad tiene diversas dimensiones. Las libertades individuales fueron importantes frente al Leviatán -N de R: el Hombre que subyuga a sus pares si es librado a su suerte sin control normativo y regulatorio, según Thomas Hobbes, uno de los padres del liberalismo.

De allí surgen los derechos constitucionales y los Derechos Humanos. Pero en otra dimensión, las sociedades se construyen sobre conceptos como la equidad social, y la justicia social, y medioambiental, económica, etcétera y eso es fruto de las construcciones colectivas.

Pero la narrativa democrática y constitucional del siglo quince o dieciséis, que aún hoy aplicamos, ofrece derechos individuales a los ciudadanos para luego señalar las obligaciones, y allí se queda.

El problema es que así se mira siempre individuos, y olvidamos que estos derechos son herramientas, no objetivos en sí. Esas herramientas sirven para construcciones colectivas. Pero eso fue dejado de lado. El propósito de todo Estado, que es proveer instrumentos con el fin de que las personas puedan cooperar, fue olvidado, y los gobiernos democráticos sólo se dedicaron a dar derechos y reclamar obligaciones, siempre individualmente. Y eso no nos sirve frente a infraestructuras como las de la Inteligencia Artificial.

Yendo a Prometea, y por lo que he leído, no tengo claro cuál es la gobernanza de ese sistema. Es decir: ¿Cuándo y cómo documentan lo que se hace? ¿Queda registro de cuándo y cómo el ser humano que toma las decisiones contradice al sistema? ¿Hay retroalimentación para mejorar o hacer más eficiente el software? Esas son preguntas que no veo que estén respondidas en la prensa, y de eso depende que sea un sistema mejorable, perfectible con el paso del tiempo, o no. Es lo que yo miro cada vez que evalúo programas informáticos con IA que son usados por los Estados, en cualquier parte del mundo.

Pic_Lorena Jaume-Palasi (2).JPG
Lorena Jaume: A sus 41 años, esta filósofa catalana es una de las intelectuales más prestigiosas y consultadas en temas de la Cuarta Revolución Industrial.

Lorena Jaume: A sus 41 años, esta filósofa catalana es una de las intelectuales más prestigiosas y consultadas en temas de la Cuarta Revolución Industrial.

Uf. Buen momento para tomar aire. Un traguito de agua, quizá. Lorena Jaume – Palasí hilvana frase a frase con un metodismo de ebanista. Hace orfebrería del pensamiento, enhebrando palabra con palabra para esbozar sus afirmaciones. Sostiene evocaciones pausadas, serenas, delineadas con calma. Sopesa cada idea. Piensa con tiempo, sin atropellar los pensamientos, y por ello (además del acento catalán) su enunciación es un deleite.

Escucharla requiere (además de una buena dosis de formación académica) concentración plena, y esa clase de silencios que se cortan con tijera. Como en los teóricos multitudinarios en la Facultad, donde un orador, valiéndose únicamente de su retórica, nos obligaba, a trescientos alumnos, a mantenernos mudos y abstraídos ininterrumpidamente durante dos horas, sin importar si hacía calor o frío, o si tenías hambre.

Vuelvo a la carga.

P.: Si los métodos de la IA son riesgosos, ¿de qué otra forma podría avanzar el pensamiento occidental, que no sea haciendo inferencia estadística, o sea, lo que finalmente hacen las máquinas cuando aprenden y predicen?

L.J-P: Bueno, más allá de que en la IA se usan procedimientos matemáticos que la racionalidad occidental no siempre comprende del todo, es bueno que podamos cartografiar el mundo de una forma original. En ese sentido sí que tenemos una ciencia que hoy nos permite tener datos muy útiles acerca de todo lo que hacemos. Y eso es siempre valioso.

Por eso yo no afirmo que la IA no debe ser usada en la Justicia. Hace tiempo que sabemos que los jueces y el sistema judicial que conocemos no es muy consistente. No hablo ya de sesgos, como los que se señalan en el escándalo COMPAS -N de R: el sistema informático que se usa hace más de 5 años en EEUU y es duramente criticado por discriminar a los afroamericanos.

La falta de consistencia está documentada en estudios de hace décadas, que muestran que los jueces son personas, ni más ni menos. Y deciden de distinta forma, involuntariamente, según su estado de ánimo, o muchas variables subjetivas. Entonces, poder hacer trazabilidad y estadística de las decisiones judiciales no está nada mal.

Y esto viene a cuento de uno de los proyectos que encararé este año: cómo se documentan los fallos de la Justicia. Por la independencia judicial no se sabe, aquí, en Alemania, pero tampoco en Francia, si ciertos colectivos como las mujeres, o los niños, son discriminados en forma estructural. Tampoco sabemos si ser inmigrante es una condición desfavorable, y tampoco si en diferentes regiones o provincias se juzga igual o no, frente a casos similares. En Francia, incluso, se prohibió hacer estadística de los fallos judiciales.

P.: Bueno en ese sentido el debate iniciado con el uso del sistema COMPAS no se acaba en ese algoritmo, sino que vehiculiza una crítica de fondo al sistema judicial ¿verdad?

L.J-P: ¡Exactamente! Todos han puesto el ojo en el sistema informático, y se escandalizaron por el racismo, pero COMPAS nos permitió enterarnos de los sesgos que tienen los jueces, porque finalmente el sistema lo crearon humanos, que venían trabajando y decidiendo con esos sesgos que luego evidenció el programa. La estadística que usa COMPAS, en todo caso, refuerza el racismo estructural de Florida, entre otros estados norteamericanos.

Incluso más. Hubo una sola investigadora que puso el ojo en la decisión de los jueces, y no en el programa, y observó cuándo ellos hacían lo que el software les recomendaba, y cuándo no. Y es muy interesante que, en ciertos casos, el COMPAS aconsejaba permitir la libertad condicional a un afroamericano, y ellos lo negaban. Y en otros, al revés. Por lo tanto, se vio que la decisión judicial no está tan condicionada por el algoritmo. Esto permite pensar que quizá en ciertas decisiones los seres humanos se esconden detrás de la tecnología para tapar sus prejuicios.

Queda claro que no es nada sencillo identificar cuándo el juez se deja influenciar por un programa informático y cuándo es muy capaz de discernir y no dejarse llevar. Para eso necesitamos estadística, y eso se logra con datos, no sin ellos. Y no debemos concentrarnos en la matemática en sí, porque estas tecnologías no aparecen de la nada, sino que la predicción de un sistema digital parte de un entrenamiento con datos que los humanos le cargan.

El problema COMPAS

La BBC, en octubre de 2016 informó detalles de la controversia, aun no resuelta: un fallo de la Corte de Wisconsin hizo estallar la credibilidad de COMPAS, a partir de que un acusado pidió cuestionar al algoritmo.

Analizando 7000 casos, los jueces de ese Estado señalaron que, en Florida -donde se usa este sistema de IA que predice las probabilidades de reincidencia de un imputado- entre un hombre negro y uno blanco, acusados por el mismo hecho en circunstancias similares, el negro posee 45% más posibilidades de recibir un puntaje alto de probabilidades de reincidencia, por lo que se le negaría la libertad bajo fianza.

Mas aún, se llegó a concluir que, dado que los casos de la base de datos con la que el programa trabaja surgen del accionar policial, y la policía detiene con criterio racista, el sistema COMPAS fue entrenado con una muestra que refleja el racismo de la policía (y, en segundo lugar, eventualmente, de los jueces).

Por otro lado, nuestra sabia catalana señala que hay que comprender cómo hacen y hacían los jueces, más allá de COMPAS, para no dejarse llevar por sus prejuicios raciales, o de otro tipo. Pero allí, vale la disquisición: si esas ideas preconcebidas son fruto de la inferencia estadística propia, es decir, su experiencia como magistrados sin animosidad, entonces no hay discriminación. Sería el caso de que cierto juez, a lo largo de su carrera, hubiese corroborado que, en el fuero penal, cuando se juzga a un afroamericano, existen más probabilidades de que reincida si se le otorga libertad condicional.

Pero, si la decisión de negar el ejercicio de ese derecho no se ajustara a la experiencia, sino a un odio racial, estaremos hablamos de racismo.

Dejando de lado la animosidad, y pensando en la pretensión de impartir verdadera justicia, estamos, a todas luces, frente a un enorme problema ético cuyo agravante consiste en que la responsabilidad de los jueces es la de acertar cuándo corresponde dejar libre bajo fianza a alguien que, a lo mejor, está procesado por homicidio; y mientras se sigue el proceso, quizá, si se le otorga el beneficio de la duda, vuelve a matar.

Uno de los aspectos más problemáticos de este dilema es que casi nunca no podemos hacer contrastación empírica, porque una vez que el delito se comente, el daño ya está hecho. ¿Cómo sabemos cuándo el juez acertó al dar la espalda a la recomendación del software, y cuándo debió haber seguido su sugerencia? Sólo es posible observar el acierto en casos en que el algoritmo aconseje denegar la libertad condicional, pero el juez la otorgue, y el imputado no reincida. Allí tendríamos un aliciente.

Para peor, en estos temas, la tendencia de la opinión pública siempre será a la derecha, según sostienen los viejos periodistas de las secciones policiales. Podríamos traducir ese proverbio de la siguiente forma: el sentido común entiende que es mejor prevenir que curar. Ante la duda, nada de libertad condicional. El sospechoso encerrado, y todos más tranquilos.

Palasí, desde Berlín, subraya “Lo que sabemos es que en el sistema judicial de los Estados Unidos sí que hay lacras” y agrega “pero también es cierto que, en la justicia, como en las leyes, hay el problema de la sistematización y la generalización. Es difícil distinguir un individuo de cierto grupo, en la medida en que se observan patrones que permiten agrupar, por semejanza. En ese sentido, en realidad el Derecho es un algoritmo, más allá de la informática. Por eso considero que la IA es una posibilidad de cartografiar el mundo de otro modo, y de documentar las decisiones judiciales, pero, como dije, depende de su gobernanza: quién controla, a quiénes rinden cuentas los jueces”.

Actualmente, Lorena Jaume – Palasí está lanzando The Ethical Tech Society, una ONG con la que pretende seguir investigando en la misma línea que con Algorithm Watch (su primera gran creación, de prestigio mundial) y asistiendo a la Unión Europea y gobiernos de todo el mundo, como viene haciéndolo hace años. “Los cambios que se producen en la sociedad a partir de los avances tecnológicos son mucho más lentos que lo que podemos prever”- señala, contradiciendo el discurso del vértigo al que estamos habituados al zambullirnos en estos temas.

A contramano de las experiencias que hoy abundan, oír a esta filósofa frase a frase es como volver a ser niño, sentarse en el suelo, y contemplar a la abuela tejiendo sin prisa ni pausa, con aquellas agujas de madera, para madejas de gruesa lana. Al desplegar su oficio de saber, esta catalana de franca sonrisa va construyendo el sentido de sus pareceres con iguales dosis de perspicacia, información, y un hondo conocimiento de lo que es la Humanidad.

Por mi parte, al despedirme haré un intento más por escuchar su carcajada. Porque, aunque seguramente ella no ha escuchado a cierto cantante calvo de estas pampas… es una copa de lo mejor, cuando se ríe.

Dejá tu comentario

Te puede interesar