En el cuarto programa sobre cine, Derecho e inteligencia artificial en Jelo en verano 2022 (puede escucharse aquí desde el minuto 11.20) hablamos de la inteligencia artificial (IA) predictiva recordando que en programa inicial aludimos al aprendizaje automático, que trata de encontrar patrones en datos y, a partir de ellos, construir sistemas predictivos o explicativos. Dicho aprendizaje puede considerarse una rama de la IA, ya que a partir de la experiencia (los datos) toma decisiones o detecta patrones significativos, y esto es una característica fundamental de la inteligencia humana.
Estas predicciones se aplican ya en múltiples campos pero uno de los más relevantes y controvertidos es el de la seguridad y el orden público: en Estados Unidos es cada vez más frecuente, como explica en su conocido libro (Armas de destrucción matemática) Cathy O’Neil, que los departamentos de policía acudan a programas predictivos (PredPol, CompStat …) para desplegar las patrullas en los cuadrantes de las ciudades identificados en cada momento como más peligrosos en función de la tipología y la localización de los delitos, así como del momento en el que se cometieron.
Y es que, como señala el profesor Fernando Miró Llinares, “hoy, y en parte gracias a las expectativas que parece dar la IA, la sociedad no espera sólo que la policía reaccione a los accidentes de tráfico, a los hurtos en los lugares turísticos o a los altercados y agresiones violentas relacionadas con manifestaciones deportivas o políticas, sino que no sucedan, que se intervenga incluso antes de que acontezcan”. Así, el Sistema de Seguimiento Integral en los casos de Violencia de Género (VioGén) es el instrumento algorítmico que determina en España el nivel de riesgo de una víctima de violencia de género en orden al establecimiento de medidas de protección.
El problema surge cuando estos sistemas se apoyan en datos que pueden reflejar, de manera intencionada o no, sesgos en función de cómo se registran los delitos, qué delitos se seleccionan para ser incluidos en el análisis o qué herramientas analíticas se utilizan. En particular, dichos programas permiten incorporar lo que no son delitos graves (homicidios, asaltos…) sino, más bien, alteraciones del orden público y la seguridad ciudadana (venta de drogas a pequeña escala, consumo de alcohol en la calle…) y eso acaba generando más atención policial a los barrios donde tales alteraciones se producen lo que, a su vez, se traduce en mayor número de identificaciones y detenciones, generando así una retroalimentación. Para tratar de evitar alguno de estos sesgos, un modelo creado recientemente por profesores de la Universidad de Chicago incorpora solo homicidios, agresiones, lesiones y robos, es decir, delitos graves y a partir de ellos se divide la ciudad objeto de estudio en mosaicos de algo más de 300 metros de lado para los que se predicen niveles delictivos. El modelo ha sido probado con datos de Chicago, Atlanta, Austin, Detroit, Los Ángeles, Filadelfia, Portland y San Francisco.
Estos problemas se pueden presentar también en ámbitos donde opera el derecho administrativo sancionador (puede verse este estudio del profesor Gustavo Manuel Díaz González), como el tributario o el laboral. En relación con este último, y en palabras del profesor Adrián Todolí Signes, “si en el pasado [la inspección] se ha focalizado en un determinado tipo de empresas -donde lógicamente se habrán encontrado incumplimientos- y esos son los datos que se suministran a la herramienta, basándose en esos datos se considerará que estas empresas son las que deben ser inspeccionadas en el futuro. Esto, a su vez, implicará mayor número de fraudes encontrados en esas empresas, confirmando el sesgo y cerrando el círculo. Por esta razón, es tan importante que los datos suministrados sean completos, de calidad y sin sesgos manifiestos”.
En segundo lugar, y muy relacionado con lo dicho, está el recurso a la IA en el ámbito de justicia -IA judicial- para, por ejemplo, apoyar la toma de decisiones sobre prisión provisional o libertad condicional. Así, se está utilizando desde 2009 en Cataluña, como parte del proceso de evaluación previo a la concesión de permisos carcelarios, el sistema RisCanvi, que calcula el riesgo de reincidencia de los presos.
La cuestión esencial no es, por tanto, la presencia de la IA relacionada con el derecho fundamental a la tutela judicial efectiva sino en cómo está articulada dicha presencia y, en particular, en qué aspectos de los procesos penales cabe acudir a ella para que no resulten menoscabados derechos como el de defensa y el de presunción de inocencia.
Lo decidido por el Tribunal Supremo de Wisconsin en el famoso caso State v. Loomis, de 10 de marzo de 2017, supone un buen motivo para la reflexión: Eric Loomis fue acusado de cinco delitos por su presunta intervención en un tiroteo efectuado desde un vehículo. El acusado negó su participación en el tiroteo y llegó a un acuerdo con la Fiscalía para aceptar dos cargos y rechazar el resto de acusaciones. El juez de instancia aceptó la conformidad y al concretar la pena tuvo en cuenta, entre otras cosas, el resultado de la evaluación de Loomis mediante COMPAS, una herramienta estructurada que valora el riesgo de reincidencia y las necesidades criminógenas del sujeto.
Loomis recurrió ante el Tribunal Supremo de Wisconsin alegando que el uso de COMPAS para determinar la pena había vulnerado su derecho a un proceso con todas las garantías pero el Tribunal Supremo estatal concluyó que el hecho de no haber podido saber cómo funciona el algoritmo que calcula los niveles de riesgo, considerado por la empresa creadora como un secreto esencial para su negocio, no vulneró el derecho que tiene todo acusado a ser condenado sobre la base de información fiable y exacta porque Loomis sí tuvo acceso tanto a los resultados de riesgo que COMPAS le asignó como a la información con la que estos se calcularon, que consiste básicamente en datos objetivos sobre el historial criminal del acusado. En segundo lugar, para el Tribunal Supremo las valoraciones de riesgo aportan al juez información que, unida al resto de circunstancias concurrentes, contribuye a que la condena se ajuste lo más posible al caso concreto, lo que los jueces deben hacer cuando manejen estas herramientas es aplicar a sus resultados un margen de discrecionalidad, poniéndolos en el contexto del resto de circunstancias particulares propias del caso y del individuo concretos.
Para un análisis crítico de esta resolución y, en general, de la incidencia de la IA en el sistema judicial pueden verse, entre otros, los excelentes trabajos de Lucía Martínez Garay, Jordi Nieva Fenoll, Íñigo de Miguel/Miren Josune Pérez Estrada y Fernando Miró Llinares.
En el ámbito cinematográfico es bien conocida la película Minority Report, dirigida por Steven Spielberg y estrenada en 2002, que está basada en el relato El informe de la minoría, escrito en 1956 por uno de los clásicos de la ciencia-ficción como fue Philip K. Dick. La película la protagonizan Tom Cruise, Colin Farrell, Samantha Morton y Max von Sydow y en ella no hay un sistema algorítmico predictivo sino que son unas personas las que tienen esas capacidades precognitivas.
El derecho y el revés 