El llamado sistema BOSCO es un programa informático usado por las compañías eléctricas y que ha sido desarrollado por el Gobierno para evaluar las solicitudes de quienes pretendan acogerse al bono social que genera un descuento en la factura de la luz. Pues bien, ante la apariencia de que dicho programa excluía del acceso al bono a personas que, en principio, cumplían las exigencias previstas en la normativa reguladora, la Fundación Civio presentó un escrito ante el Ministerio para la Transición Ecológica en el que solicitó la especificación técnica de dicha aplicación, el resultado de las pruebas realizadas para comprobar que cumple la especificación funcional, el código fuente de la aplicación y cualquier otro entregable que permita conocer el funcionamiento de la aplicación.
Ante la falta de respuesta a esa solicitud de información, la Fundación Civio interpuso una reclamación ante el Consejo de Transparencia y Buen Gobierno, que estimó parcialmente la reclamación instando al Ministerio a que, en el plazo máximo de 10 días hábiles, remitiera a la entidad reclamante la especificación técnica de dicha aplicación, el resultado de las pruebas realizadas para comprobar que la aplicación implementada cumple la especificación funcional y cualquier otro entregable que permita conocer el funcionamiento de la aplicación, rechazando, por tanto, el acceso al código fuente, alegando, entre otras cosas, que dicho código se expresa de forma escrita y resulta lógico pensar que el software puede estar protegido por el derecho de autor como obra literaria.
Ante esta negativa, la Fundación Civio presentó, con la dirección letrada de Javier de la Cueva, un recurso contencioso-administrativo en el que se recordó que el artículo 13 del Texto Refundido de la Ley de Propiedad Intelectual dispone que “no son objeto de propiedad intelectual las disposiciones legales o reglamentarias y sus correspondientes proyectos, las resoluciones de los órganos jurisdiccionales y los actos, acuerdos, deliberaciones y dictámenes de los organismos públicos, así como las traducciones oficiales de todos los textos anteriores”, y el límite previsto en el artículo 14.1, apartado j) de la Ley 19/2013, de 9 de diciembre, de transparencia, acceso a la información pública y buen gobierno, solo puede aplicarse cuando se trate de una propiedad intelectual de titularidad ajena al obligado a la transparencia, ya que lo que se pretende con dicha limitación es la salvaguarda de derechos de un tercero.
A este respecto se cita lo dicho por el profesor Andrés Boix Palop en su trabajo “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la administración para la adopción de decisiones”: “los algoritmos empleados por la Administración pública de modo no puramente instrumental producen materialmente los mismos efectos que cualquier reglamento, al preordenar la decisión final del poder público y limitar el ámbito de discreción o de capacidad de determinación de quienes los han de aplicar a partir de los postulados contenidos en la programación. Son por ello, no ya código 2.0, que también, sino más en concreto reglamentos en un sentido jurídico material y, por ello, como tal han de ser tratados por el Derecho a la hora de regular cómo se producen, aplican y las garantías en torno a estos procesos…. sería perfectamente posible, a día de hoy, establecer directamente en nuestra Ley de procedimiento administrativo que los algoritmos y programas empleados para adoptar decisiones administrativas o que influyen en ellas, bien en la identificación del supuesto de hecho, bien en la determinación de las consecuencias jurídicas, son normas reglamentarias y que como tal han de ser tratadas a todos los efectos…”
Y no es que la decisión se tome por una persona y no por una máquina, sino que, como cabe deducir de la normativa reguladora, el resultado viene dado por la aplicación algorítmica; así, según el artículo 8 del Real Decreto 897/2017, de 6 de octubre, por el que se regula la figura del consumidor vulnerable, el bono social y otras medidas de protección para los consumidores domésticos de energía eléctrica, “una vez recibida la solicitud de aplicación del bono social, el comercializador de referencia, a través de la plataforma informática disponible a tal efecto en la Sede Electrónica del Ministerio de Energía, Turismo y Agenda Digital, comprobará los datos que obren en la misma…”, es decir, y parafraseando al Tribunale Amministrativo Regionale per il Lazio en su sentencia de 10 de septiembre de 2018 en la que se acordó la transparencia del código que decidía una ratio para un concurso de personal docente, se ha sustituido a un responsable administrativo por un algoritmo.
Pues bien, el citado recurso fue desestimado por Juzgado Central de lo Contencioso Administrativo número 8 en una sentencia de 30 de diciembre de 2021 argumentando, en primer lugar, que no puede considerarse que el acto administrativo se dicte por una aplicación informática, sino por un órgano administrativo, y en caso de que el destinatario de dicho acto esté disconforme con el mismo, podrá impugnarlo en vía administrativa, y en vía judicial. Por tanto, la legalidad del acto administrativo no está justificada por la aplicación informática que instrumentalmente se utiliza en una fase del correspondiente procedimiento administrativo, sino por la normativa que regula la materia. Y, prosigue la resolución judicial, hay que considerar que la denegación del acceso al código fuente de la aplicación informática no supone una vulneración del principio de legalidad, pues siempre, en último extremo, se podrá comprobar si el solicitante cumple los requisitos para que se le concede el bono social. Además, y apoyándose, entre otros, en un informe del Centro Criptológico Nacional, se concluye que “la revelación del código fuente aumenta de una manera objetiva la severidad de las vulnerabilidades de cualquier aplicación informática. Si esta además maneja información clasificada o sensible de la administración, el conocimiento del código fuente aumenta el riesgo de que la explotación de las vulnerabilidades pueda afectar a la seguridad nacional, la seguridad pública o la seguridad de los administrados”.
La resolución judicial ha sido recurrida por Civio, que también ha anunciado su intención de, en su caso, llegar hasta el Tribunal Supremo.
Lo que ahora me interesa destacar es el respaldo judicial a la opacidad algorítmica, algo que fuera de España tiene su precedente más conocido en el famoso asunto State v. Loomis, resuelto por el Tribunal Supremo de Wisconsin en 2016: como recuerda la profesora Lucía Martínez Garay, Eric Loomis fue acusado de cinco delitos por su presunta intervención en un tiroteo efectuado desde un vehículo (dos cargos por posesión de armas de fuego, intento de evasión frente a un agente de tráfico, puesta en peligro de la seguridad pública y conducción de un vehículo ajeno sin autorización). El acusado negó su participación en el tiroteo aunque admitió haber conducido el vehículo con posterioridad a los hechos, y llegó a un acuerdo con la Fiscalía para aceptar los dos últimos cargos y rechazar el resto de acusaciones. El juez de instancia aceptó la conformidad y al concretar la pena tuvo en cuenta, entre otras cosas, el resultado de la evaluación de Loomis mediante COMPAS, una herramienta estructurada que valora el riesgo de reincidencia y las necesidades criminógenas del sujeto. Según COMPAS Loomis presentaba un riesgo alto tanto de reincidencia en general como de reincidencia violenta y el juez lo condenó a 6 años de prisión y otros 5 de supervisión postpenitenciaria, y en la sentencia explicó que “a la hora de valorar los distintos factores, excluyo la suspensión de la condena debido a la gravedad del crimen y porque su historial, su historial en materia de supervisiones judiciales, y las herramientas de valoración del riesgo que se han aplicado, indican que usted presenta un riesgo extremadamente alto de reincidir”.
Loomis recurrió ante el Tribunal Supremo de Wisconsin alegando que el uso de COMPAS para determinar la pena había vulnerado su derecho a un proceso con todas las garantías por tres razones: se había violado su derecho a ser condenado sobre la base de información fiable y precisa ya que la naturaleza de secreto comercial del algoritmo con el que funciona COMPAS le había impedido conocer cómo se habían calculado las estimaciones de riesgo y por tanto refutar la validez científica del nivel de riesgo que dicha herramienta le había asignado; se había vulnerado su derecho a obtener una sentencia individualizada, y se había tenido en cuenta indebidamente su género para determinar la pena.
Por lo que aquí importa, cabe mencionar que el Tribunal Supremo estatal concluyó que el hecho de no haber podido saber cómo funciona el algoritmo que calcula los niveles de riesgo, considerado por la empresa creadora como un secreto esencial para su negocio, no vulneró el derecho que tiene todo acusado a ser condenado sobre la base de información fiable y exacta porque Loomis sí tuvo acceso tanto a los resultados de riesgo que COMPAS le asignó como a la información con la que estos se calcularon, que consiste básicamente en datos objetivos sobre el historial criminal del acusado. En segundo lugar, para el Tribunal Supremo de Wisconsin las valoraciones de riesgo aportan al juez información que, unida al resto de circunstancias concurrentes, contribuye a que la condena se ajuste lo más posible al caso concreto, lo que los jueces deben hacer cuando manejen estas herramientas es aplicar a sus resultados un margen de discrecionalidad, poniéndolos en el contexto del resto de circunstancias particulares propias del caso y del individuo concretos.
Pues bien, como señala la profesora Martínez Garay, aunque de la sentencia deriva que el resultado de la valoración de riesgo sólo pueda servir como corroboración de otros indicios, eso no necesariamente impedirá que en la práctica pueda funcionar justo al contrario: que una vez conocido el nivel de riesgo estimado por la herramienta, el juez elabore su razonamiento condicionado -inconscientemente o no- por dicha cifra, a la que amoldará su valoración del resto de circunstancias del caso concreto para que encajen con ella. En segundo lugar, el aspecto más sorprendente del caso es que el Tribunal Supremo estatal aceptase que las sentencias puedan basarse en parte en valoraciones de riesgo realizadas mediante herramientas comercializadas por compañías privadas, cuyo funcionamiento no se revela al público ni al acusado porque se considera un secreto de empresa. Si el acusado tiene derecho a ser condenado sobre la base de información fiable y exacta no puede ser suficiente con facilitarle los resultados de su valoración de riesgo y a los factores con los que se calcularon esas puntuaciones, pero sin permitirle saber cuánto peso se ha dado a cada factor, si todos ellos o sólo algunos han influido al final en su puntuación, ni cómo se han combinado.
A este respecto, la Resolución del Parlamento Europeo, de 6 de octubre de 2021, sobre la inteligencia artificial en el Derecho penal y su utilización por las autoridades policiales y judiciales en asuntos penales (2020/2016(INI), propone que toda herramienta de inteligencia artificial (IA) desarrollada o utilizada por las autoridades policiales o judiciales debe, como mínimo, respetar los principios de rendición de cuentas, transparencia, no discriminación y explicabilidad y, según la Recomendación sobre la Ética de la Inteligencia Artificial de la UNESCO, aprobada en la reunión del 9 al 24 de noviembre de 2021, “la explicabilidad supone hacer inteligibles los resultados de los sistemas de IA y facilitar información sobre ellos. La explicabilidad de los sistemas de IA también se refiere a la inteligibilidad de la entrada, salida y funcionamiento de cada componente algorítmico y la forma en que contribuye a los resultados de los sistemas. Así pues, la explicabilidad está estrechamente relacionada con la transparencia, ya que los resultados y los subprocesos que conducen a ellos deberían aspirar a ser comprensibles y trazables, apropiados al contexto. Los actores de la IA deberían comprometerse a velar por que los algoritmos desarrollados sean explicables”.
Y no es que se desprecie la potencialidad de la inteligencia artificial -puede encontrarse una buena muestra de ello en este libro del profesor Jordi Nieva Fenoll– sino que también hay que tener en cuenta su “lado oscuro”: en el primer párrafo del Libro Blanco sobre la inteligencia artificial de la Comisión Europea, de 19 de febrero de 2020, se dice que “la inteligencia artificial se está desarrollando rápido. Cambiará nuestras vidas, pues mejorará la atención sanitaria (por ejemplo, incrementando la precisión de los diagnósticos y permitiendo una mejor prevención de las enfermedades), aumentará la eficiencia de la agricultura, contribuirá a la mitigación del cambio climático y a la correspondiente adaptación, mejorará la eficiencia de los sistemas de producción a través de un mantenimiento predictivo, aumentará la seguridad de los europeos y nos aportará otros muchos cambios que de momento solo podemos intuir. Al mismo tiempo, la inteligencia artificial conlleva una serie de riesgos potenciales, como la opacidad en la toma de decisiones, la discriminación de género o de otro tipo, la intromisión en nuestras vidas privadas o su uso con fines delictivos”.
A estas alturas parece que los riesgos de este tipo de inteligencia no son potenciales sino reales e ignorarlos o afrontarlos con meras recomendaciones éticas y documentos sin valor normativo no resulta muy tranquilizador.
Pd. puede encontrarse más información sobre la regulación dé los algoritmos, entre otros sitios, en este libro dirigido por el profesor Alejandro Huergo Lora y coordinado por el profesor Gustavo Manuel Díaz González.
El derecho y el revés 