Revista de Derecho Público: Teoría y Método
Marcial Pons Ediciones Jurídicas y Sociales
Vol. 1 | 2020 pp. 223-270
Madrid, 2020
DOI: 10.37417/RPD/vol_1_2020_33
© Andrés Boix Palop
ISSN: 2695-7191
Recibido: 18/11/2019 | Aceptado: 10/01/2020
Editado bajo licencia Creative Commons Attribution 4.0 International License

LOS ALGORITMOS SON REGLAMENTOS: LA NECESIDAD DE EXTENDER LAS GARANTÍAS PROPIAS DE LAS NORMAS REGLAMENTARIAS A LOS PROGRAMAS EMPLEADOS POR
LA ADMINISTRACIÓN PARA LA ADOPCIÓN DE DECISIONES *

Algorithms as legal norms. About extending traditional legal safeguards for regulations enacted by Public Administrations to the algorithms used by public Administrations for the adoption of administrative decisions

Andrés Boix Palop

Profesor titular de Derecho administrativo
Universitat de València – Estudi General

RESUMEN: En este trabajo se argumenta que los algoritmos empleados por parte de las Administraciones públicas para la adopción efectiva de decisiones han de ser considerados reglamentos por cumplir una función material estrictamente equivalente a la de las normas jurídicas, al reglar y predeterminar la actuación de los poderes públicos. Adicionalmente se estudia cómo, una vez asumida esta naturaleza jurídica reglamentaria de estas herramientas de programación, se deducen consecuencias jurídicas respecto de cómo han de realizarse los procedimientos de elaboración y aprobación de estos algoritmos, la necesidad de que los mismos estén debidamente publicados como normas jurídicas que son o la exigencia de que existan mecanismos de recurso directo e indirecto frente a los mismos. Todas estas consecuencias, como se expone en el texto, suponen un significativo y muy necesario incremento de las actuales garantías frente al empleo de algoritmos por parte de los poderes públicos.

PALABRAS CLAVE: algoritmos; reglamentos; normas jurídicas; publicación; transparencia algorítmica; elaboración de algoritmos públicos.

ABSTRACT: In this paper, it is argued that the algorithms used by the Public Administrations for the effective adoption of decisions must be considered administrative regulations from a legal point of view because they fulfil a function which is strictly equivalent to that of legal norms, i.e. to regulate and predetermine the action of the public powers. Additionally, it is studied which consequences can be deduced from this assumption in many areas: better regulation procedures for algorithms, complete publication of their code as it is legally binding for every norm and the necessity of legal remedies against algorithms. All these consequences, as stated in the text, represent a significant and necessary increase in relation with the current guarantees existing in our legal system.

KEYWORDS: algorithms; administrative regulations; legal norms; publication; algorithmic transparency; algorithm better regulation.

SUMARIO: 1. EL DERECHO ANTE EL AVANCE DE LA INTELIGENCIA ARTIFICIAL. 1.1. Inteligencia artificial y principio de precaución. 1.2. Del Derecho como racionalización formal abstracta y aplicación deductiva a la identificación de pautas, correlaciones y saltos aplicativos inductivos. 1.3. Reflexiones preliminares sobre las consecuencias del empleo de la inteligencia artificial para la toma de decisiones en Derecho público.—2. CÓDIGO JURÍDICO Y CÓDIGO FUENTE: LA INSUFICIENCIA DE LAS GARANTÍAS JURÍDICAS DECLINADAS HASTA LA FECHA. 2.1. Code 2.0. 2.2. La insuficiencia de la respuesta jurídica europea y española.—3. LA NECESARIA TRADUCCIÓN A LOS ALGORITMOS DEL MARCO JURÍDICO QUE DELIMITA Y LIMITA EL EMPLEO DE LA POTESTAD REGLAMENTARIA Y LAS GARANTÍAS QUE SE DEDUCEN DE ELLO. 3.1. Garantías previstas para la elaboración de normas reglamentarias y su sentido en relación al Code 2.0: participación, publicidad, planificación normativa y evaluación ex ante y ex post de la programación de la actuación de la Administración pública hecha por medio de código fuente. 3.2. Garantías de control y seguridad jurídico-informática: sobre la necesidad de un acceso público total y en todo momento al código fuente, tal y como ocurre con cualquier reglamento. 3.3. Reconocimiento de las posibilidades de defensa y recurso, tanto respecto del acto aplicativo derivado del empleo del algoritmo como de su impugnación en sí y de las bases de la programación, ya sea en abstracto –recurso directo–, ya como consecuencia de su aplicación concreta –recurso indirecto–.—4. CONCLUSIÓN PROVISIONAL Y REFUTACIÓN DE ALGUNAS CRÍTICAS HABITUALES.—5. BIBLIOGRAFÍA

1.  EL DERECHO ANTE EL AVANCE DEL LA INTELIGENCIA ARTIFICIAL

Afirmar que el Derecho como instrumento de ordenación tal y como lo conocemos y en el que hemos sido formados se está viendo obligado a una muy importante transformación como consecuencia del avanzado desarrollo de la informática y de la inteligencia artificial resulta probablemente superfluo a estas alturas. Sin embargo, dista de serlo tratar de entender y analizar hasta qué punto estos cambios obligan a transformaciones profundas en la forma en que nuestro Derecho funciona y cómo afectan a algunas de sus estructuras, conceptuales y aplicativas, más básicas.

En este sentido, y respecto de no pocas cuestiones, el hecho de tener a nuestra disposición herramientas computacionales extraordinariamente avanzadas como nunca antes habían existido (TEGMARK, 2017: 61-71) conlleva no solo cambios cuantitativos sino algunas transformaciones de mayor calado, que podríamos considerar cualitativas o, mejor expresado, estructurales y que afectan a las bases del propio modo de ordenar jurídicamente la realidad de que disponíamos. No se trata pues, únicamente, de que en la actualidad sea posible contar mucho más y mucho más rápido –y mucho más barato también– que nunca –que también– sino que, al tener estas posibilidades a nuestra disposición, vamos a poder emplearlas para resolver problemas que antes atendíamos desde una perspectiva diferente porque no era posible –o suficientemente eficiente– acudir a respuestas basadas en el cálculo, la probabilidad o las correlaciones, pero que ahora cada vez más empezamos a poder resolver con estos métodos porque, gracias a esa mayor potencia de computación, ya ofrecen también buenos resultados en estas parcelas. De estas transformaciones de fondo y del papel que la Ley y el Derecho han de jugar ante las mismas para preservar la equidad y la justicia social adoptando en ocasiones un rol necesariamente distinto ya traté de dar cuenta, extensamente, hace unos años, haciendo mucho hincapié en la naturaleza cualitativa del cambio y el inevitable cambio del papel de la ley en ese contexto (BOIX PALOP, 2007), así como alertando sobre los riesgos para la igualdad que, al socaire de la búsqueda de una cada vez mayor eficiencia, se podían derivar de la generalización de este modelo de toma de decisiones (BOIX PALOP, 2007a: 141-145).

1.1.  Inteligencia artificial y principio de precaución

La clave de todas las transformaciones referidas es pues, como ya se ha apuntado, el exponencial incremento de la capacidad de cálculo asociada al desarrollo de la informática contemporánea y, con ello, la posibilidad de realizar mecánicamente operaciones cada vez más complejas, y un mayor número de ellas, en mucho menor tiempo. Este incremento es el que llevará a la aparición, en un horizonte aún indeterminado, pero claramente concebible en sus elementos estructurales, de capacidades computacionales equivalentes en lo sustancial, al menos en sus resultados, a la manera en que los seres humanos procesamos la realidad y la transformamos, por medio de las decisiones que adoptamos al interactuar con ella. Los especialistas en la materia discuten sobre cuál pueda ser el horizonte temporal en que se pueda llegar a este momento, con posiciones que oscilan por lo general entre los treinta y los setenta años desde la actualidad (BOSTRON, 2014: 18-21), o en qué características pueda acabar teniendo a la postre esa inteligencia artificial (TEGMARK, 2017: 49-55), pero no en que más tarde o más temprano, y con una conformación u otra, ese evento se producirá. Con independencia de cuestiones de fondo –antropológicas, culturales, religiosas, históricas, incluso políticas– sobre lo que podamos considerar que identifica o singulariza a los seres humanos ante un contexto como el descrito –HARIRI, 2015, ha realizado una muy interesante aproximación a esta cuestión que ha generado, como es sabido, un interesante debate público–, y en términos prácticos, a efectos de la gestión de un instrumento tan potente en nuestras manos, resulta clave entender lo mejor posible sus consecuencias. Así, el Derecho solo puede actuar sobre esta nueva realidad si comprende las implicaciones de estas nuevas posibilidades, funcionamiento y utilidades presentes y futuras derivadas de la capacidad de computación, cálculo y uso de la misma para la mejor la identificación de pautas, análisis de la realidad y ayuda a la toma de decisiones… cuando no directamente del empleo de estas capacidades de inteligencia artificial para delegar en ella la toma de decisiones en su integridad a medida que se vayan mostrando mejores, más eficientes y más capaces que las tomadas por inteligencias humanas tradicionales en paulatinamente más ámbitos (HOFFMANN-RIEM: 2018: 59-62). A estos efectos, está bastante asumido que desde un punto de vista estrictamente práctico y funcional no hay demasiadas diferencias entre la forma en que sabemos que funciona nuestro cerebro a la hora de tomar decisiones y la manera en que los programas basados en una sucesión de cálculos y las instrucciones que indican cómo llevarlos a cabo –los algoritmos que componen la programación– operan (BOSTRON, 2014: 23-30). Simplemente, asistimos a una paulatina sustitución de una forma de operar por otra a medida que la inteligencia artificial se va mostrando más y más capaz de sustituir a la inteligencia humana, e ir más allá, en más y más ámbitos (de nuevo, TEGMARK, 2017: 49-55).

Una de las grandes cuestiones relacionadas con este punto, al menos a medio y largo plazo, será la relativa al control de estas formas de inteligencia y cómo, empleando no solo la tecnología disponible sino también el Derecho, tratar de encuadrar su desarrollo a fin de evitar problemas futuros –que pueden ser muchos y muy variados, a juicio de casi todos los especialistas en la materia–. Asumida la previsión de que la superación de la inteligencia humana en cada vez más actividades es solo cuestión de tiempo, la comprensión del funcionamiento de los algoritmos y programas a partir de los cuales funcionarán las nuevas “súperinteligencias” del futuro es esencial para aspirar a su control o, al menos, a su debido encuadramiento (BOSTRON, 2014: 143-144). Encuadramiento que no solo ha de estar basado en esta comprensión profunda de los mecanismos tecnológicos en que se basa su funcionamiento, sino también en la correcta y consensuada identificación de los objetivos finales de la regulación, los valores a los que esta habría de atender y las implicaciones de regular que la programación de las inteligencias artificiales futuras deba perseguir unos objetivos u otros. Por ello, ante esta nueva tercera revolución tecnológica y productiva, el papel de la ley ha de ser totalmente consecuente con esta necesidad de establecer objetivos y finalidades y tratar de, a partir de ahí, reorientar el funcionamiento de estos instrumentos (BOIX PALOP, 2007a: 145).

Esta labor, además de técnica y referida a la manera de programar estas inteligencias, es también jurídica, cuando no esencialmente jurídica. En este sentido, por ejemplo, la importante conferencia de Asilomar que reunió en 2017 a los más importantes especialistas en inteligencia artificial del mundo (TEGMARK, 2017: 329-332) estableció una serie de criterios que dan mucha importancia a esta predeterminación de objetivos como elemento esencial (ASILOMAR, 2017), por mucho que muy probablemente no suficiente por sí mismo, para evitar posibles problemas (pero incluso los análisis más críticos coinciden en la necesidad de anclar toda posible regulación en esta clara predeterminación de objetivos; SCHMIEDCHEN, 2018: 17-23, 30-33). Junto a esta idea, otro vector regulatorio que aparece sistemáticamente tanto en este documento como en otras directrices con vocación normativa aprobadas en los últimos años (CCCPIAPPD, 2018; COMISIÓN EUROPEA, 2018; PARLAMENTO EUROPEO, 2019), coinciden en la necesidad de tratar de embridar en la medida de lo posible –si es que puede serlo, o al menos actuando para tratar de que lo sea– las posibles consecuencias no deseadas o en ocasiones ni siquiera inicialmente previstas del empleo de inteligencia artificial (SCHMIEDCHEN, 2018: 1-3, 33-34). Estamos ante una suerte de traducción al entorno computacional y de la inteligencia del tradicional principio jurídico de precaución (COTINO, 2019a: 27-28), que hemos declinado jurídicamente como instrumento clave para la gestión del riesgo, y que desde Ulrich Beck proyectamos con naturalidad sobre el Derecho (BECK, 1986) pero que ahora hemos de proyectar también sobre la gestión del riesgo provocado por la actuación cada vez más autónomas y más difícil de controlar tanto por medios estrictamente tecnológicos como jurídicos de los algoritmos (YEUNG, 2019), especialmente cuando son empleados para la adopción de decisiones con capacidad para imponerse coactivamente a los ciudadanos (SCHERER, 2016; DALY, 2019: 3-4). Esta traslación a este nuevo entorno, con todo, presenta unos perfiles diferentes, dada la magnitud del riesgo en cuestión, que puede tener consecuencias extintivas para la especie humana, y la irreversibilidad de la pérdida de control sobre estas inteligencias a partir de un determinado momento del proceso. Por ello quizás no solo haya que atender al principio de precaución en su declinación más tradicional, sino ir más allá e integrar la propia noción de precaución en una formulación más radical adaptada a todas las necesidades y exigencias del nuevo entorno. Se trata de la transformación probablemente más importante a la que habrá de hacer frente el Derecho en el futuro, que deberíamos tener presente respecto de cualquier regulación que afecte a estas materias, tanto cuando los implicados sean agentes privados como el propio sector público. Un reto que, además, será tarea del Derecho global, responsabilidad colectiva por definición y debería impregnar la aproximación a este fenómeno en todos los casos, pero cuyo estudio excede la ambición de este trabajo, que aspira a estudiar efectos más a corto plazo y centrados en la forma de aplicar el Derecho vigente. Ocurre, sin embargo, que algunas de las enseñanzas derivadas de esta necesidad de prudencia a la hora de afrontar el fenómeno, deberán ser tenidas en cuenta también para esta última cuestión. Así, por ejemplo, todo el tratamiento que demos al encuadre jurídico de las decisiones algorítmicas adoptadas por los poderes públicos, como ejemplo particularmente extremo de esa capacidad de imposición coactiva sobre los ciudadanos, habrá de estar permeado por una precaución si cabe más cuidadosa y, también, extrema, que justifica posibles pérdidas en eficiencia a corto plazo por estas razones.

1.2.  Del Derecho como racionalización formal abstracta y aplicación deductiva a la identificación de pautas, correlaciones y saltos aplicativos inductivos

Respecto del Derecho en sí mismo, y centrándonos ya en alguna de las consecuencias más a corto plazo e inmediatas de la referida transformación tecnológica, la inteligencia artificial disponible a día de hoy, aun todavía incipiente e inferior considerada en su conjunto a la humana, ha cambiado ya algunos elementos estructurales referidos a cómo entendemos y aplicamos el Derecho. De hecho, estamos contemplando ya en nuestros días, y desde hace unos años, un paulatino cambio de paradigma como consecuencia del incremento de esta mayor capacidad de computación, que ha permitido en cada vez más ámbitos un paulatino abandono de la racionalidad formal tradicional, acompañada de la lógica de la subsunción deductiva para aplicar esas normas abstractas previas que pretendían ordenar y esquematizar la realidad, por un uso cada vez mayor de correlaciones y búsquedas booleanas a partir de la cual, por medio de inducciones probabilísticas, estimar la solución más adaptada a cada caso o la evaluación más precisa de la situación no ya subsumiéndola en una categoría previamente establecida sino tratando de identificar su concreto e individualizado valor (BOIX PALOP, 2007a: 130-134).

Hasta la fecha, y en la medida en que el empleo de algoritmos o programas se había venido empleando mayoritariamente para la realización de operaciones mecánicas de cálculo y computación muy predeterminadas, cuyo resultado era fácil de prever y donde el empleo del algoritmo resultaba muy sencillo de entender, integrar y rastrear como una mera operación mecánica de cálculo y computación agregada de unos parámetros que se computan a partir de unas instrucciones ponderativas muy claras y fáciles de vincular a los objetivos perseguidos –automatitation systems (VEALE y BRASS, 2019: 123-125)–, el problema se había podido soslayar. Hasta cierto punto, podía entenderse que la aportación de la informática, de la inteligencia artificial, de la computación, en todos estos casos era meramente instrumental y mecánica, y por ello jurídicamente no relevante mientras estemos en lo que se puede denominar mera “automatización robótica” (VALERO TORRIJOS, 2019:85). No hay ninguna diferencia jurídica entre escribir una resolución en una máquina de escribir o hacerlo por medio de un programa de procesamiento de textos. En la medida en que el aporte de la informática y de los programas empleados sea meramente instrumental y basado en la ayuda a operaciones de apoyo, por mucha mejora que suponga, no se altera esta realidad. Que las operaciones o cálculos requeridos internamente las realizara una máquina rápida y eficazmente o una persona laboriosa y lentamente solo conllevaba mejora de eficacia, pero no dificultades de entendimiento o comprensión de la operación realizada ni, en ningún caso, por supuesto, que la decisión dependa en nada de la tecnología empleada para hacer estos cálculos u operaciones instrumentales ni pueda verse alterada por ellos. Gran parte de los usos de la inteligencia artificial que están haciendo aún nuestras Administraciones públicas, por lo demás, entran todavía en esta categoría (RAMIÓ MATAS, 2019: 13-21 y 61-67; CERRILLO I MARTÍNEZ, 2019a: 8-10; CERRILLO I MARTÍNEZ, 2019b: 28-20), pues incluso los que requieren de cálculos más complejos y de una mayor programación basada en probabilidades y correlaciones no han abandonado todavía totalmente la predictibilidad ex ante (COGLIANESE y LEHR, 2017: 1160-1176), a diferencia de lo que ya permite la tecnología (HOFFMANN-RIEM: 2018: 63-66) y empieza a ocurrir en otros ámbitos –aunque en cuestiones de valoración de la prueba, más en otros países antes que en España, pueda considerarse que empezamos a estar cerca de ese cambio de paradigma ya (NIEVA FENOLL, 2018: 26-28, 105-115)–.

Esta realidad cambia a partir de la asunción de que, en cada vez más ámbitos y para la realización de determinados cálculos, el citado paradigma deductivo racionalista se ve superado, por consideraciones de eficacia, por el recurso al cálculo probabilístico y las inferencias algorítmicas, en cuyas soluciones los operadores jurídicos poco a poco vamos confiando más y más, incluso por contraintuitivas que puedan ser en ocasiones, a medida que nos van demostrando una mayor eficacia en sus resultados prácticos (SCHERER, 2016; O’NEIL, 2016: 84-91; ZARSKY, 2016; SCANTAMBURLO, CHARLESWORTH y CRISTINIANI, 2019: 58-68). Así, estamos asistiendo a una progresiva sustitución en entornos típicamente valorativos o decisorios, que van desde herramientas para la detección de tumores o la determinación de la mejor ruta para llegar a un destino. En todos ellos el recurso a los algoritmos va desplazando, por mostrarse más eficiente, a las decisiones humanas –augmentation systems (VEALE y BRASS, 2019: 125-127)– gracias al desarrollo de automatización cognitiva o, directamente, de inteligencia artificial en su máxima expresión (VALERO TORRIJOS, 2019: 85). En el momento en que desde el Derecho comenzamos a aceptar este papel, hemos de asumir que las reglas tradicionales del juego también cambian y que el papel del Derecho público del futuro, a la hora de enmarcar estas decisiones, quizás haya de atender a elementos hasta la fecha no tan relevantes.

Dada esta evolución, el Derecho, y muy particularmente el Derecho público, se enfrenta a una situación donde es previsible que en breve sean precisamente las decisiones discrecionales, aquellas en las que ha de integrarse alguna evaluación sobre la concurrencia o no de ciertas circunstancias o elementos o donde haya que realizar una valoración respecto de la decisión a adoptar introduciendo consideraciones finalísticas y ponderativas, donde la ganancia cualitativa será mayor. Es decir, aquellas que aún a día de hoy nuestros ordenamientos asumen que son decisiones, en última instancia, típicamente humanas. Y este es precisamente el contexto en el que, en breve, cuando no ya en la actualidad, habremos de afrontar cómo regulamos la integración de la inteligencia artificial respecto de la actuación administrativa del futuro.

1.3.  Reflexiones preliminares sobre las consecuencias del empleo de inteligencia artificial para la toma de decisiones en Derecho público

En determinados casos, aquellos supuestos donde el uso de inteligencia artificial afecta a cálculos y programaciones que permiten una gran formalización/racionalización formal ex ante y que en consecuencia eran y son resolubles con mucha seguridad jurídica y grandes posibilidades de predeterminación estricta y exacta, los problemas son mucho menores. Aquí el paradigma de racionalización formal weberiano en que se basa nuestro Derecho tradicional (BOIX PALOP, 2007a: 128; VEALE y BRASS, 2019: 125) sigue funcionado sin problemas y el incremento de la capacidad de computación permite realizar muchos más cálculos que antaño, y que estos resulten más rápidos, con mucho menos costes –cálculos que además son también más seguros y menos susceptibles de ser erróneos–, pero no sin alterar sustancialmente la solución final –solución, además, muy fácilmente predeterminable a partir de los instrumentos normativos clásicos de los que disponemos, así como trazable y aprehensible con facilidad por cualquier revisión externa–. La manera en que el Derecho público ha de afrontar estas mejoras es sencilla y no difiere mucho de los resultados de disponer de mejores calculadoras, procesadores de texto o semáforos: con asegurarnos de que sigan funcionando para hacer los cálculos que deseamos, y que los llevan a cabo de acuerdo con la programación prevista, así como que esta sea adecuada a los objetivos prefijados, cuestión resuelta.

En cambio, la situación respecto de los entornos donde el incremento de la capacidad de cálculo permite nuevas inferencias y una mejor identificación de situaciones, causas o posibles soluciones la transformación es cualitativamente diferente. En estos casos las ganancias de eficacia tienen que ver con la mejor capacidad de, empleando estas herramientas, realizar valoraciones sobre la realidad o adoptar decisiones diferentes a las que habrían adoptado o generalmente adoptan los seres humanos y que, además, no necesariamente son susceptibles de ser anticipadas o previstas con facilidad por los instrumentos normativos y de regulación. La ganancia es cualitativa precisamente por esta razón, pero ello multiplica las dificultades de encuadre jurídico. Porque en estos casos las reglas del juego tradicionales, la racionalización formal ex ante y la supuesta la previsibilidad del Derecho tradicional –supuesta, porque a la postre dependía también enormemente del aplicador humano, pero el sistema se sustentaba conceptualmente en esta suposición– se desdibujan notablemente.

Como es evidente, esta cuestión no pasaría de ser una preocupación meramente teórica si esta mayor eficacia no fuéramos ya a estas alturas perfectamente conscientes de que se da, y cada vez más, en entornos donde, precisamente, es la gestión de la incertidumbre y la valoración de muchas y muy complejas variables lo que a la postre resulta esencial para realizar una mejor valoración o la identificación de las soluciones más adecuadas. Pero ya sabemos que es precisamente en estos entornos, como por ejemplo con cada vez más tipos de diagnósticos complejos en Medicina, donde se observan más mejoras gracias a las modernas capacidades de la inteligencia artificial.

Algo semejante, sin duda, ocurrirá cada vez en más ámbitos del Derecho, precisamente afectando a los que resultaban más complejos de sustituir en un primer momento –aquellos otros donde las soluciones son más mecánicas y predeterminadas–, por lo que hasta la fecha la respuesta jurídica que hemos diseñado no es apta para estos supuestos. Supuestos donde la previsibilidad ex ante derivada de la programación, tanto jurídica como informática, se reduce enormemente en comparación con lo que estábamos acostumbrados, entre otras cosas por los conocidos efectos de “caja negra” (black box) del funcionamiento de este tipo de programas (LIU, LIN y CHEN, 2019: 134-136) que, a partir de un determinado punto, impiden incluso a sus programadores una predeterminación fiable de los resultados concretos que ofrecerá el programa una vez se ejecute y que obligan a confiar de forma hasta cierto punto ciega en la corrección de estos resultados solo a partir de considerar que la programación que los determina está hecha correctamente (CERRILLO I MARTÍNEZ, 2019a: 17-20; HOFFMANN-RIEM: 2018: 61-62). Este efecto tiene que ver con el funcionamiento de los sistemas complejos de inteligencia artificial, que dependen no solo de operaciones e inferencias probabilísticas muy complejas –lo que, hasta cierto punto, y aun con unos costes enormes, podría ser calculado y comprobado por inteligencias humanas, si se estimara prudente que así se procediera– sino, también, de un tipo de programación que con base en sistemas de machine learning permite una paulatina evolución del propio programa y de las soluciones que esta va decantando (COGLIANESE y LEHR, 2017: 1156-1160; SCANTAMBURLO, CHARLESWORTH y CRISTINIANI, 2019: 53-55; Daly, 2019: 7). Complejidad que se incrementa cuanto más compleja es la programación, mayor la capacidad de cálculo y si además hay implicados efectos de red (BOSTRON, 2014: 48-50). En estos entornos la imprevisibilidad ex ante y esos efectos de black box se incrementan, como es lógico, exponencialmente, con todo lo que ello implica para el Derecho público tradicional, basado en paradigmas de predeterminación normativa estricta. Por ello los mecanismos de control y encuadramiento de estos procesos emergen inevitablemente como la gran cuestión de nuestros días (YEUNG y LODGE, 2019: 12-13).

Como es evidente, son estos casos los que más interrogantes y necesidad de evolución de nuestros Derechos plantean, sin que hasta el momento hayamos desarrollado una pauta consistente mínimamente satisfactoria. De hecho, frente a esta situación, la reacción inicial de nuestros ordenamientos jurídicos ha sido tratar de obviar la efectiva existencia de este segundo tipo de situaciones que suponen un cambio cualitativo y obligan en consecuencia a una reconsideración de nuestra respuesta jurídica y seguir funcionando como si no existieran: si analizamos la respuesta normativa dada hasta la fecha en casi todos los casos, y es también lo que podremos ver respecto de España, esta se limita a regular la situación asumiendo que los incrementos de capacidad computacional hacen simplemente más potente la herramienta empleada a efectos de los cálculos y poco más –incremento de mera automatización robótica (VALERO TORRIJOS, 2019: 85), automatitation systems (VEALE y BRASS, 2019: 123-125)–, por lo que tampoco prevén de momento respuestas regulatorias complejas frente a las otras posibles consecuencias, las que tienen que ver con la automatización cognitiva y la inteligencia artificial (VALERO TORRIJOS, 2019: 85) que nos llevan a los entornos de los augmentation systems (VEALE y BRASS, 2019: 125-127). En otros casos, incluso, se ha optado, con quizás más franqueza, por prohibir el empleo de estos medios, al menos de momento. Es lo que por ejemplo ha hecho de momento el Derecho público alemán, que en su Ley de procedimiento administrativo –en concreto, §35VwVfG– ha introducido la prohibición de uso de algoritmos para la adopción de decisiones que afecten a derechos de los ciudadanos que puedan tener un contenido discrecional (MARTINI y FINK, 2017: 681-682; SIEGEL, 2017: 24-28; MARTÍN DELGADO, 2009: 371, por su parte, ha propuesto una interpretación del ordenamiento jurídico español en línea con esta regla prohibitiva alemana para las decisiones administrativas con un importante contenido discrecional en la línea de garantizar una suerte de «reserva de humanidad» que ha defendido también PONCE SOLÉ, 2019: 28-30).

El problema es que, como es evidente, se trata de una solución solo viable a corto plazo, en tanto que, como ya se ha dicho, las mayores ganancias de tipo cualitativo derivadas del empleo de programas y algoritmos dedicados a la toma de decisiones serán previsiblemente logradas precisamente empleando la inteligencia artificial en estos entornos, razón por la cual no es previsible que la prohibición sea una solución normativa sostenible a medio y largo plazo.

En cualquier caso, hay razones de comodidad que explican que estas aproximaciones sean tentadoras. Entre otras, permiten al Estado y a los poderes públicos no tener que enfrentarse a una realidad incómoda, por estar llena de incertidumbres. También ayudan a retrasar una intervención reguladora que, para ser realizada satisfactoriamente y además con cierta rapidez a la hora de adaptarse al desarrollo tecnológico, requiere de un conocimiento y control sobre estos avances que, muy probablemente, a estas alturas ya no es patrimonio de los poderes públicos como lo había sido desde hacía casi dos siglos. Situación que dificulta enormemente una acción pública decidida y que abona la tentación de dejar en manos de quienes protagonizan este desarrollo la cuestión de la regulación efectiva de ciertos problemas, bien confiando en la autorregulación, en el mercado o en que el propio desarrollo tecnológico, al que mejor no poner frenos, será capaz de resolver por sí solo los problemas que vayan apareciendo. Es, más o menos, y como veremos, el punto de llegada que tenemos en España en estos momentos al respecto. Se obtienen así a corto plazo los beneficios de estos avances, pues no se prohíbe su empleo, sin tener que ocuparse de la cuestión de la regulación. Y siempre es posible buscar justificaciones en Derecho para amparar una forma de funcionamiento como esta, siendo la más habitual la de alegar que la decisión sigue residenciada jurídicamente en un humano o un órgano decisorio tradicional, por mucho que este pueda usar instrumentos de evaluación y apoyo para ello y que algunos de ellos sean de este tipo. La cuestión es que, en el fondo, ignorar esta realidad, o actuar como si no tuviera trascendencia jurídica alguna, si bien puede ser una posible respuesta al actual desconcierto del Leviatán tradicional que en los últimos siglos se hacía cargo de estas cuestiones (ESTEVE PARDO, 2009), difícilmente es una solución satisfactoria de futuro.

Tarde o temprano, el Derecho público tendrá que asumir que esta nueva realidad, aun con sus incertidumbres, impone una respuesta jurídica acorde al cambio de paradigma. Una respuesta que deberá ser capaz de asumir que el papel de la ley en el entorno tecnológico, pero también social y económico, derivado de la tercera revolución productiva es en algunos aspectos esenciales muy diferente a aquel en que hemos sido instruidos todos los juristas, muy vinculado a los esquemas mentales de la racionalización formal y la lógica deductiva que aspiraba a operar siempre a partir de certezas normativas predefinidas –esto es, programadas–. Obviamente, estas certezas no significaban siempre que el sistema funcionara adecuadamente –se podían producir condenas de inocentes o absoluciones de culpables, por ejemplo–, pero ello se debía a problemas aplicativos, consecuencia de la falta de corrección y conocimiento imputable a los aplicadores, no a problemas estructurales del sistema jurídico, donde un culpable siempre habría de ser, en abstracto, condenado, a la par que un inocente debía siempre ser absuelto. La aceptación paulatina de mecanismos de análisis de la realidad y toma de decisiones probabilísticos funciona a partir de parámetros jurídicos totalmente diferentes. Por ejemplo, las condenas o absoluciones dependen del establecimiento de un umbral de certeza a partir de las cuales un sistema suficientemente efectivo de cálculo de probabilidades de autoría en el que confiemos sobradamente nos permitirá decidir que ha de haber condena o absolución según los casos. Este modo de funcionar es totalmente diferente al principio tradicional de presunción de inocencia, ya que cuantificado ese umbral de probabilidad se asume como aceptable e inevitable que probabilísticamente se condena a inocentes. Si además el umbral no es muy exigente, como es el caso ya que se tiende a ubicarlo en un 90 por 100 de probabilidad (NIEVA FENOLL, 2018: 2014), nuestro sistema pasa de un planteamiento teórico que afirma que solo se condena a todo aquel que más allá de toda duda razonable sea culpable a un modelo, de nuevo teórico, que asume en términos probabilísticos como normal, conveniente o eficiente –pero, en definitiva, suficientemente satisfactorio– un 10 por 100 de condenas a no culpables. Parámetros que afectarán incluso al tratamiento que nuestros ordenamientos hacen y han hecho del “no Derecho”, esto es, de los espacios de incumplimiento y de sus beneficios sociales diferenciales que en entornos donde la norma permite, con riesgos y costes, el incumplimiento, funcionan de manera totalmente diferente de lo que ocurrirá en entornos automatizados.

A estos nuevos problemas, y sin duda a muchos más, habrá de dar respuesta el Derecho público alternando quizás alguna de sus estructuras tradicionales y renunciando, muy probablemente, a buena parte de su marco conceptual tradicional. Pero el establecimiento de objetivos y de principios, la identificación de los fines perseguidos y la decantación de las soluciones más adecuadas para alcanzarlos seguirán siendo una labor, aun en estos nuevos entornos, netamente jurídica. Para ello, y es lo que se va a defender en este trabajo, por coherencia con ciertos postulados jurídicos básicos pero también por declinación de esa necesaria precaución antes reseñada, el Derecho público, y en concreto el Derecho administrativo, deberá afrontar esta tarea asumiendo plenamente, en primer lugar, la necesaria preeminencia jurídica tanto para la predeterminación típica requerida para la aplicación posterior al caso concreto de las reglas también cuando se haga por medio de estos nuevos instrumentos que, junto con las normas jurídicas tradicionales, conforman como parte esencial el nuevo entramado normativo: los algoritmos y los programas y modelos que estos componen y el código fuente en que estos están escritos (O’NEIL, 2016: 29-31). Este código informático, a la postre, actúa también en la práctica como código jurídico desde el momento en que forman parte de las reglas que predeterminan las consecuencias jurídicas que nuestro ordenamiento jurídico establece y prevé frente a la concurrencia de ciertas circunstancias de hecho. Por ello, nuestro Derecho público ha de tratarlo como tal. Algo que hasta la fecha dista de ser el caso.

2.  CÓDIGO JURÍDICO Y CÓDIGO FUENTE: LA INSUFICIENCIA DE LAS GARANTÍAS JURÍDICAS DECLINADAS HASTA LA FECHA

Si asumimos que el código fuente que integramos en la adopción de decisiones administrativas tiene materialmente valor normativo, dado que esos algoritmos y programas son empleados como elementos que ayudan a determinar la concurrencia o no de ciertas circunstancias de hecho o que establecen la conveniencia o no de asociar ciertas consecuencias jurídicas a los hechos disponibles, es inevitable deducir de ello consecuencias jurídicas asociadas. Consecuencias que tienen que ver con esta función material, que no puede ser obviada y respecto de la que nuestro ordenamiento jurídico ha decantado soluciones a lo largo de muchos años para su correcto encuadramiento. De manera que, por muy novedosas que sean algunas de las consecuencias del empleo de la inteligencia artificial por parte de las Administraciones públicas, y por mucho que haya que operar cambios estructurales en nuestro Derecho para acomodarse a estos cambios, otros problemas están llamados a ser solucionados de forma sustancialmente igual a la manera con la que los resolvíamos tradicionalmente. Es lo que ocurre con las garantías de los ciudadanos frente a las potestades y posibilidades actuación de los poderes públicos que puedan afectarles. Cuando esta actuación sea algorítmica, como no puede ser menos, sobre ella se proyectarán exactamente de la misma manera todos los principios constitucionales que supraordenan cómo han de actuar los poderes públicos cuando la Administración lo hacía por medios tradicionales (CERRILLO I MARTÍNEZ, 2019a: 13-14): en concreto, la exigencia de que los ciudadanos tengan capacidad para conocer las consecuencias de sus actos y cuál sea la preordenación normativa con la que opera el poder público, no parece que sean cuestiones que deban quedar modificadas simplemente por un cambio de herramientas. Tampoco ello introduce cambios sustanciales respecto del acuerdo sobre la importancia de que el ordenamiento jurídico dote de las suficientes garantías al sistema como para que los ciudadanos puedan quedar protegidos frente a la acción del poder del Estado, entre ellas que la puedan conocer y entender, así como controlarla y fiscalizarla para verificar que esta no sea arbitraria.

Todas estas cuestiones, cuando quedan referidas a la necesaria determinación de pautas para la incorporación de algoritmos, no han de ser afrontadas únicamente por medio de directrices de buena gobernanza pública, como es habitual reiterar, aun haciendo énfasis en su importancia y necesidad en la doctrina anglosajona, (VEALE y BRASS, 2019: 128-32), sino que requieren de un encuadramiento jurídico normativo estricto coherente con esas consideraciones y principios constitucionales. Tratemos de enhebrar mínimamente, pues, cuáles son las consecuencias, que, en Derecho, creemos que se deducen de estas exigencias.

2.1.  Code 2.0.

Afirmar que los algoritmos y programas que componen, cuando son empleados por los poderes públicos para evaluar situaciones de las que luego se deducirá la aplicación de consecuencias jurídicas o, directamente, para determinar esta a partir de la concurrencia o no de ciertas condiciones o hechos, se comportan materialmente como las normas jurídicas con las que habitualmente trabajamos los juristas no es algo estrictamente nuevo ni tampoco particularmente disruptivo desde una perspectiva teórica. En términos kelsenianos, que ya señalaba tempranamente que las normas jurídicas lo son cualquiera que sea la forma en que se presenten si cumplen con una función materialmente normativa, esto es, prescribiendo o autorizando una conducta determinada (KELSEN, 1960: 38), pocas dudas puede haber al respecto –aunque, en su caso, planteaba simplemente ese carácter normativo cualesquiera que fuera la forma gramatical empleada, pues las posibles codificaciones disponibles en ese momento eran meramente gramaticales (KELSEN, 1969: 39)–. De hecho, en una de las primeras obras que trataron de forma moderna y global la enorme significación jurídica de los cambios que las nuevas tecnologías nos iban a deparar, la primera edición de Code (LESSIG, 1999; segunda edición Code versión 2.0 de 2006), se avanza desde sus primeras páginas una reflexión que el tiempo no ha hecho sino confirmar: estamos ya de lleno en una sociedad en la que, cada vez más, el verdadero alcance de los derechos de los ciudadanos va a depender en mayor medida de los códigos de programación a partir de los cuales se articula el funcionamiento de todo tipo de aplicaciones informáticas que de los mismísimos códigos jurídicos tradicionales que tanto veneramos los juristas (LESSIG, 2006: 6-7). La afirmación puede parecer exagerada –o quizás exagerada… de momento– pero apunta en una dirección interesante: la programación de las tareas, por definición automatizadas, de mayor o menor complejidad, son un elemento consustancial al aprovechamiento de las tecnologías actualmente disponibles que, además, está llamado a ir a más en el futuro: que la regulación por medio de código será cada vez más frecuente es un hecho indiscutible (LESSIG, 2006: 81-82; YEUNG, 2017: 505-523). De hecho, no solo a ir a más sino a ser, y conviene tenerlo bien presente, la parte cuantitativamente más relevante de la acción administrativa del futuro. Un futuro que, ha de tenerse bien presente, está ya aquí en materia de automatización y programación de actividades supuestamente complejas y no solo en actividades privadas sino en muchas donde hay bien una supervisión pública intensa o un directo protagonismo “prestacional” por parte de la propia Administración –conducción de coches automatizada, drones que operan a partir de programación, trenes sin conductor, armas modernas que deciden cuándo activarse a partir de una programación previamente determinada…– .

Parafraseando a Lessig, que lo expresaba de una forma levemente diferente, podría decirse que el código fuente con el que se escriben los algoritmos que componen los programas que evalúan cada vez más circunstancias y deciden cada vez más consecuencias jurídicas que conviene asociar a cada hecho, al formar parte de las herramientas que emplea el Derecho para dar respuesta a y ordenar la realidad social, es también código jurídico, pero en una versión nueva y más avanzada: una suerte de código 2.0, que el Derecho tiene que asumir como tal y cuya regulación habrá de afrontar, en consecuencia, desde la plena asunción de que la regulación y concreción de la esfera concreta de los derechos y libertades de cada uno de nosotros pasa cada vez más en la práctica por lo que determina ese Code 2.0 antes que por las vetustas previsiones de los códigos jurídicos y declaraciones de derechos tradicionales (YEUNG, 2017: 505-523). Sorprendentemente, ha sido menos frecuente establecer a partir de estas premisas la conclusión directa que sería en apariencia inevitable: si la programación y los algoritmos van a cumplir cada vez más y de forma creciente, las funciones de preordenación efectiva de la evaluación jurídica de las circunstancias y hechos, así como determinan y computan los elementos y factores que conducen a una determinada respuesta en Derecho, ¿no deberíamos aplicar las mismas reglas y normas de actuación y encuadramiento jurídico, o al menos los mismos principios respecto de cómo deben realizarse con garantías estas operaciones de programación y predeterminación de la respuesta, a estos nuevos instrumentos que empleábamos para los que tradicionalmente hacían esta misma labor como “código jurídico 1.0”?

En este sentido, las funciones que cumplen los tradicionales reglamentos que emplea la Administración pública y los nuevos algoritmos, cuando son utilizados para la evaluación de las circunstancias del caso (decantación de supuestos de hecho indicando qué elementos han de ser tenidos en cuenta para ello y el peso que se les ha de dar) o para determinar cuál deba ser la respuesta jurídica adecuada (consecuencias jurídicas) son sustancialmente equivalentes. Los reglamentos, como toda norma escrita que preordena la actividad ejecutiva, se singularizan precisamente por su naturaleza normativa, por el hecho de que participan e innovan en la formación del ordenamiento jurídico (GARCÍA DE ENTERRÍA y FERNÁNDEZ RODRÍGUEZ, 2013: 207). Se trata de un fenómeno universal a cualquier ejercicio del poder ejecutivo precisamente por compartir este rasgo (MUÑOZ MACHADO, 2006: 851-855), que es el que lo diferencia en cuanto a su naturaleza de otras potestades administrativas, como la de pura ejecución por medio de actos administrativos (MUÑOZ MACHADO, 2006: 856). Esta capacidad de codificar, y la eficacia normativa que se deriva de ella, tiene además efectos no solo externos, sino también internos, por cuanto la programación aprobada, tanto la jurídica como la informática, para encuadrar cómo actúa la Administración debiera vincular también, y, en primer lugar, a ella misma (CARRO FERNÁNDEZ-VALMAYOR, 2005: 2150-2151).

A partir de esta constatación, es evidente que hemos de diferenciar entre lo que hacen ciertos algoritmos, o para qué emplea la Administración pública ciertos programas en cada caso, a fin de identificar las necesarias diferencias entre unos casos y otros. Pero incluso a este respecto se puede constatar una sorprendente identidad con categorías jurídicas ya muy decantadas por la respuesta tradicional de nuestro Derecho cuando la actuación estaba predeterminada por normas reglamentarias tradicionales. Así, y por ejemplo, siempre hemos distinguido entre el nivel de garantías y de formalización jurídica requerido entre que unas instrucciones o normas fueran indicaciones de no obligado cumplimiento –por ejemplo, el precedente administrativo y ciertas formas soft de preordenación normativa, como instrucciones o circulares en sus versiones tradicionales– y las que eran necesarias para las que eran materialmente normativas –de ahí que paulatinamente, por ejemplo, y sobre todo si materialmente son el elemento que predetermina la decisión, hayamos ido exigiendo que, cuando así sea, los instrumentos como las circulares se sometan a las reglas y garantías de las normas reglamentarias– (GALLEGO ANABITARTE, 1971: 81; MOROTE SARRIÓN, 2002: 170-182, 223-225). También nuestro Derecho diferencia entre cómo proceden los reglamentos a la hora de fijar las premisas que permiten dar pie a la actuación de la Administración y cómo proceder con la delimitación de los núcleos de certeza y esferas de incertidumbre respecto de los posibles conceptos jurídicos indeterminados que puedan aparecer en estos casos, o la incertidumbre a la hora de entender que un hecho se ha producido o no, y las reglas que encuadran reglamentariamente la decisión discrecional de la Administración, que establece consecuencias de hecho –que suele enmarcarse jurídicamente a partir del establecimiento de principios, valores y objetivos a los que ha de atender la decisión–.

Resulta obvio, por ello, que no ha de darse la misma respuesta a unos casos y a otros. No es lo mismo un algoritmo empleado únicamente como apoyo de la toma de decisión de uno que evalúa circunstancias para determinar si se ha dado o no un hecho que desencadena una respuesta jurídica que otro que establezca, ponderando de forma computada todos los elementos establecidos en la programación que se estiman pertinentes para ello, la respuesta jurídica que ha de dar el poder público. Pero también resulta evidente que disponemos de categorías jurídicas ya muy decantadas que diferencian estos distintos usos, y que cada una de ellas dispone de reglas y garantías muy consolidadas sobre cómo, en cada caso, deben programarse estas respuestas. Que respecto de diversos tipos de reglamentos pueda haber exigencias jurídicas distintas según las funciones materiales que cumplan es algo, a estas alturas, indiscutido (BAÑO LEÓN, 1991: 203-206). Esta posible diversidad en sus funciones y efectos materiales pues, en nada contradice la relevante conclusión provisional ya avanzada: que los algoritmos empleados por la Administración pública de modo no puramente instrumental producen materialmente los mismos efectos que cualquier reglamento, al preordenar la decisión final del poder público y limitar el ámbito de discreción o de capacidad de determinación de quienes los han de aplicar a partir de los postulados contenidos en la programación. Son por ello, no ya código 2.0, que también, sino más en concreto reglamentos en un sentido jurídico material y, por ello, como tal han de ser tratados por el Derecho a la hora de regular cómo se producen, aplican y las garantías en torno a estos procesos.

Gracias a esta identidad de razón contamos ya con un importante bagaje jurídico previo que podríamos aprovechar para afrontar cómo regular los algoritmos cuando son empleados por la Administración Pública con funciones de predeterminación y programación normativa. Porque si los algoritmos son materialmente reglamentos lo más natural sería aplicarles, sencillamente, las garantías jurídicas que nuestro Derecho ya tiene establecidas, y ha decantado con el paso de los años, para ellos. Una medida que, además, se encuadraría perfectamente, por garantista y cuidadosa, con las directrices constitucionales de precaución que hemos referido antes que era necesario que guiaran nuestra respuesta jurídica frente al fenómeno. Sin embargo, esta conclusión dista de coincidir con lo que está conformando la reacción los ordenamientos jurídicos de nuestro entorno, ni del europeo o del español. Una reacción que, en el mejor de los casos, ha centrado la discusión y las posibles soluciones en la cuestión, únicamente, de la publicidad del código –y aun así con muchos matices, cautelas e insuficiencias– sin extraer ni en este punto, ni en todos los demás –directamente obviados– las conclusiones jurídicas debidas del carácter reglamentario de estos algoritmos y programas.

2.2. La insuficiencia de la respuesta jurídica europea y española

Como ya se ha apuntado, y hasta la fecha, la reacción de nuestro ordenamiento jurídico frente al fenómeno descrito, tanto en su dimensión nacional como en la europea, ha sido muy decepcionante por su falta de ambición así como por su demostrada incapacidad a la hora afrontar la nueva realidad respecto de las implicaciones descritas y muy especialmente en cuanto al establecimiento de garantías suficientes para proteger a los ciudadanos frente al empleo de algoritmos y programas por parte de las Administraciones públicas. En lo que a nosotros más interesa, podemos detectar dos pautas complementarias, con un punto común de llegada, aunque partiendo de distintos orígenes. Por una parte, la respuesta del ordenamiento jurídico español, que ha ido eliminando paulatinamente determinadas cautelas y previsiones que contenían garantías genéricas a medida que las realidades sobre las que operaban se hacían más presentes, es decir, justo cuando más necesarias eran. La razón última de esta evolución ha sido una aproximación posibilista y cortoplacista al problema que, al constatar que aplicar estas garantías era difícil y podía comprometer la evolución tecnológica de nuestras Administraciones públicas, ha optado por su desleimiento para no frenar así la posible utilización de estas herramientas, que se ha entendido prioritario y más conveniente. Por otra parte, la reacción jurídica del Derecho europeo, que hasta la fecha se ha vehiculado únicamente a partir de una herramienta: las normas en materia de protección de datos. Algo que se antoja no solo como francamente insuficiente en la práctica sino, además, profundamente inadecuado desde una perspectiva teórica para hacer frente a los problemas descritos, que solo tangencialmente tienen que ver con la protección de datos. Simplemente da la sensación de que, a falta de capacidad o voluntad para dar una respuesta coherente y sistemática, se ha optado por recurrir a las herramientas disponibles para esbozar un régimen garantista de mínimos. No es de extrañar, pues, que los resultados sean francamente insatisfactorios.

2.2.1. La sorprendente involución de la legislación española en materia de garantías frente a la utilización por parte de las Administraciones públicas de algoritmos y programas

El Derecho español ha ido restringiendo en tiempos recientes algunas garantías tradicionales ya antiguas que en principio parecían haber sido concebidas precisamente para establecer algunas cautelas y protecciones frente al empleo de medios tecnológicos o informáticos por parte de los poderes públicos. La Constitución Española (CE), por ejemplo, parece contener previsiones que de algún modo podemos conectar con una expresión, avant la lettre, de esa propuesta de traslación del principio de precaución respecto del empleo de medios tecnológicos a la que hacíamos referencia antes: la obligación constitucionalmente establecida en el art. 18.4 CE de que la ley limite “el uso de la informática para garantizar (…) el pleno ejercicio de (los) derechos (de los ciudadanos)”. Esta directriz constitucional impone pues al legislador limitar los desarrollos de estas tecnologías siempre que ello sea necesario para garantizar una debida protección de sus derechos frente a la acción de los poderes públicos y la actuación administrativa. Por otro lado, a nadie debería escapársele que con esta formulación de manera implícita, y a mi juicio muy acertadamente, el texto constituyente concibe la evolución tecnológica como potencialmente muy peligrosa para los derechos de los ciudadanos y pone el acento sobre la necesidad de acompañarlo siempre de las debidas garantías jurídicas.

De una manera que se ha de considerar bastante coherente con esta previsión constitucional así interpretada, y en lo que se refiere precisamente al procedimiento administrativo y a la actuación de los poderes públicos que pudiera afectar a la esfera del estatuto jurídico de derechos y deberes de los ciudadanos, el viejo y ya derogado art. 45 de la Ley 30/1992, de Régimen Jurídico de las Administraciones Públicas y del Procedimiento Administrativo Común (LRJAP-PAC), nos ofrecía una aproximación con posibilidades muy interesantes al señalar que, si bien se había de impulsar el empleo y aplicación de cualesquiera técnicas y medios electrónicos, informáticos y telemáticos de que se pudiera disponer, tanto en ese momento como en el futuro, esta aplicación había de acomodarse siempre a las “limitaciones que a la utilización de estos medios establecen la Constitución y las leyes” (art. 45.1 LRJAP-PAC, que nos remite a su vez a la previsión constitucional reseñada). Además, en lo que era una previsión muy importante para la cuestión de la aplicación y uso de algoritmos, se explicitaba que “los programas y aplicaciones electrónicos, informáticos y telemáticos que vayan a ser utilizados por las Administraciones Públicas para el ejercicio de sus potestades, habrán de ser previamente aprobados por el órgano competente, quien deberá difundir públicamente sus características” (art. 45.4 LRJAP-PAC).

En un momento como 1992, en el que, aunque ya existían muchos de los avances tecnológicos que en su desarrollo posterior han cambiado la manera en que nos relacionados con el mundo y la forma en la que operan los poderes públicos, estos se encontraban todavía en un estado de desarrollo incipiente, el legislador plantea una regulación de la incorporación de los futuros avances tecnológicos en la actuación de los poderes públicos muy sensata, prudente y plenamente coherente con el referido mandato constitucional. Si bien las Administraciones públicas en el ejercicio de sus funciones podían incorporar todo tipo de novedades y mejoras tecnológicas, debían hacerlo de tal modo que se trasladaran ciertos elementos sustantivos y materiales de las garantías vigentes en materia de procedimiento y ejercicio de potestades administrativas y, en concreto, tanto la aprobación explícita del uso del instrumento por el órgano administrativo como, lo que es muy importante, la difusión pública de las características del mismo –y no solo de una explicación de las mismas o de sus elementos esenciales–. De este modo se lograba tanto responsabilizar a quien decidía hacer uso de la herramienta, y además por un procedimiento formalizado que podría ser objeto a su vez de impugnación, como se garantizaba la publicidad de sus características. Estamos ante una normativa que, si bien de tipo principal y necesariamente genérica, limitada y poco detallada –también porque estábamos en un momento de desarrollo incipiente del empleo de estos instrumentos–, permitía entender garantizada con pocas contorsiones interpretativas, por ejemplo, la necesidad de dar publicidad al código fuente si la herramienta en cuestión fuera un algoritmo de decisión informática.

Aunque sea cierto que a este texto se le podría reprochar carecer de la necesaria “perspectiva dinámica” (VALERO, 2016), también lo es que las “pretensiones de amplitud en la regulación” de un precepto como el primigenio art. 45 LRJAP combinadas con reglas procedimentales expresadas con independencia del canal de comunicación empleado permitían aceptar ciertas soluciones con un grado de flexibilidad que la práctica legislativa posterior, más ceñida a la regulación en concreto de estos fenómenos, ha debilitado. Pero sin duda el mayor mérito de esta regulación es que sin duda acertaba al establecer ciertas cautelas y recordar la necesidad de preservar el contenido material de las garantías tradicionales sea cual sea el desarrollo tecnológico o la herramienta que empleemos, con la idea de trasladar a la acción administrativa realizada empleando herramientas electrónicas exactamente el mismo equilibrio entre eficiencia, garantías y derechos de los ciudadanos de la actuación realizada empleando medios tradicionales. Una idea, en cambio, desaparecida de la actual Ley 39/2015, de Procedimiento Administrativo Común (LPAC) y a la que habríamos de volver.

Un primer paso en la minimización de las garantías lo supuso, paradójicamente, la Ley 11/2007, de 22 de junio, de Acceso Electrónico de los Ciudadanos a los Servicios Públicos (LAE), primer intento serio de hacer frente al mandato constitucional de encauzar y limitar el uso de la informática de modo que no suponga mermas en la capacidad efectiva de los ciudadanos de hacer valer sus derechos, muy meritorio en muchos de sus aspectos, pero fallido en este punto. Paradójicamente, porque esta norma afrontaba aparentemente con esta misma actitud la regulación legal sistemática, por primera vez, del empleo de medios electrónicos para la realización completa de todo tipo de trámites administrativos. En la norma se percibía, de hecho, un esfuerzo muy notable por establecer precauciones en una línea totalmente coherente con la de igualar las garantías y equilibrios de modo que la situación de los ciudadanos no se vea en ningún caso perjudicada por el empleo de medios electrónicos, lo que conlleva desde la proclamación del principio de neutralidad jurídica del canal tecnológico empleado (BOIX PALOP, 2007b) al establecimiento de muy diversas reglas y principios orientados a la consecución de la misma: derecho a la elección del canal, derecho a la tramitación electrónica y garantía de elección de plataformas o programas, derechos amplios de información por parte de los ciudadanos respecto de las alternativas tecnológicas elegidas por las Administraciones públicas, de los cuales se deduce también lógicamente una decidida apuesta por el código abierto y las alternativas no comerciales… todos ellos como fórmulas jurídicas destinadas, entre otras finalidades, a garantizar la transparencia y una mejor protección de los derechos de los ciudadanos. El artículo 4 LAE, con una serie de principios generales en total sintonía con estas ideas (especialmente art. 4 b) y 4 i) LAE sobre igualdad y neutralidad tecnológica; o art. 4 k) sobre transparencia, es una buena muestra de esta orientación, reforzada con el reconocimiento (art. 6 LAE) de derechos subjetivos estrictos a los ciudadanos, en el marco de cualquier procedimiento, a hacerlos valer, amparando la elección de canal, que la administración hubiera de dar soporte siempre y en todo caso a ciertos estándares tecnológicos y en especial a aquellas aplicaciones y sistemas que usaran estándares abiertos, por los que se muestra una clara preferencia, precisamente, por sus virtudes en materia de transparencia y cognoscibilidad del código (art. 6.2 k) LAE) (COTINO HUESO, 2008: 218-220). Un elenco de derechos que, incluso, es juzgado como cuestionable por excesivamente ambicioso y las dificultades prácticas que planteaba a las Administraciones públicas en punto a la posibilidad de elección de sistemas y estándar tecnológico por el ciudadano y la correlativa obligación administrativa de dar soporte al menos a las soluciones de código abierto (COTINO HUESO, 2008: 215-218).

A pesar de todo lo cual, el art. 39 LAE supone una primera restricción en materia de cogniscibilidad y transparencia del código, al establecer cuáles son las concretas y exactas obligaciones que ha de cumplir la Administración para hacer uso de programas y algoritmos al servicio de la adopción de decisiones administrativas automatizadas y optar no por esa interpretación garantista posible con la LRJAP-PAC sino con una mucho más modesta que se limita a exigir el previo establecimiento del “órgano y órganos competentes (…) para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad” junto a la necesidad, “en su caso” –lo que da a entender que este no ha de existir siempre ni necesariamente– de designar a los responsables de “auditoría del sistema de información y de su código fuente”. También, como no puede ser menos, el precepto indica que se ha de señalar qué órgano es considerado responsable a efectos de la siempre posible impugnación de la decisión (art. 39 LAE in fine). En todo caso, el paso atrás es innegable, tanto en cuestiones estrictamente formales, con la desaparición de la necesidad de aprobación administrativa previa del empleo de la herramienta –algo que permitía ciertos controles e incluso moderadas posibilidades de impugnación de tipo previo y abstracto, aunque fueran complicados– (VALERO TORRIJOS, 2019: 86-87), como materiales, al dejar claro el nuevo texto en que ningún caso parece legalmente exigible la publicación íntegra del código.

La regulación trata de garantizar una cierta posibilidad de trazabilidad de los criterios seguidos para la adopción de la misma, así como la posibilidad de auditar la programación de los medios tecnológicos empleados (MARTÍN DELGADO, 2009). Pero no se tiene a los algoritmos en cuestión como reglamentos, ni se considera su programación de efectos materiales equivalentes a la que tiene una predeterminación normativa de cómo han de actuar las Administraciones públicas por supuesto, de modo que no se estima necesaria en ningún caso una completa publicidad como regla por defecto –es más, esta solución queda expresamente excluida con carácter general–. Adicionalmente, y como no puede ser menos a partir de estas premisas, faltan también el resto de garantías adicionales que nuestro sistema asocia a las normas reglamentarias. La única cautela legalmente precisa para el empleo de algoritmos es esa identificación de los responsables que han de definir las referidas especificaciones y las posibilidades de auditoría. Son, como puede comprenderse, garantías francamente insuficientes, mucho menores que las asociadas a cualquier reglamento, incoherentes con la función efectiva que cumplen estos algoritmos asociados a la toma de decisiones y, en definitiva, un marco legal que habría sido insuficiente a la luz de un entendimiento exigente y garantista, constitucionalmente permeado en el sentido señalado, de la tradicional regulación de la norma de 1992. Como es obvio, esta reducción de garantías jurídicas va asociada al intento de hacer más habitual y más fácil el empleo de estos mecanismos, en un momento en quizás no se perciben tanto sus posibles riesgos como las ventajas que pueden aportar. Ello, no obstante, ya en ese momento parece evidente la necesidad de un mucho mayor desarrollo y clarificación normativa para una mejor y mayor garantía de los derechos de los ciudadanos (MARTÍN DELGADO, 2009; VALERO TORRIJOS, 2013: 46-50).

No puede decirse lo mismo de la legislación vigente, aprobada en un momento en que estos riesgos ya son plenamente conocidos. Las Leyes de 2015 que han sustituido tanto a la mencionada Ley 39/1992 (LRJAP-PAC) como a la Ley 11/2007 (LAE) –que, en materia de procedimiento administrativo electrónico, son fusionadas en el nuevo texto normativo–, respectivamente Ley 39/2015, del Procedimiento Administrativo Común de las Administraciones Públicas (LPAC), y Ley 40/2014, de Régimen Jurídico del Sector Público (LRJSP), sin embargo, abundan en esta tendencia hacia la reducción de garantías asociadas al empleo de medios tecnológicos por parte de la Administración con la intención de hacer menos jurídicamente costoso el empleo de estos instrumentos. Más allá de la corrección o incorrección con la que ambas normas han adaptado al paradigma tecnológico los procedimientos administrativos tradicionales y la muy cuestionable traslación de algunos equilibrios y garantías tradicionales que se ha producido al operar este y otros tránsitos (BAÑO LEÓN, 2015; SANTAMARÍA PASTOR, 2015) –el ejemplo de las notificaciones electrónicas es paradigmático de hasta qué punto el legislador ha transformado mecanismos tradicionales al entorno tecnológico actual aprovechando para convertir estos procedimientos en mucho más cómodos para la propia Administración y mucho menos garantistas para los ciudadanos (MARTÍN DELGADO, 2016: 53-61; MÍGUEZ MACHO, 2016: 246-247, BOIX PALOP 2016)– resulta muy interesante rastrear cómo la evolución respecto de la legislación de 2007, de donde supuestamente se toman por el legislador los elementos ya consolidados a partir de los cuales se procede ahora a normar un procedimiento administrativo electrónico que pasa a ser la regla por defecto, y más aún si tomamos como punto de referencia el art. 45 LRJAP-PAC, es claramente regresiva. Regresiva a la hora de minimizar las obligaciones de la Administración –a garantizar canales y empleo de código abierto o a dar una garantía de servicio a los ciudadanos– si comparamos estas exigencias con las de la LAE de 2007 y, muy particularmente, restrictiva respecto de los derechos de los ciudadanos a conocer con detalle suficiente y una transparencia absoluta cuáles son los parámetros a partir de los que la administración actúa cuando lo que normativiza cómo será la decisión y la actuación pública no es una norma jurídica sino una programación informática por cuanto consolida una línea jurídica que posibilita la opacidad y la falta de garantías en un momento en que esta es cada vez menos defendible. Así, consagra punto por punto el modelo del art. 39 LAE en el nuevo art. 41.2 LRJSP, sin que ni la práctica administrativa –obviamente, muy poco generosa hasta la fecha– ni la creciente preocupación académica y social por el creciente empleo de algoritmos para la toma de decisiones y sus implicaciones lleve al legislador a cambiar ni una coma ni a introducir una sola garantía adicional. Queda así fijado como parámetro normativo consolidado en nuestro Derecho la siguiente regla:

Art. 41.2 LRJSP: “En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente. Asimismo, se indicará el órgano que debe ser considerado responsable a efectos de impugnación”.

El retroceso producido en 2007 en este punto, y consolidado definitivamente en 2015, es manifiesto. Las razones de esta evolución, coherente con la forma en que en general el legislador de 2015 ha ido perfilando y remodelando cómo debían de equilibrarse garantías y derechos de los ciudadanos con posibilidades de actuación de la administración en un sentido claramente beneficioso para los poderes públicos, facilita enormemente, sin duda, el empleo de medios electrónicos o de inteligencia artificial para la toma de decisiones. No es necesario dar los detalles exactos de cómo y en qué sentido opera la programación, no se reconoce el derecho a acceder al código fuente ni se prevé en ningún caso la necesaria publicación del mismo. Únicamente se establece una posibilidad de auditoría tanto del sistema de información como del código fuente, así como la necesidad de identificar un responsable encargado de la supervisión del mismo, además del responsable “a efectos de impugnación” de la actuación administrativa automatizada en cuestión. No es extraño que, con este marco legal, la Administración pública española se niegue incluso a proporcionar acceso al código fuente en casos aparente sencillos donde el algoritmo debiera ser relativamente poco conflictivo –véase la denegación a una fundación privada dedicada a tratar de promover la transparencia pública, Civio, del código fuente del algoritmo empleado para el cálculo del bono social eléctrico, avalada por el Consejo estatal de Transparencia y Buen Gobierno en su Resolución 701/2018, de 18 de febrero, amparándose en la protección de la propiedad intelectual de los propietarios y desarrolladores del algoritmo en cuestión y en estos momentos impugnada en los tribunales (DE LA CUEVA, 2019), como caso más reciente y significativo– aunque podamos encontrar algún ejemplo, también, de supuestos donde tras la negativa inicial de aportar el código fuente los órganos encargados en materia de transparencia sí han considerado que este había de ser comunicado –especialmente la Comissió de Garantia del Dret d’Accés a la Informació Pública (GAIP) catalana, en sus Decisiones 123/2016 y 124/2016, de 21 de septiembre –, así como algún ejemplo europeo donde también se ha aceptado entregar el código fuente (sobre el caso italiano, véase COTINO HUESO, 2019a: 36; sobre los casos francés y neerlandés, PONCE SOLÉ, 2019: 42; también respecto de Italia, además, la decisión del Tribunal Administrativo Regional Lazio-Roma de septiembre de 2019, así como es de interés la ya mencionada e importante Sentencia de la Corte del Distrito de La Haya de 5 de febrero de 2020 que tampoco ha considerado imprescindible la entrega del código fuente en su totalidad, aun considerando que la información sobre el funcionamiento del algoritmo en cuestión y la lógica empleada en ese caso era manifiestamente insuficiente). Con todo, y más allá de que por medio de las normas en materia de transparencia pueda o no consolidarse este derecho a conocer el código fuente de estas aplicaciones empleadas para adoptar decisiones o para ayudar decisivamente a la toma de las mismas, no ha de perderse de vista la insuficiencia de una aproximación basada únicamente en las exigencias de acceso a la información pública cuando hablamos de programas y algoritmos que tienen efectos normativos (CERRILLO I MARTÍNEZ, 2019b: 18-22). Insuficiencia que incluso queda más de manifiesto si comparamos la regulación el Derecho europeo en la materia, que aun evolucionando también de manera muy poco satisfactoria por insuficiente y basado solo en atender el problema de la publicación del código, y aun llegando a conclusiones de fondo semejantes a las de la norma española, es al menos más exigente a la hora de apurar las posibilidades de ese insuficiente y limitado paradigma.

2.2.2. La decepcionante pretensión europea de canalizar la solución al problema del empleo de algoritmos para la toma de decisiones administrativas por medio de las normas en materia de protección de datos

Como se ha indicado, este –insatisfactorio– punto de llegada de la legislación española es por lo demás plenamente coherente –en cuanto al paradigma último en que se fundamenta– con el único encuadre jurídico referido a estas cuestiones que hasta la fecha ha producido el Derecho europeo, que proviene de las normas en materia de protección de datos y, en concreto, del profusamente mencionado y comentado art. 22 del Reglamento General de Protección de Datos (RGPD), de 27 de abril de 2016 (PONCE SOLÉ, 2019: 13-15; PALMA ORTIGOSA, 2019; SANCHO LÓPEZ, 2019: 5-10, BYGRAVE, 2019). Este precepto, a falta de normas más exigentes y concretas –tanto a nivel estatal como europeo– respecto a cómo y con qué garantías las administraciones públicas pueden emplear algoritmos para adoptar decisiones, o ayudar a la consideración de las mismas, se ha convertido en la regla jurídica más habitualmente citada como parámetro de control de la actividad automatizada de la Administración. Y ello, aunque, como es obvio, se trata de una norma que no está diseñada para cumplir tanto esta función, y menos aún en lo que se refiere a los poderes públicos, como a constituir un mero elemento más de las cautelas y protecciones que cualquier encargado de un tratamiento de datos, ya sea del sector público como más frecuentemente una empresa privada, ha de tener en cuenta y está obligado adoptar. Este precepto establece que cualquier ciudadano –“interesado”, en realidad, según el léxico empleado por el RGPD que, como se ha dicho, emplea conceptos jurídicos coherentes con la aplicación del mismo, esencialmente al ámbito jurídico-privado– tiene “derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar” (art. 22.1 RGPD). Como puede verse, la regulación no innova excesivamente respecto de la tradicional prohibición en este sentido de la legislación española tradicional en materia de protección de datos (COTINO HUESO, 2019: 26-28) –de origen también europeo, por lo demás– y además contiene, al igual que aquella, una vía de exclusión muy relevante por cuanto será de aplicación solo a las decisiones “únicamente” basadas en el tratamiento automatizado, lo que permite excluir ya desde un primer momento de la prohibición a toda decisión que formalmente no sea adoptada en exclusiva por medio de estos algoritmos o programas. Lo que, si bien en el mundo jurídico-privado puede no tener mucha importancia, para la adopción de decisiones jurídico-administrativas, que siempre pueden ser establecidas a partir de una combinación de la decisión humana con la algorítmica, siquiera sea en un plano meramente formal, ya permitiría de suyo relativizar el impacto de una regulación como la descrita.

Adicionalmente, es el propio precepto el que, por otro lado, reconoce que la previsión del art. 22.1 RGPD no se aplicará cuando el tratamiento automatizado sea expresamente consentido por el interesado (art. 22.2 c RGPD): sea necesario para la celebración de un contrato entre interesado y responsable del tratamiento (art. 22.2. a RGPD); o, lo que es aún más importante a nuestros efectos, cuando esté autorizado “por el Derecho de la Unión o de los Estados miembros que se aplique al responsable del tratamiento y que establezca asimismo medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado” (art. 22.2 b RGPD). Solo a partir de esta última previsión podemos ya intuir que cualquier determinación legislativa que habilite a la Administración o a los poderes públicos a realizar estos tratamientos va a sortear sin problemas toda posible restricción derivada de la normativa en materia de protección de datos. Así, y por ejemplo, es bastante obvio que la habilitación genérica contenida en el art. 41.2 LRJSP es de suyo ya suficiente por sí misma para que no sea necesario requerir el consentimiento de los particulares/interesados/ciudadanos que realicen las Administraciones públicas españolas al amparo de la misma.

Asimismo, ha de señalarse que el art. 22.3 RGPD, por lo demás, establece unas garantías para los supuestos de excepción previstos en los arts. 22.2 a) y c) –no así en el 22.2 b), lo que no deja de ser revelador– que obligan a, en esos casos, actuar con una serie de garantías que, por lo demás, son muy semejantes a las que, aunque de manera muy sintética, establece el legislador español en la LRJSP. Así pues, en los casos en que se produce un tratamiento únicamente automatizado se deberán adoptar las medidas aptas para “salvaguardar los derechos y libertades y los interesados legítimos del interesado, como mínimo el derecho a obtener intervención humana por parte del responsable, a expresar su punto de vista y a impugnar su decisión”. Como puede verse, incluso si entendemos aplicable esta exigencia a los supuestos del art. 22.2 b RGDP, no es complicado entender que las magras garantías del art. 41.2 LRJSP se han de entender en este mismo sentido. A fin de cuentas, no es el marco europeo tan estricto como para no permitir que su adecuación nacional, absolutamente clave en todos los casos (BYGRAVE, 2019: 251-255), pueda ir en esta línea. Así conformado, y aunque el Comité Europeo de Protección de Datos –antiguo grupo de trabajo del art. 29 (art. 29 Working Party)– haya establecido de forma clara a pesar de las diferentes aproximaciones doctrinales que no estamos ante un derecho de opt out sino ante una verdadera prohibición de tratamientos de datos vinculados a la adopción de decisiones algorítmicas respecto de los ciudadanos (BYGRAVE, 2019: 253; PALMA ORTIGOSA, 21-23), la garantía no añade mucho más a la que de suyo contiene el Derecho español. Ni siquiera la mejora es demasiado sustancial a partir del recordatorio de que por esta vía se ha de tener también total acceso por parte de los interesados a la información “significativa” si son sometidos a decisiones de este tipo y acceso a la “lógica aplicada” y a su significación e importancia para el tratamiento de datos, ex arts. 13.2 f), 14 2 g) y 15 1h) RGPD combinados con el art. 22 RGPD (PALMA ORTIGOSA, 2019: 25-29; PONCE SOLÉ, 2019: 13-15). Y ello aunque se argumente en ocasiones que la naturaleza de las medidas en protección de datos contenidas en el RGDP obliga a adaptar las exigencias y nivel e intensidad de los controles a la afección efectiva sobre los ciudadanos, por ejemplo según la efectiva injerencia que se prevea dependiendo de quién sea el encargado del tratamiento de los datos y su posición frente a los ciudadanos (art. 28 RGDP) lo que permitiría por vía interpretativa extremar estas exigencias cuando nos encontremos con tratamientos públicos (BYGRAVE, 2019: 255-258), es dudoso que esta interpretación sea coherente con un precepto que, precisamente, establece menos controles necesarios para la excepción del art. 22.2 b) RGPD que para las de los apartados 22.2 a) y c). Más que nada porque aquí entran en juego la excepción referida, la concreción regulatoria nacional realizada por el art. 21.2 LRJSP y el hecho de que, a la postre, una interpretación combinada de estas dos regulaciones, la estatal y la europea, es perfectamente posible sin suponer, respecto de los tratamientos públicos, mejoras significativas. Tampoco el necesario análisis de impacto que impone la regulación europea a todo tratamiento de datos en la actualidad, y aunque lógicamente será diferente respecto de las Administraciones públicas por su posición frente a los particulares que cuando el tratamiento lo haga un privado, puede constituirse, pese a su necesidad e importancia, en una solución satisfactoria suficiente, por su carácter limitado (VALERO TORRIJOS, 2019: 88).

En definitiva, las insuficiencias de este instrumento a efectos de garantizar siquiera una transparencia suficiente sobre los algoritmos y la programación que se aplican a los ciudadanos son innegables. En primer lugar, es bastante evidente que en ningún caso nos encontramos ante una obligación de revelar el contenido completo y exacto de la totalidad del código fuente, sino una muy limitada obligación de ilustrar sobre las líneas básicas y criterios a partir de los cuales opera la misma. En segundo término, y como hemos visto, incluso esta limitada obligación puede ser excepcionada por razones de Derecho público a la luz del Derecho europeo estricto, lo que pone de manifiesto la capacidad del poder público de, caso de que lo juzgue necesario, de eximirse incluso de estas parcas obligaciones por medio de una legislación ad hoc. Algo que, por otro lado, ni siquiera va a resultar necesario como pauta general, por cuanto si bien se piensa incluso las más exigentes y extremas garantías del Reglamento europeo general de protección de datos son perfectamente subsumibles y encuadrables en la regulación de Derecho público que, en lo que se refiere al ejercicio de autoridad y la adopción de decisiones administrativas a partir de programación basada en código informático más que en el tradicional código jurídico, establece la Ley 40/2015. En conclusión, parece bastante voluntarista pretender que la interposición del Derecho europeo en esta materia vaya a imponer muchos más límites o garantías sustancias adicionales a los que ya establece la norma española y, en este sentido, aporta más bien poco. De hecho, y antes al contrario, la principal aportación del reglamento europeo sería más bien confirmar que, al menos desde su óptica, los umbrales establecidos por la legislación española en materia de garantías ante un tratamiento automatizado por el sector público son suficientes y la óptica de la regulación de la LRJSP, que sustituye publicación por los mecanismos de auditoría sobre el funcionamiento de la programación, adecuada y suficiente.

En el fondo, además, tampoco puede juzgarse con excesiva dureza al RGDP por ello. Se trata, a fin de cuentas, de una norma que no está diseñada para establecer las garantías que se han de reconocer a los ciudadanos frente al ejercicio de autoridad de los poderes públicos que pueda afectar a su estatuto jurídico, a sus derechos y libertades sino para regular el tráfico jurídico privado y proteger a consumidores frente a empresas que realizan tratamientos de datos cada vez más masivos. No significa que el RGDP no sea importante y no haya supuesto una indudable mejora respecto de la situación anterior en esos otros ámbitos, mejorando y precisando algunos de los derechos y garantías de los ciudadanos respecto de esas situaciones y ampliando, por ejemplo, de manera sustancial y necesaria el catálogo de derechos reconocidos frente a quienes tratan nuestros datos. Sin embargo, por muy importante y relevante que sea esta función, no puede desconocerse que en el fondo estamos frente a un instrumento esencialmente destinado a proteger a ciudadanos privados frente a otros agentes privados que operan en entornos mercantiles donde, por ejemplo, y al menos desde una perspectiva teórica, siempre se tiene la oportunidad de no contratar el servicio en cuestión. Por otro lado, además, el RGDP no deja de verse afectado respecto de la potencial ambición de sus restricciones por el hecho de que es una norma que compite con las regulaciones de otros espacios territoriales y mercados a la hora de disciplinar y regular las relaciones entre empresas y ciudadanos y ello le impone ciertas limitaciones derivadas de la necesidad de permitir unas condiciones competitivas para las empresas europeas.

Las exigencias que han de ser aplicables a los poderes públicos en este punto habrían de ser necesariamente mucho mayores que las que se aplican a las relaciones inter-privatos, sin que sea necesario argumentar en exceso el por qué: baste recordar el carácter imperativo, la nota de coactividad, inherente a todo ejercicio de funciones públicas, máxime si hablamos del ejercicio de funciones de autoridad. En la medida en que los ciudadanos no tienen opción ninguna de sustraerse a sus efectos, las normas que regulan estos concretos usos de algoritmos para adoptar decisiones han de ser necesariamente diferentes y más garantistas que las estrictamente derivadas de las normas en materia de protección de datos, que además se refieren solo a una de las cuestiones implicadas en el empleo de inteligencia artificial. Que en el mundo privado, a falta de otros instrumentos más exigentes se haya de emplear únicamente esta herramienta no debiera llevarnos a justificar esa misma insatisfactoria situación respecto del ámbito público. Más aún si tenemos en cuenta que esta situación es incluso cuestionable respecto de la regulación pública de estas transacciones o relaciones privadas, por cuanto hay posibles afecciones posibles a la igualdad derivadas del uso de algoritmos que debieran de tener protecciones jurídicas adicionales a las estrictamente derivadas de la protección de datos. En efecto, el problema de la equidad o la igualdad presenta en ocasiones dimensiones que va más allá de la mera lógica de la protección de datos, que busca garantizar tratamientos “neutros” y de los que poder excluirse, pero poco puede hacer respecto de problemas que tienen que ver con la propia arquitectura de algunas programaciones (FISMAN y LUCA, 2016; MARTÍNEZ MARTÍNEZ, 2019: 68-72; YEUNG, 2019: 23-31) o posibles sesgos algorítmicos que resultan en graves discriminaciones (BAROCAS y SELBST, 2016; KROLL, HUEY, BAROCAS, FELTEN, REIDENBERG, ROBINSON y YU, 2017), particularmente difíciles de tratar si parecen consecuencia natural, por ejemplo, del juego de oferta y demanda procesado por ciertas plataformas digitales (EDELMAN, LUCA, SVIRSKY, 2017). Frente a estas situaciones una regulación pública mucho más exigente que vele por la protección de la igualdad ante estos tratamientos privados parece exigible (COGLIANESE y LEHR, 2017: 1191-1205) 1. Regulación que ha de tener en cuenta, por lo demás, que los algoritmos también aportan nuevas posibilidades de lucha contra la desigualdad justamente por la mayor facilidad para rastrear las verdaderas razones de sus decisiones, identificar sus sesgos o controlarlos y evitarlos por medio de la programación adecuada (KLEINBERG, LUDWIG, MULLAINATHAN y SUNSTEIN, 2018: 154-163), pero que teniendo en cuenta estos elementos habrá de determinar cuándo y en qué casos los poderes públicos han de establecer obligaciones en este sentido que deban cumplir los agentes privados que los emplean –así como, en su caso, con mucho mayor sentido y, también, con mucha mayor exigencia, plasmando reglas estables sobre el uso de estos instrumentos por parte de los poderes públicos–.

Este estado de cosas no es satisfactorio porque, como hemos expuesto ya, la programación informática de respuestas del poder público frente a diversas situaciones, en cualquiera de sus modalidades, es una actividad estrictamente equivalente a su programación jurídica. Pautar con programas, algoritmos, en definitiva con un código de ceros y unos, cuáles son las condiciones y elementos que, tomados en cuenta de manera ordenada y sucesiva, determinarán unas consecuencias que van a afectar a la esfera de derechos y deberes de los ciudadanos, sean estas extraídas por medio de algoritmos y aplicando lógicas de programación más o menos complejas e inteligencia artificial que se declina y expresa por medio del código fuente o lo sean por medio de reglas y normas escritas a través de fórmulas y conceptos jurídicos que se expresan lingüísticamente y aplican deductivamente a partir de la clásica operación de subsunción hecha por los aplicadores, es materialmente lo mismo. Requiere, por esta razón, de una mismas reglas y garantías básicas y, en consecuencia, de una correcta traslación o, si se quiere, traducción, materialmente completa, de las garantías tradicionales respecto de estas últimas nos aportarán una regulación y encuadramiento satisfactorio de la actividad administrativa realizada por medio de algoritmos. Además, tiene toda la lógica del mundo exigirlo así, como veremos continuación.

3.  LA NECESARIA TRADUCCIÓN A LOS ALGORITMOS DEL MARCO JURÍDICO QUE DELIMITA Y LIMITA EL EMPLEO DE la potestad reglamentaria Y LAS GARANTÍAS QUE SE DEDUCEN DE ELLO

Frente a las insuficiencias de la respuesta legislativa española y europea, que desconocen la realidad materialmente normativa que despliegan los algoritmos y programas empleados por las Administraciones públicas, se hace precisa la debida traducción para estas herramientas del marco jurídico tradicional de nuestros reglamentos. Una “necesaria reconfiguración de los conceptos jurídicos al trasluz de las singularidades tecnológicas” (VALERO TORRIJOS, 2013: 193-194) que ha de ir mucho más allá de reconocer la publicidad del código fuente de los algoritmos y programas empleados para determinar o adoptar decisiones, que a día de hoy ni siquiera está garantizada, sino que tiene que ser mucho más ambiciosa y, garantizando también y en primer lugar esta cuestión (DE LA CUEVA, 2019; PONCE SOLÉ, 2019: 34) ir incluso más lejos y apurando todas y cada una de las consecuencias de reconocer ese carácter normativo a estos instrumentos. Empezando por el hecho de que preordenan y obligan también a la propia Administración pública una vez son aprobados, como garantía mínima de inderogabilidad singular que para evitar un uso arbitrario de los mismos (MELERO ALONSO, 2005: 339-340), debería establecerse también para los algoritmos al igual que lo hacemos con cualquier otra programación normativa del actuar de los poderes públicos (cfr., en un sentido no idéntico pero semejante, DALY, 2019: 16-19). Se trata de una operación jurídica que, una vez asumida esta identidad, no es, además, particularmente compleja, pero que tiene la ventaja de desplegarse de manera inmediata sobre muchos ámbitos –y sobre todos los relevantes hasta la fecha analizados y tratados por la doctrina–.

En efecto, no parece intelectualmente difícil realizar una traslación de las garantías tradicionales que hemos ido decantado y puliendo a lo largo de décadas para la mejor y más garantista aplicación de las normas reglamentarias. Todas y cada una de ellas, como se puede argumentar sin excesivas dificultades y trataremos de exponer a continuación brevemente respecto de las más esenciales, juegan un papel equivalente y aportan protecciones y garantías evidentes también en este nuevo entorno y frente al nuevo paradigma tecnológico. De alguna manera, esta fácil traslación, así como la lógica garantista que se deriva de forma natural de asumir su necesidad, son el mejor reflejo y plasmación de hasta qué punto estamos ante realidades –los reglamentos y su código jurídico tradicional; los algoritmos y el código fuente en que están escritos– equivalentes. Como veremos a continuación, todas y cada una de las garantías tradicionales de que gozan la programación previa de las evaluaciones de situaciones o determinación de consecuencias jurídicas que realiza la Administración y que afectan a ciudadanos concretos siguen teniendo todo el sentido cuando las trasladamos al nuevo contexto en que se mueve el Código 2.0. Tanto las que se refieren a la fase de elaboración y las reglas ya previstas y consolidadas en nuestro Derecho que tratan de asegurar que esta sea lo más adecuada y precisa –además de lo más permeada democráticamente que sea posible–; como las que tienen que ver con las medidas de control y de seguridad jurídica –seguridad jurídico-informática, en el nuevo paradigma–; y también las referidas, por último, a los medios y posibilidades más estrictos y directos de defensa y protección jurídica frente a una posible utilización de los algoritmos que afecte a un individuo concreto respecto de un actuación o situación específica.

3.1.  Garantías previstas para la elaboración de normas reglamentarias y su sentido en relación al Code 2.0: participación, publicidad, planificación normativa y evaluación ex ante y ex post de la programación de la actuación de la Administración pública hecha por medio de código fuente

Más allá de la vieja previsión de una necesaria aprobación administrativa de las herramientas tecnológicas empleadas por la Administración, contenida en la LRJAP-PAC de 1992 y desaparecida con la LAE de 2007, este tipo de control ex ante no solo ha de recuperarse sino incrementarse notablemente. Para ello, en coherencia con su carácter normativo, nada mejor que seguir las pautas previstas a día de hoy para la elaboración de reglamentos, que se ajustan a la perfección a las necesidades de mayor control que requieren los algoritmos empleados por la Administración para la adopción de decisiones.

La elaboración de normas reglamentarias ha de seguir en España un procedimiento muy determinado, normativamente previsto, que en España en la actualidad tenemos regulado, con carácter básico, en el nuevo Título VI añadido a la Ley de procedimiento administrativo común en la nueva versión de la misma aprobada por la Ley 39/2015 (SANTAMARÍA PASTOR, 2016; FERNÁNDEZ SALMERÓN, 2017; ARAGUÀS GALCERÀ, 2016; SIERRA RODRÍGUEZ, 2019). No es el momento de realizar un recorrido por la evolución de nuestro ordenamiento jurídico en esta materia, que es cierto que solo tardíamente ha acabado por acoger estos postulados con la suficiente ambición –y de momento únicamente en sede de principio en las normas reguladoras, pero sin que todavía no hayamos acabado de consolidar una práctica aplicativa totalmente consistente– y ello tras reiterados informes y recomendaciones de la OCDE críticos con la situación precedente (OCDE, 2010; GIMENO FERNÁNDEZ, 2018). Poco a poco, sin embargo, podemos considerar que se ha asumido plenamente la conveniencia de la introducción de mecanismos más exigentes tanto de participación como de evaluación normativa tanto ex ante como ex post (ARAGUÀS GALCERÀ, 2016: 54-60 y 75-77), de establecer una mejor planificación normativa y de incrementar la participación ciudadana efectiva en estos procedimientos, de una manera que esta vaya más allá de los tradicionales grupos de interés en la que descansaba en exceso y casi exclusivamente el modelo de participación precedente (MELERO ALONSO, 2004: 240-243; REBOLLO PUIG, 1988: 99-105). Para todo ello, como es sabido, es además a día de hoy muy habitual, casi ritual, ponderar positivamente la gran utilidad que a efectos de vehicular una mejor participación, más amplia, más porosa y demás calidad, tiene el empleo de medios electrónicos (ARROYO JIMÉNEZ, 2017; BOIX PALOP, 2017; GIMENO FERNÁNDEZ, 2018). Lo cual, si bien tiene un elemento tópico, no deja de ser cierto y, a la vez, ilustrar sobre las posibilidades que los actuales medios tecnológicos aportan para incrementar y mejorar esta participación. Resulta llamativo que, en justa correspondencia, no se entienda necesario aplicar estas mismas posibilidades a los procesos de identificación y decantación de cuáles sean los mejores y más adecuados códigos y programaciones algorítmicas cuando estas han de preconformar la decisión de la Administración.

Es un lugar común afirmar que todas estas medidas buscan la mejora de la calidad normativa esencialmente desde dos vectores diferentes que, si bien en ocasiones pueden convivir en cierta tensión, en este caso se coordinan de manera bastante armónica: la pretensión de mejora por medio de una mejor programación tecnocrática, de una parte, que llevaría a mejores resultados gracias a la existencia de una mejor evaluación y conocimiento por parte de los expertos de cuáles sean las necesidades de regulación; y por otra la búsqueda de mejores resultados normativos a partir de su control democrático desde sus orígenes, permitiendo a la ciudadanía un temprano escrutinio de los proyectos de norma y la participación en los mismos, lo que a su vez aporta un gran valor añadido respecto de la mejor identificación de los objetivos y finalidades que ha de perseguir la regulación (MUÑOZ MACHADO, 2006: 968-970; ARAGUÀS GALCERÀ, 2016: 250-252). Estas dos dimensiones, como se ha dicho, en ocasiones pueden aparecer como conflictivas, pero en materia de calidad normativa se alinean perfectamente y las modernas exigencias, en línea de lo ya establecido y testado en otros países, tratan de extraer el máximo partido a ambas. Respecto de ambas, por lo demás, la aplicación de estas exactas finalidades a la aprobación de algoritmos empleables por la Administración se traslada miméticamente sin ningún problema.

En efecto, desde un plano más técnico y experto, las previsiones sobre planificación normativa, las crecientes exigencias sobre una evaluación ex ante que identifique con precisión lo que se pretenden conseguir y las medidas más adecuadas para ello por medio de un estudio experto y riguroso, así como la obligación de revisar a posteriori si efectivamente los objetivos se han cumplido o no y si las medidas adoptadas se han verificado como efectivamente idóneas, no son sino instrumentos de mejora que obligan a ordenar y hacer de más calidad y más eficaz el trabajo experto de las burocracias administrativas implicadas en la creación, aplicación y mejora de las normas. Por su parte, las medidas de fomento de la participación ciudadana en el proceso, especialmente desde el momento en que se busca activamente que vaya más allá de los grupos de interés al uso que conformaban el tradicional proceso de información pública en España, buscan una mayor porosidad democrática en todas las fases del proceso, desde la identificación inicial delos objetivos regulatorios a la posibilidad de participación haciendo alegaciones o críticas al borrador de regulación, para pulir errores y mejorar la orientación global de los proyectos.

Así, respecto del análisis puramente técnico, más propio de las funciones que realizan las estructuras administrativas y burocráticas, no es complicado argumentar que en un entorno tan novedoso, de tanta incertidumbre, y donde además hemos convenido que hay que aplicar una suerte de principio de precaución a la normación algorítmica –por lo demás consecuencia de un mandato constitucional ex art. 18.4 CE–, tanto la planificación muy cuidada como la evaluación ex ante y ex post precisas y exigentes son si cabe más necesarias (CANALS AMETLLER, 2019). Todos y cada uno de los argumentos reiterados hasta la saciedad sobre las ventajas de esta planificación, transparencia y evaluación normativas se pueden, pues, reiterar aquí con mayor motivo en relación con los algoritmos. Las posibilidades efectivas de transparencia y fiscalización algorítmica, de hecho, están vinculadas con el propio principio democrático cuando es por medio de estas herramientas como se programa la actuación de los poderes públicos (BINNS, 2017), el control de los parámetros a partir de los cuales actúan no es sino la clave que determina una transparencia satisfactoria y propia de una democracia avanzada (BOVENS, SCHILLEMANS y HART, 2008: 230-234; CASTELLANOS CLARAMUNT, 2019). Recuérdese, además, que esta es también la razón por la que el software libre y los códigos fuente open access tienen un especial predicamento en el sector de la informática en todos los estadios iniciales de desarrollo de nuevas herramientas tecnológicas como métodos participativos que incentivan la colaboración y puesta en común para minimizar errores y evitar, en entornos poco testados, errores o fallos de importancia (LESSIG, 2006: 151-153).

Esta idea, además, conduce a otras conclusiones relevantes. Por ejemplo, si esta planificación y control cuidado sobre la producción normativa 2.0 es en efecto tanto o más importante (CANALS AMETLLER, 2019), ello debería llevar también a predicar asimismo la conveniencia de un control público mucho más directo sobre esta producción (LESSIG, 2006: 327-329). Lo que no quiere decir que no se pueda recurrir a ayuda o asesoramiento externos, pero sí que el control y la decisión final sobre el producto normativo último ha de ser en todo caso público, igual que todo el proceso ha de ser públicamente evaluado y no meramente auditado de forma privada.

Del mismo modo, parece evidente que en estos entornos novedosos y en los que las experiencias que estamos desarrollando en no pocos casos son las primeras o incluso pruebas piloto, la evaluación ex post de las diversas experiencias será absolutamente esencial, incluso mucho más que en otros entornos. Y también para ello el control y toda la información sobre los resultados obtenidos y efectos producidos conviene que sean públicos y publicables.

En definitiva, las reglas tradicionales ya plenamente asentadas en nuestro Derecho en torno a las exigencias de calidad normativa de los reglamentos, parece no solo muy conveniente que sean plenamente aplicables también respecto de los algoritmos que vayan a emplear los poderes públicos para tomar decisiones, sino que, incluso, puede argumentarse que respecto de estos es, si cabe más importante, que se respeten y extremen estas cautelas.

Idénticas reflexiones, y asimismo una muy fácil traslación de la lógica que justifica su importancia, merece la esencial participación ciudadana en estos procesos, sin que haya diferencias relevantes entre que esta opere para la mejora y control de una programación normativa de la acción tradicional de la Administración por medio de un reglamento, o que se refiera a participar respecto de cómo han de actuar los algoritmos empleados para esta misma función. Junto al carácter esencial como elemento clave para el control y la mejora de todo proceso de participación normativa, o las consideraciones relativas al principio democrático, que no tiene sentido reiterar pero que es evidente que también aparecen aquí, hay una cuestión adicional que se da específicamente en estos casos y que resulta de una especial trascendencia para la programación normativa de tipo algorítmico: la importancia diferencial de establecer correctamente las finalidades y objetivos que queremos que asegure la programación, el código fuente, que vamos a emplear.

Si recordamos, de hecho, los principios de la conferencia de Asilomar ya comentados, aparece una constante respecto de estos procesos que se repite y que se considera sistemáticamente como particularmente esencial en toda programación de este tipo: la radical importancia, tanto más cuanto más compleja sea la programación y más indeterminada la solución, o mayor el ámbito de incertidumbre –y muy especialmente en todos los procesos donde hay elementos de machine learning implicados en la programación y funcionamiento del algoritmo o se vayan a producir fenómenos de black box–, de la identificación de los concretos valores en los que se basa la intervención normativa y de los objetivos últimos que se pretenden con ella. Esta intervención, de orientación finalística y respecto de la que los valores de base de la regulación se hacen si cabe más importantes, es difícil negar hasta qué punto resulta básico que esté lo más permeada posible democráticamente. En efecto, si la función de los mecanismos de participación en estos procesos es contrapesar y mejorar la estricta evaluación técnica de corte burocrático con una relegitimación democrática en todos los casos, en un contexto como el de la programación algorítmica esta función es si cabe más importante. Tanto más cuanto la incertidumbre sea mayor, los posibles efectos de “caja negra” también más importantes y, por ello, la necesidad de que la definición de esos objetivos finales más clara y más democráticamente legitimada.

Como puede verse, no resulta difícil, pues, argumentar que todas y cada una de las razones por las que nos hemos ido dotando de un cada vez más exigente proceso de elaboración de normas reglamentarias concurren también, de manera incluso más intensa –por la referida situación de incertidumbre inicial en que estamos y la inexistencia de soluciones técnicas ya claramente asentadas, de una parte; y la importancia crucial de la identificación correcta de los objetivos con los que programar las inteligencias artificiales más avanzadas– respecto de los algoritmos. Contrasta esta constatación con una regulación vigente –art. 41.2 LRJSP y art. 22 RGPD– que en cambio no prestan demasiada atención a esta dimensión ni, por supuesto, establecen obligaciones positivas en este sentido.

No entender que algoritmos y programas son a todos los efectos materiales normas jurídicas cuando actúan materialmente como tales tiene pues efectos muy negativos respecto de este campo y permite que se consientan y asuman la aplicación de las medidas de mínimos ex art. 41.2 LRJSP y art. 22 RGPD, con diversa ambición e intensidad, de manera muy poco ordenada, en ocasiones no suficientemente reflexionada o evaluada y en nada fiscalizada a partir de los procedimientos pautados y preestablecidos de evaluación normativa al uso. El recurso a la compra de algoritmos privados o, directamente, a su utilización sin que la Administración pública responsable sea siquiera la propietaria del código fuente, no hace sino agravar este problema. Todos ellos muy fácilmente resolubles si se asumiera, sencillamente, que en estos casos hay que tratar jurídicamente a la programación 2.0 como a la programación normativa tradicional y aplicarle exactamente las mismas exigencias.

3.2.  Garantías de control y seguridad jurídico-informática: sobre la necesidad de un acceso público total y en todo momento al código fuente, tal y como ocurre con cualquier reglamento

Un segundo elemento de garantía asociado a las normas reglamentarias es la exigencia de que, como cualquier norma jurídica, y por razones de seguridad jurídica evidente, estén publicadas íntegramente (MUÑOZ MACHADO, 2006: 857; MELERO ALONSO, 2005: 393-396). Solo si los ciudadanos pueden saber exactamente en todo momento qué normas y reglas les son aplicables, y a partir de qué programación normativa se les va a exigir que adecúen su conducta en un sentido u otro, es legítimo poder extraer consecuencias jurídicas de los incumplimientos o permitir una acción coactiva a los poderes públicos con base en estas normas. Por esta razón las exigencias con la finalidad de garantizar la seguridad jurídica de las normas aplicables son cada día mayores en nuestros ordenamientos y se trasladan a un mucho mayor escrutinio de las normas reglamentarias, que también se tiene crecientemente en cuenta a la hora de juzgar su validez o invalidez (DOMÉNECH PASCUAL, 2002: 222-223; MELERO ALONSO, 2005: 339-340).

Esta vertiente del problema que venimos analizando es la que hasta la fecha más está poniendo de manifiesto la radical incompatibilidad entre la aproximación práctica que están llevando a cabo las administraciones públicas, y no solo en España, y las necesidades que se derivarían de manera inevitable y clara de una asunción siquiera fuera de mínimos del carácter normativo de ciertos algoritmos. Baste considerar, por ejemplo, la extremada tibieza de los instrumentos normativos, del europeo RGDP a la decantación final de las reglas al respecto en la española LRJSP, o de las resoluciones judiciales en esta materia, que tienen por denominador común, al menos hasta la fecha, considerar aceptable la no publicación del código fuente por una serie de razones –garantía del secreto empresarial o de la propiedad intelectual, consideración de la innecesariedad o carácter superfluo de la exigencia…– más que cuestionables en Derecho y que ha sido objeto de muchísimas críticas doctrinales, especialmente frente a decisiones judiciales que han llevado al extremo la protección del código frente al escrutinio público aduciendo razones de propiedad intelectual, incluso respecto de algoritmos empleados para la evaluación de las probabilidades de reincidencia tenidos en cuenta para la determinación de penas o medidas de seguridad (así, en los Estados Unidos, esta fue la ratio decidendi de la negativa final a entregar el código fuente a los investigadores y defensas que deseaban acceder al mismo para analizar posibles sesgos en el sistema de medición de la prohibición de un software propietario empleado por muchos sistemas de justicia de los Estados Unidos como herramienta de ayuda para los jueces a la hora de determinar y concretar penas o medidas de seguridad en el muy conocido, por haber sido el primero de esta resonancia y además afectar a un elemento tan sensible de nuestros sistemas jurídicos como es la protección del individuo frente a la acción penal del Estado, caso Loomis, fallado por la corte suprema de Wisconsin y cuya decisión no fue revisada por la Corte Suprema de los Estados Unidos: MARTÍNEZ GARAY y MONTES SUAY, 2018;
DE MIGUEL BERIAIN, 2018; MARTÍNEZ GARAY, 2018).

La protección de la propiedad intelectual, de hecho, se haya entre algunas de las razones que habitualmente se dan en la jurisprudencia de diversos países (COTINO, 2019a: 36), y también, en España, lo que se inscribe en la lógica propia de aplicar a estos casos la Ley de transparencia –cuyo art. 14 sí permite la excepción por estas razones en lugar de la obligación de publicación propia de cualquier norma jurídica y de cualquier reglamento hoy explicitada en el art. 131 LPAC–. Más allá del análisis detallado de estos casos, que no tiene sentido realizar ahora, queda claro que las razones que se dan para no publicar los algoritmos son francamente insuficientes a juicio de la mayoría de la doctrina (COGLIANESE y LEHR, 2017: 1209-1213; DE LA CUEVA, 2018; MARTÍNEZ GARAY, 2018: 497-499; DE MIGUEL BERIAIN, 2018; NIEVA FENOLL, 2018: 140-143; DALY, 2019: 18-19). En el fondo, la razón esencial por la que no se están publicando los códigos fuente de los algoritmos, y la evolución legislativa que ampara que así sea, tienen que ver más con consideraciones de posibilismo que con un análisis jurídico riguroso y plantea numerosos problemas (LESSIG, 2006: 180-190). Se estima, simplemente, y al margen de que haya o no según los casos por parte de los poderes públicos una voluntad de ocultación del código, que no es realista, asumible o conveniente extremar las exigencias hasta este punto. Que no hace falta para proteger suficientemente los derechos de los ciudadanos y por ello no es conveniente establecer una obligación tal, que generaría costes que dificultarían y encarecerían la adopción de estas tecnologías. Y ello porque el mayor coste de desarrollar de manera autónoma este tipo de programaciones o de adquirirlas en el mercado no con una mera licencia de uso sino con una adquisición del programa están fuera de toda duda.

Otra de las razones habitualmente invocadas para justificar la innecesariedad de publicación del código es, en efecto, que estos programas y algoritmos no son sino un apoyo o ayuda a la toma de decisión final, que en la práctica sigue competiendo al humano –sea ello cierto materialmente o no– y que, por ello, siguen sin ser estrictamente reglamentos. Como ya hemos señalado, son conocidas algunas decisiones ya adoptadas en Estados Unidos en esta línea, que de nuevo aparece en la controvertida solución dada al ya comentado caso Loomis, pues la mayoría que niega acceso al código fuente emplea parcialmente este argumento (MARTÍNEZ GARAY, 2018: 491-492), en una jurisprudencia tan criticada doctrinalmente como asumida en la práctica y aceptada por el resto de Estados. Como señala certeramente el voto particular del caso Loomis, esta doctrina es muy insatisfactoria por muchas razones, la menor de las cuales no es que en la práctica cada vez es cierto en más ámbitos, y lo será en el futuro en muchos más, que las decisiones son materialmente tomadas por los algoritmos y la programación basada en el código fuente aprobado (ROMEO CASABONA, 2018: 39-55). Tarde o temprano será pues necesario modificar una jurisprudencia anclada en una asunción formal tan endeble y crecientemente desconectada de la práctica real.

En ocasiones, adicionalmente, se argumenta también que la publicación del código fuente en su totalidad no aporta valor añadido y no resolvería el problema por su complejidad (ANANNY y CRAWFORD, 2018: 983-985; ZERILLI, KNOTT, MACLAURIN y GAVAGHAN, 2018) e incluso puede plantear más conflictos e inconvenientes que beneficios (DE LAAT, 2017). Así, con proporcionar los criterios que señala el art. 41.2 LRJSP o las orientaciones básicas sobre la “lógica seguida” por la programación de la que habla el RGPD sería más que suficiente, siendo todo detalle o información adicional superfluo dada la complejidad del código fuente y su contenido técnico, que no aportaría nada adicional, se nos dice, a efectos de control. Es este un argumento, no obstante, también profundamente insatisfactorio, por cuanto si tan irrelevante e intrascendente es el código fuente en sí mismo, razón de más para entender que no debería haber problema en proporcionarlo en su integridad, por un lado. Mientras que, por otro, la complejidad del código, por lo demás, no es excusa, ni lo ha sido nunca, para justificar su no publicación. Las normas jurídicas tradicionales son también, o pueden serlo en demasiadas ocasiones, muy opacas para los no especialistas, pero ello no es razón para que no se publiquen sino, antes al contrario, una situación que hace si cabe más necesaria la total transparencia, como medio de garantizar que al menos puedan estar a disposición potencial de cualquier posible especialista en la materia que pueda existir en el mundo con capacidad para entender y comprender tanto el contenido de la programación normativa como sus implicaciones, así como detectar posibles errores en la misma.

Incluso, hay quien ha señalado precedentes, como la normalización industrial, de normas que nuestro Derecho ha aceptado que no se publiquen en su integridad –o, más bien, de ejemplos de normas privadas y de pago, en su caso–, pero conviene recordar que en estos supuestos, la solución de nuestro Derecho ha sido ya decantada, lógicamente, en el sentido de que si estas normas las asume el Estado y las impone coactivamente como normas técnicas que van más allá de la voluntad privada de incorporarse a una estructura de normalización, en tal caso, la publicación completa de la norma sí resulta siempre inexcusable (BAÑO LEÓN, 1991: 211-216; ÁLVAREZ GARCÍA, 2005: 1672-1675). Pretender que en el supuesto que nos ocupa se aplique un criterio diferente no tiene, pues, ningún sentido jurídico.

Las regulaciones europea y española vigentes, de momento, se orientan claramente en esta línea restrictiva, como ya hemos podido constatar. Por un lado, no se reconoce carácter normativo a los algoritmos, de manera que su posible publicación pasa únicamente por las normas de transparencia, que permiten las excepciones reseñadas, o a partir de los requisitos en materia de protección de datos que obligan a informar, al menos, de la lógica empleada. A partir de ahí, se pretende, al menos, mejorar por vías indirectas el control y las posibilidades de control y fiscalización, pero se trata de residenciarlo en expertos, habitualmente de la mano de las consideraciones de que respecto de estas herramientas solo un conocimiento experto puede operar este control eficazmente (ANANNY y CRAWFORD, 2018: 987), aplicando las consideraciones que ya se van decantando sobre ética algorítmica (COTINO HUESO, 2019b), En esta misma línea se incluyen los recientes principios regulatorios del Parlamento Europeo en la materia, también muy poco combativos en este sentido y que se inscriben entre quienes proponen como soluciones adecuadas, antes que una transparencia total equivalente a la de las normas jurídicas, unos mecanismos complejos y muy profesionales de revisión experta y auditoría pública (VELASCO RICO, 2019: 20-23), con posibilidad incluso de crear una suerte de administración independiente encargada de velar por la corrección de los algoritmos empleados (TUTT, 2017; HOFFMANN-RIEM: 2018: 155-156) y cierta tendencia a considerar que el acceso a los códigos fuentes ha de quedar restringido a los poderes públicos, en su caso (DE LAAT, 2017). Una solución, de nuevo, que si bien podría ser atendible para el control público del empleo de algoritmos por parte de agentes privados, e incluso podría suponer una clara mejora respecto de la actual regulación basada únicamente en la aplicación de normas de transparencia y protección de datos, es manifiestamente insuficiente respecto de los algoritmos empleados por los poderes públicos.

Esta insatisfactoria situación es la que permite que a día de hoy no ya es que no se consideren reglamentos a los algoritmos que materialmente hacen estas mismas funciones, sino que ni siquiera se ha logrado consolidar en el Derecho europeo que al menos la publicación del código ha de ser siempre exigible en estos casos (VEALE y BRASS, 2019: 134-136). En España, como hemos visto, la regulación legal provoca que se siga avalando a día de hoy la posibilidad de no publicación de los algoritmos que aplica la Administración a los ciudadanos en cuanto, por ejemplo, aparezcan razones relacionadas con la propiedad intelectual del código –caso Civio ya comentado– y por muchas otras razones –el algoritmo VioGén 2 de alerta en casos de violencia de género tampoco se entiende que se pueda difundir por concurrir otra excepción de las posibles en la Ley de transparencia, relativo a la necesidad de no dar datos que puedan poner en riesgo de la averiguación o persecución de delitos o incluso de faltas administrativas–, que pueden ser tantas como la imaginación del aplicador requiera para justificar la necesidad puntual de la opacidad amparándose en razones de eficacia (ZARSKY, 2016). En definitiva, actuar a partir únicamente de exigencias derivadas de las normas de transparencia resulta francamente insuficiente (CERRILLO I MARTÍNEZ, 2019B: 18-22; MARTÍNEZ MARTÍNEZ, 2019: 74-75) y nos conduce a una situación que jurídicamente no puede sino considerarse como insatisfactoria. Algo que, sencillamente, se superaría solo con asumir que estos actúan materialmente como reglamentos en esos casos y que, por ello, como tales han de ser tratados también a estos efectos. Una idea, eso sí, que poco a poco comienza a abrirse paso en el mundo académico de los países con una tradición más apegada a las garantías propias del modelo continental y que ya empieza a deslizarse en algunas decisiones de órganos de control (por ejemplo, el Consejo de Estado italiano, en sus Decisiones 2270/2019, 8472/2019 y 30/2020 parece ir por esta línea; sobre el caso alemán y el control por administraciones independientes, HOFFMANN-RIEM: 2018: 155-157).

En el fondo, y como ya se ha señalado, las razones para aceptar este estado de cosas –situación en la que, de momento, sorprendentemente, nos encontramos–, como ya se ha dicho, son ajenas al Derecho y a su lógica. No tienen tanto que ver con razones jurídicas sino económicas, por un lado; o, por el otro, son directa consecuencia de la referida pérdida por parte del sector público de casi todo control sobre la innovación, que cada vez más es responsabilidad del sector privado. Ello hace que el coste de aplicar estas exigencias sea sensiblemente mayor que el de no aplicarlas, y que las Administraciones públicas prefieran operar de esta manera, en grave quiebra de las instituciones y garantías jurídicas más básicas y claves de nuestro sistema, simplemente porque no quieren asumir el retraso respecto de las posibilidades tecnológicas más avanzadas, o el mayor coste que supondría tener que pagar por la propiedad del programa y no solo por una licencia de uso, comparado con la aceptación, contra toda evidencia jurídica, de que la publicación completa no es tan necesaria.

Frente a esta situación, ha de ser señalado que las garantías jurídicas no son necesariamente baratas. Es más, no lo han sido nunca. Ni las que aquí se proponen, ni las tradicionales. Y es preciso recordar también que, aun costosas, su no respeto suele conllevar también costes considerables a medio y largo plazo. La garantía jurídica de la efectiva posibilidad de revisión de los códigos fuentes en su integridad por parte de cualquier ciudadano es esencial para permitir un escrutinio por parte no solo de los individuos implicados, sino también de terceros, permitiendo potencialmente una fiscalización realizada por cualquier persona –y también por cualquier experto– y constituye un elemento vital para poder tener una efectiva y completa comprensión del funcionamiento de los algoritmos empleados por los poderes públicos (HOFFMANN-RIEM: 2018: 148-151; YEUNG, 2019: 28-29). Solo así podemos aspirar a una fiscalización suficientemente exigente como para poder estar seguros de que ponemos a nuestra disposición todas las posibilidades que permitan desentrañar cómo funcionan exactamente los programas aplicados por los poderes públicos y para detectar, identificar o denunciar posibles errores entre los valores y finalidades perseguidos por los mismos o la realidad de la ejecución del programa y si se ajusta a aquellos, sesgos estadísticos o probabilísticos indeseados introducidos por el programa, posibles discriminaciones o, sencillamente, simples errores.

De hecho, el coste social de no permitir este examen es probablemente mucho mayor que el de asumir cierto retraso a medida que la Administración se adapta tecnológicamente con más lentitud por hacerlo respetando estas reglas tradicionales, dados los potenciales efectos perniciosos de los algoritmos, ya muy estudiados, en múltiples esferas de la misma. Máxime si damos valor, como hacen nuestros ordenamientos, a principios como el de precaución y a las garantías de los ciudadanos, incluyendo la igualdad ante la ley. Desde este punto de vista, de nuevo, se puede señalar que esta garantía tradicional no solo es que sea necesario que se aplique enteramente también a los algoritmos, sino que es particularmente importante que así sea por los efectos especialmente graves para minorías y determinadas personas de que se opere solo una publicación parcial de sus criterios como la que actualmente se acepta. Para todo ello, resulta de nuevo muy conveniente jurídicamente asumir que estos algoritmos, estas programaciones informáticas, actúan y operan, sencillamente, como reglamentos y que como tales han de ser tratados, siendo publicados en su totalidad. La mejor manera de lograrlo, de nuevo, pasa por el expediente jurídico, relativamente sencillo, de asumir su naturaleza normativa y reglamentaria.

Esta conclusión es coherente con el espíritu que late en trabajos como el de Julián Valero (2016) cuando reclama con toda la razón “un derecho por parte de los ciudadanos a obtener toda aquella información que permita la identificación de los medios y aplicaciones utilizadas, del órgano bajo cuyo control permanezca el funcionamiento de la aplicación o el sistema de información; debiendo incluir, asimismo, en su objeto no solo el conocimiento del resultado de la aplicación o sistema informático que le afecte específicamente a su círculo de intereses sino, además y sobre todo, el origen de los datos empleados y la naturaleza y el alcance del tratamiento realizado, es decir, cómo el funcionamiento de aquellos puede dar lugar a un determinado resultado” o con los de quienes han reclamado asumir plenamente el valor normativo de los reglamentos a efectos de garantizar la completa publicidad del código (DE LA CUEVA, 2018; PONCE SOLÉ, 2019: 34). Se trata, muy probablemente, del aspecto de los tratados sobre el que será más sencillo encontrar un acuerdo por mucho que no sea esta conclusión, todavía, la que ha adoptado el muy insatisfactorio e insuficiente marco jurídico vigente. Y, también, incluso aunque en materia algorítmica la transparencia en sí misma propia de un reglamento no sea por sí misma suficiente sino que hubiera de ir acompañada de mecanismos adicionales de fiscalización pública o algorithm tinkering (FREEMAN, 2018: 100-15; PEREL y ELKIN-KOREN, 2017) dada la enorme complejidad y los retos que implica la transparencia algorítmica y la existencia de dificultades ciertas de completa comprensión de los mismos por inteligencias meramente humanas (SCANTAMBURLO, CHARLESWORTH y CRISTINIANI, 2019: 72-73).

Sin embargo, la consideración de los algoritmos como reglamentos tiene la ventaja, como ya se ha dicho, de permitir ir bastante más allá de esta única cuestión –aunque dejándola también zanjada–. Lo cual es importante porque si bien el conocimiento exacto, concreto y detallado de cualquier programación, de los concretos algoritmos empleados bien para adoptar decisiones, bien como herramientas de ayuda a la toma de las mismas, es absolutamente esencial, en el fondo también lo es, a poco que reflexionemos sobre ello, poder desarrollar adecuadamente respecto de ellos la tercera de las garantías tradicionales ligadas a las normas reglamentarias: el derecho a recurrir no solo cualquier decisión basada en los programas en cuestión por no cumplir con las reglas vigentes y ser un resultado contrario a Derecho sino el de poder también, tanto de manera directa y abstracta como de forma indirecta al hilo de un ejemplo de aplicación lesiva del mismo, realizar un recurso directo de la programación normativa –reglamento– en que se base una decisión particular, que en la traducción de estas garantías que venimos realizando se concretaría en la posibilidad de atacar la programación informática del programa o algoritmo específico que estemos empleando (DALY, 2019: 18-21).

3.3.  Reconocimiento de las posibilidades de defensa y recurso, tanto respecto del acto aplicativo derivado del empleo del algoritmo como de impugnación del algoritmo en sí y de las bases de la programación, ya sea en abstracto –recurso directo–, ya como consecuencia de su aplicación concreta –recurso indirecto–.

Como es sabido, una garantía jurídica común en los ordenamientos jurídicos de nuestro entorno, que en España también permite nuestra ley de la jurisdicción contencioso-administrativa, es la posibilidad de recurso directo o indirecto contra reglamentos, a fin de verificar que se adecúan a la ley y a los valores que esta vehicula no solo en un sentido general y abstracto sino también respecto de su aplicación concreta (MUÑOZ MACHADO, 2006: 1299-1312; MELERO ALONSO, 2005: 422-427). Esta garantía tiene todo el sentido que se pueda establecer también para los programas y algoritmos que realizan funciones materialmente normativas, y no habría ningún problema en que así fuera si, sencillamente, como venimos sosteniendo, estos fueran reconocidos materialmente como reglamentos. Tampoco sería, además, difícil de instrumentar procedimental o procesalmente, a diferencia de lo que ocurriría si tuviéramos que idear un régimen de control y garantías diferente derivado de la previsión del art. 41.2 LRJSP –que, por lo demás, a día de hoy nadie tiene muy claro si puede suponer o no, aunque parece más bien que no, una impugnación del algoritmo o programa empleado en sí mismo, dando la sensación de que solo es posible atacar sus actos de aplicación–.

Las ventajas de permitir este tipo de controles son evidentes e inmediatas. Con muy poco esfuerzo de innovación jurídica, simplemente trasladando el marco jurídico de que ya disponemos para los reglamentos, nos dotaríamos de en un instrumento de control ex post diversificado y desconcentrado que permitiría fiscalizar si la concreta programación con la que actúa la Administración, al igual que ocurre con los reglamentos y los recursos indirectos en la actualidad, es ajustada a Derecho y cumple o no en la práctica con los objetivos y finalidades que jurídica y constitucionalmente se les supraordenan. Además, el empleo de esta posibilidad permite detectar y corregir aquellos errores que se van poniendo de manifiesto con la práctica aplicativa de manera más rápida y eficaz, expurgando del ordenamiento jurídico a aquellos que se verifique en la práctica que no cumplen con los estándares exigidos. Un generoso entendimiento respecto de los algoritmos de estas mismas posibilidades supondría, sin duda, poder disponer de una herramienta muy necesario de nomofilaxis respecto del código 2.0 a la que no tiene sentido renunciar. Y, de nuevo, basta con asumir que estamos ante reglamentos para que se permita acudir a estos instrumentos jurídicos de control tan necesarios.

4.  CONCLUSIÓN PROVISIONAL Y REFUTACIÓN DE ALGUNAS CRÍTICAS HABITUALES

La posición defendida en este trabajo considera, y ha tratado de argumentar, no solo que los algoritmos o programas informáticos empleados por la Administración pública para la adopción de decisiones son reglamentos, sino que además es absolutamente lógico, y sus efectos muy positivos, que las garantías tradicionales –todas ellas– que nuestro ordenamiento establece para las normas reglamentarias se trasladen a estos otros instrumentos de programación de la actuación pública. Nos referimos, como es obvio, no a cualquier programa informático, que en ocasiones pueden ser meramente instrumentales –ya hemos explicado que también una calculadora a un procesador de textos empleados ambos para ayudar a tomar y plasmar una decisión administrativa son programas que funcionan a partir de unos algoritmos determinados–, sino a los que son empleados para adoptar decisiones administrativas o que son apoyo esencial de las mismas, bien a la hora de evaluar las circunstancias concurrentes –decantación del supuesto de hecho (RODRÍGUEZ DE SANTIAGO, 2016: 35-38)–, bien a la hora de aportar valoraciones o elementos de juicio sobre cuál pueda ser la mejor y más apropiada medida a adoptar –consecuencias jurídicas– (RODRÍGUEZ DE SANTIAGO, 2016: 63-67). Es en estos casos cuando esta programación informática ha de ser considerada norma reglamentaria, pues tal es su función material, estrictamente equivalente a la programación jurídica en la que en muchos casos se integra o a la que, en otros muchos, poco a poco, aspira a sustituir.

En consecuencia, y si son reglamentos, estos algoritmos han de ser revestidos de las mismas garantías jurídicas de que hemos dotado al ejercicio de la potestad reglamentaria. Ello no significa, como es obvio, que las tradicionales reglas y garantías no hayan de necesitar en ocasiones alguna adaptación o reelaboración respecto de cómo se articulan en concreto, pero esta habrá de hacerse siempre con la vocación de conservar su orientación material y el equilibrio resultante, en el sentido del viejo esquema de incorporación de novedades tecnológicas a la actuación administrativa previsto por la legislación de procedimiento de 1992 (LRJAP-PAC) de permitir el uso de estas herramientas siempre y cuando se empleen de una forma materialmente respetuosa con los derechos y garantías de los ciudadanos. Así, puede ocurrir que, a veces, la traducción al nuevo lenguaje, la adaptación al nuevo entorno tecnológico y a las realidades sociales y económicos generadas a partir del mismo, requiera de alguna leve modulación. Como es evidente, nada se opone en buena lógica, y tampoco en Derecho, a actuar de este modo. Sin embargo, la necesidad de proceder a estas adaptaciones se está mostrando por el momento como sorprendentemente excepcional. Al menos, las modulaciones que se atisban a día de hoy como imprescindibles para poder aplicar este criterio jurídico de forma operativa son, de momento y en el actual contexto tecnológico, llamativamente escasas. Planteado de forma lisa y clara: sería perfectamente posible, a día de hoy, establecer directamente en nuestra Ley de procedimiento administrativo que los algoritmos y programas empleados para adoptar decisiones administrativas o que influyen en ellas, bien en la identificación del supuesto de hecho, bien en la determinación de las consecuencias jurídicas, son normas reglamentarias y que como tal han de ser tratadas a todos los efectos y la transformación sería posible de la noche al día sin modificaciones mayores de nuestro ordenamiento jurídico –aunque obligaría, como es evidente, a ciertos cambios organizativos y al despliegue de nuevas unidades, así como a realizar algunos gastos en tecnología, nada de ello tiene que ver con el esquema de funcionamiento estructural de nuestro Derecho administrativo–. Ninguna dificultad conceptual o estructural se opone, en definitiva, a la adopción de la medida. Una medida, además, cuyas consecuencias en términos de una mejor protección de las garantías y derechos de los ciudadanos serían muy positivas, inmediatas y considerables.

Frente a esta conclusión, bastante evidente, se suelen oponer razones de tipo conceptual que afirman que los reglamentos y los algoritmos son cosas en el fondo distintas y que su naturaleza jurídica ha de ser declinada, por ello, de forma diferenciada. Creo haber dejado ya bastante claro que esta visión no se compadece con la realidad de las funciones materiales que cumplen unos y otros, por lo que no merece la pena prestar más atención a esta cuestión, ya zanjada.

Quizás sí sea necesario, en cambio, acabar esta reflexión dando cuenta brevemente de otro tipo de objeciones relativamente frecuentes a la posición aquí defendida que conduce a equiparar jurídicamente los algoritmos empleados por la Administración con los reglamentos. Objeciones de tipo práctico u operacional que podemos listar en tres contraargumentos esenciales que, en mi opinión, son todos ellos fácilmente rebatibles.

La primera de las críticas tiene que ver con consideraciones económicas y de oportunidad y ya nos hemos referido a ella a lo largo de estas reflexiones. En este sentido, es habitual apelar al coste, que se estima sería elevadísimo, que supondría para las Administraciones públicas la adopción de un criterio como el aquí defendido como razón que en sí misma obligaría a desestimarlo. Y, en efecto, el coste de uso de cualquier licencia de uso es siempre mucho menor al coste de compra del algoritmo o el que puede derivarse de su diseño por la propia administración. Sin embargo, un criterio como el meramente económico no es, a mi juicio, suficiente como para desestimar los argumentos proporcionados. En primer lugar, porque en el fondo no se refiere a la esencia de la cuestión ni niega las conclusiones aquí defendidas sino que, simplemente, aun aceptándolas, considera que “no nos podemos permitir” en el nuevo contexto tecnológico el nivel de garantías que nuestro Derecho había establecido como necesario respecto del paradigma tecnológico anterior. Lo cual, la verdad, no resulta muy satisfactorio.

Además, y del mismo modo que hay un trade-off entre una mejor protección y garantía de nuestros derechos y la posibilidad de disfrutar a un mejor precio de la tecnología más avanzada en esta y otras materias, es discutible que el punto óptimo de equilibrio sea el que nos permita disfrutar siempre de esta aun a costa de aquellos. Se trata de una cuestión, en el fondo, valorativa y de preferencias sociales y hay razones para defender que son mucho más importantes los derechos y garantías que el empleo inmediato de la tecnología más avanzada. Un indicio de ello, sin ir más lejos, pasa por señalar una evidencia difícil de cuestionar: no parece que la mayor parte de los algoritmos empleados a día de hoy por las Administraciones públicas sean precisamente ejemplos de tecnología tan cara y avanzada como para resultar inasumible económicamente la compra del programa o, en su defecto, un desarrollo realizado por los propios poderes públicos.

Paradójicamente, y es este el segundo argumento más común para criticar la conveniencia o necesidad de aplicar a los algoritmos las garantías jurídicas habitualmente asociadas a las normas reglamentarias en nuestro Derecho, como hemos visto hay quien directamente cuestiona la necesidad del conocimiento completo y total del código fuente o de toda la programación que pueda emplear la Administración alegando que su carácter técnicamente complejo y la dificultad enorme que para cualquier persona normal supone su comprensión hacen que resulte en la práctica indiferente tener acceso efectivo completo al mismo o no, máxime en entornos de redes neuronales/machine learning donde se produce el fenómeno black box de forma más acusada (BURRELL, 2016). Sin embargo, y frente a esta tesis, hay que reiterar, como ya hemos argumentado, que en estos casos la necesidad de acceso al código es si cabe mayor para poder tener la posibilidad de acceder a los fundamentos y principios últimos en que se basan la programación empleada y sus premisas –y así poder identificar si son coherentes con las finalidades supuestamente perseguidas, por ejemplo, o si existen riesgos de desvío respecto de las mismas–. Se trata esta de una cuestión que, por lo demás, es tenida por absolutamente básica y esencial en estos dominios, y más aún que en otros precisamente porque un buen análisis debidamente exhaustivo de la misma es prácticamente el único mecanismo efectivo de control que podemos tener sobre el algoritmo en posibles entornos futuros de muy alta indeterminación sobre los resultados derivados de la aplicación del algoritmo, algo en lo que hemos visto que hay un gran acuerdo entre los especialistas en inteligencia artificial, por lo que ponen el énfasis en la imperiosa necesidad de garantizar el mayor control posible sobre esta fase. Para lograrlo, la publicidad en términos equivalentes a la de un reglamento tradicional, pero también el cumplimiento de las reglas para su elaboración de forma rigurosa o el reconocimiento de la posibilidad de aplicar respecto de ellos todos los controles ex post, directos e indirectos, se antoja absolutamente esencial.

Por último, en lo que constituye un argumento crítico de más interés jurídico, se apela en ocasiones a que un completo acceso a la programación de ciertos algoritmos –por ejemplo, los dedicados a la inspección y control– facilitaría incumplimientos y quiebras de la legalidad –piénsese en el caso, ya reseñado, del algoritmo que emplea el programa VioGén que emplean nuestras fuerzas y cuerpos de seguridad para la detección de pautas que permitan predecir y prever posibles casos de violencia doméstica al que ya nos hemos referido, así como cualquier otro programa policial de este tipo–. Se trata de un argumento atendible, pues la posibilidad de engañar al sistema (game the system) es obviamente mayor cuanta más información se tiene sobre este (SCANTAMBURLO, CHARLESWORTH y CRISTINIANI, 2019: 74). Además, no afecta solo al ámbito jurídico-público, sino que también puede aparecer respecto de relaciones jurídico-privadas –publicar el algoritmo que calcula la cuota de un seguro puede llevar a los potenciales clientes a tratar de seleccionar datos o conductas que alteren el resultad en su favor–, aunque en esos casos los problemas asociados a esta cuestión son diferentes, entre otras cosas porque al tratarse de tratamientos privados la publicidad no es necesariamente una exigencia en estas materias, salvo que haya intereses públicos en juego o sea precisa para evitar discriminaciones vedadas por el Derecho –y tampoco lo eran en el pasado en contextos analógicos, de hecho–.

A estos efectos, sin embargo, hay que recordar en primer lugar que este problema tampoco es en sí mismo, y en esencia, estrictamente nuevo. Nuestro ordenamiento jurídico ya ha resuelto para el entorno no electrónico este mismo problema y tenemos desde hace tiempo reglas que explicitan qué partes de los programas de inspección se han de publicar y cuáles no. Reglas que, precisamente, buscan encontrar un adecuado equilibrio entre las garantías de publicidad y el debido encuadramiento de las actividades de evaluación y control, a fin de prevenir excesos y arbitrariedades, y la necesidad de ocultar los detalles concretos de la misma, de su programación o de los elementos clave que en última instancia determinan qué inspecciones se van a realizar, a qué personas y por qué causas y que, por lo general, han permitido cláusulas de apoderamiento muy generales en su marco jurídico regulador (REBOLLO PUIG, 2013: 67-69). A estos efectos, pues, nada más sencillo, de nuevo, que trasladar las soluciones ya consolidadas al nuevo entorno: habríamos de operar una distinción entre algoritmos decisorios y de análisis preventivo y, simplemente, aplicar respecto de estos últimos una traslación o traducción de las soluciones asentadas en nuestro Derecho en materia de inspección para los ámbitos equivalentes en entornos no electrónicos –planes de inspección, por ejemplo, y programación de la actividad de control (REBOLLO PUIG, 2013: 108)–.

En conclusión, creo que se pueden considerar estos contraargumentos como insatisfactorios, insuficientes e incapaces de cuestionar la conclusión aquí defendida, tanto en lo que se refiere a su corrección teórica como en lo que atañe a la posibilidad y conveniencia práctica de desplegarla en todas sus dimensiones. Ninguna de estas críticas logra cuestionar la conclusión de fondo de este trabajo, ni su fundamento conceptual y funcional, que sencillamente, pero nada menos, obliga a considerar que nuestro Derecho ha de tratar a los algoritmos y programas que usa la Administración para predeterminar su actuación en lo que afecta a ciudadanos como lo que son: programaciones normativas, esto es, reglamentos, a los que aplicar en consecuencia –debidamente traducidas, cuando sea necesario– todas las garantías que nuestro ordenamiento jurídico ha ido decantando con el tiempo respecto de las normas
reglamentarias.

5.  Bibliografía

Vicente ÁLVAREZ GARCÍA, “Normalización industrial”, en Santiago MUÑOZ MACHADO (dir.), Diccionario de Derecho Administrativo, Iustel, Madrid, 2005, pp. 1670-1677.

Mike ANANNY y Kate CRAWFORD, “Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability”, New Media and Society, 2018, núm. 20(3), pp. 973-989.

Irene ARAGUÀS GALCERÀ, La transparencia en el ejercicio de la potestad reglamentaria, Atelier, Barcelona, 2016.

Luis ARROYO JIMÉNEZ, “Participación electrónica y elaboración de normas administrativas en España y en los Estados Unidos de América”, en Isaac MARTÍN DELGADO (dir.), La reforma de la Administración electrónica: una oportunidad para la innovación desde el Derecho, INAP, Madrid, 2017, pp. 231-258.

ASILOMAR Conference Principles, 2017.

Solon BAROCAS y Andrew D. SELBST, “Big Data’s Disparate Impact“, California Law Review, núm. 104, 2016, pp. 671-732.

José María BAÑO LEÓN, Los límites constitucionales de la potestad reglamentaria, Civitas, Madrid, 1991.

José María BAÑO LEÓN, “La reforma del procedimiento. Viejos problemas no resueltos y nuevos problemas no tratados”, Documentación administrativa: nueva época, núm. 2, 2015.

Ulrich BECK, Risikogesellschaft. Auf dem Weg in eine andere Moderne, 1986, Suhrkamp. Hay traducción al español: La sociedad del riesgo global, Siglo XXI de España Editores, Madrid, 2002.

Reuben BINNS, “Algorithmic Accountability and Public Reason”, Philosophy and Technology, núm. 31(4), 2017, pp. 543-556.

Lee A. BYGRAVE, “Minding the Machine v2.0. The EU General Protection Regulation and Automated Decision-Making”, en Karen YEUNG y Martin LODGE, Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp. 243-262.

Andrés BOIX PALOP, “De McDonald’s a Google: la ley ante la tercera revolución productiva”, Teoría y Derecho, núm. 1, 2007a, pp. 124-147.

Andrés BOIX PALOP, “La neutralidad tecnológica como exigencia regulatoria en el acceso electrónico a los servicios administrativos”, Revista General de Derecho Administrativo, núm. 16, 2007b.

Andrés BOIX PALOP, “Las notificaciones electrónicas en la Ley 39/2015: ineficientes para notificar y poco garantistas”, blog No se trata de hacer leer, 18 de octubre de 2016, disponible en http://www.lapaginadefinitiva.com/aboix/?p=1412 (consulta 22/12/2019).

Andrés BOIX PALOP, “Participación electrónica como mecanismo para la mejora de la calidad normativa en la elaboración de reglamentos y otras disposiciones tras la reforma administrativa de 2015”, en Isaac MARTÍN DELGADO (dir.), La reforma de la Administración electrónica: una oportunidad para la innovación desde el Derecho, INAP, Madrid, 2017, pp. 259-282.

Nick BOSTRON, Superintelligence. Paths, Dangers, Strategies, Oxford University Press, Oxford, 2014.

Mark BOVENS, Thomas SCHILLEMANS y Paul’t HART, “Does public accountability work? An assessment”, Public administration, núm. 86(1), 2008, pp. 225-242.

Jenna BURRELL, “How the machine ‘thinks’: Understanding opacity in machine learning algorithms”, Big Data and Society, núm. 3(1), 2016.

Dolors CANALS AMETLLER, “El proceso normativo ante el avance tecnológico y la transformación digital (inteligencia artificial, redes sociales y datos masivos)”, Revista general de Derecho administrativo, núm. 50, 2019.

José Luis CARRO FERNÁNDEZ-VALMAYOR, “Reglamento”, en Santiago MUÑOZ MACHADO (dir.), Diccionario de Derecho Administrativo, Iustel, Madrid, 2005, pp. 2143-2156.

Jorge CASTELLANOS CLARAMUNT, “La democracia algorítmica: inteligencia artificial, democracia y participación política”, Revista general de Derecho administrativo, núm. 50, 2019.

Agustí CERRILLO I MARTÍNEZ, “El impacto de la inteligencia artificial en el derecho administrativo, ¿nuevos conceptos para nuevas realidades técnicas?”, Revista general de Derecho administrativo, núm. 50, 2019a.

Agustí CERRILLO I MARTÍNEZ, “Com obrir les caixes negres de les Administracions públiques? Transparència i rendició de comptes en l’ús d’algoritmes”, Revista catalana de dret públic, núm. 58, 2019b.

Cary COGLIANESE y David LEHR, “Regulating by Robot: Administrative Decision Making in the Machine Learning Era”, Faculty Scholarship at Penn Law, núm. 1734, 2017.

Cary COGLIANESE y David LEHR, “Transparency and Algorithmic Governance”, Administrative Law Review, núm. 70(4), 2018.

COMISIÓN EUROPEA, Inteligencia artificial para Europa. Comunicación de la Comisión al Parlamento Europeo, al Consejo Europeo, al Comité Económico y Social Europeo y al Comité de las Regiones, COM(2018) 237 final, 2018.

CCCPIAPPD, CONSULTATIVE COMMITTEE OF THE CONVENTION FOR THE PROTECTION OF INDIVIDUALS WITH REGARD TO AUTOMATIC PROCESSING OF PERSONAL DATA, Report on Artificial Intelligence. Artificial Intelligence and Data Protection: Challenges and Possible Remedies, 2018.

Lorenzo COTINO HUESO, “Derechos del ciudadano”, en Eduardo GAMERO CASADO y Julián VALERO TORRIJOS (coord.), La Ley de Administración Electrónica, Thomson-Aranzadi, Cizur Menor, 2008, pp. 117-233.

Lorenzo COTINO HUESO, “Riesgos e impactos del Big Data, la inteligencia artificial y la robótica: enfoques, modelos y principios de la respuesta del derecho”, Revista general de Derecho administrativo, núm. 50, 2019a.

Lorenzo COTINO HUESO, “Ética en el diseño para el desarrollo de una inteligencia artificial, robótica y big data confiables y su utilidad desde el Derecho”, Revista catalana de dret públic, núm. 58, 2019b.

Paul DALY, “Artificial Administration: Administrative Law in the Age of Machines”, SSRN Woriking Paper, 2019.

Paul B. DE LAAT, “Algorithmic Decision-Making Based on Machine Learning from Big Data: Can Transparency Restore Accountability?”, Philosophy and Technology, núm. 31(2), 2017, pp. 1-17.

Javier DE LA CUEVA, “Código fuente, algoritmos y fuentes del Derecho”, El Notario del siglo XXI, núm. 77, 2018.

Javier DE LA CUEVA, “¿Quién vigila al algoritmo?”, El Notario del siglo XXI, núm. 87, 2019.

Íñigo DE MIGUEL BERIAIN, “Does the use of risk assessments in sentences respect the right to due process? A critical analysis of the Wisconsin v. Loomis ruling”, Law, Probability and Risk, núm. 17(1), 2018, pp. 45-53.

Gabriel DOMÉNECH PASCUAL, La invalidez de los reglamentos, Tirant lo Blanch, Valencia, 2002.

Benjamin EDELMAN, Benjamin LUCA y Dan SVIRSKY, “Racial Discrimination in the Sharing Economy: Evidence from a Filed Experiment”, American Economic Journal: Applied Economics, núm. 9(2), 2017, pp. 1-22.

EUROPEAN PARLIAMENT, A governance framework for algorithmic accountability and transparency, 2019.

Manuel FERNÁNDEZ SALMERÓN, “La potestad reglamentaria: el procedimiento de elaboración de los reglamentos”, en Eduardo GAMERO CASADO (dir.), Tratado de Procedimiento Administrativo Común y Régimen Jurídico Básico del Sector Público, Tirant lo Blanch, Valencia, 2017, pp. 2483-2549.

Ray FISMAN y Michael LUCA, “Fixing Discrimination in Online Marketplaces”, Harvard Business Review, núm. 12(94), 2016, pp. 95-100.

Katherine FREEMAN, “Algorithmic Injustice: How the Wisconsin Supreme Court Failed to Protect Due Process Rights in State v. Loomis”, North Carolina Journal of Law and Technology, vol. 18, 2016, pp. 75-106.

Alfredo GALLEGO ANABITARTE, Ley y reglamento en el Derecho público occidental, Instituto de Estudios Administrativos, Madrid, 1971.

Eduardo GARCÍA DE ENTERRÍA y Tomás-Ramón FERNÁNDEZ RODRÍGUEZ, Curso de Derecho Administrativo, Volumen I, 16ª ed., Civitas-Thomson Reuters, Madrid, 2013.

Claudia GIMENO FERNÁNDEZ, La qualitat normativa al País Valencià, Àgora3-Fundación Nexe, Valencia, 2017.

Yuval Noah HARARI, Homo Deus. A Brief History of Tomorrow, Harvill Secker, Londres, 2016 (Traducción al castellano de Juandomènec Ros, Homo Deus. Breve historia del mañana, Debate, Barcelona, 2016).

Wolfgang HOFFMANN-RIEM, Big Data. Regulative Herausforderungen, Nomos, Baden-Baden, 2018. (Se cita por la traducción al castellano, Big data. Desafíos también para el Derecho, Civitas, Cizur Menor, 2018).

Hans KELSEN, Reine Rechtslehre, 2ª ed., Deuticke, Viena, 1960. (Se ha empleado también la edición en castellano: Teoría pura del Derecho, Eudeba, Buenos Aires, 2009, p. 224).

Jon KLEINBERG, Jens LUDWIG, Sendhil MULLAINATHAN y Cass R. SUNSTEIN, “Discrimination in the Age of Algorithms”, Journal of Legal Analysis, vol. 10, 2018, pp. 113-174.

Joshua A. KROLL, Joanna HUEY, Solon BAROCAS, Edward W. FELTEN, Joel R. REIDENBERG, David G. ROBINSON y Harlan YU, “Accountable algorithms”, University of Pennsylvania Law Review, núm. 165(3), 2017, pp. 633-705.

Lawrence LESSIG, Code version 2.0, Basic books, 2006.

Han-Wei LIU, Ching-Fu LIN y Yu-Jie CHEN, “Beyond State v. Loomis: artificial intelligence, government algorithmization and accountability”, International Journal of Law and Information Technology, núm. 27(2), 2019, pp. 122-141.

Isaac MARTÍN DELGADO, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.

Isaac MARTÍN DELGADO, “El impacto de la reforma de la Administración electrónica sobre los derechos de los ciudadanos y el funcionamiento de las Administraciones Públicas”, en Marcos ALMEIDA CERRADA y Luis MÍGUEZ MACHO, La actualización de la Administración electrónica, Andavira, 2016, pp. 21-69.

Lucía MARTÍNEZ GARAY, “Peligrosidad, algoritmos y due process: el caso State v Loomis”, Revista de Derecho Penal y Criminología, núm. 20, 2018, pp. 485-502.

Lucía MARTÍNEZ GARAY y Francisco MONTES SUAY, “El uso de valoraciones del riesgo de violencia en Derecho Penal: algunas cautelas necesarias”, Indret, núm. 2(2018), 2018.

Ricard MARTÍNEZ MARTÍNEZ, “Inteligencia artificial desde el diseño. Retos y estrategias para el cumplimiento normativo”, Revista catalana de dret públic, núm. 58, 2019.

Mario MARTINI y David NINK, “Wenn Maschinen entscheiden… Persönlichkeitsschutz in vollautomatisierten Verwaltungsverfahren”, NVwZ, núm. 10-2017, 2017, pp. 681-82.

Eduardo MELERO ALONSO, Reglamentos y disposiciones administrativas: análisis teórico y práctico, Lex Nova, Valladolid, 2005.

Eduardo MELERO ALONSO, “La ‘democracia orgánica’ y el trámite de audiencia en la elaboración de los reglamentos”, Revista de Estudios Políticos, núm. 126, 2004, pp. 237-264.

Luis MÍGUEZ MACHO, “Las notificaciones electrónicas”, en Marcos ALMEIDA CERREDA y Luis MÍGUEZ MACHO, La actualización de la Administración electrónica, Andavira, Santiago de Compostela, 2016, pp. 217-247.

José Vicente MOROTE SARRIÓN, Las circulares normativas de la Administración pública, Tirant lo Blanch, Valencia, 2002.

Santiago MUÑOZ MACHADO, Tratado de Derecho Administrativo y Derecho Público General, Iustel, Madrid, 2006.

Jordi NIEVA FENOLL, Inteligencia artificial y proceso judicial, Marcial Pons, Madrid, 2018.

Cathy O’NEIL, Weapons of Math Destruction, Allen Lane, London, 2016.

Adrián PALMA ORTIGOSA, “Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos”, Revista general de Derecho administrativo, núm. 50, 2019.

Maayan PEREL y Niva ELKIN-KOREN, “Black Box Tinkering: Beyond Disclosure in Algorithmic Enforcement”, Florida Law Review, núm. 69, 2017, pp. 181-222.

Juli PONCE SOLÉ, “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista general de Derecho administrativo, núm. 50, 2019.

Carles RAMIÓ MATAS, Inteligencia artificial y administración pública. Robots y humanos compartiendo el servicio público, Los Libros de la Catarata, Madrid, 2019, p. 173.

Manuel REBOLLO PUIG, “La participación de las entidades representativas de intereses en el procedimiento de elaboración de disposiciones administrativas generales”, Revista de Administración Pública, núm. 115, 1988, pp. 99-116.

Manuel REBOLLO PUIG, “La actividad inspectora”, en Juan José DÍEZ SÁNCHEZ (coord..), Actas del VIII Congreso de la Asociación Española de Profesores de Derecho Administrativo: La función inspectora, INAP, Madrid, 2013, pp. 55-116.

José María RODRÍGUEZ DE SANTIAGO, Metodología del Derecho administrativo. Reglas de racionalidad para la adopción y el control de la decisión administrativa, Marcial Pons, Madrid, 2016.

Carlos María ROMEO CASABONA, “Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de seguridad”, R.E.D.S., núm. 13, 2018, pp. 39-55.

Marina SANCHO LÓPEZ, “Estrategias legales para garantizar los derechos fundamentales frente a los desafíos del Big Data”, Revista general de Derecho administrativo, núm. 50, 2019.

Juan Alfonso SANTAMARÍA PASTOR, “Los proyectos de Ley del procedimiento administrativo común de las administraciones públicas y de régimen jurídico del sector público. Una primera evaluación”, Documentación administrativa: nueva época, núm. 2, 2015.

Juan Alfonso SANTAMARÍA PASTOR, “Un nuevo modelo de ejercicio de las potestades normativas”, Revista española de Derecho administrativo, núm. 175, 2016, pp. 31-55.

Teresa SCANTAMBURLO, Andrew CHARLESWORTH y Nello CRISTINIANI, “Machine Decisions and Human Consequences”, en Karen YEUNG y Martin LODGE, Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp. 49-81.

Frank SCHMIEDCHEN et al., Informe sobre los principios Asilomar en Inteligencia Artificial, Grupo de Estudio Evaluación de la Tecnología de la Digitalización de la Federación de Científicos Alemanes (VDW), Berlin, 2018.

Matthew U. SCHERER, “Regulating artificial intelligence systems: Risks, challenges, competencies, and strategies”, Harvard Journal of Law and Technology, núm. 29(2), 2016, pp. 353-400.

Thorsten SIEGEL, “Automatisierung des Verwatungsverfahrens -zugleich eine Anmerkung zu §§35a, 24 I 3, 41 IIa VwVfG”, DVBI, núm. 1, 2017, pp. 24-28.

Javier SIERRA RODRÍGUEZ, La participación en la elaboración de normas de la administración General del Estado, Centro de Estudios Políticos y Constitucionales, Madrid, 2019.

Max TEGMARK, Life 3.0. Being human in the age of Artificial Intelligence, Penguin Books, London, 2017.

Andrew TUTT, “An FDA for algorithms”, Administrative Law Review, núm. 69(1), 2017, pp. 84-123.

Julián VALERO TORRIJOS, Derecho, innovación y administración electrónica, Global Law Press, Sevilla, 2013.

Julián VALERO TORRIJOS, Innovación tecnológica e innovación administrativa, Ponencia Seminario de Teoría y Método del Derecho Público, Zaragoza, 2016.

Julián VALERO TORRIJOS, “Las garantías jurídicas de la inteligencia artificial en la actividad administrativa desde la perspectiva de la buena administración”, Revista catalana de dret públic, núm. 58, 2019.

Michael VEALE y Irina BRASS, “Administration by Algorithm? Public Management meets Public Sector Machine Learning”, en Karen YEUNG y Martin LODGE, Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp. 121-149.

Clara VELASCO RICO, “La ciudad inteligente: entre la transparencia y el control”, Revista general de Derecho administrativo, núm. 50, 2019.

Karen YEUNG, “Algorithmic regulation: a critical interrogation”, Regulation and Governance, núm. 12(4), 2017, pp. 505-523.

Karen YEUNG, “Why Worry about Decision-Making by Machine?”, en Karen YEUNG y Martin LODGE, Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp. 21-48.

Karen YEUNG y Martin LODGE, “Algorithmic regulation. An Introduction”, en Karen YEUNG y Martin LODGE, Algorithmic Regulation, Oxford University Press, Oxford, 2019, pp. 1-17.

Tal ZARSKY, “The Trouble with Algorithmic Decisions: An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making”, Science, Technology, and Human Values, núm. 41(1), 2016, pp. 118-132.

John ZERILLI, Alistair KNOTT, James MACLAURIN y Colin GAVAGHAN, “Transparency in Algorithmic and Human Decision-Making: Is There a Double Standard?”, Philosophy and Technology, núm. 32(4), 2018, pp. 661-683.


* Este trabajo se ha desarrollado dentro del proyecto de investigación DER2015-67613-R “La regulación de la economía compartida” del Plan Nacional de I+D+i y del proyecto de investigación PROMETEU/2017/064 “La regulación de la transformación digital y el intercambio economía” financiado por la Generalitat Valenciana. Asimismo, también es en parte conclusión de la parte dedicada a la investigación de la SHINE Jean Monnet Network (Sharing Economy and Inequalities across Europe) donde varias Universidades europeas, coordinadas por la Universitat de València, están estudiando estas cuestiones con el apoyo de la Comisión Europea (611585-EPP-1-2019-1-ES-EPPJMO-NETWORK).

1 Esto es precisamente lo que ha empezado a hacer la muy importante, y pionera en Europa, Sentencia de la Corte de Justicia del Distrito de La Haya, en los Países Bajos, de 5 de febrero de 2020 (ECLI:NL:RBDHA: 2020:865), que ha anulado e impedido la utilización por las autoridades neerlandesas de un sistema algorítimo de ponderación de riesgos, que se pretendía emplear sobre todo para la detección y persecucion de fraudes, debido a que entiende que afecta de manera no proporcional al derecho a la intimidad de las personas reconocido por el art. 8.2 del Convenio Europeo de Derechos Humanos al recolectar y conectar excesiva información personal sin suficientes controles y con enormes riesgos de producir sesgos indeseables. Esta aproximación más exigente al fenómeno nos obliga a entender no proporcional el uso de estas herramientas sin una clara comprensión de su alcance y sin disponer previamente de toda la información sobre las afecciones a la intimidad y otros sesgos que pueden derivare de su utilización. Sobre el particular, véase A. SORIANO ARNANZ, The control of algorithmic discrimination (forthcoming).

2 El Sistema de Seguimiento Integral de los casos de Violencia de Género (VioGén), que se puso en marcha en 2007 en cumplimiento de lo dispuesto en la LO 1/2004, de Medidas de Protección Integral contra la Violencia de Género, entre otras medidas, es probablemente el ejemplo más conocido de la utilización de un algoritmo predictivo por parte de la Administración española. Junto a una labor de recopilación y análisis de la información, esta se introduce en una programación diseñada ad hoc que emite alertas predictivas cuando, a partir de la evaluación del riesgo hecha por el algoritmo, se considera que puede haber un alto riesgo de incidencia o acontecimiento que pueda poner en riesgo a una víctima. Los datos sobre su concreto funcionamiento a fin de poder realizar una evaluación del mismo son, sin embargo, escasos y, por supuesto, el Ministerio del Interior, de quien depende el sistema y los programas y algoritmos empleados, no da acceso a los mismos. Para más información se puede consultar la página web del Sistema VioGén: http://www.interior.gob.es/web/servicios-al-ciudadano/violencia-contra-la-mujer/sistema-viogen