Vol. 3 (2021)
Artículos

AUTOMATED DECISIONS: LEGAL PROBLEMS AND SOLUTIONS. BEYOND DATA PROTECTION

PDF (Español (España)) HTML (Español (España)) Video presentación (Español (España))
  • Alba Soriano Arnanz
Alba Soriano Arnanz
Universidad de Valencia
DOI: https://doi.org/10.37417/RPD/vol_3_2021_535

Published 2021-03-23

Keywords

  • algorithms, automatisation, data processing, data protection, technological risks

How to Cite

Soriano Arnanz, A. (2021). AUTOMATED DECISIONS: LEGAL PROBLEMS AND SOLUTIONS. BEYOND DATA PROTECTION. Journal of Public Law: Theory and Methods, 3, 85–127. https://doi.org/10.37417/RPD/vol_3_2021_535

Copyright (c) 2021 Alba Soriano Arnanz

Creative Commons License

This work is licensed under a Creative Commons Attribution 4.0 International License.

Authors retain copyright in the published paper and only license to the publisher a non-exclusive right to first publication and distribution of the published work

Abstract

The growing implementation of algorithmic systems in all kinds of human activities is the result of their increasing computational capacity. These systems can process massive amounts of data and provide very accurate results that help decision-makers in both the public and private sector to classify humans and predict their actions. However, algorithms, and the actors that use them, are also increasingly producing significant harms to the fundamental rights of individuals and democratic principles and values. To date, informational privacy (data protection) regulatory frameworks, have been the main legal instruments tasked with protecting against the wide array of risks and harms caused by the automated processing of personal data. This paper maps the main hazards caused by algorithmic systems and aims to prove the shortcomings of the data protection framework in order to justify further regulatory intervention in the public and private use of automated systems. It also draws a series of brief proposals that, were they to be implemented, should help to overcome some of the ineffective aspects of the current regulatory framework when dealing with the risks and harms caused by algorithms.

PDF (Español (España)) HTML (Español (España)) Video presentación (Español (España))

Downloads

Download data is not yet available.

References

  1. Algorithm Register, 2020. Disponible el 9 de diciembre de 2020 en https://algoritmeregister.amsterdam.nl/.
  2. Philip Alston, “Digital welfare states and human rights”, UN Special Rapporteur on extreme poverty and human rights, informe A/74/493, 11 de octubre de 2019.
  3. Doris ALLHUTTER et al., “Algorithmic profiling of job seekers in Austria: how austerity politics are made effective”, Frontiers in Big Data, vol. 3, 2020, pp. 1-17. DOI: https://doi.org/10.3389/fdata.2020.00005
  4. Mike ANNANY y Kate CRAWFORD, “Seeing without knowing: limitations of the transparency ideal and its application to algorithmic accountability”, New Media & Society, vol. 20, núm. 3, 2018, pp. 973-989. DOI: https://doi.org/10.1177/1461444816676645
  5. Luís ARROYO JIMÉNEZ, “Algoritmos y reglamentos”, Almacén de Derecho, 25 de febrero de 2020. Disponible el 1 de diciembre de 2020 en https://almacendederecho.org.
  6. Solon BAROCAS, “Data mining and the discourse on discrimination”, Proceedings of the Data Ethics Workshop, Conference on Knowledge Discovery and Data Mining (KDD), 2014, pp. 1-4.
  7. Solon BAROCAS y Andrew SELBST, “Big data’s disparate impact”, California Law Review, vol. 104, núm. 3, 2016, pp. 671-732. DOI: https://doi.org/10.2139/ssrn.2477899
  8. — “The intuitive appeal of explainable machines”, Fordham Law Review, vol. 87, núm. 3, 2018, pp. 1085-1139.
  9. Yochai BENKLER, Robert FARIS y Hal ROBERTS, Network Propaganda: Manipulation, Disinformation, and Radicalization in American Politics, Oxford University Press, Oxford, 2018. DOI: https://doi.org/10.1093/oso/9780190923624.001.0001
  10. Omri BEN-SHAHAR, “Data pollution”, Journal of Legal Analysis, vol. 11, 2019, pp. 104-159. DOI: https://doi.org/10.1093/jla/laz005
  11. Andrés BOIX PALOP, “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la adopción de decisiones”, Revista de Derecho Público: Teoría y Método, vol. 1, 2020, pp. 223-270. DOI: https://doi.org/10.37417/RPD/vol_1_2020_33
  12. Stephanie BORNSTEIN, “Antidiscriminatory algorithms”, Alabama Law Review, vol. 70, núm. 2, 2019, pp. 519-572.
  13. Kriel BRENNAN-MARQUEZ, “‘Plausible cause’: explanatory standards in the age of powerful machines”, Vanderbilt Law Review, vol. 17, núm. 4, 2017, pp. 1249-1301. DOI: https://doi.org/10.2139/ssrn.2827733
  14. Jenna BURRELL, “How the machine ‘thinks’: understanding opacity in machine learning algorithms”, Big Data & Society, vol. 3, núm. 1, 2016, pp. 1-12. DOI: https://doi.org/10.1177/2053951715622512
  15. Agustí CERRILLO I MARTÍNEZ, “El impacto de la inteligencia artificial en el derecho administrativo ¿nuevos conceptos para nuevas realidades técnicas?”, Revista General de Derecho Administrativo, núm. 50, 2019, pp. 1-38.
  16. — “¿Son fiables las decisiones de las Administraciones públicas adoptadas por algoritmos?”, European Review of Digital Administration & Law, vol. 1, núm. 1-2, 2020, pp. 18-36.
  17. Alexandra CHOULDECHOVA, “Fair prediction with disparate impact: a study of bias in recidivism prediction instruments”, 2016, pp. 1-17. Disponible el 6 de diciembre de 2020 en https://arxiv.org.
  18. Danielle CITRON, “Technological due process”, Washington University Law Review, vol. 85, núm. 6, 2008, pp. 1249-1313.
  19. Cary COGLIANESE y David LEHR, “Regulating by robot: administrative decision making in the machine-learning era”, The Georgetown Law Journal, vol. 105, núm. 5, 2017, pp. 1147-1223.
  20. Comisión Europea, “Comunicación de la Comisión sobre el recurso al principio de precaución”, COM/2000/0001 final, 1 de febrero de 2000.
  21. — “Defensa de la competencia: la Comisión impone una multa a Google de 1,49 miles de millones de euros por prácticas abusivas en la publicidad en línea”, 20 de marzo de 2019. Disponible el 8 de diciembre de 2020 en https://ec.europa.eu.
  22. — “Libro blanco sobre la inteligencia artificial - un enfoque europeo orientado a la excelencia y la confianza”, COM (2020) 65 final, 19 de febrero de 2020.
  23. Josh CONSTINE, “Facebook is shutting down its API for giving your friends’ data to apps”, TechCrunch, 28 de abril de 2015. Disponible el 8 de diciembre de 2020 en https://techcrunch.com.
  24. Lorenzo COTINO HUESO, “«SyRI, ¿a quién sanciono?» Garantías frente al uso de inteligencia artificial y decisiones automatizadas en el sector público y la sentencia holandesa de febrero de 2020”, La Ley Privacidad, núm. 4, 2020.
  25. Datenethikkommission, “Gutachten der Datenethikkommission”, 2019.
  26. —“Opinion of the Data Ethics Commission: Executive Summary”, 2019.
  27. Javier DE LA CUEVA, “Código fuente, algoritmos y fuentes del derecho”, El Notario del Siglo XXI, núm. 77, 2018.
  28. —“El derecho a no ser gobernados mediante algoritmos secretos”, El Notario del Siglo XXI, núm. 87, 2019.
  29. Susana de la SIERRA MORÓN, “Inteligencia artificial y justicia administrativa: una aproximación desde la teoría del control de la Administración pública”, Revista General de Derecho Administrativo, núm. 53, 2020, pp. 1-19.
  30. Gabriel DOMÉNECH PASCUAL, Derechos Fundamentales y Riesgos Tecnológicos, Centro de Estudios Políticos y Constitucionales, Madrid, 2006.
  31. José ESTEVE PARDO, Lecciones de Derecho Administrativo, 6.ª ed. Marcial Pons, Barcelona, 2016.
  32. Virginia EUBANKS, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, St Martin’s Press, Nueva York, 2017.
  33. Michael FELDMAN et al., “Certifying and removing disparate impact”, Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2015, pp. 259-268. DOI: https://doi.org/10.1145/2783258.2783311
  34. Eduardo GARCÍA DE ENTERRÍA y Tomás-Ramón FERNÁNDEZ RODRÍGUEZ, Curso de Derecho Administrativo I, Thomson Reuters–Aranzadi, Cizur Menor (Navarra), 2020, pp. 496-500.
  35. Janneke GERARDS, “The discrimination grounds of article 14 of the European Convention on Human Rights”, Human Rights Law Review, vol. 13, núm. 1, 2013, pp. 99-124. DOI: https://doi.org/10.1093/hrlr/ngs044
  36. Grupo de Trabajo del Artículo 29, “Directrices sobre decisiones individuales automatizadas y elaboración de perfiles a los efectos del Reglamento 2016/679”, 17/ES, WP 251rev.01, 6 de febrero de 2018.
  37. Bryce W. GOODMAN, “A step towards accountable algorithms?: Algorithmic discrimination and the European Union general data protection”, 29th Conference on Neural Information Processing Systems, 2016. Disponible el 9 de diciembre de 2020 en http://www.mlandthelaw.org.
  38. Alejandro HUERGO LORA, “Una aproximación a los algoritmos desde el Derecho administrativo”, en Alejandro Huergo Lora (dir.) y Gustavo Manuel Díaz González (coord.), La Regulación de los Algoritmos, Pamplona, Aranzadi, 2020, pp. 23-87.
  39. Margot KAMINSKI, “Binary governance: Lessons from the GDPR’s approach to algorithmic accountability”, Southern California Law Review, vol. 92, núm. 6, 2019, pp. 1529-1616. DOI: https://doi.org/10.2139/ssrn.3351404
  40. Cecilia KANG y Mike ISAAC, “U.S. and States Say Facebook Illegally Crushed Competition”, New York Times, 9 de diciembre de 2020. Disponible el 10 de diciembre de 2020 en https://www.nytimes.com.
  41. Nancy KIM y Jeremy TELMAN, “Internet giants as quasi-governmental actors and the limits of contractual consent”, Missouri Law Review, vol. 80, núm. 3, 2015, pp. 723-770.
  42. Spyros KOKOLAKIS, “Privacy attitudes and privacy behaviour: A review of current research on the privacy paradox phenomenon”, Computers & Security, vol. 107, 2017, pp. 122-134. DOI: https://doi.org/10.1016/j.cose.2015.07.002
  43. Bert-Jaap KOOPS, “The problem with European data protection law”, International Data Privacy Law, vol. 4, núm. 4, 2014, pp. 250-261. DOI: https://doi.org/10.1093/idpl/ipu023
  44. Lawrence LESSIG, Code: Version 2.0, Basic books, Nueva York, 2006.
  45. Steve LOHR, “Sizing up big data, broadening beyond the Internet”, The New York Times BITS Blog, 29 de junio de 2013. Disponible el 6 de diciembre de 2020 en https://bits.blogs.nytimes.com.
  46. Stella LOWRY y Gordon MACPHERSON, “A blot on the profession”, British Medical Journal, 5 de marzo de 1988, pp. 657-658. DOI: https://doi.org/10.1136/bmj.296.6623.657
  47. Isaac MARTÍN DELGADO, “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, núm. 180, 2009, pp. 353-386.
  48. M.ª Dolores MAS BADÍA, “Credit-based insurance scores: some observations in the light of the european general data protection regulation”, Cuadernos Europeos de Deusto, núm. 62, 2020, pp. 155-186. DOI: https://doi.org/10.18543/ced-62-2020pp155-186
  49. Juan Francisco MESTRE DELGADO, “Una reflexión sobre la regulación constitucional del Derecho administrativo”, Corts: Anuario de Derecho Parlamentario, núm. extra 31, 2018, pp. 367-386.
  50. Javier MIRANZO DÍAZ, “Inteligencia artificial y contratación pública”, en Isaac Martín Delgado y Jose Antonio Moreno Molina (dirs.), Administración electrónica, transparencia y contratación pública, Madrid, Iustel, 2020, pp. 105-142.
  51. Alex MILLER, “Want less-biased decisions? Use algorithms”, Harvard Business Review, 26 de Julio de 2018. Disponible el 6 de diciembre de 2020 en https://hbr.org.
  52. Brendt MITTELSTADT et al., “The ethics of algorithms: mapping the debate”, Big Data & Society, julio-diciembre 2016, pp. 1-21. DOI: https://doi.org/10.1177/2053951716679679
  53. Jerrold NADLER y David CICILLINE, “Investigation of competition in digital markets”, Subcommittee on antitrust, commercial and administrative law of the Committee on the judiciary, octubre 2020.
  54. Safiya NOBLE, Algorithms of Oppression: How Search Engines Reinforce Racism, New York University Press, New York, 2018.
  55. Cathy O’NEIL, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Penguin Books, Londres, 2017.
  56. Paul OHM, “Broken promises of privacy: responding to the surprising failure of anonymization”, UCLA Law Review, vol. 57, 2010, pp. 1701-1777.
  57. Angelo Giuseppe OROFINO, “The Implementation of the Transparency Principle in the Development of Electronic Administration”, European Review of Digital Administration & Law, vol. 1, No. 1-2, 2020, pp. 123-142.
  58. Marion OSWALD, “Algorithm-assisted decision-making in the public sector: framing the issues using administrative law rules governing discretionary power”, Philosophical Transactions of the Royal Society of London, Series A: Mathematical and Physical Sciences, vol. 376, núm. 2128, 2018, pp. 1-20. DOI: https://doi.org/10.1098/rsta.2017.0359
  59. Adrián PALMA ORTIGOSA, “Decisiones automatizadas en el RGPD. El uso de algoritmos en el contexto de la protección de datos”, Revista General de Derecho Administrativo, núm. 50, 2019.
  60. Roger PARLOFF, “Why deep learning is suddenly changing your life”, Fortune, 28 de septiembre 2016. Disponible el 2 de diciembre de 2020 en http://fortune.com.
  61. Julio PASCUAL Y VICENTE, “Prohibiciones del abuso de posición dominante” en Tratado de Derecho de la competencia, José María Beneyto Pérez (dir.) y Jerónimo Maillo González (coord.), Bosch, Barcelona, 2005, pp. 455-511.
  62. Juli PONCE SOLÉ, “El derecho a una buena administración y la personalización de los servicios públicos” en Beltrán Puentes Cociña y Andrei Quintiá Pastrana, (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 51-71.
  63. — “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, núm. 50, 2019, pp. 1-52.
  64. Sofia RANCHORDÁS y Ymre SCHUURMANS, “Outsourcing the welfare state: the role of private actors in welfare fraud investigations”, European Journal of Comparative Law and Governance, vol. 7, núm. 2, 2020, pp. 5-42. DOI: https://doi.org/10.1163/22134514-00701005
  65. Ariel RUBINSTEIN, “Dilemmas of an economic theorist”, Econometrica, vol. 74, núm. 4, 2006, pp. 865-883. DOI: https://doi.org/10.1111/j.1468-0262.2006.00689.x
  66. Matthew SCHERER, “Regulating artificial intelligence systems: risks, challenges, competencies, and strategies”, Harvard Law & Technology Journal, vol. 29, núm. 2, 2016, pp. 353-400
  67. Bart SCHERMER, “The limits of privacy in automated profiling and data mining”, Computer Law & Security Review, vol. 27, No. 1, 2011, pp. 45-52. DOI: https://doi.org/10.1016/j.clsr.2010.11.009
  68. Wim SCHREURS et al., “Cogitas, ergo sum. the role of data protection law and non-discrimination law in group profiling in the private sector” en Mireille Hildebrandt y Serge Gutwirth, Profiling the European Citizen, Springer, Berlín, 2008, pp. 241-270. DOI: https://doi.org/10.1007/978-1-4020-6914-7_13
  69. Sam SHEAD, “Google DeepMind is giving the NHS free access to its patient monitoring app”, Business Insider, 24 de junio de 2017. Disponible el 10 de diciembre 2020 de https://www.businessinsider.de.
  70. Ben SHNEIDERMAN, “Algorithmic Accountability: Designing for safety through human-centered independent oversight”, Turing Lecture (The Alan Turing Institute) 31 de marzo de 2017. Disponible el 26 de noviembre de 2020 en https://www.youtube.com.
  71. Alba SORIANO ARNANZ, “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, Revista General de Derecho Administrativo, núm. 56, 2021.
  72. Cass SUNSTEIN, “Sludge and ordeals”, Duke Law Review, vol. 68, núm. 8, 2018, pp. 1843-1883. DOI: https://doi.org/10.2139/ssrn.3288192
  73. Adrián TODOLÍ SIGNES, “Retos legales del uso del big data en la selección de sujetos a investigar por la Inspección de Trabajo y de la Seguridad Social”, Revista Galega de Administración Pública, núm. 59, 2020, pp. 313-337. DOI: https://doi.org/10.36402/regap.v0i59.4354
  74. Andrew TUTT, “An FDA for algorithms”, Administrative Law Review, vol. 69, núm. 1, 2017, pp. 83-123.
  75. Amos TVERSKY y Daniel KAHNEMAN, “Judgment under uncertainty: heuristics and biases”, Science, vol. 147, núm. 4157, 1974, pp. 1124-1131. DOI: https://doi.org/10.1126/science.185.4157.1124
  76. Karen YEUNG, “‘Hypernudge’: Big data as a mode of regulation by design”, Information, Communication & Society, vol. 20, núm. 1, 2017, pp. 118-136. DOI: https://doi.org/10.1080/1369118X.2016.1186713
  77. Karen YEUNG y Martin LODGE, “Algorithmic regulation: an introduction”, en Karen Yeung y Martin Lodge (eds.), Algorithmic regulation, Oxford University Press, Oxford 2019, pp. 1-18. DOI: https://doi.org/10.1093/oso/9780198838494.003.0001
  78. Julián VALERO TORRIJOS, “Inteligencia artificial y contratación del sector público”, Observatorio de Contratación Pública, 27 de enero de 2020.
  79. — “The legal guarantees of artificial intelligence in administrative activity: reflections and contributions from the viewpoint of Spanish administrative law and good administration requirements”, European Review of Digital Administration & Law, vol. 1, No. 1-2, 2020, pp. 55-62.
  80. Marlies VAN ECK, “Algorithms in public administration”, 31st January 2017. Disponible el 17 de julio de 2019 en https://marliesvaneck.wordpress.com.
  81. Clara VELASCO RICO, “Vigilando al algoritmo. Propuestas organizativas para garantizar la transparencia”, en Beltrán Puentes Cociña y Andrei Quintiá Pastrana (dirs.), El Derecho ante la Transformación Digital, Barcelona, Atelier, 2019, pp. 73-89.
  82. Sandra WACHTER y Brendt MITTELSTADT, “A right to reasonable inferences: re-thinking data protection law in the age of big data and AI”, Columbia Business Law Review, vol. 2019, núm. 2, 2019, pp. 494-620 (p. 499). DOI: https://doi.org/10.31228/osf.io/mu2kf
  83. Tal ZARSKY, “Transparent predictions”, University of Illinois Law Review, vol. 2013, núm. 4, 2013, pp. 1503-1570.
  84. Indr? ŽLIOBAIT? y Bart CUSTERS, “Using sensitive personal data may be necessary for avoiding discrimination in data-driven decision models”, Artificial Intelligence & Law, vol. 24, núm. 2, 2016, pp. 183-201. DOI: https://doi.org/10.1007/s10506-016-9182-5

Update cookies preferences