la inteligencia artificial en colombia
TRANSCRIPT
FACULTAD DE CIENCIAS SOCIALES Y FACULTAD DE DERECHO
DEPARTAMENTO: CIENCIA POLÍTICA Y DERECHO
LA INTELIGENCIA ARTIFICIAL EN COLOMBIA
VALENTINA GARZÓN FIERRO
DIRECTORES DE TESIS:
JEAN MARIE CHENOU Y RENE FERNANDO URUEÑA
PROYECTO DE GRADO - TESIS DE GRADO CONJUNTA DICIEMBRE DEL 2020
INDICE
LA INTELIGENCIA ARTIFICIAL EN COLOMBIA…...…...…...…...…...……. p. 1-2
BREVE CONTEXTO DE LA INTELIGENCIA ARTIFICIAL…...…...…...….... p. 3-4
LA IA COMO OBJETO DE ESTUDIO INTERDISCIPLINAR...…...…...……. p. 5-7
Retos éticos…...…...…...…...…...…...…...…...…...…...…...…...…...…...…. p. 7-13
Retos Juridicos…...…...…...…...…...…...…...…...…...…...…...…...…...….. p. 14-16
EL CASO COLOMBIANO
¿Cómo está Colombia frente a la transformación digital?…...…...…….... p. 16-20
Análisis de la Ley 1955 De 2019 ...…...…...…...…...…...…...…...…...…….. p. 20-25
Análisis del CONPES 3920 de 2018...…...…...…...…...…...…...…...…...…. p. 25-28
Análisis del CONPES 3975 de 2019...…...…...…...…...…...…...…...…...… p. 28-32
Análisis del Proyecto de Ley 021 de 2020 Cámara de Representantes…... p. 32-37
HALLAZGOS GENERALES Y CONCLUSIONES...…...…...…...…...…...…….. p. 37-41
BIBLIOGRAFÍA..…...…...…...…...…...…...…...…...…...…...…..…...…. ..…...…. p. 41-47
1
LA INTELIGENCIA ARTIFICIAL EN COLOMBIA
El desarrollo tecnológico junto con la expansión del internet impactaron profundamente el
mundo que conocíamos. Ambos fenómenos trajeron consigo un cambio de paradigma en
donde los conceptos de tiempo y espacio pasaron a un segundo plano para habilitar a cada
individuo a ser emisor y receptor de múltiple información a través de la navegación en
Internet en cualquier tiempo y lugar1. De hecho, el Foro Económico Mundial, estimó en el
2019 que en el año 2020 “todo el universo digital alcanzaría los 44 zettabytes2”3. De modo
que el intercambio de datos pasó a ser un eje fundamental en el diario vivir de las personas.
Por ejemplo, la navegación por Google o por las redes sociales como Facebook, Twitter,
Instagram, Snapchat, etc.; los sistemas automáticos de traducción, los asistentes personales
virtuales como Siri o Cortana, o la sugerencia de películas en Netflix o de música en
Youtube, Spotify, Deezer, etc., comenzaron a formar parte integral de nuestra vida. Pero
más allá de sólo beneficiar o asistir a las personas en su cotidianidad, la recolección de
datos ha permitido un gran avance en la tecnología, más específicamente en el campo de la
Inteligencia Artificial (en adelante IA).
La IA, no solo ha posicionado grandes empresas en los mercados internacionales
(Facebook, Google, Twitter) sino que también ha servido como una herramienta para los
Estados. Los cuales le han dado un uso variado a esta tecnología. Por ejemplo, en el caso de
China la IA ha permitido el desarrollo de sistemas de reconocimiento facial que lejos de
limitarse a identificar a una persona, ha abierto las puertas a un sistema de crédito social
que permite reconocer las diversas actuaciones de sus ciudadanos y asignarles un puntaje
determinado4. Por otro lado, en el caso de Colombia en el sector público se han introducido
sistemas de Inteligencia Artificial, tales como Pretoria (antes Prometea), Watson, Sofia, 1 Garriga Domínguez, Ana. 2016. Nuevos retos para la protección de datos personales: en la Era del Big Data y de la computación ubicua. Madrid: Dykinson. página 21 2 Es una unidad de datos que comprende la cantidad de 1,000,000,000,000,000,000,000 bytes de datos. 2 Es una unidad de datos que comprende la cantidad de 1,000,000,000,000,000,000,000 bytes de datos. 3 Desjardins, Jeff. 2019. “How much data is generated each day?” https://www.weforum. org/agenda/2019/04/how-much-data-is-generated-each-day-cf4bddf29f/. 4 Para conocer más puede consultar: Boquen, Antonie. 2020. “An Introduction to China’s Social Corporate Credit System.” New Horizons. https://nhglobalpartners.com/chinas-social-credit-system-explained/.
2
Océano que han contribuido a aligerar la función administrativa y hacerla más eficiente. De
esta forma, se puede decir que Colombia como un Estado Social de Derecho (en adelante
ESD) ha adoptado la IA como herramienta estatal para mejorar ciertas actividades de la
función pública.
Sin embargo, aún en Colombia no se han adoptado marcos normativos y éticos vinculantes
que respondan de manera directa a la implementación de la IA en el sector público. De
manera que los sistemas de IA como Pretoria, Watson, Sofia y Océano fueron
implementados con base en normatividad que no tenía un enfoque hacia la implementación
de nueva tecnología que aprovechara los datos como un activo y a un nivel masivo para
ejercer la función pública. Ante este panorama es pertinente ser cuidadoso al momento de
evaluar hasta qué punto un Estado puede servirse de los datos de sus ciudadanos para
implementar diversas políticas públicas. Ya que si bien su uso adecuado y limitado en el
marco del ESD puede tener muchas ventajas en la materialización del mismo y de algunos
elementos de la Carta Política. También es cierto que su uso inadecuado puede poner en
riesgo derechos fundamentales de los ciudadanos.
Así pues, el presente texto tiene como propósito responder a la pregunta de investigación
sobre ¿En qué medida las políticas públicas propuestas por el Proyecto de Ley 021 de 2020
Cámara de Representantes y los CONPES 3920 de 2018 y 3975 de 2019 permiten enfrentar
los retos jurídicos y éticos generados por la implementación de la inteligencia artificial,
conservando el Estado Social de Derecho? Lo anterior, con el fin de analizar si nuestro
marco normativo vigente responde a las nuevas exigencias o si por el contrario hay que
hacer cambios en la misma, para solventar la tensiones que surgen alrededor del uso de Big
Data en el progreso de IA.
3
BREVE CONTEXTO DE LA INTELIGENCIA ARTIFICIAL
El desarrollo de la Inteligencia Artificial, data de los años 1940 a 19505 y su desarrollo ha
tenido diversos enfoques, a saber, la lógica, los sistemas expertos y el manejo de datos. Este
último enfoque, se sustenta en gran medida por “las grandes redes de comunicación y
particularmente Internet, en donde se ha generalizado la recaudación y tratamiento de
ingentes cantidades de información sobre personas.”6 De modo que gracias al manejo de
datos, los mismos pueden ser almacenados, analizados y procesados por la IA brindado
diversos resultados o salidas.
En este sentido, el término de IA se ha concebido como un término ‘sombrilla’ bajo el cual
se incluyen modelos algorítmicos como Machine Learning y Deep Learning. El primero se
refiere a los sistemas que ‘aprenden’ de “los datos en lugar de aprender mediante la
programación explícita”7 En este sentido, primero se entrena al sistema con ciertos datos de
‘entrada’ y posteriormente el modelo brinda una ‘salida’. En el Machine Learning hay dos
enfoque principales, el primero es el aprendizaje supervisado en donde los datos de entrada
tienen ‘etiquetas’ que permiten identificar el significado de los datos. Por ejemplo, la
imagen de un gato con la etiqueta que dice ‘gato’. Por otro lado, el segundo, el aprendizaje
no supervisado, requiere una cantidad masiva de datos sin etiqueta, como por ejemplo los
datos recaudados en Instagram (imágenes o texto), de modo que son los algoritmos los
encargados de etiquetar los datos y analizarlos sin mayor intervención humana.
Por otra parte, el Deep Learning es un método específico del Machine Learning que
“incorpora las redes neuronales en capas sucesivas para aprender de los datos de manera
5European Commission. 2018. “Artificial intelligence: A European perspective.” https://publications.jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report-online.pdf.. página 19 6 Garriga, D. A. (2016). Nuevos retos para la protección de datos personales: En la Era del Big Data y de la computación ubicua. Madrid: Dykinson. página 22 7IBM. n.d. “¿Qué es Machine Learning?” Accessed 10 29, 2020. https://www.ibm.com/ar-es/analytics/machine-learning?p1=Search&p4=43700052827888246&p5=e&cm_mmc=Search_Google-_-1S_1S-_-LA_ISA-_-machine%20learning_e&cm_mmca7=71700000065289296&cm_mmca8=kwd-59020306&cm_mmca9=Cj0KCQjwreT8BRDTARIsAJLI0KJoRDt8rDGT-5fCmgsDRiTB.
4
iterativa”8 lo que se conoce como redes neuronales por las que entran datos y la red va
‘cruzando’ esa información por las neuronas artificiales hasta dar una determinada salida o
respuesta. De la siguiente forma:
Fuente: Maria Lorena Florez Rojas y Bibiana Martinez Camelo (2020)9
Así pues y teniendo en cuenta que no hay una definición consensuada de lo que es o no es
inteligencia artificial, se toma la definición brindada por la Comisión Europea en el texto
Artificial intelligence: A European perspective, en donde se señala que la IA es “cualquier
máquina o agente que es capaz de observar su contexto, aprender y con base en el
conocimiento y la experiencia adquirida, tomar acciones inteligentes o proponer
decisiones”10. Teniendo en cuenta esta breve explicación de la IA se pasará a entender un
poco más de sus desafíos.
8Hurwitz, Judith, Daniel Kirsch, and IBM. 2018. Machine learning for dummies. https://www.ibm.com/downloads/cas/GB8ZMQZ3. 9 Florez Rojas, Maria L., and Bibiana Martinez Camelo. 2020. “Inteligencia Artificial.” Presentación de Power Point. 10 AI is a generic term that refers to any machine or algorithm that is capable of observing its environment, learning and, based on the knowledge and experience gained, taking intelligent action or proposing decisions. En: European Commission. 2018. “Artificial intelligence: A European perspective.”https://publications.jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report-online.pdf. página 23
5
LA IA COMO OBJETO DE ESTUDIO INTERDISCIPLINAR
La IA es objeto de múltiples investigaciones en diversos campos, por ejemplo en la
ingeniería, en la medicina, en la publicidad, en la economía, en el derecho, en la ciencia
política, etc. Por ejemplo, David Leslie del Instituto Alan Turing señala que una
implementación responsable de la IA requiere de un esfuerzo multidisciplinario porque los
proyectos de IA siempre tienen un impacto social, que a su vez impacta diversas áreas en la
sociedad “aunque sea solo mediante las destinacion de recursos públicos a esta posibilidad
de innovación”11. En este sentido, es importante implementar la IA de manera responsable
y para ello es importante tener en cuenta dos tradiciones de pensamiento: uno es el ético y
el otro es el de los derechos humanos. El primero, enfatiza en “los valores normativos que
subyacen a la protección de los individuos en casos donde las prácticas tecnológicas afectan
su interés y bienestar”12. El segundo, el de los derechos humanos que se “centra en el
conjunto de derechos sociales, políticos y legales que deben tener todos los seres humanos
bajo un estado de derecho”13. En este sentido, tanto la ciencia política como el derecho
tienen un papel esencial en los debates de la regulación algorítmica en la medida que los
“gobiernos han querido aprovechar el poder de los algoritmos para informarse en la toma
de decisiones de varias políticas”14 De manera que como lo advierte Antonio Terrones en
su texto Inteligencia artificial, responsabilidad y compromiso cívico y democrático15 Los
cambios introducidos por la IA deben ser mediados por el debate sobre protección de datos
y el proceso de elaboración de políticas públicas para la regulación de IA. Teniendo en
cuenta este enfoque de estudio interdisciplinar el presente texto pretende responder a la
siguiente pregunta de investigación: ¿En qué medida las políticas públicas propuestas por el
Proyecto de Ley 021 de 2020 Cámara de Representantes y los CONPES 3920 de 2018 y
11 Leslie, David. 2019. “Understanding artificial intelligence ethics and safety.” The Alan Turing Institute. https://www.turing.ac.uk/sites/default/files/2019-06/understanding_artificial_intelligence_ethics_and_safety.pdf. pagina 6 12 Ibid p.10 13 Ibid p.10 14 Lodge, Martin, and Karen Yeung. 2017. “Algorithmic regulation: a critical interrogation.” https://www.kcl.ac.uk/law/research/centres/telos/assets/DP85-Algorithmic-Regulation-Sep-2017.pdf. 15 Terrones Rodríguez, Antonio L. 2020. “Inteligencia artificial, responsabilidad y compromiso cívico y democrático.” Revista CTS 14, no. 44 (06): 253-276. http://ojs.revistacts.net/index.php/CTS/article/viewFile/166/157.
6
3975 de 2019 acerca de la IA permite enfrentar los retos jurídicos y éticos generados por la
implementación de la inteligencia artificial, conservando el Estado Social de Derecho? .
Para esto, se desarrollará un ejercicio interdisciplinar que tiene como objetivo establecer
una base de retos éticos y jurídicos, señalando de antemano que los riesgos se pueden
yuxtaponer. Esta base de retos, servirán como cimiento para realizar un análisis de
contenido cualitativo interdisciplinario, entre el derecho y la ciencia política, sobre el caso
colombiano con la Ley 1955 de 2019, los CONPES 3920 de 2018 “Política nacional de
explotación de datos (big data)” y 3975 de 2019 “Política nacional para la transformación
digital e inteligencia artificial”; y el proyecto de Ley 021 de 2020 Camara de
Representantes. De esta forma, el presente texto se guiará por el método deductivo yendo
de lo general a lo particular.
En este sentido, es pertinente resaltar que la escogencia de esta base empírica se justifica en
el hecho de que la Ley 1955 de 2019 promueve de manera explícita la transformación
digital del sector público a través de la implementación de las tecnologías de la cuarta
revolución industrial, entre ellos la IA. Por otro lado, el CONPES 3920 de 2018 es
importante analizarlo pues es el que plantea la política pública de explotación de datos. En
este sentido, hace un análisis sobre los datos como un activo para a partir de su tratamiento
generar un valor económico y social en orden a mejorar las deficiencias en la
administración pública y así brindar respuestas efectivas y útiles a las necesidades sociales.
De manera que es el que da la pauta frente al tratamiento de datos para utilizarlos en
procesos de Big Data y Analitica. Asimismo, el CONPES 3975 de 2019 ofrece un análisis
específico frente a la política nacional para la transformación digital y concretamente se
refiere a la IA como la tecnología que ofrece múltiples soluciones a diversos problemas,
para la que Colombia debe estar preparada con el fin de aprovechar la cuarta revolución
industrial. Así pues, es pertinente señalar que aún cuando los CONPES no sean vinculantes
y tampoco ostenten la categoría de acto administrativo, el análisis de los mismos permiten
evidenciar el estado actual del marco normativo. Finalmente, se analizará el proyecto de
Ley 021 de 2020 Camara de Representantes “Por medio de la cual se establecen los
7
lineamientos de política pública para el desarrollo, uso e implementación de Inteligencia
Artificial y se dictan otras disposiciones”16 que es el primer proyecto de ley que pretende
entrar a regular la implementación de la IA en Colombia.
Retos éticos
Se considera relevante el análisis de la ética pues es desde esta perspectiva que se examina
el impacto de la implementación de la IA en la sociedad17. Así pues, se hará una
identificación de lo que la doctrina ha manifestado. Esto, dado que si bien hay una
propuesta para definir el marco ético de la implementación de IA en Colombia18, aún no se
ha adoptado.
Así pues, uno de los riesgos identificados es que los algoritmos pueden discriminar
inadvertidamente a diversas poblaciones. Para entender este riesgo es pertienente señalar
que “lo más probable es [...] que esta discriminación no sea intencional, sino que derive de
los patrones en bases de datos que [...] reflejan estructuras de discriminación en la
sociedad”19 En este sentido, la discriminacion deriva de las estructuras sociales y
económicas que obstaculizan que ciertas poblaciones, típicamente marginalizadas y
vulneradas accedan a ciertos servicios o productos. Por ejemplo, que puedan acceder a
dispositivos móviles que les permitan un intercambio de datos con el resto del mundo y en
esta línea acceder, dentro del mundo tecnológico, a un tratamiento que propugne por una
igualdad real en la medida que no hay datos que le permitan a los sistemas de IA producir
‘resultados’ atendiendo a sus datos. Ya que si un sistema de IA se entrena con más datos de
cierta población, por ejemplo población que tiene acceso a dispositivos móviles, a través de
16 Congreso de la República. 2020. “Proyecto de Ley 021 de 2020. Por medio de la cual se establecen los lineamientos de política pública para el desarrollo, uso e implementación de inteligencia artificial y se dictan otras disposiciones.” camara.gov. https://www.camara.gov.co/inteligencia-artificial. 17 Español, Armando G. 2020. “Marco ético para la inteligencia artificial en Colombia.” file://psf/Home/Downloads/consulta-marco-etico-IA-Colombia-200813%20(2).pdf. página 14 18 vease: Español, Armando G. 2020. “Marco ético para la inteligencia artificial en Colombia.” file://psf/Home/Downloads/consulta-marco-etico-IA-Colombia-200813%20(2).pdf. 19 Urueña, René. 2019. “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del ‘big data’?” Latin American Law Review 02:99-124. https://doi.org/10.29263/. página 116
8
los cuales se puede recabar información, entonces el sistema de IA será más preciso al
momento de analizar situaciones de esta población. Mientras que será más impreciso al
momento de analizar situaciones de poblaciones que no tienen acceso a dispositivos
móviles y de las que no tiene datos20. Un claro ejemplo, lo presenta Kate Crowford con
Street Bump, una aplicación que recopila datos de teléfonos inteligentes de conductores que
pasan por calles con baches, para después arreglarlas. Sin embargo, la información sólo
proviene de individuos con teléfonos inteligentes. Con lo cual, la aplicación
“necesariamente tendrá menos datos de aquellos vecindarios con menos propietarios de
teléfonos inteligentes, que generalmente incluyen poblaciones mayores y menos
acomodadas”21 y en este sentido el Estado basado en esta información, implícitamente
sesgada, podría solo reparar las calles con baches que tiende a recorrer gente con teléfonos
celulares y las demás calles de las que la aplicación no tiene datos no serían reparadas. De
esta forma, los “valores sociales preexistentes que se encuentran en la sociedad y a partir
de la cual se construye la tecnología”22 pueden inadvertidamente discriminar a diversas
poblaciones.
En este sentido, las limitaciones técnicas23 son otro desafío que puede derivar en sesgos.
Este surge de las “limitaciones tecnológicas, errores o decisiones que favorecen a ciertos
grupos poblacionales”24. Por ejemplo, como lo señala Solon Barocas “la desigualdad
económica crea un sesgo de información que los responsables de la toma de decisiones no
reconocen o abordan. Incluso las decisiones basadas en datos pueden discriminar contra las
20 NG, Andrew, deeplearning.ai, and Coursera. n.d. “Discrimination / Bias.” IA for everyone. Accessed 11 10, 2020. https://www.coursera.org/lecture/ai-for-everyone/discrimination-bias-r8dGg?utm_source=link&utm_medium=page_share&utm_content=in_course_lecture&utm_campaign=bar_button. 21 Crawford, Kate. 2020. “Think Again: Big Data.” Foreing Policy, (05). https://foreignpolicy.com/2013/05/10/think-again-big-data/. 22 Friedman, Batya, and Helen Nissenbaum. 1996. Bias in computer systems. ACM Transactions on Information Systems. https://doi.org/10.1145/230538.230561. 14(3): 330–347. Tomado y parafraseado de Mittelstadt, Brent D., Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, and Luciano Floridi. 2016. “The ethics of algorithms: Mapping the debate.” Big Data & Society, 21. 10.1177/2053951716679679. pagina 7 23 Friedman, Batya, and Helen Nissenbaum. 1996. Bias in computer systems. ACM Transactions on Information Systems. https://doi.org/10.1145/230538.230561. 14(3): 330–347. Tomado y parafraseado de Mittelstadt, Brent D., Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, and Luciano Floridi. 2016. “The ethics of algorithms: Mapping the debate.” Big Data & Society, 21. 10.1177/2053951716679679 24 Mittelstadt, Brent D., Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, and Luciano Floridi. 2016. “The ethics of algorithms: Mapping the debate.” Big Data & Society, 21. 10.1177/2053951716679679. página 7
9
poblaciones pobres y legalmente protegidas”25. Así, si los diseñadores de los algoritmos en
el momento de entrenar un algoritmo no introducen los datos de ciertas poblaciones, de las
que no se tienen datos o de las que simplemente no se quieren incluir, entonces las
decisiones de ese algoritmo va a favorecer al grupo del que tiene información, generando
así una limitación técnica que deriva en discriminacion. Un claro ejemplo de un error
tecnológico se puede evidenciar en un video26 que circula en redes sociales en donde un
dispensador de jabón automático, solo dispensa jabon a manos de color blanco o piel clara,
pero a manos de piel oscura no les dispensa:
Video de Twitter (2017)
De esta forma se evidencia una limitación tecnológica que deriva en discriminacion a
ciertos grupos sociales, en el caso del ejemplo a una persona de piel oscura. Lo cual además
de profundizar aún más los clivajes sociales, genera situaciones injustas y retrocesos
sociales importantes.
También es importante resaltar que la fuente del sesgo no solamente proviene de los datos.
De hecho, y aun cuando la discriminacion no sea intencional, es relevante resaltar que esta
puede surgir en el entrenamiento del algoritmo en donde el etiquetado o clasificación de los
datos reflejan los sesgos implícitos del entrenador27. Específicamente, se conoce este sesgo
25Barocas, Solon. 2014. “Data mining and the discourse on discrimination.” Princeton University, 4. https://dataethics.github.io/proceedings/DataMiningandtheDiscourseOnDiscrimination.pdf. página 2 26 Afigbo, Chukwuemeka. 2017. “Video de Twitter.” Twitter. https://twitter.com/nke_ise/status/89775690075389132. 27 Diakopoulos, Nicholas. 2015. “Algorithmic Accountability.” Digital Journalism 3 (05): 398-415. 10.1080/21670811.2014.976411. página 401
10
como implícito y hace referencia al momento “cuando las personas inconscientemente
tienen actitudes hacia otros o asocian estereotipos con ellos”28. Este sesgo traducido en un
sistema de IA puede favorecer o perjudicar a ciertos grupos sistemáticamente. De allí que
sea importante adoptar medidas de seguridad robusta, lo que “implica adoptar correctivos
oportunos y eficaces”29 en orden a corregir estos sesgos en la IA.
Por otro lado se evidencia otro desafío ético, identificado como el perfilamiento
algorítmico30. Este fenómeno se produce por el hecho de que los algoritmos filtran
contenidos en función de las características de los individuos. Por ejemplo, Youtube filtra
los gustos musicales de cierta persona. De esta forma, se produce un riesgo inherente a la
clasificación, de un trato diferenciado que si bien se puede entender como una forma de
materializar la igualdad material por el que propugna un Estado Social de Derecho, también
podría generar discriminacion en ciertas poblaciones invadiendo sus esferas personales de
manera más agresiva en orden a entender ciertas situaciones. Por ejemplo, en Argentina, en
la provincia de Salta se promovió el uso de la IA con el fin de predecir qué niñas, con
nombre y apellido, tenían la probabilidad de quedar embarazadas en su adolescencia. El
problema con este uso de IA es que “el gobierno Salteño implementó un mecanismo
descentralizado para la recolección de datos de 200.000 personas que habitan zonas
vulnerables”31 de manera que las niñas con probabilidad de quedar embarazadas en la
adolescencia, pero que no habiten en zonas vulnerables no estaban cubiertas en la base de
datos de la que se sirve la IA para hacer su análisis. Con lo cual, el análisis como tal no
ataca la problemática a nivel general, sino se concentra solo en el perfil de las niñas
28 The University of Texas at Austin. 2018. “Sesgo Implícito.” Ethics Unwrapped. https://ethicsunwrapped.utexas.edu/wp-content/uploads/2018/11/Implicit-Bias-Teaching-Notes-SPANISH.pdf. 29 Gutiérrez Rodríguez, Juan D. 2020. “Retos éticos de la inteligencia artificial en el proceso judicial.” researchgate.net/profile/Juan_Gutierrez11/publication/343797970_Retos_eticos_de_la_inteligencia_artificial_en_el_proceso_judicial/links/5f40446592851cd30213c61b/Retos-eticos-de-la-inteligencia-artificial-en-el-proceso-judicial.pdf. página 11 30 CNIL. 2017. “HOW CAN HUMANS KEEP THE UPPER HAND? The ethical matters raised by algorithms and artificial intelligence.” https://www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf.pagina 35 31 Ortiz Freuler, Juan, Carlos Iglesias, and World Wide Web Foundation. 2018. “Algorithms e Inteligencia Artificial en Latin America: Un Estudio de implementaciones por parte de Gobiernos en Argentina y Uruguay.” http://webfoundation.org/docs/2018/09/WF_AI-in-LA_Report_Spanish_Screen_AW.pdf pagina 4
11
residentes en sectores sociales con menos recursos32. De este modo, el perfilamiento de
niñas supone un riesgo en el uso de estos datos, primero por ser menores de edad y
segundo por la intromisión estatal en la privacidad del individuo y en su capacidad de libre
autodeterminación, con un sesgo explícito hacia las poblaciones de pocos recursos.
Por otro lado, se ha identificado el riesgo de la tecnodependencia entendida como la
sujeción y posterior dependencia a las decisiones o salidas arrojadas por la IA. Esto, en la
medida en que, primero, se configura la IA como un ‘soporte’ legítimo para las decisiones
difíciles, por la confianza generalizada basada en que la IA puede tener en cuenta más
información a la hora de tomar una decisión. De manera que se le da un crédito de
imparcialidad, neutralidad e infalibilidad33, lo que es peligroso si se tiene en cuenta que la
IA siempre se va a alimentar de datos producidos por la sociedad que típicamente van a ser
falibles e imperfectos. Segundo porque las consecuencias de la decisión no recaen sobre un
individuo en particular, sino sobre la IA que se alimenta de múltiples datos y sobre la cual
no existe un andamiaje jurídico claro de responsabilidad. Esto, en la medida que es muy
difícil establecer la responsabilidad en caso de sufrir un perjuicio por causa de una decisión
tomada por la IA pues el fin de su explotación es que pueda tomar decisiones
autónomamente, como un paso posterior a su programación. En este sentido, la
tecnodependencia supone un gran desafío ético porque se delega a un sistema de IA la toma
de decisiones ‘difíciles’ que tengan la capacidad de impactar la vida de las personas. De
manera que lo que se termina delegando es la responsabilidad de decidir y explicar dicha
decisión, a un algoritmo que puede ser opaco.
Por ejemplo, un caso que puede ilustrar este desafío ético es el caso Loomis34. Este caso se
trata de un hombre que aceptó los cargos por conducir un vehículo robado y huir de la
policía y fue condenado por el Juez Scott Horne en el condado de La Crosse, Wisconsin a 8
32 Medina, Rosario. 2018. “En Salta usan inteligencia artificial para prever embarazos adolescentes.” Clarín, (04). https://www.clarin.com/sociedad/salta-usan-inteligencia-artificial-prever-embarazos-adolescentes_0_r10wlG6jf.html. 33 CNIL. 2017. “How can humans keep the upper hand? The ethical matters raised by algorithms and artificial intelligence.” https://www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf. pagina 28 34 United States. Supreme Court of Wisconsin. 2015. “State of Wisconsin, Plaintiff-Respondent, v. Eric L. LOOMIS, Defendant-Appellant.” https://epic.org/algorithmic-transparency/crim-justice/Loomis-Brief.pdf.
12
años y seis meses de prisión con el argumento principal de que la evaluación arrojada por
COMPAS, un sistema de IA, lo había señalado como un individuo de alto riesgo para la
comunidad35. Posteriormente, en la apelación ante el Tribunal Supremo del Estado de
Wisconsin, la defensa arguyó que “el uso del sistema COMPAS era inadecuado y violaba el
derecho de su representado al debido proceso, porque: (1) no había podido conocer la
manera en que COMPAS había calculado su puntaje de riesgo y (2) el uso de este software
violaba su derecho a una sentencia individualizada, ya que el algoritmo únicamente
generaba datos basados en estadísticas de grupo”36. A pesar que el Tribunal rechazó las
pretensiones de Eric Loomis y estableció que “los jueces no debían basar su decisión
exclusivamente en el puntaje del algoritmo”37. Aun así, este caso permite ver cómo la
tecnodependencia puede generar decisiones no siempre correctas, pero que se encuentran
legitimadas en tanto son arrojadas por IA de la que se presume un alto grado de
infalibilidad. De manera que se generan dudas acerca del reto etico de dejar que un
algortimo tenga la capacidad de decidir sobre la libertad de una persona afectando en el
proceso sus derechos fundamentales al debido proceso y a la aplicacion de los principios de
no discriminación, transparencia, imparcialidad e igualdad. En este sentido, si bien
COMPAS entregó una determinada salida a partir de unos datos que no contenían criterios
sospechosos como etnia o raza, ProPublica38 evidenció que los acusados afroamericanos
eran más propensos, en comparación con las personas de piel clara, a ser calificados con
altas probabilidades de reincidencia. Incluso cuando la comparación se hacía con personas
de piel clara con un peligroso historial criminal. De manera que el sistema de IA a pesar de
no tener en cuenta datos ‘sospechosos’ que pudieran terminar en discriminacion directa, a
partir de la demás información recaudada si se evidencio discriminacion hacia las personas
afroamericanas.
35 Angwin, Julia, Jeff Larson, Surya Mattu, Lauren Kirchner, and ProPublica. 2020. “Machine Bias.” ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Párrafo 62- 63 36 Romeo Casabona, Carlos M. 2018. “Riesgo, Procedimientos Actuariales Basados en Inteligencia Artificial y Medidas de Seguridad.” (09), 17 37 https://revistas.uniandes.edu.co/doi/pdf/10.29263/lar02.2019.05 pagina 20 38Larson, Jeff, Surya Mattu, Lauren Kirchner, Julia Angwin, and ProPublica. 2016. “How We Analyzed the COMPAS Recidivism Algorithm.” https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.
13
Ahora bien, otro desafío identificado es el problema del Black Box, que se refiere al hecho
de que no es posible conocer las razones detrás de la decisión que toma la IA, de forma que
se sabe qué datos se ingresan y los que salen, pero no se conoce lo que pasó entre esos dos
puntos (entrada y salida)39. Así pues, abordar este desafío por parte de las mismas
empresas creadoras de sistemas de IA es complejo en la medida en que los métodos
computacionales son cada vez más poderosos y ni siquiera los que tienen acceso al código40
y los datos pueden conocer las consecuencias que tenga el sistema de IA en nuestra
privacidad41, es decir, si en el interregno de entrada y salida se desanonimizaron e
identificaron datos sensibles de los individuos. Con lo cual, este es un problema ético en la
medida en que la falta de transparencia impide entender si el procedimiento que precedió la
decisión se alinea a los marcos constitucionales y normativos, circunstancia que puede
reforzar inadvertidamente los sesgos sociales que derivan en discrimacion.
Finalmente, el avance tecnológico ha permitido señalar a varios autores (Rocher, Hendrickx
y Alexandre de Montjoye) que al haber una gran cantidad de datos, incluso incompletos, de
los usuarios es posible de anonimizar los42, haciendo que en el caso de datos personales, los
mismos pueden des anonimizar y hacer que el titular sea identificable. Situación que
vulnera el derecho a la privacidad del titular de los datos. Razón por la cual, el
procedimiento de anonimización actualmente no es suficiente para proteger los datos
personales de los titulares. Esto supone un reto en la medida que actualmente el proceso de
anonimización es el proceso típico para ‘proteger’ los datos personales actualmente.
39Adadi Amina, And Mohammed Berrada. 2018. “Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI).” (09). 10.1109/ACCESS.2018.2870052. pagina 4 40Rene Urueña explica el código como la expresión concreta, en cierto lenguaje de programación, de las operaciones abstractas del algoritmo.En Urueña, René. 2019. “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del ‘big data’?” Latin American Law Review 02:99-124. https://doi.org/10.29263/. página 6 41ADC. 2020. “Ética y protección de datos en la inteligencia artificial.” ADC por los derechos civiles. https://adc.org.ar/2019/05/09/etica-y-proteccion-de-datos-en-la-inteligencia-artificial/. 42Rocher, Luc, Julien Hendrickx, and Yves Alexandre de Montjoye 2,3. 2019. “Estimating the success of re-identifications in incomplete datasets using generative models.” Nature Communications, (07). https://doi.org/10.1038/s41467-019-10933-3.
14
Retos Juridicos
Identificar los desafíos jurídicos es relevante en la medida que interfieren de manera directa
con el derecho de hábeas data de los titulares de los datos. En este sentido, se analizarán los
riesgos a un nivel general, es decir, sin analizar alguna norma en concreto. Así pues, un
riesgo identificado es la falta de protección de la ley a las inferencias que la IA hace de los
datos. Por ejemplo, este desafío se evidenció anteriormente con el caso Loomis en donde a
pesar de que COMPAS no pedía datos sospechosos a través del cuestionario, por medio de
los otros datos llegaba a identificar la etnia o raza de una persona. Así pues, este desafío
tiene dos vertientes: la primera es la adecuación típica sobre si estas inferencias pueden
llegar a considerarse datos personales. Para ello, Sandra Wachter y Brent Mittelstadt43
promueven un modelo de tres pasos. Según el cual, si el contenido, propósito y resultado
puede relacionarse con una persona identificable de manera directa o indirecta, entonces sí
puede ser considerado como un dato personal. De manera que la mayoría de datos
obtenidos bajo inferencias pueden convertirse en datos personales. Segundo, el problema se
relaciona con el hecho de que los individuos tienden a no conocer qué datos de ellos han
sido inferidos por el IA de manera que no podrían reclamar la protección de sus derechos.
Aunado a este desafío, se identifica la falta de comprensión de las formas legales por parte
de los titulares del dato. En este sentido, se presentan situaciones en donde los titulares
otorgan la autorización al tratamiento de datos sin entender cuál es el alcance de la misma.
Así, el desafío que surge es alrededor del control de las malas prácticas en relación con los
datos obtenidos. Por ejemplo, los datos “pueden ser empleados de manera indebida en
contextos de transacciones privadas, para imponer tasas más altas en la venta de seguros a
partir de la revisión del historial de navegación en Internet, limitar la capacidad de decisión
mediante la exposición limitada de contenido, o el aumento de precios de acuerdo con los
43 Wachter, Sandra, and Brent Mittelstadt. 2018. “A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI.” https://ora.ox.ac.uk/objects/uuid:d53f7b6a-981c-4f87-91bc-743067d10167/download_file?safe_filename=3424-Article%2BText-5776-1-10-20190913.pdf&file_format=application%2Fpdf&type_of_work=Journal+article
15
patrones de consumo”44. Con lo que se generaría un perjuicio al titular, sin éste conocer que
lo está sufriendo.
Por otra parte, se ha identificado el desafío del régimen de responsabilidad de la IA. Dado
que al ser una tecnología diseñada para tomar decisiones autónomamente con base en los
datos que va recolectando a partir de su entorno, es muy difícil asignar la responsabilidad
de su ‘actuar’ a sus programadores en la medida que estos pierden el control sobre las
decisiones que la IA comienza a tomar luego de surtido su entrenamiento45. De manera que,
es imposible determinar a partir de qué dato recaudado es que tomo x o y decisión por el
problema del Black Box. De manera que la postura que plantea que el régimen de
responsabilidad debe recaer en los programadores o en la empresa creadora del código
podría desincentivar la innovación en esa jurisdicción. Por otro lado, la postura que señala
que se le debería conceder personalidad jurídica a la IA, para que pueda ser sujeto de
derechos y obligaciones y de esta forma responder por los posibles daños causados, podría
ser inapropiada desde un punto de vista ético y legal en la medida que primero un robot
sería incapaz de otorgar su consentimiento, pues no tiene voluntad. Asimismo esta figura
podría generar la instrumentalización de la IA para cometer delitos y que la responsabilidad
recaiga sobre la IA46. Sin embargo, ya en el mundo a Sofía, una robot que funciona con IA,
se le concedió la ciudadanía en Arabia Saudita47. De manera que a pesar de que el debate
continua, el Estado Saudi parece haber tomado una postura.
Finalmente, otro desafío identificado es el de armonizar la legislación de protección de
datos en orden a atraer desarrollos de IA que puedan adecuarse a diversos contextos
nacionales y que no requieran cambios estructurales en orden cumplir con las normas 44 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 60 45 Parlamento Europeo. 2020. “Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial.” Europarl. https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html. 46 Portilla, Eliana. 2020. “¿Qué tan lejos estamos de otorgarle personalidad jurídica a robots?” https://adefinitivas.com/adefinitivas-internacional/que-tan-lejos-estamos-de-otorgarle-personalidad-juridica-a-robots-a-cargo-de-eliana-a-portilla/#_ftn11. 47 Dinero. 2017. “La historia detrás de Sophia, el primer robot en obtener la ciudadanía de un país.” Dinero, (10). https://www.dinero.com/empresas/articulo/sophia-primer-robot-que-obtiene-ciudadania-en-arabia-saudita/251811.
16
locales sobre protección de datos. En este sentido una armonización de normas con otros
Estados daría un impulso al desarrollo tecnológico en la medida en que quitaría el obstáculo
de diferentes regulaciones que terminan cambiando estructuralmente el funcionamiento del
algoritmo diseñado. Lo anterior teniendo en cuenta el contexto de globalización y el
equilibrio entre protección de derechos humanos y promoción de la transformación
tecnológica.
EL CASO COLOMBIANO
Teniendo en cuenta la base de retos éticos y jurídicos expuesta anteriormente, ahora se
pasarán a profundizar en el caso Colombiano, analizando la Ley 1955 de 2019 y los
CONPES 3920 y 3975; y el Proyecto de Ley 021 de 2020 Cámara de Representantes.
¿Cómo está Colombia frente a la transformación digital?
En línea con el desarrollo tecnológico, en Colombia desde 1998 con el Plan Nacional de
Desarrollo (en adelante PND) “Cambio para Construir la Paz” se ha reconocido la
importancia de la adopción de nuevas tecnologías tanto en la administración como en el
desarrollo económico, social y cultural a fin de disminuir la brecha entre países
desarrollados y países en vía de desarrollo. Sin embargo, el salto al desarrollo tecnológico
ha estado permeado por desafíos de infraestructura tecnológica que va desde la posibilidad
de los ciudadanos de tener un dispositivo electrónico, hasta el acceso a internet en el
territorio nacional.
A pesar de la identificación de los problemas en la transformación tecnológica, los aportes
gubernamentales eran desarticulados, graduales y se enfocaban más en la eficiencia
gubernamental, que en la generación de valor social y económico para los ciudadanos48. De
48 CONPES 3975 de 2019. 2019. “Política Nacional Para la Transformación Digital e Inteligencia Artificial” MinTic. https://www.mintic.gov.co/portal/604/articles-107147_recurso_1.pdf. página 13
17
modo que del PND del 2010-2014, se derivó el programa Plan Vive Digital49 que “impulsó
la masificación del uso de Internet, la apropiación de tecnología y la creación de empleos
TIC directos e indirectos, con el fin de reducir el desempleo y la pobreza, y aumentar la
competitividad del país”50. Con lo que el enfoque de las TIC se concentró más en el valor
social y económico, que en la eficiencia del gobierno. En este sentido y al considerar que
este plan permitió que Colombia avanzara en materia de tecnología51, el siguiente gobierno
le dio continuidad para el cuatrienio 2014-201852 con objetivos cada vez más ambiciosos,
logrando avances en la implementación y acceso a las TIC a nivel nacional.
En este contexto, el sector público empezó su transformación tecnológica. Así pues, en la
DIAN, la Fiscalía General de la Nación, la Contraloría y la Corte Constitucional, se
adoptaron sistemas de IA como Sofía, Watson, Océano y Pretoria (antes Prometea)
respectivamente, para principalmente mejorar los procesos dentro de cada institución. Así
pues, la Dirección de Impuestos y Aduanas Nacionales (DIAN) analizó la implementación
de Sofía para “apoyar la toma de decisiones en la generación del riesgo aduanero” y así
disminuir el contrabando. Este programa, se inauguró en el 2019 dentro del Centro de
Lucha Contra el Contrabando de la Dirección de Impuestos y Aduanas Nacionales53.
En cuanto a la Fiscalía General de la Nación (en adelante Fiscalía), Watson “explora toda
la información que reposa en las bases de datos del Sistema Penal Oral Acusatorio (SPOA),
asociar casos y hacer análisis de contexto”54. De esta forma, en la página de la Fiscalía se
49 MinTIC. 2011. “Plan Vive Digital, eje transversal del Gobierno Santos, hace parte del Plan Nacional de Desarrollo 2010-2014.” https://www.mintic.gov.co/portal/inicio/Sala-de-Prensa/Noticias/2433:Plan-Vive-Digital-eje-transversal-del-Gobierno-Santos-hace-parte-del-Plan-Nacional-de-Desarrollo-2010-2014. 50 DNP and Sinergia. 2016. “Evaluación de Impacto del Plan Vive Digital.” https://colaboracion.dnp.gov.co/CDT/Sinergia/Documentos/Plan_Vive_Digital.pdf. página 5 51 MinTIC. 2011. “Plan Vive Digital, eje transversal del Gobierno Santos, hace parte del Plan Nacional de Desarrollo 2010-2014.” https://www.mintic.gov.co/portal/inicio/Sala-de-Prensa/Noticias/2433:Plan-Vive-Digital-eje-transversal-del-Gobierno-Santos-hace-parte-del-Plan-Nacional-de-Desarrollo-2010-2014. 52 Véase: MinTIC. n.d. “Vive Digital Colombia 2014-2018.” Accessed 10 26, 2020. https://www.mintic.gov.co/portal/604/articles-5193_recurso_2.pdf. 53 Noguera Montoya, Susana P. 2019. “Colombia inaugura Centro de Lucha Contra el Contrabando.” Anadolu Agency. https://www.aa.com.tr/es/mundo/colombia-inaugura-centro-de-lucha-contra-el-contrabando/1563561. 54Flórez Rojas, María L., y Juliana Vargas Leal. 2020. “El impacto de herramientas de inteligencia artificial: un análisis en el sector público en Colombia.” In . Inteligencia Artificial en América Latina y el Caribe. Ética, Gobernanza y
18
evidencian resultados de la herramienta Watson que asocia casos de noticias criminales a
nivel nacional, de modo permite establecer el número de víctimas, el modus operandi y los
victimarios involucrados en los delitos que se analizan. Específicamente, en el 2018- 2019
“se han correlacionado más de 17.000 números únicos de noticia criminales”55 Sin
embargo, si bien se han presentado algunos casos de éxito, no se han publicado aún
informes públicos sobre el impacto de esta IA en la consecución de los fines propuestos y
en posibles efectos colaterales. De modo, que no es posible hacer un análisis sobre si se han
presentado casos de discriminacion o de asociaciones equivocadas entre homónimos.
Por otra parte, en la Contraloría se implementó Océano que es “una plataforma alimentada
por fuentes de información pública, que establece relaciones entre los contratos celebrados
a nivel nacional y los analiza para detectar posibles casos de corrupción”56 De manera que
brinda herramientas a la Contraloría General de la República (en adelante Contraloría) para
“identificar riesgos, depurar, limpiar y enriquecer la información contractual e identificar
posibles nichos de corrupción”57 Asimismo, la información de la que se alimenta Océano es
pública y obedece a la transparencia del Estado y a la posibilidad de permitir la veeduría
ciudadana. De esta forma, alguno de los resultados de Océano es que ha permitido
evidenciar personas muertas que contratan con el Estado o personas inhabilitadas por la
Procuraduría General de la Nación contratando con el Estado58.
Por último, en la Corte Constitucional se adoptó un plan piloto de IA denominada Pretoria
(antes Prometea), que buscaba “responder a la necesidad de buscar mecanismos para que la
Corte Constitucional pueda revisar las más de 3000 tutelas que le llegan diariamente, de
Políticas, 46. Buenos Aires: C. Aguerre. https://guia.ai/wp-content/uploads/2020/05/GECTI-El-impacto-de-herramientas-de-inteligencia-artificial.pdf. página 10 55Fiscalía General de la Nación. 2019. “Rendición de cuentas 2018 - 2019.” https://www.fiscalia.gov.co/colombia/wp-content/uploads/FGN.-Informe-de-gestio%CC%81n.-Versio%CC%81n-final.pdf.pagina 132 56 Contraloría. n.d. “Océano central de información contractual.” Accessed 10 26, 2020. https://www.contraloria.gov.co/documents/20181/1686991/Separata+Oc%C3%A9ano/4f57d770-8f0b-438b-8319-ed4deccb8344. página 2 57 Controlaría General de la República. n.d. “¿qué es?” Accessed 10 26, 2020. https://www.contraloria.gov.co/oceano 58ContraloriaColombia. 2019. “Estos son algunos resultados de #OCÉANO.” Youtube. https://www.youtube.com/watch?v=JtThNq5kZj4&feature=emb_logo
19
manera más eficiente”59. En este sentido, el plan piloto se enfocó en la selección de tutelas
relacionadas con el tema de salud y se encontró una reducción del tiempo destinado a la
selección de casos urgentes de 96 días a 2 minutos. De manera que tal como lo mencionó
Greenfield Sierra Cadena “con Prometea la eficacia de la Corte mejora en un 900% con
respecto a la gestión de tutelas y, prácticamente, se podría responder en tiempo real a las
solicitudes”60. Así pues, luego del plan piloto se decidió implementarla61 y las funciones de
Pretoria en la Corte Constitucional son “la detección inteligente de casos que deben ser
analizados de manera urgente y prioritaria, elaboración de informes pormenorizados y
estadísticos, automatización de documentos, integración con la tecnología del Blockchain y
sistematización de la jurisprudencia de la Corte para soporte de los informes”62. Con lo
cual, se le delega a Pretoria la determinación de los casos prioritarios y posteriormente la
Corte escoge de esos casos, los casos a estudiar. Frente a este panorama, en el conversatorio
“Herramientas digitales al servicio de la justicia en Colombia: el caso PROMETEA”63 se
debatieron tres riesgos que presentaba Prometea. El primero es el riesgo de la transparencia
en tanto no son públicos los criterios que utilizó Prometea para determinar qué casos
pasarían a revisión por parte de la Corte Constitucional. Asimismo, la falta de socialización
y divulgación de este sistema con la ciudadanía podría tener incidencia en su legitimidad.
Segundo, el riesgo de discriminacion, que como se explicó anteriormente, puede generar
vulneración a los derechos de ciertas poblaciones. En este sentido, en dicho conversatorio
se resaltó el carácter asistencialista de Prometea por su función de brindar apoyo
administrativo al juez más no sustituirlo. Con lo que el juez seguiría teniendo el poder de
decisión y así evitar la posible discriminacion de los algoritmos. Finalmente, el tercer
riesgo que se analizó fue sobre la justicia formalista que se refiere a la enajenación de
59 GECTI. 2019. “Memorias Evento Herramientas digitales al servicio de la justicia en Colombia: el caso PROMETEA.” https://gecti.uniandes.edu.co/images/pdf/PROMETEA_EVENTO.pdf. página 1 60 Citado en Grisales Naranjo, Paula A. 2019. “Algoritmos: ¿El nuevo reto del Derecho?” URosario Investigación, (11). https://www.urosario.edu.co/Investigacion/UCD/Articulos/Algoritmos-El-nuevo-reto-del-Derecho/. 61 Corte Constitucional. 2020. “PRETORIA, un ejemplo de incorporación de tecnologías de punta en el sector justicia.” https://www.corteconstitucional.gov.co/noticia.php?PRETORIA,-un-ejemplo-de-incorporaci%C3%B3n-de-tecnolog%C3%ADas-de-punta-en-el-sector-justicia-8970. 62 GECTI. 2019. “Memorias Evento Herramientas digitales al servicio de la justicia en Colombia: el caso PROMETEA.” https://gecti.uniandes.edu.co/images/pdf/PROMETEA_EVENTO.pdf. página 2 y 3 63 Véase: GECTI. 2019. “Memorias Evento Herramientas digitales al servicio de la justicia en Colombia: el caso PROMETEA.” https://gecti.uniandes.edu.co/images/pdf/PROMETEA_EVENTO.pdf.
20
conceptos sociales como justicia y equidad del proceso de selección de tutelas, de manera
que la justicia se desnaturalice por la estandarización de criterios programados.
Ahora bien, y a pesar de que ya ha pasado un año desde el conversatorio aún no se
evidencia una solución frente al problema de la transparencia. De modo que ni siquiera el
informe del plan piloto está disponible al público con lo que no es posible conocer si se han
presentado situaciones de discriminacion en tutelas relacionadas con temas de salud. Con lo
que no es posible hacer un análisis sobre los impactos de Prometea más allá de la poca
información que está disponible al público.
Análisis de la Ley 1955 de 2019
La Ley 1955 de 2019 “Por el cual se expide el Plan Nacional de Desarrollo 2018-2022 -
Pacto por Colombia, Pacto por la Equidad” (en adelante PND) le da un rol protagónico a la
transformación digital como estrategia transversal a través del ‘pacto por la ciencia, la
tecnología y la innovación: un sistema para construir el conocimiento de la Colombia del
futuro’ y ‘pacto por la transformación digital de Colombia: Gobierno, empresas y hogares
conectados con la era del conocimiento’. Ambos pactos contenidos en el numeral quinto y
séptimo, respectivamente, del artículo 3. De esta forma, en el artículo 147 se piensa la
transformación digital pública con la incorporación de los componentes asociados a
tecnologías emergentes y se persigue el objetivo de lograr entidades territoriales
inteligentes como un desarrollo de la cuarta revolución industrial. Estos proyectos se guían
por trece principios señalando principalmente, para efectos del presente proyecto, los
siguientes:
1. Uso y aprovechamiento de la infraestructura de datos públicos, con un enfoque de
apertura por defecto.
2. Plena interoperabilidad entre los sistemas de información públicos que garantice
el suministro e intercambio de la información de manera ágil y eficiente a través de
una plataforma de interoperabilidad. Se habilita de forma plena, permanente y en
tiempo real cuando se requiera, el intercambio de información de forma electrónica
21
en los estándares definidos por el Ministerio TIC, entre entidades públicas. Dando
cumplimiento a la protección de datos personales y salvaguarda de la información.
6. Priorización de tecnologías emergentes de la Cuarta Revolución Industrial que
faciliten la prestación de servicios del Estado a través de nuevos modelos
incluyendo, pero no limitado a, tecnologías de desintermediación, DLT (Distributed
Ledger Technology), análisis masivo de datos (Big data), inteligencia artificial (AI),
Internet de las Cosas (IoT), Robótica y similares.64
La apertura por defecto tiene como objetivo “que los datos se publiquen directamente en el
momento de su creación”65, para hacer más eficaz su publicación y así rendir cuentas de
mejor forma a los ciudadanos. En este sentido, los datos abiertos se caracterizan por “estar
publicados en sitios web de manera gratuita, accesibles al público, dispuestos en formatos
que permiten su uso, reutilización y aprovechamiento sin restricciones legales y bajo
licencia abierta”66. De esta manera, desde el Gobierno Nacional la política de datos se
encamina a la accesibilidad de los mismos con el fin de “buscar la reconstrucción de los
lazos de confianza entre el ciudadano y el Estado”67Sin embargo, la World Wide Web
Foundation (WWWF) ha encontrado que “la debilidad o ausencia total de leyes de
protección de datos en muchos países ha dañado la confianza de los ciudadanos en las
iniciativas de apertura de datos gubernamentales.” Con lo que hay una relación entre la
confianza ciudadana brindada por marcos normativos sólidos, el exitoso proceso de
apertura de los datos y el aprovechamiento de los mismos.
64 Congreso de la República. 2019. “Ley 1955 de 2019 Por el cual se expide el Plan Nacional de Desarrollo 2018-2022. “Pacto por Colombia, Pacto por la Equidad.”” http://www.secretariasenado.gov.co/senado/basedoc/ley_1955_2019.html. artículo 147 65 Web Foundation. 2018. “Barómetro de los Datos Abiertos - Edición de los Líderes.” http://webfoundation.org/docs/2018/09/ODB_Leaders_Spanish_Screen.pdf. página 14 66MinTIC. 2019. “Guía para el uso y aprovechamiento de Datos Abiertos en Colombia.” https://herramientas.datos.gov.co/sites/default/files/Guia%20de%20Datos%20Abiertos%20de%20Colombia.pdf 67 MinTIC. 2019. “Guía para el uso y aprovechamiento de Datos Abiertos en Colombia.” https://herramientas.datos.gov.co/sites/default/files/Guia%20de%20Datos%20Abiertos%20de%20Colombia.pdf pagina 11
22
Sin embargo, el artículo 10 de la Ley 1581 de 201268 señala que en los casos cuando la
“información es requerida por una entidad pública o administrativa en ejercicio de sus
funciones legales o por orden judicial” no es necesaria la autorización del titular. Pero ¿qué
es la autorización del titular? bueno, el artículo 3 define la autorización como “el
consentimiento previo, expreso e informado del Titular para llevar a cabo el Tratamiento de
datos personales”. En este sentido la Corte Constitucional manifestó en sentencia C- 1011
de 2008, reiterada por la sentencia C-748 de 2011 que esta facultad “no puede convertirse
en un escenario proclive al abuso del poder informático, esta vez en cabeza de los
funcionarios del Estado” Con lo cual, “la aplicación del precepto bajo análisis (artículo 10)
debe subordinarse a que la entidad administrativa receptora cumpla con las obligaciones de
protección y garantía que se derivan del citado derecho fundamental, en especial la vigencia
de los principios de finalidad, utilidad y circulación restringida.”
Teniendo en cuenta este límite expuesto por la Corte, es menester resaltar que el principio
de finalidad se refiere a que “los datos personales deben ser procesados con un propósito
específico y explícito”69 De manera que los datos no podrán recopilarse sin una clara
especificación de la finalidad del tratamiento. Con lo cual, es interesante evidenciar que
esto en sí mismo constituye un reto al momento de referirnos a los datos abiertos. Pues con
la apertura de datos es imposible para las entidades públicas informar el propósito
específico y explícito por el cual se recaudan datos personales o públicos sin autorización.
De manera que hay un desafío de preservar la protección del derecho al habeas data, si la
no-autorización no es posible subordinarla a la vigencia del principio de finalidad.
Por otro lado, para el lector debe ser confuso que me esté refiriendo a datos personales,
cuando lo que se persigue es la apertura de los datos públicos. Sin embargo, la Guía para
el uso y aprovechamiento de Datos Abiertos en Colombia, que se desprende de las
directrices dadas en esta Ley, establece que para publicar los datos cada entidad debe 68Congreso de la República. 2012. “Ley 1581 de 2012 Por la cual se dictan disposiciones generales para la protección de datos personales.” http://www.secretariasenado.gov.co/senado/basedoc/ley_1581_2012.html. 69 Corte Constitucional de Colombia. 2011. Sentencia C-748 de 2011. “por la cual se dictan disposiciones generales para la protección de datos personales”. https://www.corteconstitucional.gov.co/relatoria/2011/c-748-11.htm. Consideración 2.6.5.2.2
23
identificar los activos de información que pueden convertirse en datos abiertos y señala “los
datos abiertos no son contrarios a la protección de datos personales: si existe información
asociada a datos personales que puede ser valiosa como dato abierto, se debe adelantar un
proceso de anonimización para eliminar aquella información sensible que afecta la
privacidad de personas u organizaciones”70. De manera que el aprovechamiento de la
infraestructura de datos que se persigue no solo se refiere a datos públicos sino también a
cualquier dato que la entidad considere relevante para su publicación. Con lo que también
los datos personales pueden ser objeto de apertura antecedido por un proceso de
anonimización..
En este sentido, si tenemos en cuenta el segundo principio que es el que busca la
interoperabilidad de las bases de datos entre entidades públicas, es lógico que la cantidad de
información de un individuo que se encuentra diezmada a través de diversas entidades
públicas se va a ver condensada a través de la interoperabilidad. De manera que al haber
una gran cantidad de datos, incluso incompletos, es posible desanonimizarlos,71
específicamente los personales, haciendo que el titular sea identificable. Situación que
vulnera el derecho a la privacidad del titular de los datos. Así, “la garantía del derecho
requiere especiales medidas de protección, teniendo en cuenta que la interconexión de
varias bases de datos puede dar lugar a la elaboración de un perfil de la personalidad que
limite la libertad”72 y que mediante la minería de datos, a través de correlaciones, se puede
llegar a establecer un perfilamiento directo del individuo73.
70 MinTIC. 2019. “Guía para el uso y aprovechamiento de Datos Abiertos en Colombia.” https://herramientas.datos.gov.co/sites/default/files/Guia%20de%20Datos%20Abiertos%20de%20Colombia.pdf. página 22 71 Rocher, Luc, Julien Hendrickx, and Yves Alexandre de Montjoye2,3. 2019. “Estimating the success of re-identifications in incomplete datasets using generative models.” Nature Communications, (07). https://doi.org/10.1038/s41467-019-10933-3. 72 Garriaga Domínguez,, Ana. 1999. La protección de los datos personales en el Derecho Español. 1st ed. Madrid: Dykinson. Citado en: Corte Constitucional de Colombia. 2011. Sentencia C-748 de 2011. “por la cual se dictan disposiciones generales para la protección de datos personales”. https://www.corteconstitucional.gov.co/relatoria/2011/c-748-11.htm. Consideración 2.1.1.1.2 73 Garriga Domínguez, Ana. 2016. Nuevos retos para la protección de datos personales: en la Era del Big Data y de la computación ubicua. N.p.: Madrid : Dykinson. página 55
24
En este sentido, la Corte Constitucional ha manifestado que el principio de Libertad le
permite al “ser humano gozar de la garantía de determinar qué datos quiere que sean
conocidos y tener el derecho a determinar lo que podría denominarse su ‘imagen
informática’”74. Sin embargo, al ver este principio a la luz del artículo 10 de la misma ley y
de la era digital, resulta confuso establecer hasta qué punto el ser humano puede
conscientemente determinar qué datos sean o no conocidos. Dado que los mismos pueden
ser brindados por el titular de forma consciente (usuario, contraseña, nombre) o
inconsciente (ubicación, navegación por internet) a través de un dispositivo móvil. De
manera que no es claro cómo este principio pilar se materializa en función de proteger los
contenidos mínimos del habeas data y con ello la libertad del usuario para determinar
voluntariamente los datos personales que pueden ser utilizados en bases de datos. Con lo
que es importante fortalecer la protección de datos en orden a proteger las garantías básicas
de un Estado Social de Derecho como lo es la libertad.
Otro desafío jurídico tiene que ver con la clasificación de los datos. Aunque la Corte
Constitucional en 2011 señaló que “la clasificación de los datos personales no es un
elemento indispensable de la regulación”75, el CONPES 3920 de 2018 manifestó que la
protección de datos en Colombia aún no ha avanzado hacia un marco jurídico claro de
clasificación de protección de los datos en la medida en que la tipología de clasificación es
variada y abundante, a saber, dato: sensible76, privado77, semiprivado78, público79, abierto80,
clasificado81 y reservado82. Así pues, un amplio y variado catálogo de datos puede dificultar
74 Corte Constitucional de Colombia. 2011. Sentencia C-748 de 2011. “por la cual se dictan disposiciones generales para la protección de datos personales”. https://www.corteconstitucional.gov.co/relatoria/2011/c-748-11.htm. Consideración 2.6.5.2.3 75 Corte Constitucional de Colombia. 2011. Sentencia C-748 de 2011. “por la cual se dictan disposiciones generales para la protección de datos personales”. https://www.corteconstitucional.gov.co/relatoria/2011/c-748-11.htm. Consideración 2.5.6.2 76 Afecta la intimidad y puede generar discriminación 77 naturaleza íntima, solo es relevante para su titular. 78 Su conocimiento puede interesar a un grupo de personas o a la sociedad en general 79 No pertenece a las tipologías anteriores o es definido por la ley 80 Primario o sin procesar, en formatos estándar e interoperables, libre y sin restricciones. Puede ser usado y reutilizado 81 Puede generar daños a la intimidad, vida, salud o seguridad de una persona; o a los secretos comerciales, industriales y profesionales 82Acceso prohibido por la Constitución o la Ley
25
su clasificación y en este sentido su protección. Pues la protección que recibe un dato
público que es accesible a todos no es la misma que recibe un dato sensible que sólo es
asequible con el consentimiento informado y previo del titular. En este sentido, el modelo
existente de clasificación puede traer confusión aun a los más expertos a la hora de
clasificar un dato. Razón por la que un desafío jurídico sería establecer una clasificación
más sencilla y general, en orden a impedir que una mala clasificación deje desprotegidos a
los datos
Análisis del CONPES 3920 de 2018
El CONPES 3920 de 2018 tiene por objeto “aumentar el aprovechamiento de datos,
mediante el desarrollo de las condiciones para que sean gestionados como activos para
generar valor83 social y económico”84. Pues los datos permiten tener información para (1)
mejorar o crear procesos, productos y servicios, (2) solucionar problemas y (3) evidenciar
patrones ocultos y correlaciones que no podrían obtenerse de otra manera85. En este
sentido, el CONPES intenta armonizar la normatividad de tratamiento de datos. Con el fin
de definir las condiciones para aprovechar los datos como insumo central de la economía
digital, impulsado desde el sector público, así como mitigar los riesgos que puedan
derivarse de la explotación de datos, para garantizar la protección de los ciudadanos en este
contexto.
Así pues, el CONPES analiza varios retos, señalando que: primero, y muy en línea con el
artículo 10 de la Ley 1581 de 2012 que permite prescindir de la autorización cuando son
solicitados por entidades públicas en cumplimiento de sus funciones, es menester enfocar
“los esfuerzos de la intervención estatal en los usos permitidos y prohibidos de los datos,
83 La generación de valor es entendida como la provisión de bienes públicos para brindar respuestas efectivas y útiles frente a las necesidades sociales. 84 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 3 85 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 9
26
independientemente de que el titular haya consentido a su procesamiento86. De modo que es
necesario que se delimiten claramente las responsabilidades que permitan la protección del
bien jurídico” Con lo que se evidencian dos elementos, el primero es que el CONPES
analiza el tratamiento de datos cuando los mismos son tratados sin la autorización del
titular, situación en la que sus derechos deben continuar siendo protegidos. El segundo, es
que aun cuando el titular no entienda el alcance de su autorización las entidades deben velar
por la protección del bien jurídico. En línea con esto, evidencia que a pesar de que el
sistema de protección de datos es robusto, la Ley 1581 de 2012 “impone la carga de
protección al titular del dato, quien debe consentir el uso del mismo.”87 De manera que ante
el reto jurídico de los datos inferidos, la carga de la protección sigue en cabeza del titular
quien no tiene posibilidad de conocer qué datos personales suyos han sido inferidos y
necesitan protección. Porque el contexto al que responde esta Ley no se preveía
técnicamente la individualización o identificación de una persona a través de datos
inferidos. En este sentido, expone la falta de protección que en Colombia hay frente al
“tratamiento que debe darse a los datos anonimizados, los cuales, unidos con otros de
naturaleza pública, pueden brindar información de una persona determinada o
determinable. Sin embargo, señala la necesidad de continuar con la apertura de los datos
públicos y establece que cuando se hayan de publicar datos personales estos deben ser
anonimizados, garantizando los derechos de los titulares88. Lo que actualmente constituye
un desafío por la posibilidad de volver a identificar al titular.
Segundo, el CONPES resalta de manera enfática que el marco jurídico actual puede no
responder ante las necesidades actuales de los titulares de los datos89. De forma que no es
86 Mayer-Schönberger, Viktor, and Yann Padova. 2016. “Regime Change? Enabling Big Data Through Europe 's New Data Protection Regulation.” https://www.researchgate.net/publication/303665079_Regime_Change_Enabling_Big_Data_Through_Europe's_New_Data_Protection_Regulation. cita extraída de CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. 87 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 60 88 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 73 89 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 79
27
claro como un titular podría reaccionar frente a las muevas capacidades analiticas derivada
del aprovechamiento de los datos. De manera que es necesario un marco jurídico que
desarrolle principios como responsabilidad demostrada, que consiste en que los
responsables del tratamiento de datos puedan demostrar que han realizado todas las
conductas pertinentes en orden a garantizar el cumplimeitno de las exigencias en materia de
tratamiento de datos. Asimismo, debe incorporar la privacidad por diseño y defecto de los
datos personales que consiste en adoptar medidas preventivas para evitar vulneraciones al
derecho de la privacidad o a la confidencialidad de la información. Para ello se toman
medidas aun antes del proceso de recolección de datos y durante el ciclo de vida del
mismo90. Asimismo, señala la necesidad en la implementación de un marco ético para la
explotación de datos.
Tercero, la multiplicidad de criterios para clasificar los datos es una barrera para la
explotación de los mismos pues las entidades gubernamentales, con el fin de evitar
represalias ante la publicación de datos mal clasificados, aun cuando estos pueden llegar a
ser considerados públicos, deciden no publicar los datos que poseen por miedo de que una
mala clasificación tenga consecuencias para la entidad91. En este sentido, establece que un
sistema de clasificación uniforme, sencilla y clara, daría a los funcionarios certeza respecto
de cuáles datos son reservados, clasificados, privados, semiprivados y públicos92.
Todo esto, permite evidenciar el buen trabajo plasmado en el CONPES 3920 para resaltar
los posibles retos jurídicos y solventarlos con diversas propuestas. Así pues, con la
responsabilidad demostrada y la incorporación de privacidad por diseño y defecto se
impulsa a que los responsables del tratamiento realicen una gestión adecuada en el
tratamiento de los datos en orden a evitar sanciones, que si bien pueden ser pecuniarias
también pueden ser reputacionales. Sin embargo, frente a los retos ético no hay un
90 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 100 91 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 56 92 CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf. página 54
28
pronunciamiento más allá de promover la generación de un marco ético para la explotación
de datos, que al día de hoy aún no se ha materializado.
Análisis del CONPES 3975 de 2019
El CONPES 3975 de 2019 piensa la transformación digital con el objetivo de generar valor
social y económico a través del uso de tecnologías digitales, tanto en el sector público como
en el sector privado, para “crear nuevas formas de hacer las cosas en todos los sectores
económicos, generando nuevos modelos de desarrollo, procesos y la creación de productos
y servicios, que a su vez producen valor”93 y así “impulsar la productividad y favorecer el
bienestar de los ciudadanos, de manera que Colombia pueda aprovechar las oportunidades
y enfrentar los retos relacionados con la Cuarta Revolución Industrial (en adelante 4RI)”94.
En este sentido, el CONPES reconoce que la IA es la tecnología que más se ha
generalizado pues puede generar múltiples beneficios. Por ello se establecen catorce
principios para su desarrollo en Colombia, entre los cuales se resalta:
3. Toda regulación que impacte el desarrollo de IA en Colombia debe ir
acompañada de evidencia que soporte la necesidad de intervención del Estado, con
el fin de evitar convertirse en una limitante injustificada para el desarrollo de un
mercado competitivo de IA [...]
4. Colombia debe adoptar modelos de regulación novedosos que permitan a las
entidades regulatorias y de supervisión conocer las últimas tecnologías y a los
emprendedores experimentar nuevos modelos. Así mismo, es esencial considerar un
enfoque de gobernanza de la IA basado en riesgos que debe ser promovido dentro
de las entidades del Gobierno y el sector privado
93 CONPES 3975 de 2019. 2019. “Política Nacional Para la Transformación Digital e Inteligencia Artificial” MinTic. https://www.mintic.gov.co/portal/604/articles-107147_recurso_1.pdf. página 19 94 CONPES 3975 de 2019. 2019. “Política Nacional Para la Transformación Digital e Inteligencia Artificial” MinTic. https://www.mintic.gov.co/portal/604/articles-107147_recurso_1.pdf. página 3
29
5. Desarrollar una infraestructura de datos completa y que permita el diseño e
implementación de sistemas de IA en el país, priorizando la creación e
identificación de bases de datos masivos que sean interoperables y contengan
información estructurada, así como disminuyendo barreras innecesarias e
injustificadas al acceso a datos, para los desarrolladores de esta tecnología. También
se deben generar modelos para que entidades de diversos sectores localizadas en
Colombia o en el exterior puedan compartir e intercambiar información de forma
rápida y sencilla. Esto significa que la regulación de protección de datos debe
garantizar los derechos de los ciudadanos bajo un marco de gestión del riesgo.
6. Colombia debe desarrollar condiciones específicas que permitan que la IA pueda
ser dirigida a consumidores no tradicionales y a mejorar la calidad de vida de los
colombianos, en especial a aquella población pobre y vulnerable, así como para
cerrar brechas entre zonas urbanas y rurales, entre otros ejemplos.
7. Gobierno nacional reconoce que el uso de IA conlleva una serie de desafíos
éticos que deben ser considerados y atendidos por el Estado, tales como, justicia,
libertad, no discriminación, transparencia, diseño responsable, seguridad, privacidad
y el rol de los derechos humanos, entre muchos otros. Estos principios deben ser
discutidos y construidos con el apoyo del sector privado y la comunidad científica y
académica del país experta en la materia.
Este acercamiento es interesante en la medida que manifiesta que “hay una serie de riesgos
que la sociedad colombiana deberá enfrentar y mitigar, como su posible impacto en la
profundización de diferencias sociales e inequidad.” y en el cuarto principio propone un
enfoque de gobernanza de la IA basado en riesgo, que si bien no es claro a qué se refiere
concretamente, la Escuela Europea de Excelencia señala que el enfoque basado en riesgos
se trata de “tener en cuenta los riesgos, en vez de intentar preverlos”95. De manera que la
95 Escuela Europea de Excelencia. 2020. “Interpretación del enfoque basado en riesgos.” https://www.escuelaeuropeaexcelencia.com/2016/08/interpretacion-enfoque-basado-en-riesgos/.
30
prevención del riesgo no es el norte en la implementación de IA. Esto es problemático pues
como se vio anteriormente el riesgo con la IA empieza con la recaudación de datos. Con lo
que si no se trata el riesgo de discriminacion de manera preventiva, sino en desarrollo de la
IA es muy probable que los derechos de poblaciones vulneradas se vean aún más afectados.
Asimismo pasa con algunos retos éticos como las limitaciones técnicas y el black box, que
deben tener un tratamiento previo en orden a prevenir o mitigar los efectos nocivos sobre
los sujetos pasivos, destinatarios de las decisiones de la IA. Esto podría resultar
contradictorio con el principio número seis que pretende que a través de la IA la calidad de
los más vulnerables sea mejorada. Así como de las recomendaciones brindadas en el
CONPES 3920 donde se señala que se debería adoptar un modelo de privacidad por diseño
y defecto de los datos personales y de responsabilidad demostrada. De manera que en
cuestión de derechos fundamentales no debería esperarse hasta que se materialice la
vulneración de los derechos para tratarlo, sino por el contrario prevenirlo de manera eficaz.
Por otro lado, se puede evidenciar que lo que se pretende es ampliar la implementación de
IA tanto en el sector privado como en el público, motivando el desarrollo con medidas
regulatorias meramente necesarias y no excesivas. Con el fin de atraer emprendedores. Así
como permitir el intercambio de información entre diversas entidades, ubicadas incluso en
el exterior. De manera que para impulsar la movilidad de los datos, limitado en un ESD
primero es importante que se adopte un marco normativo, tomando en cuenta las
recomendaciones brindadas en el CONPES 3920 en donde se estipula de manera clara la
necesidad de protección a los datos inferidos y a los datos personales anonimizados, que
como ya se vio, no es suficiente para proteger los derechos de los titulares.
Finalmente, el séptimo principio reconoce los riesgos éticos en los que se puede incurrir
con la implementación de la IA. En este sentido, la propuesta de Marco Ético para la
Inteligencia Artificial en Colombia que se deriva de esta CONPES señala que la ética de la
IA debe centrarse en los datos, en los algoritmos y en las prácticas “con el fin de formular
31
y apoyar soluciones realmente buenas”96. Así pues, se identifican retos éticos de la IA,
entre los que se señala el riesgo de disciminacion algorítmica, la cual en el contexto de
“marginados en contextos mantos [...] puede llevar a agresiones sin control e incluso a
exclusiones fatales de servicios y recursos públicos. ”97, afectando derechos humanos. Así
como el bajo nivel de transparencia que puede tener la IA y que puede derivar en
dscriminacion replicando los sesgos de los datos y de su entrenamiento. Un claro ejemplo,
es Predpol en Uruguay que predecía crímenes pero que terminó reforzando las exclusiones
sociales de manera que el programa de descontinuo.
Teniendo en cuenta los riesgos señalados se presentan principios que se deberían adoptar:
estos son98:
● Transparencia: brindar información sobre el diseño, formulación e impacto de la IA.
● Explicación: la información compartida debe ser comprensible para todos.
● Privacidad: respeto por la intimidad y se prohíbe el uso de información que los
titulares no hayan autorizado y el perfilamiento de individuos.
● Control humano de las decisiones propias de un sistemas de IA: mecanismo que
aseguran la intervención de los seres humanos.
● Seguridad: la IA no debe generar afectaciones a la integridad de los seres humanos.
● Responsabilidad: se parte de la solidaridad en la responsabilidad de los diseñadores,
desarrolladores y personas que implementen esta tecnología, por los daños que
genere la IA.
● No discriminación: la IA no puede generar resultads que atenten contra el bienestar
de un grupo específico o quelimiten los derechos de pobiaciones históricamente
marginadas.
● Inclusión: Participación activa de poblaciones históricamente marginadas en el
diseño, desarrollo e implementación y evaluación de la IA.
96 Español, Armando G. 2020. “Marco ético para la inteligencia artificial en Colombia.” file://psf/Home/Downloads/consulta-marco-etico-IA-Colombia-200813%20(2).pdf. página 14 97 Idib. 18 98 Ibid 28 - 38
32
● Prevalencia de los derechos de los niños, niñas y adolescentes: la IA deben
reconocer, respetar y privilegiar los derechos de niños, niñas y adolescentes. En
ningún caso está justificada la implementación de un sistema inteligente inicial que
vaya en detrimento de su interés superior.
● Beneficio social: la IA debe permitir o estar directamente relacionada a una
actividad que genere un beneficio social claro y determinable.
En este sentido, el CONPES 3975 de 2019 en el principio séptimo abre la puerta para esta
propuesta ética, que cabe señalar nuevamente que aún no ha sido adoptada. Sin embargo,
este marco cubre la mayoría o si no todos los riesgos expuestos en nuestra base de riesgos.
Análisis del Proyecto de Ley 021 de 2020 Cámara de Representantes
Antes de comenzar es importante resaltar que atendiendo a limitaciones de espacio me
referiré sólo a los artículos que se relacionan directa o indirectamente con los riesgos éticos
y jurídicos. Así pues, el proyecto señala los principios para “efectos de interpretación de la
presente ley”, a saber: autoridad humana, bien común, cooperación, diseño seguro,
investigacion preventiva y prevalencia de la inteligencia humana. en este sentido, frente al
principio de diseño seguro señala que no se debe implementar la IA cuando se evidencia
riesgo e inseguridad. Sin embargo, parecen olvidar que el riesgo siempre está presente con
la IA en la medida que su más grande función es tomar decisiones de manera autónoma.
Con lo que si se impone este límite a la IA, ningún proyecto podría desarrollarse en
Colombia. Por ello es necesario complementar el artículo 3 añadiendo que si no se adoptan
medidas tendientes a solventar el riesgo ahi si se debería haber una abstención de
implementar la IA.
Continuando con el análisis, al artículo 11 señala que “las políticas del orden nacional o
local para el uso de los datos por parte de la Inteligencia Artificial no pueden permitir que
se generen resultados que resulten como actos discriminatorios, por lo cual se deberá
garantizar la igualdad de trato e igualdad de oportunidades.” Este postulado presenta dos
33
elementos a analizar, el primero es que el derecho a la igualdad es un derecho
constitucional de manera que en todas las situaciones se debe acatar. De manera que la falta
de un ‘trato’ igual no se traduce en la solución al problema de discriminacion, pues como lo
vimos anteriormente los datos de los que se alimenta la IA son un reflejo vivo de las
estructuras sociales. Por lo cual, la discriminacion puede ser inadvertida y en ocasiones solo
es evidente cuando se analizan situaciones similares concretas. En este sentido, más que
imponer una obligación imposible a las ‘políticas’ del orden nacional o local, es fomentar
mecanismos constantes de auditoría que permitan establecer si hay patrones de
discrimiacion inadvertida por parte de la IA. Así como adoptar medidas tendientes a
asegurar que los datos de todas las poblaciones posiblemente afectadas por las decisiones
de la IA esten representados, con el fin de evitar el riesgo de insuficiencia de datos de
ciertas poblaciones que podría derivar en discriminacion.
Segundo, el proyecto señala en el artículo 12 que “los responsables en el uso,
implementación y desarrollo de la Inteligencia Artificial tienen la obligación de informar
expresamente a los titulares de los datos usados en el tratamiento que se les está otorgando
a los mismos y los resultados obtenidos.” Con lo que a pesar de la poca técnica legislativa
del artículo, el artículo reafirma el principio de finalidad establecido en la Ley 15821 de
2010. Sin embargo, si lo que se pretende es que el titular del dato pueda conocer la
trazabilidad de sus datos, es una obligación imposible de cumplir por parte de los diferentes
responsables. Porque primero la cantidad de datos utilizados por la IA para operar son
miles y miles de ellos, de manera que identificar de manera individual cuál es el resultado
en el tratamiento de un dato es humanamente imposible y si esto se aúna con el problema
del Black Box, en donde no es posible conocer la trazabilidad del dato una vez ‘introducido
en la IA’. Con lo que, más allá de una explicación general de los resultados del análisis de
múltiples datos, no es posible generar un reporte individualizado a cada titular. Por ello es
importante reforzar el procedimiento de autorización señalando en un lenguaje claro y
entendible la finalidad que se persigue con los datos. De manera que la carga y el poder de
decisión, sobre si dar o no sus datos, seguiría en cabeza del titular y no del responsable de
los datos.
34
Tercero, y en igual sentido que el anterior punto, el artículo 14 manifiesta que “los
responsables en el uso, implementación y desarrollo de la Inteligencia Artificial tienen la
obligación de garantizar que se conocen las causas que dan lugar a las decisiones,
resultados o predicciones de los algoritmos obtenidos por la inteligencia humana.”De
manera que la única forma de tratar de explicar las causas que llevaron a la IA a tomar x o
y decisión es en el periodo de programación y entrenamiento, con los datos de entrada que
el programador sabe que ingresan a entrenar a la IA. Sin embargo, posterior al
entrenamiento y cuando la IA siga recaudando datos por sí misma y ‘analizandolos’ de
manera autónoma es imposible para el ‘responsable en el uso, implementación y desarrollo’
pueda señalar con certeza qué datos utilizó la IA para tomar una determinada decisión y
mucho menos la razón de esa decisión por el problema del Black Box.
Cuarto, el artículo 20 señala que se “deberá garantizar la seguridad de la información
respetando en todo momento que no se vulnere el derecho a la intimidad y privacidad de las
personas”. En este sentido, el artículo 27 indica que “los responsables del uso,
implementación y desarrollo deben garantizar la anonimización de la información de
carácter particular”. De manera que se aborda el problema de seguridad de los datos
personales a través de la anonimización. Sin embargo, como se mencionó anteriormente
esto aún sigue siendo un reto en la medida que el proceso de desanonimización o re-
identificación es posible, haciendo que los datos personales puedan ser asociados a una
persona. Por otro lado, si bien señala la obligación de no vulnerar el derecho de privacidad,
no se menciona nada acerca de los datos inferidos, de manera que no es claro si la ley de
protección de datos se entiende ampliada hasta los datos inferidos o si por el contrario ha
sido un riesgo aún no contemplado en el proyecto de ley.
Quinto, el artículo 22 habla de la protección de datos y señala de manera expresa que “los
datos que sirvan para alimentar cualquier desarrollo de Inteligencia Artificial deberán
contar con la autorización expresa de su titular y de los terceros que pudieran verse
afectados”. Así también el artículo 24 que señala “los datos generales y personalísimos
35
usados en Inteligencia Artificial tienen reserva legal, por lo cual solamente podrán ser
usados con autorización expresa de su titular”. De manera que aunque parecen brindar una
solución frente a la incertidumbre del artículo 10 de la Ley Estatutaria 1581 de 2012, es
importante resaltar que realmente no brinda ninguna solución en la medida que una ley
estatutaria no puede ser modificada por una ley ordinaria. De manera que el riesgo frente al
artículo 10 continúa. De hecho, en el parágrafo del artículo 23 ocurre lo mismo, pues
pretende establecer una obligación en cabeza del responsable de la IA para que renueve la
autorización del titular cada tres meses. En este sentido, busca modificar la Ley estatutaria
frente a lo cual la Corte Constitucional ha señalado “una ley estatutaria o una ley orgánica
no pueden ser modificada por una ley ordinaria sino por otras de idéntica categoría”99 De
manera que si bien esta propuesta es buena para actualizar la ley de protección de datos a
las necesidades actuales, y solventar el riesgo que origina el artículo 10 de la ley 1581 de
2012, un proyecto de ley ordinaria no es la llamada a hacer esas modificaciones.
Por otro lado, el parágrafo del artículo 22 toma en consideración la recomendación del
CONPES 3920 y analiza los derechos patrimoniales de los titulares de datos personales,
señalando que “la monetización de los datos usados por medio de inteligencia artificial
cuyo beneficio se obtenga por el uso y análisis de la información suministrada por el titular
de la información le permitirá a éste exigir y reclamar, a manera de contraprestación, los
réditos obtenidos sin su consentimiento más la indemnización de perjuicios.”. Sin embargo,
es de aclarar que esto puede llegar a contrariar el espíritu del CONPES 3975 que establece
ciertos lineamientos para que Colombia sea atractiva para los emprendedores que usan
nueva tecnología. De manera que si se impone una regulación de este tipo, puede
desincentivar el desarrollo de IA en Colombia en la medida que los datos que se utilizan
para que la IA pueda funcionar son miles y miles de datos.
Sexto, el artículo 28 indica sin mayores explicaciones que el régimen de responsabilidad
debe aplicar a los responsables en el uso, manejo e implementación de la IA. De manera 99 Corte Constitucional. 2001. “Sentencia C-778 de 2001.” https://www.corteconstitucional.gov.co/relatoria/2001/C-778-01.htm#:~:text=C%2D778%2D01%20Corte%20Constitucional%20de%20Colombia&text=Persigue%20 darle%20 coherencia%20al%20 texto,al%20Estado%20social%20de%20derecho.
36
que como se dijo anteriormente esto puede desincentivar el desarrollo de la IA en Colombia
pues como ya se expuso los programadores dejan de tener el control sobre la IA en la
medida que esta va tomando decisiones autónomas. Por ello es importante la figura del
auditor para que haya razones de peso para asignarles la responsabilidad a los
programadores.
Séptimo, frente a los riesgo éticos, el proyecto a través del artículo 31 le transfiere la carga
a los responsables del uso, manejo e implementación de la IA, de radicar ante la Comisión
de Tratamiento de Datos y Desarrollos con Inteligencia Artificial100 “un Código de Ética en
el que se establezcan los responsables por los daños que se generen, garantizando el
cumplimiento de la presente Ley”. Esto puede generar ventajas en la medida que los que
implementan la IA pueden tener más información de los retos éticos que esta puede generar
a nivel social. Sin embargo, también puede constituirse en un desincentivo para los
creadores en reconocer los riesgos que puede generar la IA porque podría jugar en su contra
en un caso de responsabilidad extracontractual.
Finalmente, frente a los aspectos positivos del proyecto se resalta que el artículo 19 señala:
“las políticas del orden nacional o local deberán establecer que los responsables en el
manejo de la Inteligencia Artificial deberán garantizar, previa implementación de la
Inteligencia Artificial, pruebas previas que garanticen la no generación de daños y la
previsión de riesgos.” De manera que si bien no es posible garantizar con total certeza que
no se producirá un daño, si es importante resaltar la prevención de riesgos, pues esto
permite que los riesgos éticos y jurídicos no se materialicen. En este sentido, también es
positivo que de manera preventiva se tengan en cuenta posibles “efectos sociales,
patrimoniales, laborales, económicos, ambientales, comerciales, políticos, y todos aquellos
que tengan incidencia o generen riesgo en los seres humanos.”101 ya que de esta forma se
pueden prevenir posibles efectos negativos en diversas poblaciones. Con lo que también es
importante lo señalado en el artículo 15 que predica que la IA deberá “contar con dirección,
100 Entidad que se crearía por virtud del artículo 4 de este Proyecto de Ley. 101 Congreso de la República. 2020. “Proyecto de Ley 021 de 2020. Por medio de la cual se establecen los lineamientos de política pública para el desarrollo, uso e implementación de inteligencia artificial y se dictan otras disposiciones.” camara.gov. https://www.camara.gov.co/inteligencia-artificial. Artículo 18
37
supervisión, auditoría y control de inteligencia humana capacitada y responsable”. Pues
esto le permite al auditor tener una retroalimentación constante acerca del funcionamiento
de la IA y también de sus efectos sociales.
HALLAZGOS GENERALES Y CONCLUSIONES
En conclusión, para responder a la pregunta de investigación sobre ¿En qué medida las
políticas públicas propuestas por el Proyecto de Ley 021 de 2020 Cámara de
Representantes y los CONPES 3920 de 2018 y 3975 de 2019 acerca de la IA permite
enfrentar los retos jurídicos y éticos generados por la implementación de la inteligencia
artificial, conservando el Estado Social de Derecho? a lo largo de este texto se ha seguido
un método deductivo yendo de lo más general a lo más específico. Así, se encontró que los
desafíos éticos que la IA puede generar son la siguientes: situaciones de discriminacion
inadvertida a ciertas poblaciones, que tiene diversas causas: la primera es porque los datos
son un reflejo de la sociedad y en esa medida es difícil percibir los sesgos implícitos.
Segundo, los sesgos del entrenador pueden verse reflejados en el etiquetado de los datos y
posteriormente en las decisiones de la IA. Tercero, la existencia de datos ‘contaminados’ o
‘parcializados’, es decir, que provienen sólo de una parte de la sociedad o que contienen
sesgos implícitos, puede generar que la IA al momento de tomar decisiones respecto de
poblaciones de las que no tiene datos pueda estar sesgado. Cuarto, el perfilamiento
algorítmico puede abrir la puerta para acentuar tratos diferenciados entre grupos
poblacionales. Lo que en algunos casos genera una intromisión del Estado en los datos
personales de esas poblaciones en orden a evitar ciertos acontecimientos futuros. Un claro
ejemplo, es el caso de la predicción de embarazo adolescente en Salta, Argentina. Quinto,
el riesgo de la tecnodependencia que genera una legitimación infundada de objetividad
absoluta de las decisiones tomadas por la IA. Esto a su vez puede generar una transferencia
de responsabilidad a la IA la cual no cuenta con un régimen de responsabilidad claro.
Sexto, el problema del Black Box, que impide conocer las razones detrás de una decisión.
38
Por otro lado, frente a los riesgos jurídicos principalmente se señalaron tres: el primero, es
frente a los datos inferidos, pues muchas veces no son protegidos por no ser considerados
como datos y por la falta de información con la que cuenta el titular de los datos para saber
qué datos acerca suyo han sido inferidos, de manera que no podría conocer qué datos
pueden ser objeto de rectificación, actualización o protección. El segundo, es alrededor del
régimen de responsabilidad por las decisiones de la IA. En este sentido, hay dos posturas, la
primera le imputa la responsabilidad al programador y la segunda le concede una
personalidad jurídica a la IA. Ambas posturas presentan múltiples consecuencias, pero ya
ha habido un Estado, a saber, Arabia Saudi que ya tomó postura al concederle la ciudadanía
a Sofía un robot que funciona como IA. Finalmente, el tercer desafío es frente a la
armonización de reglas de protección de datos, considerando el contexto de globalización
en el que nos encontramos.
Ahora bien, en un nivel más particular y teniendo en cuenta la base de retos éticos y
jurídicos, se analizó la Ley 1955 de 2019, los CONPES 3920 de 2018 “Política nacional de
explotación de datos (big data)” y 3975 de 2019 “Política nacional para la transformación
digital e inteligencia artificial”; y el proyecto de Ley 021 de 2020 Camara de
Representantes. De esta forma, la Ley 1955 de 2019 le da un rol protagónico a la
transformación digital y promueve en general el mejoramiento de las relaciones entre el
ciudadano y el Estado. Así como, la apertura de los datos y la interoperabilidad entre las
bases de datos de las entidades públicas. Sin embargo, uno de los riesgos encontrados tiene
que ver con la apertura de datos y el artículo 10 de la Ley 1581 de 2012, que establece que
cuando la información es requerida por una entidad pública o administrativa en ejercicio de
sus funciones legales o por orden judicial. En este sentido, la Corte Constitucional ha
limitado este poder por parte de las entidades públicas a la vigencia de los principios de
finalidad, utilidad y circulación restringida. Pero, en la medida que se promueven datos
abiertos es imposible para una entidad asegurar la vigencia de los principios de finalidad,
utilidad y circulación restringida. Por otro lado, teniendo en cuenta que los datos hoy en día
pueden ser recabados de forma consciente o inconsciente por los dispositivos móviles, no
hay claridad frente a la materialización del principio de libertad y la utilización de esos
39
datos por parte de entidades públicas. Finalmente, un reto jurídico para la efectiva
protección de datos tiene que ver con los múltiples criterios de clasificación de datos, los
cuales no son claros y esto puede generar que una mala clasificación vulnere la protección
al derecho al habeas data.
De esta forma, si bien Colombia tiene un marco robusto de protección de datos, aún es
necesario actualizar estas normas, en orden a fortalecer el ESD y el deber de “garantizar a
los asociados condiciones de vida digna”102 De modo que las relaciones sociales de poder
que surgen del uso masivo de datos y que puede penetrar en la esfera privada del
ciudadano, puedan ser aminoradas. Con lo cual, es necesario fortalecer la protección de
datos, para generar confianza ciudadana y que de esta forma la IA pueda seguir siendo
implementada. En este sentido, es importante analizar la continuidad del artículo 10 de la
ley 1581 de 2012, pues bajo los límites establecidos por la Corte Constitucional y los
avances tecnológicos, este artículo no puede operar sin el riesgo inminente de vulnerar el
derecho a la privacidad de los ciudadanos.
En este sentido, el CONPES 3920 hace alusión de la necesidad de un nuevo marco
normativo de protección de datos que responda a los retos actuales. De manera que como
ya se manifestó, el respeto por los derechos recabados sin la autorización del titular pero
sustentado bajo el artículo 10 de la ley 1581, no es posible en la medida que no se puede
asegurar la vigencia a los principios de finalidad, libertad y circulación restringida.
Asimismo, y en la medida que los datos generados actualmente por una persona pueden
permitir inferir otros datos, no es posible que la carga de protección de los mismo, siga en
cabeza del titular, quien muchas veces desconoce qué datos suyos circulan en el mundo
digital. De manera que la nueva regulación debe condensar los avances ya realizados por la
SIC frente a responsabilidad demostrada y la privacidad por diseño y defecto de los datos
personales.
102 Urueta Rojas, Juan M. 2004. “La Dimensión Cuantitativa de la Cláusula del Estado Social de Derecho en Colombia.” Estudios Socio-Jurídicos 6, no. 2 (01). http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0124-05792004000200011. página 329
40
Por otro lado, el CONPES 3975 recalca constantemente la necesidad que tiene Colombia de
adaptarse a los nuevos cambios que supone la 4RI y en este sentido menciona que debe
haber especial cuidado con la protección de datos. Sin embargo, al establecer un enfoque
basado en riesgos, propicia la desproteccion de los mismos, en la medida que frente al
riesgo de discriminación, sus causas pueden derivarse desde el momento mismo de la
recoleccion de datos. En este sentido, es necesario cambiar este enfoque en orden a
asegurar los principios que promueven la inclusión de poblaciones vulnerables y el
tratamiento de los riesgos relacionados con no discrimacion, transparencia, diseño
responsable, seguridad, privacidad y el rol de los derechos humanos. Asimismo, en línea
con este CONPES se analiza la implementación de un marco ético, que aunque no se ha
adoptado porque está en proceso de socialización y demás, si es relevante resaltar que este
marco si propone ciertos principios en orden a solventar los riesgos éticos identificados en
la literatura.
Finalmente, el Proyecto de Ley 021 de 2020, Cámara de Representantes pretende fijar
ciertos lineamientos para la implementación, uso y desarrollo de la IA. Sin embargo,
presenta una desconexión amplia con los lineamientos resaltados en los CONPES 3920 y
3975, principalmente en el desconocimiento de ciertas dificultades que presenta la IA y de
las que exige soluciones prontas, sin presentar lineamientos claros frente a cómo se deben
solventar los riesgos éticos y jurídicos señalados por los CONPES. Incluso, con algunos de
las articulos se desconoce el fin que persigue la Ley 1955 de 2019 con el “pacto por la
transformación digital de Colombia: Gobierno, empresas y hogares conectados con la era
del conocimiento”
Así pues, se encontró que aunque el proyecto del gobierno consolidado en la Ley 1955 de
2019 es ambicioso y condensa el desarrollo normativo y digital que se le ha querido dar a
la transformación digital desde 1998, la apertura de datos puede dificultar la confianza
ciudadana hasta tanto la protección de datos no se actualice a los nuevos retos que supone
la digitalización. Por ejemplo, el CONPES 3920 de 2018 desarrolla muy bien estos riesgos
y reconoce que es necesario la intervención pública en la medida que los titulares de los
41
datos se encuentran en una posición asimétrica con las organizaciones públicas que
recolectan, agregan y explotan los datos. De manera que esta asimetría en alguna ocasiones
permite que el titular brinde la autorización de tratamiento de datos sin entender de manera
clara la finalidad del mismo, situación que puede ser aprovechada para por ejemplo usar los
datos, generados de manera consciente o inconsciente del titular, para perfilarlo
algorítmicamente, que como vimos anteriormente esto puede ser un desafío en la medida
que discrimina o vulnera la igualdad de los individuos.
En este sentido, se evidencia cierta inconsistencia en la manera de dirigir la política pública
en orden a solventar y mitigar los riesgos éticos y jurídicos. Esto impide que los retos
identificados de manera previa en los CONPES no sean tenidos en cuenta en el Proyecto de
Ley analizado, lo que conduce a un estado de confusión lo que a su vez podría promover
una hiper normativización alrededor de la implementación de la IA socavando los esfuerzos
que promueven su desarrollo. De manera que aunque si es necesaria una modificación a la
Ley de protección de datos para asegurar una implementación legitimada de la IA el
Proyecto de Ley 021 DE 2020 que pretende regular su implementación no responde a las
necesidades actuales.
Bibliografía:
● Adadi, Amina, and Mohammed Berrada. 2018. “Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI).” (09). 10.1109/ACCESS.2018.2870052.
● ADC. 2020. “Ética y protección de datos en la inteligencia artificial.” ADC por los derechos civiles. https://adc.org.ar/2019/05/09/etica-y-proteccion-de-datos-en-la-inteligencia-artificial/.
● Afigbo, Chukwuemeka. 2017. “Video de Twitter.” Twitter. https://twitter.com/nke_ise/status/89775690075389132.
● Angwin, Julia, Jeff Larson, Surya Mattu, Lauren Kirchner, and ProPublica. 2020. “Machine Bias.” ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
42
● Barocas, Solon. 2014. “Data Mining and the Discourse on Discrimination.” Princeton University, 4. https://dataethics.github.io/proceedings/DataMiningandtheDiscourseOnDiscrimination.pdf.
● Boquen, Antonie. 2020. “An Introduction to China’s Social Corporate Credit System.” New Horizons. https://nhglobalpartners.com/chinas-social-credit-system-explained/.
● CNIL. 2017. “How Can Humans Keep the Upper Hand? The ethical matters raised by algorithms and artificial intelligence.” https://www.cnil.fr/sites/default/files/atoms/files/cnil_rapport_ai_gb_web.pdf.
● Congreso de la República. 2012. “Ley 1581 de 2012 Por la cual se dictan disposiciones generales para la protección de datos personales.” http://www.secretariasenado.gov.co/senado/basedoc/ley_1581_2012.html.
● Congreso de la República. 2019. “Ley 1955 de 2019 Por el cual se expide el Plan Nacional de Desarrollo 2018-2022. “Pacto por Colombia, Pacto por la Equidad.”” http://www.secretariasenado.gov.co/senado/basedoc/ley_1955_2019.html.
● Congreso de la República. 2020. “Proyecto de Ley 021 de 2020. Por medio de la cual se establecen los lineamientos de política pública para el desarrollo, uso e implementación de inteligencia artificial y se dictan otras disposiciones.” camara.gov. https://www.camara.gov.co/inteligencia-artificial.
● CONPES 3920 del 2018. 2018. “Política Nacional De Explotación De Datos (Big Data).” https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3920.pdf.
● CONPES 3975 de 2019. 2019. “Política Nacional Para la Transformación Digital e Inteligencia Artificial” MinTic. https://www.mintic.gov.co/portal/604/articles-107147_recurso_1.pdf.
● Contraloría Colombia. 2019. “Estos son algunos resultados de #OCÉANO.” Youtube. https://www.youtube.com/watch?v=JtThNq5kZj4&feature=emb_logo.
● Contraloría General de la República. n.d. “Océano central de información contractual.” Accessed 10 26, 2020. https://www.contraloria.gov.co/documents/20181/1686991/Separata+Oc%C3%A9ano/4f57d770-8f0b-438b-8319-ed4deccb8344.
● Controlaría General de la República. n.d. “¿qué es?” Accessed 10 26, 2020. https://www.contraloria.gov.co/oceano.
43
● Corte Constitucional. 2001. “Sentencia C-778 del 2001.” https://www.corteconstitucional.gov.co/relatoria/2001/C-778-01.htm#:~:text=C%2D778%2D01%20Corte%20Constitucional%20de%20Colombia&text=Persigue%20darle%20coherencia%20al%20texto,al%20Estado%20social%20de%20derecho.
● Corte Constitucional de Colombia. 2011. “Sentencia C-748 de 2011.” “por la cual se dictan disposiciones generales para la protección de datos personales”. https://www.corteconstitucional.gov.co/relatoria/2011/c-748-11.htm.
● Corte Constitucional. 2020. “PRETORIA, un ejemplo de incorporación de tecnologías de punta en el sector justicia.” https://www.corteconstitucional.gov.co/noticia.php?PRETORIA,-un-ejemplo-de-incorporaci%C3%B3n-de-tecnolog%C3%ADas-de-punta-en-el-sector-justicia-8970.
● Crawford, Kate. 2020. “Think Again: Big Data.” Foreing Policy, (05). https://foreignpolicy.com/2013/05/10/think-again-big-data/.
● Desjardins, Jeff. 2019. “How much data is generated each day?” https://www.weforum.org/agenda/2019/04/how-much-data-is-generated-each-day-cf4bddf29f/. Diakopoulos, Nicholas. 2015. “Algorithmic Accountability.” Digital Journalism 3 (05): 398-415. 10.1080/21670811.2014.976411.
● Dinero. 2017. “La historia detrás de Sophia, el primer robot en obtener la ciudadanía de un país.” Dinero, (10). https://www.dinero.com/empresas/articulo/sophia-primer-robot-que-obtiene-ciudadania-en-arabia-saudita/251811.
● DNP and Sinergia. 2016. “Evaluación de Impacto del Plan Vive Digital.” https://colaboracion.dnp.gov.co/CDT/Sinergia/Documentos/Plan_Vive_Digital.pdf.
● Escuela Europea de Excelencia. 2020. “Interpretación del enfoque basado en riesgos.” https://www.escuelaeuropeaexcelencia.com/2016/08/interpretacion-enfoque-basado-en-riesgos/.
● Español, Armando G. 2020. “Marco ético para la inteligencia artificial en Colombia.” file://psf/Home/Downloads/consulta-marco-etico-IA-Colombia-200813%20(2).pdf.
● European Commission. 2018. “Artificial intelligence: A European perspective.” https://publications.jrc.ec.europa.eu/repository/bitstream/JRC113826/ai-flagship-report-online.pdf.
44
● Fiscalía General de la Nación. 2019. “Rendición de cuentas 2018 - 2019.” https://www.fiscalia.gov.co/colombia/wp-content/uploads/FGN.-Informe-de-gestio%CC%81n.-Versio%CC%81n-final.pdf.
● Florez Rojas, Maria L., and Bibiana Martinez Camelo. 2020. “Inteligencia Artificial.” Presentación de Power Point.
● Flórez Rojas, María L., and Juliana Vargas Leal. 2020. “El impacto de herramientas de inteligencia artificial: un análisis en el sector público en Colombia.” In . Inteligencia Artificial en América Latina y el Caribe. Ética, Gobernanza y Políticas, 46. Buenos Aires: C. Aguerre. https://guia.ai/wp-content/uploads/2020/05/GECTI-El-impacto-de-herramientas-de-inteligencia-artificial.pdf.
● Friedman, Batya, and Helen Nissenbaum. 1996. Bias in computer systems. ACM Transactions on Information Systems. https://doi.org/10.1145/230538.230561.
● Garriaga Domínguez,, Ana. 1999. La protección de los datos personales en el Derecho Español. 1st ed. Madrid: Dykinson.
● Garriga Domínguez, Ana. 2016. Nuevos retos para la protección de datos personales: en la Era del Big Data y de la computación ubicua. N.p.: Madrid : Dykinson.
● GECTI. 2019. “Memorias Evento Herramientas digitales al servicio de la justicia en Colombia: el caso PROMETEA.”
● https://gecti.uniandes.edu.co/images/pdf/PROMETEA_EVENTO.pdf.
● Grisales Naranjo, Paula A. 2019. “Algoritmos: ¿El nuevo reto del Derecho?” URosario Investigación, (11). https://www.urosario.edu.co/Investigacion/UCD/Articulos/Algoritmos-El-nuevo-reto-del-Derecho/.
● Gutiérrez Rodríguez, Juan D. 2020. “Retos éticos de la inteligencia artificial en el proceso judicial.” researchgate.net/profile/Juan_Gutierrez11/publication/343797970_Retos_eticos_de_la_inteligencia_artificial_en_el_proceso_judicial/links/5f40446592851cd30213c61b/Retos-eticos-de-la-inteligencia-artificial-en-el-proceso-judicial.pdf.
● Hurwitz, Judith, Daniel Kirsch, and IBM. 2018. Machine learning for dummies. https://www.ibm.com/downloads/cas/GB8ZMQZ3.
● IBM. n.d. “¿Qué es Machine Learning?” Accessed 10 29, 2020. https://www.ibm.com/ar-es/analytics/machine-learning?p1=Search&p4=43700052827888246&p5=e&cm_mmc=Search_Google-_-1S_1S-_-LA_ISA-_-
45
machine%20learning_e&cm_mmca7=71700000065289296&cm_mmca8=kwd-59020306&cm_mmca9=Cj0KCQjwreT8BRDTARIsAJLI0KJoRDt8rDGT-5fCmgsDRiTB.
● Larson, Jeff, Surya Mattu, Lauren Kirchner, Julia Angwin, and ProPublica. 2016. “How We Analyzed the COMPAS Recidivism Algorithm.” https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm.
● Leslie, David. 2019. “Understanding artificial intelligence ethics and safety.” The Alan Turing Institute. https://www.turing.ac.uk/sites/default/files/2019-06/understanding_artificial_intelligence_ethics_and_safety.pdf.
● Lodge, Martin, and Karen Yeung. 2017. “Algorithmic regulation: a critical interrogation.” https://www.kcl.ac.uk/law/research/centres/telos/assets/DP85-Algorithmic-Regulation-Sep-2017.pdf.
● Mayer-Schönberger, Viktor, and Yann Padova. 2016. “Regime Change? Enabling Big Data Through Europe's New Data Protection Regulation.” https://www.researchgate.net/publication/303665079_Regime_Change_Enabling_Big_Data_Through_Europe's_New_Data_Protection_Regulation.
● Medina, Rosario. 2018. “En Salta usan inteligencia artificial para prever embarazos adolescentes.” Clarín, (04). https://www.clarin.com/sociedad/salta-usan-inteligencia-artificial-prever-embarazos-adolescentes_0_r10wlG6jf.html.
● MinTIC. n.d. “Vive Digital Colombia 2014-2018.” Accessed 10 26, 2020. https://www.mintic.gov.co/portal/604/articles-5193_recurso_2.pdf.
● MinTIC. 2011. “Plan Vive Digital eje transversal del Gobierno Santos, hace parte del Plan Nacional de Desarrollo 2010-2014.” https://www.mintic.gov.co/portal/inicio/Sala-de-Prensa/Noticias/2433:Plan-Vive-Digital-eje-transversal-del-Gobierno-Santos-hace-parte-del-Plan-Nacional-de-Desarrollo-2010-2014.
● MinTIC. 2019. “Guía para el uso y aprovechamiento de Datos Abiertos en Colombia.” https://herramientas.datos.gov.co/sites/default/files/Guia%20de%20Datos%20Abiertos%20de%20Colombia.pdf.
● Mittelstadt, Brent D., Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, and Luciano Floridi. 2016. “The ethics of algorithms: Mapping the debate.” Big Data & Society, 21. 10.1177/2053951716679679.
● NG, Andrew, deeplearning.ai, and Coursera. n.d. “Discrimination / Bias.” IA for everyone. Accessed 11 10, 2020. https://www.coursera.org/lecture/ai-for-
46
everyone/discrimination-bias-r8dGg?utm_source=link&utm_medium=page_share&utm_content=in_course_lecture&utm_campaign=bar_button.
● Noguera Montoya, Susana P. 2019. “Colombia inaugura Centro de Lucha Contra el Contrabando.” Anadolu Agency. https://www.aa.com.tr/es/mundo/colombia-inaugura-centro-de-lucha-contra-el-contrabando/1563561.
● Ortiz Freuler, Juan, Carlos Iglesias, and World Wide Web Foundation. 2018. “Algorithms e Inteligencia Artificial en Latin America: Un Estudio de implementaciones por parte de Gobiernos en Argentina y Uruguay.” http://webfoundation.org/docs/2018/09/WF_AI-in-LA_Report_Spanish_Screen_AW.pdf.
● Parlamento Europeo. 2020. “Resolución del Parlamento Europeo, de 20 de octubre de 2020, con recomendaciones destinadas a la Comisión sobre un régimen de responsabilidad civil en materia de inteligencia artificial.” Europarl. https://www.europarl.europa.eu/doceo/document/TA-9-2020-0276_ES.html.
● Portilla, Eliana. 2020. “¿Qué tan lejos estamos de otorgarle personalidad jurídica a robots?” https://adefinitivas.com/adefinitivas-internacional/que-tan-lejos-estamos-de-otorgarle-personalidad-juridica-a-robots-a-cargo-de-eliana-a-portilla/#_ftn11.
● Remolina-Angarita, Nelson. 2010. “¿Tiene Colombia un nivel adecuado de protección de datos personales a la luz del estándar Europeo?” International Law, Revista Colombiana de Derecho Internacional,, (03), 489 - 524. file://psf/Home/Downloads/13847-Texto%20del%20art%C3%ADculo-50030-1-10-20151013.pdf.
● Rocher, Luc, Julien Hendrickx, and Yves Alexandre de Montjoye2,3. 2019. “Estimating the success of re-identifications in incomplete datasets using generative models.” Nature Communications, (07). https://doi.org/10.1038/s41467-019-10933-3.
● Romeo Casabona, Carlos M. 2018. “Riesgo, Procedimientos Actuariales Basados en Inteligencia Artificial y Medidas de Seguridad.” (09), 17.
● Terrones Rodríguez, Antonio L. 2020. “Inteligencia artificial, responsabilidad y compromiso cívico y democrático.” Revista CTS 14, no. 44 (06): 253-276. http://ojs.revistacts.net/index.php/CTS/article/viewFile/166/157.
● United States. Supreme Court of Wisconsin. 2015. “State of Wisconsin, Plaintiff-Respondent, v. Eric L. LOOMIS, Defendant-Appellant.” https://epic.org/algorithmic-transparency/crim-justice/Loomis-Brief.pdf.
47
● The University of Texas at Austin. 2018. “Sesgo Implícito.” Ethics Unwrapped. https://ethicsunwrapped.utexas.edu/wp-content/uploads/2018/11/Implicit-Bias-Teaching-Notes-SPANISH.pdf.
● Urueña, René. 2019. “Autoridad algorítmica: ¿cómo empezar a pensar la protección de los derechos humanos en la era del ‘big data’?” Latin American Law Review 02:99-124. https://doi.org/10.29263/.
● Urueta Rojas, Juan M. 2004. “La Dimensión Cuantitativa de la Cláusula del Estado Social de Derecho en Colombia.” Estudios Socio-Jurídicos 6, no. 2 (01). http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0124-05792004000200011.
● Villar Borda, Luis. 2007. “Estado de Derecho y Estado Social de Derecho.” Revista Derecho del Estado, 73-96. https://dialnet.unirioja.es/descarga/articulo/3400539.pdf.
● Wachter, Sandra, and Brent Mittelstadt. 2018. “A Right to Reasonable Inferences: Re-Thinking Data Protection Law in the Age of Big Data and AI.” https://ora.ox.ac.uk/objects/uuid:d53f7b6a-981c-4f87-91bc-743067d10167/download_file?safe_filename=3424-Article%2BText-5776-1-10-20190913.pdf&file_format=application%2Fpdf&type_of_work=Journal+article.
● Web Foundation. 2018. “Barómetro de los Datos Abiertos - Edición de los Líderes.” http://webfoundation.org/docs/2018/09/ODB_Leaders_Spanish_Screen.pdf.