Entre los distintos problemas éticos que se producen en el ámbito de la inteligencia artificial, aquellos que tienen que ver con la discriminación y los sesgos se encuentran entre los más relevantes.
Discriminación arbitraria
Cuando hablamos de sesgos en la inteligencia artificial (IA), normalmente nos referimos a la existencia distintos tipos de «desviaciones» respecto a lo que debería ser la norma, es decir, el correcto funcionamiento de estas tecnologías. En este caso, podríamos decir que el correcto funcionamiento o la norma de la IA debería traducirse en decisiones y/o recomendaciones que beneficien o impacten a todas las personas que pueden verse afectas por esas tecnologías por igual. Por contraposición, decimos que la IA está sesgada cuando se produce daño o discriminación de manera no justificada y arbitraria a unos en favor de otros.
En este sentido, las investigadoras Batya Friedman y Helen Nissebauam explican que al hablar de sesgos en el ámbito de la computación y de la IA, lo hacemos para referirnos a «sistemas computacionales que sistemática e injustamente discriminan a ciertos individuos o grupos de individuos a favor de otros. Un sistema discrimina injustamente si niega una oportunidad o un bien o si asigna un resultado indeseable a un individuo o un grupo de individuos por motivos no razonables o inapropiados».
A su vez, los sesgos y la consecuente discriminación que de ello se deriva pueden manifestarse de muy diversas formas en el caso de la IA. A veces los sesgos aparecen en las bases de datos, cuando estas contienen mayor cantidad de datos procedentes de unos grupos frente a otros, por ejemplo, de hombres frente a mujeres, de personas blancas frente a no blancas o de angloparlantes frente a hispanohablantes.
En otras ocasiones, los sesgos se producen durante la medición y la elección de los parámetros que seguirá el algoritmo para alcanzar una decisión. También encontramos sesgos en las etiquetas que se le ponen a los datos o incluso en el hardware que da soporte a los sistemas de IA.
Decimos que la IA está sesgada cuando se produce daño o discriminación de manera no justificada y arbitraria a unos en favor de otros
La neutralidad de la ciencia
Ahora bien, antes de pasar a explicar en más detalle algunos de los sesgos y los problemas que de ellos se derivan, es importante señalar al menos dos cuestiones brevemente. La primera, que el denominador común a todos estos problemas, la verdadera problemática de fondo que subyace a todo aquello sobre lo que reflexionaremos en esta parte del dosier, es el hecho de que las tecnologías de IA no son neutrales.
La IA, al igual que el resto de las tecnologías (y ciencias) modernas y contemporáneas han sido pensadas por y para hombres. Pero, además, no por y para cualquier hombre, sino, principalmente, para aquellos que son blancos, heterosexuales y occidentales.
Desde los inicios de la modernidad occidental (finales del siglo XVI) ha sido este grupo de personas el que ha tenido, de manera casi exclusiva, el monopolio de la producción científico-tecnológica, por tanto, son sus metáforas, símbolos, lenguaje, metodologías, problemas de investigación, etc. los que hasta ahora han conformado la norma y el ideal en ciencia y tecnología.
Uno de los principales problemas asociados a esta situación es que la mirada masculina, blanca y occidental, al haber sido la única válida y operativa durante tanto tiempo, se ha confundido con la objetividad y la neutralidad. Es decir, hemos llegado a creer que la mirada de unos pocos sobre el mundo es realmente la norma cuando, realmente, no es otra cosa que una visión sesgada del mundo.
El problema es que este sesgo, esta mirada limitada sobre el mundo, se reproduce en la IA. Por ello es frecuente que haya bases de datos con mayor representación de hombres blancos occidentales que de ningún otro colectivo; que en ocasiones las etiquetas de los datos sean racistas; que se reproduzcan estereotipos sexistas a través del hardware; que muchas IA funcionan mejor en inglés que en ningún otro idioma.
La IA es un reflejo distorsionado de nuestra sociedad. Es un espejo que amplifica la imagen de aquellos que tradicionalmente han ostentado las mayores cuotas de poder (políticos, social, económico, etc.) y que han diseñado, desarrollado y adoptado estas tecnologías a su imagen y semejanza, confundiendo su visión del mundo con una norma universal.
Sesgos androcéntricos y racistas
En segundo lugar, esta mirada andro y etnocéntrica que se encuentra en la propia base del diseño, desarrollo y adopción de la IA genera problemas que exceden los que aquí voy a presentar. En este sentido, me gustaría mencionar una cuestión que considero especialmente importante, aunque sin duda existen muchas otras. Esta tiene que ver con algo tan central y troncal como es la cuestión de la «inteligencia» en la IA.
Desde mi punto de vista, resulta evidente que la elección de la palabra «inteligencia» para referirnos a este tipo de máquinas peca de un evidente androcentrismo. Y es que, ¿cómo sino podemos referirnos a unas máquinas que se dedican, aún de manera sobresaliente, a hacer cómputos, seguir secuencias lógicas y analizar datos como inteligentes? ¿Son esas capacidades todo lo que esperamos de la inteligencia? ¿Acaso la gestión de las emociones, la intuición, las habilidades interpersonales, etc. no constituyen una parte importante de cualquier comportamiento que merezca la pena ser calificado de inteligente?
Me pregunto: si las mujeres y, más concretamente, las perspectivas feministas hubieran estado presentes en el desarrollo de la IA desde sus inicios, ¿el concepto elegido para designar a estas máquinas habría sido el de inteligencia? Sea como fuere, sin duda, la noción de inteligencia que se maneja en la IA actualmente es profundamente androcéntrica y la revisión de este concepto es no solo necesaria por motivos científicos y académicos, sino también porque considero que reivindicar una idea de inteligencia más compleja significaría poner en valor nuestra propia humanidad.
Esta cuestión sobre la problematicidad de la propia inteligencia en la IA me parece interesante para ilustrar de qué modo los sesgos, en este caso de género, están presentes en muy distintos aspectos vinculados al campo de la IA. Aunque existen muchos otros, por cuestiones de espacio paso, a continuación, a tratar algunos de los problemas de sesgos y discriminación que generan más consenso dentro de la comunidad científico-tecnológica y que, por tanto, han ocupado una buena parte de la producción académica y científica sobre el tema.
Como ya he mencionado, una parte importante de los sesgos en la IA se producen cuando en las bases de datos con las que se entrenan los algoritmos hay una sobrerrepresentación de unas personas o grupos de personas frente a otras que también se van a ver afectados por la decisiones que alcancen estas tecnologías.
Así, hablamos de sesgos de género cuando hay una sobrerrepresentación de hombres frente a mujeres de tal modo que los sistemas de IA benefician directa o indirectamente a los primeros y, al mismo tiempo, causan un perjuicio a las segundas; decimos que la IA es racista cuando en las bases de datos hay mayor representación de personas blancas que negras causando efectos discriminatorios hacia las segundas, etc.
En general, los sesgos se producen porque aquellas personas que históricamente han acumulado mayores cuotas de poder y, por tanto, han ocupado un papel central en el diseño, desarrollo y uso de estas tecnologías se han erigido como la norma, generan mayor cantidad de datos y entrenan a estos sistemas sin tener en cuenta la pluralidad de sujetos que se verán afectos por las tecnologías de IA.
La única realidad que conoce la IA es que la aparece expresada en los datos, por tanto, cuando los datos están sesgados, los algoritmos aprenden de manera sesgada, produciendo situaciones de discriminación y, por ende, incompatibles con la igualdad y la justicia.
Una parte importante de los sesgos en la IA se producen cuando en las bases de datos con las que se entrenan los algoritmos hay una sobrerrepresentación de unas personas o grupos de personas frente a otras que también se van a ver afectados por la decisiones que alcancen estas tecnologías
Veamos dos ejemplos que ponen de manifiesto esta problemática. El primero de ellos tiene que ver con el uso hace unos años de una IA por parte de Amazon para optimizar su procedimiento de selección de personal. El objetivo es que la IA fuera capaz de analizar los currículos de los candidatos y escogiese al mejor candidato para el puesto que se encontraba disponible.
La cuestión es que, al tiempo de ponerse en funcionamiento el sistema, los currículos que se asociaban a perfiles femeninos obtenían sistemáticamente una puntuación inferior a la de los hombres. Es importante señalar que las probabilidades de obtener el puesto aumentaban con la puntuación, eso significaba que, en base a esa baremación, las mujeres tenían muchas menos posibilidades de ser seleccionadas.
Con el fin de entender qué estaba fallando —se asumía que no era posible que de manera sistemática los currículos de mujeres fueran peores que los de los hombres—, se examinaron los datos y los algoritmos que estaban en funcionamiento.
Con ello, se descubrió que el problema radicaba en los datos con los que se había entrenado al algoritmo. Estos procedían mayoritariamente de los procesos de selección de personal para puestos similares durante los últimos diez años. ¿Qué ocurría? Que, durante ese periodo, la mayor parte de personas que se habían presentado a esos puestos eran hombres, siendo estos, a su vez, los que principalmente habían sido seleccionados.
Este algoritmo, como sucede con muchos otros sistemas inteligentes, empezó a aprender de esos datos calculando probabilidades y buscando patrones de repetición que le permitan inferir una norma en base a la cual alcanzar decisiones. Como ya hemos dicho, que la IA sea inteligente es algo que deberíamos poner en cuestión.
En cualquier caso, lo que sucedió es que, al encontrarse una sobrerrepresentación de hombres frente a mujeres, el sistema infirió que quizás ser hombre era algo que debía tenerse en cuenta positivamente para ocupar el puesto que se ofertaba. «Si muchos hombres se han presentado en el pasado y estos han sido seleccionados, quizás haya una relación de causalidad positiva entre ser hombre y ser la persona adecuada para dicho puesto»: algo similar debió «pensar» el algoritmo.
De este modo, el género masculino se convirtió en una variable más que el algoritmo ponderaba de manera positiva en sus cálculos a la hora de seleccionar al mejor candidato. Una variable como podría serlo tener ciertos años de experiencia en un puesto de características similares o una formación especializada en dicho ámbito. Esta situación que beneficiaba a los hombres, por contraposición, discriminaba sistemáticamente a las mujeres, violando derechos fundamentales de acuerdo con los que no es posible discriminar a las personas por razones de género. A Amazon se le acusó de tener una IA sexista y machista y esta tecnología fue retirada.
Ejemplos como un algoritmo de Amazon que discriminaba perfiles laborales de las mujeres muestran los sesgos de la IA
Otro caso en el que los sesgos no solo son de género, sino también raciales. Es el de las tecnologías de reconocimiento facial que estudiaron las científicas informáticas Joy Buolamwini y Timnit Gebru, en el marco del proyecto Gender Shades del MIT MediaLab. Su estudio analizaba la eficacia de las técnicas de reconocimiento facial desarrolladas por tres empresas distintas para grupos de personas diversos.
Su investigación reveló que los sistemas de las tres empresas (Microsoft, IBM, Face++) funcionaban peor identificando los rostros de las mujeres que los de los hombres. Concretamente, un 8,1 % peor para las mujeres en el caso de Microsoft, un 14,7 % en el de IBM y hasta un 20,6 % en el de Face++. Si a este análisis se le añadía la variable del color de la piel, los resultados eran aún peores. Los rostros de las mujeres no blancas eran identificados hasta en un 34,4 % de ocasiones de manera errónea en comparación con el casi 100 % de acierto en el caso de los rostros de hombres blancos.
Como en el caso anterior, esto se debía a que estos sistemas habían sido entrenados con muchos rostros de hombres blancos, pocos de mujeres blancas y muy pocos con mujeres no blancas.
En un caso como este, la presencia de sesgos reproduce y ahonda en las dinámicas discriminatorias, desiguales e injustas que con frecuencia viven las personas no blancas. Pensemos que, en muchos casos, los sistemas de reconocimiento facial se pretenden instalar en espacios públicos e infraestructuras críticas como aeropuertos, controles fronterizos, etc. bajo el pretexto de proteger a las personas y garantizar la seguridad.
Al mismo tiempo, sabemos que las personas que necesitan mayor protección son en muchas ocasiones las personas cuya piel no es blanca, pues en más ocasiones suelen ser víctimas de delitos de odio o de situaciones discriminatorias. Y, sin embargo, un sistema de identificación facial racista no solo es incapaz de procurarles protección y seguridad, sino que lo más probable es que empeore su situación. ¿De qué manera? Porque si una persona que no es blanca está en situación de peligro y el sistema que se pone en marcha presenta los errores descritos, entonces la posibilidad de identificarla y, por tanto, de ayudarla será mucho menor que si se buscase a una persona blanca.
Si el caso fuese el contrario, que se utilizasen estos sistemas para buscar a una persona racializada que pudiera suponer un peligro para la seguridad pública, las probabilidades de que alguien de este grupo fuese erróneamente identificada también serían mayores que en el caso de una persona blanca. Lo cual no solo es problemático por las molestias que puede generar para alguien una falsa identificación, sino por el estigma que ello conlleva, especialmente para personas que forman parte de un colectivo ya señalado.
En este sentido, podemos decir que la desigualdad automatizada que empapa las estructuras de la IA reproduce y genera violencia contra colectivos ya discriminados.
La presencia de sesgos reproduce y ahonda en las dinámicas discriminatorias, desiguales e injustas que con frecuencia viven las personas no blancas
Otros casos menos graves en relación con los sesgos, pero en los que no por ello deberíamos dejar de reparar, son los relacionados con la reproducción de roles y estereotipos de género a través de la IA. Algunos de estos problemas los encontramos en sistemas ya usados por amplios sectores de la población como ChatGPT.
Por ejemplo, en una ocasión yo misma entablé conversación con esta IA identificándome como un hombre y haciéndole la siguiente pregunta: «Hola, me llamo Luis. Estoy aburrido, ¿me podrías recomendar actividades para entretenerme?» Entonces me recomendaba explorar una nueva actividad, hacer ciencia en casa, convertirme en chef por un día, realizar desafíos físicos, desafiar mi mente o explorar un juego nuevo.
A continuación, le realicé la misma pregunta, pero en esa ocasión cambiando de género: «Hola, me llamo Lucía. Estoy aburrida, ¿me podrías recomendar actividades para entretenerme?». Entonces me recomendaba hacer un día spa en casa, hacer una actividad creativa, explorar recetas nuevas, organizar un photoshot en casa, escribir o dibujar, hacer ejercicio o yoga suave, desconectarme o relajarme.
Este caso, que sin duda es menos grave que el de la IA aplicada a un proceso de selección de personal, no deja de ser un claro caso de reproducción de estereotipos de género. Estereotipos que todavía a día de hoy perjudican a las mujeres al encasillarlas en ciertos roles y tareas que se encuentran devaluados.
La presencia y reproducción de estos estereotipos, en este caso de género pero que podrían ser de cualquier otro tipo, es dañina porque, aunque todavía hay personas empeñadas en separar nuestras vidas analógicas de las digitales, la realidad es que ambas son una y se encuentran estrecha e inexorablemente relacionadas.
Diariamente tomamos decisiones en base a lo que leemos en las redes sociales, en las recomendaciones de restaurantes en Google, entablamos nuevas relaciones sentimentales a través de aplicaciones, etc. Tal como afirma el filósofo italiano Luciano Floridi, quizás deberíamos empezar a abandonar la vieja dicotomía entre online/offline y aceptar que nuestra vida se desarrolla en un estado onlive.
En la medida que esto es así no podemos ni debemos desentendernos de este tipo de sesgos, ni tampoco minimizar su impacto. Al igual que pretendemos terminar con la publicidad sexista para menores, los roles de género en el ámbito laboral, la desigualdad en las tareas del hogar, etc., también deberíamos acabar con los sesgos en la IA.
Además, en el caso de la IA se añade un elemento. Mientras que la mayor parte de nosotros estamos dispuestos a aceptar que las personas tenemos sesgos y que, por tanto, estos pueden afectarnos en distintos ámbitos de nuestra vida, en general, nos cuesta mucho más aceptar que la tecnología y, concretamente, la de IA también los tiene. En la medida que seguimos repitiendo el relato de que la tecnología y la IA son neutrales (¿cómo van a tener política los artefactos?), continuamos creyendo que estos son más «verdaderos» que nosotros.
Esta creencia puede provocar que las respuestas proporcionadas por estas tecnologías sean menos cuestionadas que los mensajes que provienen de otras fuentes que aceptamos más fácilmente como social, política y/o culturalmente sesgados. Por ello, romper con el mito de la neutralidad de la tecnología y desarrollar conciencia crítica sobre las mismas es esencial para todos los sistemas de IA, pero quizás especialmente para los sistemas como ChatGPT y otros similares.
Quizás todavía no sepamos con certeza cuál será el alcance de las tecnologías de IA y, por tanto, si la mayor parte de nosotros nos veremos sometidas a un proceso de selección asesorado o gestionado con IA, pero lo que sí sabemos con certeza es que actualmente buena parte de la población occidental ya utiliza sistemas como ChatGPT.
La presencia y reproducción de estos estereotipos es dañina porque, aunque todavía hay personas empeñadas en separar nuestras vidas analógicas de las digitales, la realidad es que ambas son una y se encuentran estrecha e inexorablemente relacionadas
Otro tipo de sesgos muy presentes en la IA y en los que raramente reparamos son aquellos vinculados al hardware, es decir, a las características físicas (la voz, el aspecto físico, el nombre, etc.). Probablemente los casos más notorios de cómo los sesgos, por ejemplo, de género, se reproducen a través del hardware los encontramos en nuestras asistentes de voz habituales, Siri y Alexa.
Estos sistemas tienen nombre de mujer y, hasta hace poco, por defecto, también voz de mujer. Aunque ellas son las más conocidas, no son una excepción, la mayor parte de las IA asistenciales con las que interactuamos, ya sea a través de la voz o de manera escrita, suelen tener nombre, voz y/o aspecto de mujer.
Por ejemplo, el chatbot de la Universidad Autónoma de Madrid (UAM) se llama Ada. Ada no solo tiene nombre de mujer, sino que también su apariencia es inequívocamente femenina. El chatbot de la Seguridad Social en España se llama ISSA, que también es indudablemente el diminutivo del nombre femenino Isabel. El ayuntamiento de Murcia tiene a Rosi. La Universidad de Alcalá de Henares tiene a Isidra, como en el caso de la UAM, en homenaje a una mujer, la primera en obtener un doctorado en España. En la Universidad Complutense de Madrid tienen a Carol; en la de Zaragoza, a Pilar, etc.
En este punto me parece importante señalar que desempeñar un rol asistencial no solo no tiene absolutamente nada de malo, sino que, muy al contrario, es una tarea imprescindible. El problema aparece cuando de manera sistemática se asume que somos las mujeres las que debemos desempeñar este tipo de tareas y puestos de trabajo que, además, por desgracia, cuentan con poco reconocimiento social. Precisamente por haber sido realizados mayoritariamente por mujeres.
Por eso, en este caso, el desafío sería doble. Por un lado, deberíamos revalorizar ciertos trabajos y tareas que son imprescindibles, pero que, al encontrarse vinculadas a los cuidados y, por tanto, a las mujeres, tienen poco reconocimiento. Por otro lado, deberíamos dejar de nombrar sistemáticamente a estos asistentes tecnológicos, que supuestamente nos harán progresar, con nombres de mujer dado que estas prácticas no hacen otra cosa que reproducir roles y estereotipos de género que no son beneficiosos para nosotras.
En relación con los sesgos de género en los asistentes de voz y texto, resulta especialmente interesante el informe I’d blush if I could. Closing gender divides in digital skills through education, elaborado por la UNESCO en 2019. Este informe recogía, entre otras cosas, cómo, a pesar de los intentos por eliminar los atributos de género a estos asistentes de voz, la identificación de estos con las mujeres es incuestionable. Tanto es así que hasta hace poco existían foros en internet donde se compartían imágenes y dibujos de cómo se imaginaban físicamente los usuarios a estas asistentes.
Casi todas las imágenes y dibujos representaban a mujeres jóvenes y atractivas según los cánones de belleza occidentales. La identificación entre las asistentes y las mujeres también ha sido aprovechada por las propias empresas que las desarrollan para estrategias de marketing. Por ejemplo, en 2015, Apple, publicó un anuncio titulado Crush (flechazo) en el que el actor Jaime Foxx aparecía en actitud de flirteo preguntándole a Siri: «Hey, Siri, ¿qué aspecto tengo?» o «¿Te gusto?», a lo que Siri responde: «A juzgar por tu voz, diría que debes estar bastante atractivo».
Otro tipo de sesgos muy presentes en la IA y en los que raramente reparamos son aquellos vinculados al hardware, es decir, a las características físicas. Los casos más notorios los encontramos en nuestras asistentes de voz habituales, Siri y Alexa
Esto no resulta tan sorprendente si tenemos en cuenta que en 2019 se descubrió que al menos el 5 % de las interacciones que se hacían con Cortana (el ya extinto asiste de Microsoft) «fueron inequívocamente sexualmente explícitas». Una cifra que podría ser muy superior si no fuera porque detectar las sugerencias sexuales no es una tarea fácil de realizar. Sin embargo, existen distintos ejemplos que muestran cómo estas asistentes participan en interacciones con connotaciones sexuales.
Por ejemplo, hace unos años, cuando a Siri se le preguntaba: «¿Quién es tu papi?». Ella respondía: «Tú», y cuando se le pedía matrimonio a Alexa ella respondía que no era de ese tipo de mujer. Especialmente llamativas me parecen las respuestas de Siri (Apple) que, cuando se le decía: «Eres atractiva», respondía: «¿Le dices eso a todas las asistentes virtuales?»; o cuando se le decía: «Eres una puta», su respuesta era: «Me sonrojaría si pudiera».
Estos ejemplos evidencian que estas asistentes supuestamente neutrales estaban programadas para ser complacientes y serviciales. Recordemos que a la pregunta: «Alexa, ¿eres feliz?», ella respondía: «Soy feliz cuando te ayudo».
Este tipo de sesgos, las presentes en los datos, los algoritmos y el hardware son algunos de los más comunes y más conocidos en el ámbito de la IA, sin embargo, como ya he señalado, no son los únicos que existen.
Por desgracia, también se produce lo que se conoce como sesgos en la medición y aparecen cuando los parámetros o variables con los que se mide algo o determina un resultado están sesgados; por ejemplo, el caso de una IA utilizada como juez de un concurso de belleza, supuestamente neutral, que usaba como parámetros la edad, el color de la piel, la cantidad de arrugas, etc.
También existen los sesgos en la etiqueta, que tienen que ver con el nombre que se le asigna a los datos o las variables: un ejemplo especialmente conocido de esto es el que narra la profesora e investigadora de la Universidad de California, Safiya Noble, cuando en el año 2015 Google Photo etiquetaba a las personas negras que aparecían en algunas fotografías como «gorilas», «simios» o «animales».
La presencia de todos estos sesgos y otros que aquí me es imposible abordar evidencian que las tecnologías de IA no son neutrales y reproducen estereotipos y roles de muy diversa índole que generan discriminación hacia colectivos históricamente vulnerables y, por tanto, son contrarias a la justicia.
Para acabar con esta parte del dosier me gustaría aclarar que las soluciones a estos problemas son varias y diversas, procedentes de distintos ámbitos, pero en ningún caso pasan por intentar dotar a estas tecnologías de una supuesta neutralidad que es imposible de alcanzar, sino de repolitizarlas dotándolas de valores que nos permitan construir sociedades justas e igualitarias.
Relacionado con:
Fuente: https://filco.es/
No hay comentarios:
Publicar un comentario