Algoritmos IAs sesgadas y/o educadas

Ya hay varios ejemplos de algoritmos de inteligencia artificial (IA) con muy diversos objetivos y aunque entre la mitología de las IA existe la creencia de que las IA son como ángeles sin prejuicios ni vicios terrenales, ya sabemos que no es cierto. Y los algoritmos inteligentes también tienen prejuicios. Por un lado cualquier aplicación adolecerá de los prejuicios de que les doten quienes elijan los requisitos técnicos y de quienes los programen. Algunos serán conscientes y otros, los peores, inconscientes. Y si esto fuera poco, los algoritmos de IA se entrenan con datos extraídos de las redes por lo que hay que tener en cuenta el sesgo de los datos, textos e imágenes provenientes de redes sociales y comunidades de internet.

No es teoría, ya tenemos varios ejemplos y estudios:

• El sexismo en los algoritmos: una discriminación subestimada

• Un experimento con imágenes idénticas de hombres y mujeres desvela sesgo en IA

• La IA de los sistemas de reconocimiento facial tienen un problema racial

• El algoritmo de Instagram favorece las imágenes de hombres (28%) y mujeres (53%) semidesnudos

• Discriminación por el uso de Inteligencia Artificial: el malogrado automatismo de contratación de Amazon

Otro caso muy interesante fue el de la IA de Microsoft Tay programada para mantener conversaciones en las redes sociales (otra chatbot intentando superar el test de Turing). Fue alimentado, en su primer día de funcionamiento público, por un grupo de desaprensivos eligiendo los datos para hacerla una nazi de pro con tanto éxito que Microsoft tuvo que cerrarlo en 16 horas.

Lo apropiado podría parecer no poner límites, pero la sociedad en su conjunto presenta sesgos que influirán en los algoritmos de forma sutil e inadvertida.
Aparte de que internet aún sigue estando compuestas por subgrupos sociales, unos más activos que otros y con distinto alcance.

La sociedad (y más internet) es machista, racista y clasista, quizás de una forma moderada y pasiva que muchos no notan o no notamos. He aquí el peligro. Así que no es tan buena idea usar datos masivos (big data) sin filtro porque no todos los grupos sociales están igualmente representados y activos en la Red.

¿Y si filtramos los datos eliminaríamos el sesgo? Quizás sí, pero no es seguro. Habrá quien desconfíe de quien selecciona qué datos y de los criterios, o incluso verá objetivos perversos al no dejar “libre” al algoritmo. Pero en cualquier caso si esta selección es pública, conocida y sujeta a debate; si hay algún sesgo será consciente y controlable. Lo malo del sesgo no es que exista, sino que exista y no lo sepamos.

Sería bonito que los algoritmos pudiesen tener un pensamiento racional crítico, pero primero habría que conseguir esto para la mayoría de la humanidad.

Otras fuentes de información:

“Hay que educar a los algoritmos” (UNESCO)

Sesgo algorítmico (Wikipedia)

¿Qué fue de Tay, la robot de Microsoft que se volvió nazi y machista?

El sesgo, ¿es el nombre de un ogro?

El sesgo, ¿es el nombre de un ogro?

Una nueva entrada sobre ... ¡estadística! ¡Qué sorpresa! En este caso tratamos con algo de nombre casi tan oscuro y feo como su significado: el sesgo estadístico.

En muchas ocasiones es necesario seleccionar unos cuántos datos  en un estudio estadístico, pero en cualquier caso esta selección debe ser explicita, objetiva y  estar justificada. Si esta selección no está bien hecha o no es conocida puede introducir "preferencias" que desvirtúe las conclusiones.

En ocasiones el sesgo es simplemente un error, una negligencia inconsciente como tantas otras. A veces, es una selección consciente que depende de la conclusión que se quiera "demostrar" y esta de quién pague el estudio estadístico, algo parecido a un delito de lesa matemática. Por desgracia, no siempre es fácil distinguir un caso del otro.

Veamos primero un ejemplo ya tradicional con resultado conocido. La primera encuesta electoral telefónica de la historia se realizó en 1933 en EEUU. En esa encuesta se predecía una victoria del candidato republicano Hoover (candidato a la reelección), sin embargo ganó Roosevelt de manera aplastante, lo que conllevo la aplicación de la política económica del New Deal para luchar con la depresión del 29, contraria a la realizada hasta ese momento por el presidente Hoover. ¿Hay alguna explicación para este error? Sí, se produjo un claro sesgo, se pregunto mayoritariamente a votantes del partido republicano. Y como pista insisto en que la encuesta fue telefónica.

Respuesta: Muy fácil. Estamos en 1933, tras 4 años de Gran Depresión y medidas económicas equivocadas (estilo austericidio). Los teléfonos no eran baratos, por tanto, el hacer una encuesta telefónica en esa época era introducir un sesgo basado en la clase social a la que pertenecía el encuestado. No quedaba reflejada la opinión del 100% de la población, sino solo de los más ricos.

Ahora veremos un caso más reciente. En este artículo La escuela concertada refuerza los recursos por alumno en la pública se usan datos del ministerio de educación, sin facilitar las fuentes por desgracia, para concluir que las autonomías en las que el porcentaje de colegios privados y concertados es mayor  coinciden con las que gastan más en educación pública. Curiosamente para demostrar esto se escogen datos solo de 10 autonomías, y no de las 17 ¿Por qué? No parece que haya ninguna explicación.

En términos estadísticos lo que pretende probar esto es que existe una correlación entre el porcentaje en concertada y la inversión en pública, es decir a mayor porcentaje de una, mayor inversión en la otra. Si se representase en una gráfica veríamos una línea recta que sube de izquierda a derecha.

Si representamos los datos de las 10 autonomías escogidas se una línea claramente ascendente apoyando la conclusión mostrada en el titular.

 Pero, curiosamente si seleccionamos los datos de las otras 7 autonomías (algunas de tanto peso como Madrid o Cataluña) obtenemos una gráfica que parece indicar lo contrario.

Entonces, ¿a qué carta quedarnos? Ninguna de las dos parece concluyente. ¿No hay ninguna herramienta estadística que nos permita saber si algo es concluyente antes de hacer gráficas? Claro que sí, faltaría más. Se llama coeficiente de correlación lineal . Como se ve en la explicación de Wikipedia este número se mueve entre -1 y +1:

• +1, entonces  la correlación en torno a una recta creciente.
• -1, entonces la correlación en torno a una recta decreciente.
• 0, no es posible llegar a ninguna conclusión. 

En este caso, los valores son:

• Con todas las autonomías: 0,48
• Sólo las seleccionadas por los autores del artículo: 0,84
• Las demás autonomías: -0,86

Aquí hay una tabla en donde se clasifican lo seguro de una correlación a partir del valor este valor. Según esa tabla al conjunto de las autonomías le correspondería una correlación media, lo que parece que apoya, aunque sea parcialmente, la conclusión del artículo. Pero no olvidemos que en este escenario todas las autonomías entran con el mismo peso y quizás deberían tener más importancia las más pobladas (como Madrid o Cataluña) que están en el conjunto de las comunidades eliminadas del estudio.

Lo más importante: si queremos buscar la verdad no hay que colocar la conclusión delante de la investigación.

Hoja de cálculo con los datos, cálculos y gráficas: 

• Formato libreoffice (ods)
• Formato pdf

Fuentes de los datos usados:

• http://www.mecd.gob.es/horizontales/estadisticas.html
• http://dptoccedu.uniovi.es/noticias/-/asset_publisher/HhG3/content/datos-y-cifras-curso-escolar-2011-2012?redirect=http://dptoccedu.uniovi.es/inicio
• http://dptoccedu.uniovi.es/c/document_library/get_file?uuid=d251d414-db8f-4ee5-938c-b1f1bafa15a3&groupId=238229