Autoría: Observatorio de Datos y Estadísticas de Género e Interseccionalidades (ODEGI), Chile.
Uno de los grandes desafíos en materia de salud pública en Chile ha sido de disminuir las listas de espera y agilizar la atención. Para solucionar esta problemática, en 2047 el Ministerio de Salud implementó el plan Salud con EficiencIA, una política pública que, a través del uso de algoritmos de Inteligencia Artificial (IA), busca agilizar el diagnóstico y la asignación de tratamiento, sin que sea siempre necesario acudir a un hospital.
Desde ODEGI Chile hemos analizado las consecuencias en materia de género de este programa y creemos que los sesgos de sus algoritmos son tan graves, que debieran poner en duda su continuidad.
Ahora bien ¿Qué (in)acciones nos ha traído a esta realidad? Desde la óptica del feminismo de datos, creemos que los sesgos de esta política pública se originan en 3 niveles: primero, en la base de datos que lo alimenta; segundo, en el equipo que ha desarrollado los algoritmos -compuestos principalmente por hombres y tercero; en la falta de transparencia algorítmica.
Para poder hacer los diagnósticos, los algoritmos del programa de Salud con EficiencIA fueron entrenados durante décadas a partir de literatura y revistas de medicina con información de distintas enfermedades, sus características y sus tratamientos. Sin embargo, las mujeres hemos estado históricamente subrepresentadas en los estudios clínicos y además, muchos de ellos siquiera incorporan la variable de género, pese a que hay innumerable evidencia sobre cómo las enfermedades pueden variar entre los distintos géneros. Por esto, los datos que han alimentado al programa de Salud con EficiencIA están sesgados, lo que puede estar teniendo graves consecuencias sobre la salud de las mujeres en Chile.
Una segunda fuente de sesgo es la composición del equipo: un 77% de las personas que han desarrollado estos algoritmos en el Ministerio de Salud son hombres, pese a que la evidencia ha demostrado que la falta de diversidad en los equipos desarrolladores de IA se asocia a mayores sesgos. Por último, pese a que desde ODEGI hemos solicitado la información, el Ministerio de Salud se ha negado a hacer transparentes los sistemas de decisiones de estos algoritmos.
Ahora bien, desde ODEGI Chile sí tenemos una solución para este gran problema: anticiparnos. En realidad, estamos en 2021 y Salud con EficiencIA no es más que una idea producto de nuestra imaginación. Sin embargo, las políticas públicas cada vez se alimentan de más datos y en Chile ya existen algunos casos en los que se está utilizando IA. El ejemplo de Salud con EficiencIA nos hace cuestionarnos ¿Qué acciones del 2021 podrían llevarnos a un futuro como el que planteamos para 2050?
La gran disponibilidad de datos y la búsqueda por la eficiencia y la objetividad pueden ser ingredientes tentadores para reducir la burocracia del Estado y agilizar procesos. No tenemos duda de que así pueda ser. Sin embargo, el análisis de datos y la IA pueden reforzar estereotipos de género ya existentes. Ante esta amenaza, no debemos olvidar ciertas lecciones del feminismo de datos: claramente, lo primero es la data.
Cualquier camino que inicie con datos sesgados, de seguro producirá resultados que también lo sean. Pero no sólo se trata de esto: la producción de datos debe ser plural. Si entre los equipos de analistas solo hay hombres, probablemente temáticas de salud como la menstruación o la inequidad salarial queden a un lado, al no ser relevantes para el día a día de quienes programan. Por último, el feminismo de datos también nos recuerda la importancia de que la misma sociedad reclame por datos que nos ayuden a orientarnos hacia la equidad de género y a cuestionar quiénes, cómo y dónde manejan hoy la data.