¿Puede ser justo un algoritmo?

El entusiasmo con el que se implantan sistemas automatizados de toma de decisiones en el ámbito de la justicia y los servicios sociales no se corresponde con los errores y discriminaciones de sus resultados

.

“La justicia es la primera virtud de las instituciones sociales, como la verdad lo es de los sistemas de pensamiento”. La frase con la que el filósofo John Rawls (1921-2002) empieza su imprescindible “Una teoría de la Justicia” conecta dos elementos centrales de las sociedades contemporáneas, verdad y justicia, hoy profundamente comprometidos por el desarrollo acelerado de la tecnología y en los que la inteligencia artificial provoca un impacto notable.

La verdad, cada vez más oculta bajo el exceso de información y desinformación que inunda los medios de comunicación y las redes sociales, experimenta un deterioro progresivo gracias, en parte, a la proliferación de procesos “inteligentes” de creación de textos e imágenes. Curiosamente, para contrarestar sus efectos y frenar el alud de tergiversaciones que circulan también resulta necesario implementar mecanismos automáticos de monitorización y filtrado que, lamentablemente, no logran el suficiente nivel de eficacia. La percepción general es que con la IA, la verdad sale perdiendo. 

En cambio, en el ámbito de la justicia la percepción es diferente. Muchos gobiernos y administraciones tienen la convicción de que la inteligencia artificial puede solventar sus profundas deficiencias y hacer que la justicia sea más justa.

Las expectativas son altas. Una gran variedad de soluciones automatizadas de toma de decisiones se incorporan en diversos ámbitos relacionados con la justicia. El alcance y velocidad de su despliegue demuestra que estas tecnologías son recibidas con entusiasmo, poco contrastadas muchas veces, pero incorporadas con la esperanza de que contribuirán a aliviar el colapso de las administraciones de justicia, la eficacia de las policías y las deficiencias en la asignación y control de las ayudas sociales. Sólo hay que comprobar los retrasos en la tramitación de los ertos, del ingreso mínimo vital o las demoras que acumulan los tribunales en España para concluir que el funcionamiento del sistema tradicional es altamente mejorable. 

No obstante, esa percepción de esperanza no se corresponde con los resultados que se obtienen. Cada semana se denuncian en todo el mundo errores, sesgos y discriminaciones provocados por los sistemas automatizados vinculados a la administración de justicia. 

En el libro La automatización de la desigualdad, recientemente publicado en español, Virginia Eubanks documenta múltiples horrores provocados por sistemas automatizados que afectan a la población más vulnerable de los Estados Unidos. Como el caso de Sophie Stipes, una niña con parálisis cerebral que perdió su cobertura médica cuando el estado de Indiana sustituyó el equipo humano de gestión de ayudas por un proceso automático.  

El informe Automating Society 2020, elaborado por Algorithm Watch, recopila las principales iniciativas de automatización de decisiones en Europa, la mayoría de ellas vinculadas a servicios sociales, gestión de subsidios de empleo y a labores policiales, así como sus consecuencias resultantes: denegación indebida de ayudas, identificaciones policiales erróneas, discriminaciones por raza, estatus económico o lugar de origen… 

“A menos que los diseñemos explícitamente para inclinarse hacia la justicia social, los algoritmos sólo ampliarán las brechas sociales que ya tenemos. En la mente de muchos diseñadores y administradores de programas rige el pensamiento mágico de que la tecnología será, de forma natural, más eficiente, más justa, menos sesgada. Que hay algo en la tecnología digital que la hace por sí misma más objetiva y justa. Y eso no es cierto.” dice Eubanks.

“Si crees que la tecnología resolverá tus problemas, ni comprendes la tecnología ni comprendes tus problemas

Laurie Anderson

Otra Virginia, la investigadora sueca especialista en inteligencia artificial responsable, Virginia Dignum, ha publicado recientemente un artículo académico titulado El mito de la total imparcialidad de la IA en el que recela de la capacidad de los sistemas de IA para ser justos.

“Si cree que la tecnología resolverá sus problemas, ni comprende la tecnología ni comprende sus problemas” dice Dignum citando una frase de la artista norteamericana Laurie Anderson y añade que se está invirtiendo mucho esfuerzo en busca de una IA justa, convencidos de que un algoritmo puede serlo si sus resultados prescinden de determinadas variables, especialmente las consideradas sensibles, como los rasgos de género, etnia, orientación sexual, discapacidad, etc.. “Sin embargo, nada es 100% justo en el 100% de las situaciones. En una compleja sociedad en red, garantizar la equidad para un colectivo puede provocar injusticia para otros”.

.

Justicia como equidad

El modelo de justicia hoy imperante, al que contribuyeron las ideas de John Rawls, entiende la justicia desde la equidad, es decir, incorporando los principios de libertad, igualdad de oportunidades y beneficio de los colectivos sociales desfavorecidos. La equidad nos dice que ninguna decisión es del todo justa si no tiene en cuenta el contexto social, personal, etc… de las personas implicadas. 

La equidad introduce complejidad en la toma de decisiones. Para que una decisión sea justa es necesario ponderar más variables que la sujeción literal a la norma. Además, las decisiones, sobre todo las que afectan a personas, dependen muchas veces del sentido común, algo que un niño de seis años ya ha aprendido a incorporar pero que para una máquina supone un reto monumental. Imponderables demasiado humanos para la lógica de un algoritmo.

.

La equidad imposible de los algoritmos

La equidad algorítmica se limita a aplicar el principio de que aquellas personas que presentan unas características determinadas, independientemente de otros rasgos o propiedades, sean clasificadas en una categoría similar.

Para garantizar la equidad algorítmica los científicos de datos utilizan técnicas de calibración y ajuste que comparan los resultados obtenidos con los resultados esperados. La calibración es una condición esencial en las herramientas de predicción de riesgos. 

Desafortunadamente, dice Dignum, las investigaciones demuestran que no es posible calibrar los resultados sin alterar el balance entre falsos negativos y falsos positivos que generan los procesos automáticos. Al ajustar los datos se generan niveles más altos de falsos positivos y falsos negativos. Lo que se gana en equidad se pierde en precisión.

.

¿Es el sesgo el problema?

Cuando se denuncian los errores recurrentes de los sistemas automatizados se acostumbra a echarle la culpa al sesgo. El sesgo de los algoritmos deriva de múltiples causas: qué datos hay disponibles, cuáles se utilizan, quién hace la selección, quién los etiqueta, quién diseña los algoritmos, quién los entrena.

Si únicamente intervinieran estos elementos, el sesgo sería subsanable. Se trataría de un problema técnico que un perfeccionamiento paulatino de los sistemas podría corregir. 

Sin embargo, la causa principal no está ahí, dice Dignum. “El sesgo forma parte de nuestras vidas en parte porque no tenemos suficiente ancho de banda cognitivo para tomar todas las decisiones desde cero. Necesitamos generalizaciones como punto de partida. Sin sesgo no podríamos sobrevivir como especie, nos ayuda a seleccionar entre una diversidad de opciones. No todos los prejuicios son malos, aunque eso no significa que no debamos abordarlos. El sesgo no es el problema, el prejuicio y la discriminación sí lo son”.

El sesgo es una característica del ser humano que, en algunos casos, la inteligencia artificial incluso podría corregir mediante un uso más preciso de los datos. Lo que no puede arreglar un algoritmo son los prejuicios y discriminaciones históricas con los que se alimenta ni prescindir del objetivo real para el que ha sido diseñado. 

.

Contra la resignación 

Que los algoritmos no puedan ser completamente justos no significa que debamos resignarnos. Mejorar la equidad y evitar los prejuicios son deberes que conciernen a la sociedad y a la propia tecnología. 

.

.

Los ingenieros desarrollan la IA y los directivos de las grandes empresas la impulsan pero todos ellos se forman y rigen con criterios esencialmente técnicos o de negocio. Sin embargo, estos no deberían ser los únicos criterios a tener en cuenta, ni tal vez los principales, cuando se aborda una tecnología que afecta de manera trascendente la vida de los seres humanos y el futuro de la sociedad. 

Es necesario considerar otros aspectos desde el inicio. ¿Cómo se equilibrará la seguridad y la privacidad? ¿Qué recursos energéticos se consumirán? ¿Cómo afectarán a la autonomía de las personas? ¿A quiénes podrían discriminar? 

Se plantean dilemas de una gran carga moral que deben estar en el centro del desarrollo y uso responsable de la IA. Abordarlos -dice Dignum – requiere equipos multidisciplinarios y la participación activa de las humanidades y las ciencias sociales en la formación de los desarrolladores y en la gestión y control de los proyectos. “Se requiere una redefinición de incentivos y métricas de lo que es un «buen» sistema. Hacer lo correcto y hacerlo bien significa que también debemos definir qué es bueno y para quién.”

De la verdad, hablaremos otro día.

Joan Rosés