Lejos de la generosidad que inspira la recomendación entre personas, la recomendación algorítmica se rige por intereses comerciales o puramente manipuladores
.
Una de las tareas más abrumadoras a la que nos enfrentamos los humanos es gestionar la sobrecarga de información. Son tantas las posibilidades de acceder a datos y opiniones y tantos los estímulos que nos influyen que debemos establecer mecanismos de selección. No podemos con todo.
Recuerda Tim Wu en su libro “Comerciantes de atención” que, cada segundo, nuestros sentidos transmiten alrededor de once millones de retazos de información a nuestro cerebro, el cual tarda un cierto tiempo en procesarlos. “Cuando se nos presenta demasiada información al mismo tiempo empezamos a sentir pánico, como un camarero al que le gritan demasiadas comandas.”
En medio de tanta sobrecarga, una recomendación es un alivio. Cuando alguien en quien confiamos nos sugiere un libro, una película, un producto… nos hace la vida un poco más fácil. Recibimos su consejo como una bendición.
Recomendar ha sido siempre un acto altruista, solidario, que nos conecta con los demás y nos invita a compartir. Por lo menos así ha sido hasta que la voracidad digital ha transformado el sentido de la recomendación y ha convertido en negocio lo que nació fruto de la generosidad. Otra disrupción más. Ocurre también con la explotación de la amistad, los gustos…
El mundo digital ha multiplicado exponencialmente la cantidad de información y de estímulos disponibles, pero, en paralelo, ha diseñado métodos de simplificación y ha convertido la recomendación y la personalización de contenidos en su propio antídoto.
Una sociedad digital es también una sociedad recomendada. Desborda información pero nos sugiere cómo seleccionarla. Nos presenta múltiples direcciones pero nos muestra los atajos por los que circular. Pero lejos de la generosidad que inspira el sentido genuino de la recomendación entre personas, la recomendación algorítmica se rige por intereses comerciales o puramente manipuladores. Ya no va de orientar a las personas para hacerles la vida más fácil sino de venderles más cosas o influirles en su manera de pensar.
.
Uniformidad
Una sociedad recomendada mediante algoritmos genera problemas.
Una primera consecuencia es la construcción de uniformidades. Si te proponen que compres un libro parecido al que ya compraste o veas una película similar a la que ya viste, tu capacidad de descubrir algo nuevo se reduce. La monotonía social se amplía. El periodista canadiense Clive Thompson dice que los sistemas algorítmicos de recomendación conducen al aburrimiento y al monocultivo intelectual. “Abres tu feed algorítmico y ves filas y filas de maíz cuidadosamente sembrado, y nada más”. Esos algoritmos de recomendación están diseñados por personas convencidas de que “popular” y “reciente” equivalen a “valioso”.
Hay pocos estudios que analicen en profundidad las consecuencias sociales de la recomendación mediante algoritmos. Uno de los más interesantes es el elaborado por los filósofos del Oxford Internet Institute Luciano Floridi, Silvia Milano y Mariarosaria Taddeo que han analizado estos sistemas atendiendo a sus consecuencias éticas.
Resumimos, a continuación, algunas ideas del estudio.
.
Privacidad
Los sistemas de recomendación se basan en el uso de datos personales lo que conlleva una serie de riesgos que afectan a la privacidad.
Primero, cuando se recopilan o comparten datos sin el consentimiento explícito del usuario. Segundo, una vez guardados los datos existe el riesgo de que se filtren a agentes externos. Tercero, los datos, aunque se hayan anonimizado, permiten inferencias desconocidas por los usuarios que podrían oponerse a ese uso de sus datos personales si estuvieran mejor informados. Y cuarto, el sistema puede construir un perfil del usuario basado en datos recopilados de las interacciones de terceras personas (amigos, familiares…) sobre los que el usuario no tiene ningún control.
.
.
Autonomía
Los sistemas de recomendación pueden invadir la autonomía de los usuarios de dos maneras:
Una, al hacerles recomendaciones que les empujan en una determinada dirección, tratando de convertirlos en “adictos” a determinados contenidos, o limitando el rango de opciones a las que están expuestos.
Y dos, al clasificarlos en categorías, porque la misma asignación a un perfil y a una categoría determina en gran medida la identidad digital de una persona.
Las categorías reducen la personalidad humana a estereotipos, una simplificación habitualmente ajena a la voluntad del usuario porque se reconfiguran continuamente sobre la base no sólo de su comportamiento si no de los comentarios proporcionados por las interacciones de otros. Además, el criterio que utiliza el sistema para categorizar a los usuarios puede no corresponder a atributos o categorías sociales con las que el usuario se sienta identificado. No por haber comprado un jersei amarillo uno debe sentirse comprador de jerseis amarillos. La máquina sí lo hace.
.
Transparencia
Los sistemas algorítmicos acostumbran a ser cajas negras, cuyos criterios son inaccesibles a los usuarios.
En teoría, explicar cómo se generan recomendaciones personalizadas para usuarios individuales podría ayudar a mitigar el riesgo de invadir su autonomía al darles la posibilidad de entender lo que “piensa” de ellos la máquina y de protegerse contra posibles sesgos y discriminaciones.
Pero una buena explicación depende de varios criterios: el propósito de la recomendación; si la explicación coincide con precisión con el mecanismo por el cual se genera la recomendación; si mejora la transparencia y el escrutinio del sistema; y si ayuda al usuario a tomar decisiones de forma más eficiente.
.
Justicia
Los problemas de justicia y equidad se generan cuando los sistemas de recomendación usan datos sesgados de antemano o criterios de programación discriminatorios.
Los métodos de filtrado colaborativo utilizados por los sistemas de recomendación no evitan los sesgos. El filtrado colaborativo entiende que si A tiene la misma opinión que B sobre un tema, es probable que A tenga una opinión más parecida a la de B en otro tema que la que tendría una persona elegida al azar.
Pero no sólo el método es causa de discriminaciones si no también los propósitos que orientan la recomendación. No es lo mismo si se hacen con la voluntad de interpretar el deseo y gustos de un usuario y facilitarle una elección que si el objetivo consiste en dirigir al usuario en la dirección que interesa al recomendador.
.
Efectos sociales
Más allá del aburrimiento y pobreza intelectual que provocan, hay que tener en cuenta que, por la naturaleza de su diseño, los sistemas de recomendación corren el riesgo de aislar a los usuarios y evitarles el acceso a puntos de vista distintos, creando “filtros burbuja” que dañan el funcionamiento normal del debate público. Un ejemplo reciente lo tenemos en la difusión de propaganda contra las vacunas. Los sistemas de recomendación de noticias, las plataformas de transmisión y las redes sociales se acaban convirtiendo en terreno abonado para la desinformación y la propaganda política dirigida, como lo demuestra el escándalo de Cambridge Analytics en 2018 y las interferencias en las elecciones de EE. UU. de los últimos años.
.
.
Engaño
En el ecosistema digital la recomendación funciona también a través de métodos menos algorítmicos como reseñas, puntuaciones y opiniones que otros usuarios tienen sobre un producto o servicio. Obviamente, un producto con 5 estrellas y muchos comentarios positivos da más confianza que uno apenas reseñado o con mala puntuación. Pero no siempre estas valoraciones son honestas.
Existe todo un mercado de reseñas falsas que desvirtúan el valor de las recomendaciones. Amazon afirma haber gastado más de 500 millones dólares solo en 2019 y empleado a más de 8.000 personas para reducir el fraude y el abuso en su plataforma. Sin embargo, un estudio reciente de la Universidad de California ha comprobado que aunque Amazon retira una buena cantidad de reseñas falsas lo hace con retraso y apenas limita el efecto de las campañas de venta de productos de mala calidad falsamente recomendados.
.
Valores
Los sistemas de recomendación de la economía digital podrían ser una herramienta útil para facilitar la vida de los usuarios. Como dice el estudio del Oxford Internet Institute, “cualquier recomendación es un empujón, y cualquier empujón incorpora valores”.
Hoy por hoy dominan los sistemas de recomendación que sirven a propósitos comerciales, invaden áreas de autonomía y privacidad de los usuarios, son fuente de engaño y desinformación, y limitan la variedad de acceso a la información.
La sociedad recomendada tiene sus valores. De momento, son esos.
1 comment
Nos haríamos un favor también si utilizásemos nuestro propio vocabulario; acabáis de publicar otro artículo que habla precísamente de eso. ‘Recomendación’ es el eufemismo que utilizan estas corporativas, pero el término correcto sería más bien ‘manipulación’. Y llamarla ‘algorítmica’ también roza el canto del diccionario, porque entendiendo por algoritmo una secuencia de pasos (https://es.wikipedia.org/wiki/Algoritmo), cuando uno implementa un algoritmo normalmente entiende cómo funciona con precisión. En cambio, los sistemas de manipulación se basan en métodos de aprendizaje donde, habiendo elegido un modelo apropiado para el problema, se entrena con varias entradas y luego cruzo los dedos para que encuentre alguna estructura o correlación en los datos. Es decir, que a menudo ni el propio autor sabe cómo funciona el sistema resultante. Así que deberíamos hablar de ‘manipulación estadística’ en vez de ‘recomendación algorítmica’, y si uno emplea esta sustitución, los problemas mencionades en este artículo yo creo que se entienden mejor.
> Segundo, una vez guardados los datos existe el riesgo de que se filtren a agentes externos.
No es un riesgo teórico; el gobierno de Estados Unidos como mínimo conoce todo lo que haces en estas plataformas, en el iPhone, en el Android, etc. La simbiosis corporativa-estado es clave para la vigilancia masiva de la sociedad. Y si al Homus Vigilatus encima le proveéis de servicios ‘gratuitos´, se deja espiar sin protestar.
> Los sistemas algorítmicos acostumbran a ser cajas negras, cuyos criterios son inaccesibles a los usuarios.
Y como he dicho antes, muchas veces hasta para el propio autor.
No es una exageración. Además de que con ciertos modelos es muy difícil, también hay que anyadir la absoluta falta de valores y de responsabilidad de los ingenieros y demás personas trabajando en estos sistemas. Yo he entrevistado a varios y sólo de hablar con ellos te dan ganas de dejar de vivir.