¿Hacia una tiranía de los algoritmos? , por Beatriz Pérez Rioja

¿Hacia una tiranía de los algoritmos?

Fuente: Atlántica XXII

Autora: Beatriz Pérez Rioja / Periodista.

¿Son los algoritmos la última gran panacea transitoria? No, han llegado para quedarse. Inmersos en muchos más aspectos de nuestra vida de los que podemos imaginar, su escalada es creciente en la sustitución de los humanos en cada vez más procesos de toma de decisiones. Oráculos conformados por códigos, incomprensibles para el común de los mortales, son responsables de muchas de las cosas que pasan en nuestra cotidianidad, mediando en procesos sociales, decisiones gubernamentales o transacciones económicas. De la selección de nuestro currículum cuando respondemos a una oferta online, de las sugerencias de programación que hace nuestra televisión inteligente, de la concesión o no de un crédito bancario, de la ordenación del conocimiento cuando hacemos una búsqueda en Google.

Cada día saltan nuevas informaciones aplaudiendo sus renovadas capacidades para hacer nuestra vida más fácil. Pero, antes de plegarnos sin remilgos a cualquier desarrollo tecnológico, dejando que sea una parte central de nuestras vidas, deberíamos ser cautos y reflexionar sobre sus implicaciones y consecuencias, y desarrollar mecanismos de análisis y control, así como una ética consistente. Estamos hablando de que las máquinas decidan por nosotros sin intermediación humana, no nos podemos permitir dejar cabos sueltos. 

Ininteligibles para el común de los mortales 

Hablar de ética de los algoritmos parece algo estéril, sobre todo si tenemos en cuenta que simplemente son conjuntos de instrucciones dadas, en este caso a una máquina, para conseguir un resultado, buscado o no. Pero no todos son iguales ni se usan con los mismos fines. En una conferencia sobre la ética de los algoritmos celebrada en Berlín en 2015 y organizada por el Center for Internet and Human Rights, se establecieron tres características que hacen que algunos requieran vigilancia desde el punto de vista ético.

En primer lugar el informe habla de algoritmos demasiado complejos, difíciles de comprender incluso para los propios programadores. Los algoritmos de aprendizaje automático, la inteligencia artificial de hoy en día, son entrenados para sacar conclusiones de los datos y establecer nuevos patrones de forma autónoma, tomando decisiones basándose en ellos, hasta el punto de que el programador puede no entender la racionalidad con la que la máquina ha procedido. Se convierten en una suerte de cajas negras donde se introducen datos y devuelven un resultado sin que sepamos cómo ha sido el proceso. Éstos algoritmos tienen un particular peligro cuando se aplican el el mundo de las finanzas, del crédito o en los motores de búsqueda en Internet. El centro de investigación independiente Pew Research Center señaló en su informe “Algorithm Age pros and cons” cómo en octubre de 2016 la libra esterlina tuvo una caída descomunal en los mercados asiáticos debido a los algoritmos de aprendizaje automático empleados en el mundo de las finanzas. Qué hicieron, y por qué, es una incógnita.

Otro ejemplo de complejidad y falta de transparencia sería el algoritmo de Newsfeed de Facebook, que establece no solo el orden en que se muestran en el timeline las fotos, vídeos o noticias que publican nuestros contactos, sino también qué mostrar, y qué no. Lo que antes se hacía por orden cronológico, ahora lo decide un código que tienen en cuenta nuestros intereses para interpretar su relevancia. ¿En qué basan su conocimiento sobre nuestra persona?, ¿son los datos que tienen sobre nosotros tan concluyentes como para poder decidir lo que nos interesa o lo que no? No sabemos qué datos emplean, su procedencia, su calidad, qué variables contribuyen a llegar a esas conclusiones, no sabemos si es razonable porque desconocemos la conexión entre ellos y el resultado es opaco y cerrado al escrutinio y a la crítica.

Máquinas que deciden 

Otro tipo de algoritmos controvertidos son los que funcionan como gate-keepers, como seleccionadores de información, los que influyen en cómo percibimos el mundo, ya que deciden los que nos muestran y lo que no. Un ejemplo sería el que emplea Google Maps, que condiciona los resultados según la ubicación geográfica. Así, si uno busca Cachemira desde Pakistán, lo incluirá dentro de su territorio, y si lo busca desde India se lo anexionará a éste país, creando una realidad geopolítica distinta según los usuarios, condicionando su percepción del mundo.

O los algoritmos que se usan en la contratación de personas. Si bien los humanos ejercen sesgos y discriminaciones en sus prácticas, se tiende a pensar que las máquinas son más neutrales, pero no hay que olvidar que están programadas por personas que imprimen en ellas sus sesgos, que también pueden ser excluyentes, aún sin una intencionalidad concreta, y que, cuando hablamos de empresas privadas, éstas priman el beneficio económico. Así hace ya unos años el periodista Joshep Walker retrataba en The Wall Street Journal cómo la empresa Xerox, propietariade call centers, utilizaba un algoritmo de aprendizaje automático para la contratación de personal, que había llegado a la conclusión de que un largo trayecto hacia el trabajo aumentaba las posibilidades de desgaste de los trabajadores, lo que discriminaba a las personas que residían en barrios alejados con malas comunicaciones, además de que un trabajador confiable usaba una o más redes sociales, pero nunca más de cuatro. ¿Quién quiere tener un buen currículum si luego una máquina decide no contratarte porque no tienes Instagram? A veces los algoritmos también llegan a conclusiones injustas y discriminatorias aunque los datos en los que se basen sean transparentes y los resultados fundamentados.

Por último preocupan los algoritmos que toman decisiones subjetivas, donde no hay una única respuesta válida y el juicio, la sensibilidad y los valores juegan un papel importante. No es lo mismo un algoritmo que intenta sacar patrones de probabilidades de ataques cardíacos de datos fisiológicos que otro que intenta adivinar el riesgo que corre una mujer maltratada de sufrir una nueva agresión. Los algoritmos se apoyan en datos cuantificables, pero no todo se puede reducir a cifras, esto implica transformar factores muy complejos en indicadores medibles. Y cómo se mide el concepto de violencia, las diferencias culturales, el nivel de tolerancia, el apoyo familiar para abandonar una relación violenta.

Ojo al dato 

Una conclusión solo puede ser fiable y neutral en la medida en que lo sean los datos en los que se basa. El uso de algoritmos por departamentos de policía predictiva está levantando muchos interrogantes a este respecto. Este nuevo concepto se basa en tratar de identificar quién es susceptible de cometer un delito, y dónde podría tener lugar, antes de que se produzca. En EEUU lo hacen con un software llamado PredPol. En España usan uno similar desarrollado en la Universidad Jaume I de Castellón las policías locales de Castellón y Rivas Vaciamadrid, PredCrime. La predicción se hace generando mapas con puntos calientes teniendo en cuenta las bases de datos de delitos cometidos en el pasado, variables climatológicas, demográficas o geográficas, como por ejemplo si hay lugares cerca con cámaras, lo que suele ser disuasorio a la hora de delinquir. Una de las preocupaciones que generan estos métodos, según señalan desde la Electronic Frontier Foundation, es que pueden crear cámaras de resonancia o profecías autocumplidas, ya que la vigilancia intensiva en determinadas áreas aumenta la probabilidad de que se detecte delincuencia.

Desde el Human Rights Data Analysis Group, que analizó PredPol aplicándolo a la base de datos de la Policía de Oakland, se reafirman en esta tesis. Una de sus objeciones es que, si bien los algoritmos no pueden ser parciales, ya que solo son cadenas de instrucciones, las bases de datos sí son imparciales, y tienden a amplificar la exclusión y a poner el foco en lugares sometidos a más vigilancia policial. En su estudio descubrieron que, en la persecución del consumo de drogas, el algoritmo recomendaba enviar policía a los barrios de personas negras, si bien el consumo era mayor en barrios de clase media blanca. Mucha gente consume drogas, pero no figura en los registros policiales, sin embargo la policía tiene muchos más datos sobre las zonas donde hay más presencia policial. Si el algoritmo se basa en estos datos, recomendará aumentar la vigilancia en las mismas zonas, creando una caja de resonancia, y haciendo que se vuelva más certero a la hora de redirigir a las patrullas a los mismos sitios.

En un mundo donde los defraudadores fiscales son amnistiados, y los ladrones de bicicletas cumplen penas de cárcel, las bases de datos policiales no son una garantía para el buen desempeño de ningún algoritmo. 

Un problema de responsabilidad 

Los posibles daños generados a partir del uso de algoritmos son difíciles de detectar y evaluar debido en parte a la poca transparencia que hay con respecto al código, bien porque pertenecen a empresas privadas, o bien alegando cuestiones de seguridad. Pero más allá de encontrar las causas de los posibles fallos, lo que se vuelve una labor casi imposible es depurar responsabilidades en caso de que se generen daños. Y este problema se agudiza con los algoritmos de aprendizaje automático. Solo se puede hablar de culpa cuando hay algún grado de control e intencionalidad, conceptos que se disipan si nos referimos a máquinas con autonomía de toma de decisiones y de acción.

Hace unos meses se dio a conocer un nuevo algoritmo que predice las sentencias del Tribunal Europeo de Derechos Humanos con un 80% de precisión. Esto abre la puerta a delegar tediosos procesos judiciales con expedientes kilométricos en las máquinas. No estaría mal tener los deberes hechos antes de que el futuro nos pille, una vez más, más pronto de lo que lo esperábamos.