Moderar y moderarse
¿Por qué no podemos confiar todo a la tecnología?
Mónica López Calero y Javier García-Manglano
Tercera parte de una reflexión sobre la moderación de contenido en internet y sus implicaciones para las democracias occidentales. Puedes leer la primera parte aquí y la segunda parte aquí.
La quimera de una inteligencia artificial neutral
Hay tres motivos que nos hacen pensar que la neutralidad en la moderación de contenido no es posible: primero, porque las grandes tecnológicas explotan sesgos humanos por interés comercial; segundo, porque la inteligencia artificial (IA) es muy limitada a la hora de entender el contexto cultural y semántico de los textos e imágenes; y tercero, porque la IA está plagada de sesgos “humanos”. Veamos cada una con detalle.
(1) Se explotan sesgos cognitivos por interés comercial
La acumulación de poder está pasando factura a las tecnológicas. Durante el pasado año, Facebook, entre otros, ha sido criticado por un gran número de actores públicos. Ha sido, por ejemplo, acusado por los conservadores por tener un sesgo liberal: Trump ha defendido abiertamente que existe una “gran discriminación” hacia los conservadores en Twitter y Facebook, y otros sectores observan un claro sesgo anti-provida.
Al mismo tiempo, los liberales alegan que las tecnológicas tienen trato de favor hacia los conservadores, pues se está difundiendo el nacionalismo blanco a pasos agigantados, así como contenido negacionista sobre el holocausto y los algoritmos anti-gay. Tampoco nos podemos olvidar del gran escándalo de Cambridge Analytica, donde se filtraron datos personales de usuarios de Facebook para favorecer la victoria de Trump en las elecciones de 2016 al igual que con la campaña del Brexit.
Por otra parte, agentes gubernamentales y empresas de comunicación han acusado a Facebook de difundir fake news y desinformación. Esto no es nada nuevo, pues sabemos que la propia arquitectura interna de estas plataformas está optimizada para la economía de la atención, y las fake news son el contenido más extremo y el que más rápido se difunde. Es así como entramos en un ciclo sin fin de radicalización artificial reforzadas por los filtros burbuja. Por ello, las publicaciones más visibles son las más escandalosas, las que despiertan las emociones más básicas del espectador, en lugar de aquellas más moderadas que buscan generar un diálogo enriquecedor –como, humildemente, procuramos en esta publicación.
Esto no solo nos hace percibir el mundo como un lugar hostil y dividido, sino que tiende a llevarnos a situaciones de peligro público y violencia, como fue el caso de la limpieza étnica de los Rohinyá en Myanmar. O el más reciente caso de Sri Lanka, donde tras una oleada de atentados contra templos budistas, el gobierno decidió suspender las redes sociales temporalmente debido a la propagación de desinformación que generaba más odio y aun más peligro para su población.
Como consecuencia de estas crisis, el director de política pública de Facebook, Neil Potts, fue llamado a declarar ante el Senado de Estados Unidos en una sesión titulada “Sofocando la libertad de expresión: la censura tecnológica y el discurso público”. En esa ocasión afirmó:
“Me gustaría declarar de manera inequívoca que Facebook no favorece un punto de vista político sobre otro, ni tampoco Facebook suprime el discurso conservador. Nuestros estándares comunitarios han sido diseñados cuidadosamente para garantizar que el contenido se revise de manera neutral, centrado en mantener a nuestros usuarios seguros”
— Neil Potts (2019)
Más que acusar a Facebook de estar politizado, creemos que lo acertado sería comprender que su propia naturaleza, su modelo de negocio, fomentan los sesgos cognitivos de cada ciudadano. Sin querer, pero queriéndolo, promueven prácticas antidemocráticas, polarizantes y discriminatorias –porque, lamentablemente, estas son las que más atención y viralidad cosechan. La neutralidad de las redes sociales y de los motores de búsqueda es una quimera, no por motivos políticos o ideológicos, sino por algo mucho más obvio: su gran sesgo es la obligación de mantener su posición líder en el mercado.
Aunque Zuckerberg repita que su sueño es “dar voz a todos” (como declaró recientemente en Georgetown University), eso contradice la mayoría de las decisiones que su compañía toma, por las que buscan meterse cada vez más en nuestras vidas, hacerse imprescindibles e irremplazables. En cambio, saber que un 98.5% de sus ingresos provienen de publicidad, y que ésta se basa en el perfilado y la personalización, y que éstas dependen de los datos, y éstos últimos del tiempo que pasamos online… eso sí explica que sus algoritmos den visibilidad a los contenidos que generan más reacción, que no son precisamente (está estudiado) los más racionales y moderados.
(2) Los límites de la Inteligencia Artificial
Para que se cumplan los estándares comunitarios, las políticas de contenido, las normativas de convivencia y un largo etcétera de normas relacionadas con el contenido publicado, es necesario el uso de IA. Con más de 500 horas de video subidas a YouTube cada minuto, y más de 1,2 billones de fotos subidas a internet en 2017, esta labor sería imposible para moderadores humanos.
No obstante, dejar esta tarea únicamente a los algoritmos sería un completo desastre. Actualmente es imposible automatizar la complejidad de la cultura humana.
Los filtros de IA no son precisos detectando discursos de odio, parodias, o noticias sobre eventos controvertidos, ya que gran parte del análisis depende del contexto cultural y de otra información extrínseca.
— Eric Goldman (Santa Clara University, EEUU)
Esa “información extrínseca”, esencial para la cultura humana, es precisamente la que marca la diferencia entre un delito de odio o un simple comentario irónico. Un claro ejemplo de ello puede ser el caso de @DarthPutinKGB, una cuenta de humor con más de 100K seguidores sobre el mandatario ruso que fue bloqueada sin motivo aparente durante dos días en 2016. Una decisión que generó una oleada de críticas por la incapacidad de twitter de detectar una sátira inofensiva, mientras otros aseguraban que Twitter había sucumbido a presiones rusas.
Lo que a muchos puede parecer una inocente ironía, a un moderador puede no hacerle ninguna gracia, o un algoritmo puede detectar, por su experiencia previa, que ese tipo de concatenación de palabras se traduce en “discurso de odio” y decidir elevarlo a verificación humana para que la cuenta sea cancelada. La moderación a gran escala es un asunto no exento de controversia y de matices.
Esto ejemplifica cómo, a pesar de que sabemos que la IA se está desarrollando exponencialmente y ha mejorado de manera considerable con respecto a la detección de pornografía, spam o cuentas falsas, la realidad es que la IA no está suficientemente avanzada para esta tarea, y no sabemos si algún día lo estará.
Podemos ver esto en el caso de YouTube, una plataforma que cada día afronta más retos en este campo. No le salió nada bien el intento de dejarle a la IA la regulación de los anuncios publicitarios en YouTube Kids, su producto para menores. Esta aplicación recibió muchas quejas en 2017 porque algunos anuncios mostraban a personajes infantiles en situaciones violentas o controvertidas. Los niños, movidos por la curiosidad, pinchaban en estos anuncios y accedían a vídeos de contenido no apropiado en la misma plataforma. YouTube luego pidió disculpas, aduciendo que sus algoritmos no habían sido capaces de detectar este tipo de videos y anuncios. A partir de ese momento, aseguraron que la moderación de contenido correría a cargo de seres humanos en su plataforma infantil.
(3) Los sesgos “humanos” de la Inteligencia Artificial
Finalmente, no podemos olvidar que la IA no aprende sola, la entrenan ejércitos de seres humanos mal pagados en algún lugar remoto, muchas veces en países en vías de desarrollo. Miles de empleados que trabajan analizando fotogramas, identificando cada elemento de la imagen, el cielo, los coches y edificios… de forma manual, para después “enseñarle” esa información a la IA. Esta, tras haber procesado millones de imágenes de un árbol, podrá identificar por sí sola este elemento. De la misma manera que se hace esto con la identificación de imágenes, también se hace con los discursos, las palabras, la violencia, los cuerpos desnudos, la sangre, los patrones biométricos… y virtualmente todo de lo que se puedan obtener datos.
Todo esto confirma que los sesgos humanos también pueden acabar siendo transferidos a la IA, y magnificarse a gran escala. Los humanos que la entrenamos no podemos ser plenamente neutrales. Por ejemplo: si en la base de datos de un juzgado de EEUU existe un porcentaje más alto de sentencias de criminalidad entre personas de raza negra (por razones de pobreza, marginalidad, vulnerabilidad… o incluso racismo histórico), el algoritmo aumentará esta brecha ya que, basándose en patrones demográficos y biométricos, inferirá que a “negro” corresponde una mayor probabilidad de criminalidad. Así de sencillo… y de peligroso.
Las tecnológicas también han sido acusadas de tratar de forma más ligera el terrorismo de blancos supremacistas que el terrorismo islámico, no por propia voluntad sino porque la IA había sido entrenada desigualmente. Un reto añadido a la IA es el de diferenciar entre periodismo de guerra (aquel que muestra, por ejemplo, las atrocidades de la Guerra de Siria para la divulgación y concienciación), la propaganda terrorista, y el contenido violento explícito. Por estos motivos consideramos que la deseada neutralidad de nuestras redes es, de momento, una quimera.
Conclusión: moderación y auto-moderación
¿Llegará el momento en el que la IA pueda discernir entre ironía y odio, entre divulgación y propaganda? ¿Podremos diseñar una tecnología sin sesgos? ¿Podremos prescindir de los moderadores humanos? No desesperemos, lo más importante es que nuestra capacidad de contribuir a un discurso sano y enriquecedor sigue viva. La regulación externa, de arriba a bajo y diseñada en el ámbito digital, está muy lejos de ser perfecta… pero nos queda la autorregulación, esa capacidad que tenemos los seres humanos de moderarnos a nosotros mismos, regular nuestros pensamientos y emociones, y censurar comportamientos que pueden dañar a quienes nos rodean o erosionar la convivencia social.
Antes de publicar, podemos pensar si lo que vamos a compartir contribuirá al diálogo… o si por el contrario lo hará más difícil. Si nos encerrará en nuestras propias burbujas de opinión, sin aportar nada a los demás ni dejar que ellos nos aporten. En definitiva, no podemos esperar que la única solución para limitar los contenidos indeseables de internet sea “moderar” desde fuera, de arriba a abajo, con palo y zanahoria. ¿Y si educáramos a los usuarios a “moderarse”… desde dentro?
Alguno pensará que hablar de auto-moderación hoy en día es utópico… ¿es que somos ciegos a la visceralidad, al emocionalismo, a la polarización reinante en las redes sociales? De ninguna manera; no abogamos por la ausencia de moderación externa como no abogaríamos por la abolición de las leyes de tráfico. Pero estamos convencidos de que la auto-moderación y la regulación externa deben complementarse mutuamente.
¿Es posible un escenario en el que la necesaria moderación externa se combina con un diseño de las plataformas (Facebook, Twitter) que fomente en el usuario la auto-moderación, que le haga más reflexivo, menos impulsivo, menos “reptiliano”?
Cada uno de nosotros es dueño soberano del tiempo que hay entre el estímulo que recibe y su respuesta: hagamos de ese espacio un lugar de reflexión pausada, no de reacción impulsiva.
Desde ThinkTech, creemos que se puede diseñar la tecnología de modo que, en lugar de explotar nuestras vulnerabilidades para minar nuestra atención, potencie nuestras capacidades humanas de reflexión y diálogo, haciéndonos mejores ciudadanos, personas nunca dejan de ven otras personas al otro lado de las pantallas.
Parte 1. Los escudos humanos de internet.
Parte 2. ¿Se debe moderar el contenido en Internet?
Mónica López Calero estudia 4º de Economics, Leadership and Governance en la Universidad de Navarra | LinkedIn | Twitter
Javier García-Manglano es investigador en el Instituto Cultura y Sociedad de la Universidad de Navarra | LinkedIn | Twitter
