Los escudos humanos de Internet
El enorme coste humano de mantener limpia la web
Gabriela Castelló
Primera parte de una reflexión sobre la moderación de contenido
y sus implicaciones para las democracias occidentales. Puedes leer la segunda parte aquí y la tercera parte aquí.
“No había nada agradable acerca del trabajo. Entrabas a las 9 de la mañana, encendías tu ordenador y veías cómo le cortaban la cabeza a alguien. Todos los días, en cada minuto, eso es lo que veías. Decapitaciones. A diario había gente que iba al psicólogo. A algunos les costaba dormir o tenían pesadillas.”
Testimonio anónimo de un moderador de contenido de Facebook
¿Existe un trabajo que pueda pedir que sus empleados sean expuestos a tanta violencia, que requiera tanta afectación psicológica y emocional?
La necesidad de limpiar la web
Google lo sabe todo, o al menos eso creemos. Instrucciones para coser un botón, recetas para hacer la famosa lasaña de la abuela… incluso ahora guarda nuestros más preciados recuerdos. Sin embargo, a veces también encontramos algo que no buscábamos ni deseamos. En lugar de esa foto de gatos nos presenta a una mujer desnuda invitándonos a visitar su página web. O nos encontramos un vídeo de un tiroteo con imágenes desagradables que preferiríamos no haber visto. Esta información, que puede suponer una violación de los derechos del usuario o de la dignidad de quien está al otro lado de la pantalla, ¿debería de estar en la red?
Entre la inmensidad de información en la que acostumbramos navegar, no todo el contenido es inofensivo y apto para todos los públicos. Esto es una realidad conocida por todos. Sin embargo, lo que nos puede resultar novedoso es la existencia de cientos de moderadores que regulan ese contenido en el Internet. ¿Quiénes son estos ‘escudos humanos’ que nos protegen? ¿Por qué ellos? ¿Qué es lo que hacen en realidad?
Imagínate un escenario como el que plantea la película “La Purga”, en la que una ciudad decide realizar el siguiente experimento: durante 24 horas nadie tomará represalias de lo que suceda en sus calles; no habrá Policía ni Guardia Civil, y nadie estará sujeto a ninguna ley. ¿Saldrías de casa ese día? Seguramente muchos no se atreverían ni a pisar el portal, ¿verdad? Esta situación hipotética nos viene a decir algo que todos habremos pensado: necesitamos regulación para vivir en sociedad. Y vivir en sociedad no es opcional: nos necesitamos unos a otros.
¿Qué pasa en el mundo virtual? Más allá de hardware y software, de servidores y algoritmos, la red, como realidad social en la que interactúan seres humanos, necesita regulación. La dificultad viene cuando uno se pone a pensar en cómo efectuar ese control sobre lo que sucede en Internet.
¿Cómo podemos garantizar una experiencia de navegación segura para menores y regular un espacio digital tan amplio y complejo en el que cualquier usuario puede subir prácticamente cualquier contenido? Y sobre todo… ¿quién puede o debe hacerlo? ¿Bajo qué criterios?
Queremos dar a conocer el papel de los moderadores contratados por las grandes compañías tecnológicas como Facebook y Google. Su misión es eliminar de la web aquel contenido que sea considerado inapropiado.
¿Quién y cómo?
En octubre del 2018, se filtró un documento circulado internamente en Google que exponía las dificultades que la empresa estaba teniendo al intentar regular el contenido en su buscador. Este documento, titulado The Good Censor, plantea la difícil posibilidad de tener un Internet abierto y libre, sin contenidos explícitos, violentos, y opresivos. En la última parte de la introducción, propone la pregunta más pertinente en esta cuestión:
¿Quién es el responsable de identificar y censurar contenido indeseable? ¿Los gobiernos? ¿Los usuarios? ¿Google?
Con esta pregunta, Google destapa un gran problema. Y si la pregunta por el quién es difícil de responder, no digamos la pregunta que lógicamente debería seguirle: cómo. Hasta ahora, no existía ninguna regulación por parte de los gobiernos u organismos supranacionales, aunque medidas propuestas para las próximas elecciones en EEUU y la entrada en vigor en la UE del nuevo “Reglamento de Servicios Digitales” (Digital Services Act) demuestran que empieza a haber cambios.
Antes, cada empresa lo hacía según su criterio, el cual se puede adivinar de una forma implícita en sus políticas de privacidad y seguridad. Por ejemplo, los estándares comunitarios (community standards) de Facebook prohíben el discurso de odio, la violencia y el contenido gráfico, la actividad sexual y la desnudez, la solicitación sexual, y el contenido cruel o insensible. Las políticas de Google son muy similares.
Sin embargo, surgen dos problemas: primero, que el algoritmo puede eliminar contenido que es aceptable; segundo, que el algoritmo no es perfecto y deja visible un pequeño porcentaje que debería ser retirado según los estándares comunitarios –aproximadamente un 10%. Esto genera la necesidad de revisar manualmente al menos ciertos contenidos, lo cual es una tarea intensiva en tiempo y coste.
Para hacernos una idea de la cantidad de contenido que existe: cada minuto en Facebook, se publican 510,000 comentarios, 293,000 actualizaciones de estado, y se suben 136,000 fotos. Y los móviles no han hecho más que complicar las cosas: entre 2013 y 2017 casi se ha duplicado el número de fotos subidas a internet, hasta los 1,2 billones, un 85% de las cuáles se suben desde teléfonos.
Por lo tanto, de momento, la intervención humana es ineludible, también porque en los algoritmos hay sesgos raciales o culturales que la IA puede perpetuar y que solo pueden ser corregidos, irónicamente, mediante revisión humana que trate de ser libre de sesgos.
Miles de moderadores regulan lo que pones en las redes
Ese 10% de contenido que escapa a la IA requiere el criterio de un ser humano que comprenda el contexto cultural, temporal e idiomático: así nace la figura del “moderador”. Los moderadores son personas contratadas por las principales plataformas tecnológicas, y cuya labor es la de revisar el contenido sensible y eliminar aquello que no cumpla con las políticas establecidas por la empresa.
Actualmente se calcula que existen entre 100,000 y 150,000 moderadores de contenido entre todos los trabajadores de las redes sociales, aplicaciones móviles, y servicios de cloud –y el número sigue incrementando.
Facebook cuenta con unos 1,000 moderadores solamente en la oficina de Cognizant en Phoenix; es decir, un poco más del 2% de sus empleados. El número total es desconocido. Por otro lado, Google anunció que aumentaría a más de 10,000 moderadores para seguir protegiendo a los usuarios después de varios escándalos sobre la difusión de videos abusivos en YouTube.
Las empresas no suelen ser especialmente transparentes en lo que a moderación de contenido se refiere, alegando que lo hacen así “por razones de seguridad”. No obstante, las condiciones de trabajo y el coste psicológico que sufren los moderadores acaban filtrándose: en los últimos años se han producido documentales como The Cleaners (Los Limpiadores) y The Moderators (Los Moderadores), con abundantes testimonios de personas que explican exactamente en qué consiste y cómo les afecta este trabajo. No es un trabajo fácil, ni apto para todo el mundo, ya que supone la exposición diaria a horas de contenido altamente violento y denigrante, el lado más oscuro de la web.
¿Y quién los protege a ellos?
El trabajo de los moderadores es poco conocido, aunque en el último año se ha intentado mostrar más transparencia, como es el caso de Facebook. Se puede interpretar como una respuesta a la demanda por una “transparencia radical” de la Relatora Especial de la Comisión de Derechos Humanos de la ONU.
Empecemos por lo básico: muchos trabajadores ni siquiera trabajan oficialmente para estas plataformas tan conocidas. Actualmente en Google, el 54% de los moderadores son subcontratados a media jornada o como puestos temporales. Facebook también subcontrata el servicio de moderación de empresas como Cognizant, exigiendo a sus empleados la firma de un contrato que no les permite revelar que trabajan con contenidos de Facebook. Además, se comprometen a mantener discreción sobre el contenido que revisan. De hecho, no se les permite llevar nada a su escritorio que pueda servir para apuntar nombres o datos del contenido que ven.
Aunque en teoría esto se hace por seguridad, los moderadores que han compartido su experiencia comentan que también sirve para ocultar las condiciones extremas en las que trabajan. Además, a pesar de ser empleados de Facebook, estos moderadores ganan ocho veces menos de lo que gana el empleado medio de Facebook, alrededor de US$28.800 al año en comparación con US$240.000.
Imaginemos el coste psicológico de revisar miles de imágenes y videos de decapitaciones, asesinatos, pornografía, y otro contenido ofensivo durante ocho horas al día, a ritmo de uno por cada 30 segundos, y más de 400 posts al día. Todo ello con una exigencia altísima de precisión.
Además, los empleados tienen nueve minutos de lo que Facebook llama “tiempo de bienestar”, por si necesitan tomar distancia del contenido que han visto. Pero en una oficina se prohibió emplear este tiempo para ir al baño o, en el caso de un musulmán, para la oración; se considera que esas actividades no son adecuadas para ese tiempo, siendo más apropiadas para los dos descansos de media hora que tienen al día, o para la media hora de la comida. El resultado, como se puede suponer, es una jornada laboral altamente estresante, agotadora, y traumática.
Hay informes de trabajadores que han sufrido trastornos de estrés postraumático (TEPT) debido a su trabajo. Una trabajadora de Cognizant hablaba de las condiciones penosas de su propia oficina: colegas teniendo relaciones sexuales en la escalera, compañeros contando chistes groseros para hacer más ameno el día a día, y un compañero convencido por las teorías conspiratorias que había visto sobre el Holocausto o el 11-S. Muchos moderadores tienen insomnio u otras alteraciones del sueño, y algunos han llegado a sufrir alucinaciones.
La asistencia emocional y psicológica está limitada al trabajo. Aunque en cada oficina hay especialistas disponibles a diario, este servicio solo se ofrece una vez completadas las cuatro semanas de preparación para el trabajo, no durante el periodo de aprendizaje ni después de dejar la empresa. Sin embargo, el impacto psicológico a largo plazo de estos trabajadores se asemeja al que enfrentan investigadores de pornografía infantil o de terrorismo en las fuerzas policiales. Además, muchos afirman que los asesores de este servicio son “pasivos” y se preocupan más por que el moderador pueda volver al trabajo que por su salud. Algunos antiguos empleados han comentado que sufrieron presión para no contar las dificultades emocionales relacionadas con sus experiencias en el trabajo.
¿Qué dicen las grandes tecnológicas?
Como se ha comentado, Facebook ha procurado responder a estas acusaciones y mejorar la situación. En julio de 2018, publicaron un artículo en su blog ofreciendo explicaciones. Unos meses después, abrieron las puertas de su oficina en Barcelona a 12 periodistas de medios internacionales, para mostrarles la realidad del trabajo de sus moderadores, enfatizando el modo en que se fomenta el compañerismo entre trabajadores, y presentándoles a los asesores emocionales que trabajan allí.
No obstante, hasta ahora no han anunciado grandes cambios en sus políticas hacia los moderadores de contenido. Algunos trabajadores de YouTube, en cambio, están entre los primeros moderadores que han firmado un contrato advirtiendo de modo explícito sobre la posibilidad de sufrir TEPT. Introdujeron este cambio en la documentación laboral a finales de diciembre de 2019, pocos días después de la publicación de una investigación sobre su centro de Accenture en Austin, Texas.
En definitiva, se trata de un trabajo poco conocido y sumamente exigente, en el cual los trabajadores trabajan bajo presión con contenidos difíciles, que pueden llegar a poner en riesgo su propio bienestar.
A pesar de su creciente importancia, quedan muchas cuestiones por resolver. No solo acerca de los derechos de los trabajadores y el futuro de su trabajo. También sobre los retos que plantea la determinación de qué debe o no ser censurado.
¿Son los digital cleaners quienes pueden decidir lo que vemos y lo que no vemos? ¿Realmente pensamos que un algoritmo puede estar libre de sesgos, decidir con imparcialidad? ¿Se podrá crear una tecnología tan perfecta que no necesite la revisión humana? En la segunda parte, presentamos algunas de estas preguntas sobre la limpieza digital y algunas consecuencias que puede tener para la estabilidad democrática.
Parte 2. ¿Se debe moderar el contenido en Internet?
Parte 3. Moderar y moderarse.
Gabriela Castello estudia 4º de Economics, Leadership and Governance en la Universidad de Navarra | LinkedIn | Twitter
