Redes de intolerancia: las personas y los algoritmos contra el odio

De acuerdo con el estudio Jóvenes en el mundo virtual: usos, prácticas y riesgos realizado por el Centro Reina Sofía sobre Adolescencia y Juventud de Fad en 2018, el 34% de los jóvenes de 14 a 24 años afirma haber sufrido maltrato en internet y redes sociales y el 9,2% de los encuestados reconoce haberlo ejercido.

Al mismo tiempo, la inmensa mayoría de los jóvenes entienden que los riesgos de acoso en internet son “mucho más frecuentes de lo que se dice”, lo que “da buena cuenta de la importante manera en que ha aumentado la consideración de Internet”, se señala en el informe.

Los mensajes de odio en las redes no son ni mucho menos acontecimientos que pasan desapercibidos en los chats en privado o en los comentarios en Instagram, sino que se repiten, se extienden y se acumulan, afectando gravemente a la persona que los sufre.

Hay que destacar que en España los delitos de odio cometidos a través de las redes sociales e internet han crecido un 22,9% en 2019 en comparación con el año anterior. La hostilidad y acciones provocativas y abusivas hacia las personas por su raza, la orientación sexual e identidad de género son las más frecuentes, según el Ministerio de Interior.

La xenofobia y el racismo destacan entre los mensajes de carácter discriminatorio: “La mayoría de las ofensas apuntan hacia inmigrantes en general y musulmanes en particular”, señala el Observatorio Español de Racismo y la Xenofobia (Oberaxe) en uno de sus últimos boletines de monitorización de odio en redes sociales.

Bajo la campaña No hate speech movement, el Consejo de Europa elaboró el manual para combatir el discurso de odio en internet, donde reconoce que en los últimos años ha habido un aumento de las actitudes y comportamientos de odio e intolerancia. ¿Por qué?

“El problema es que si hay menos tolerancia a la diferencia y si no se observan las restricciones sobre esa intolerancia, entonces la intolerancia y el odio encontrarán expresión. Las limitaciones que existen en internet son mucho menores que las que existen fuera del mismo: podemos decir cosas en internet que nunca nos atreveríamos a decir en público», comentan desde la campaña.

Controlar el discurso de odio en las redes es extremadamente difícil para los gobiernos, se necesita mucha participación de las organizaciones y la ciudadanía. En España se han realizado bastantes proyectos dedicados a la concienciación de los jóvenes de los discursos de odio. Solo en la primera edición de uno de ellos, Somos Más, contra el odio y el radicalismo, participaron 235 centros educativos; las acciones de sensibilización se hicieron con la colaboración de los youtubers.

Facebook asegura que los algoritmos de su IA son capaces de detectar y borrar el 95% de los mensajes que contienen discursos de odio en propio Facebook e Instagram antes de que los usuarios de las redes los denuncien. “En el tercer trimestre de 2020, la prevalencia del discurso de odio fue de 10 a 11 visualizaciones por cada 10.000 visualizaciones de contenido”, señaló Facebook, añadiendo que el resultado ha sido posible gracias a las inversiones en la IA.

Siendo un “agujero negro de bulos”, WhatsApp parece liderar en la velocidad de distrubución del odio también: la única regulación que tiene consiste en un intento de limitar el reenvío de mensajes.

El año pasado Twitter anunció la ampliación de política de conductas de odio: desde diciembre al lenguaje discriminatorio que deshumaniza a otros por su religión o casta, edad, discapacidad o enfermedad se añade el discurso de odio contra raza, etnia o lugar de origen. La red social controla los tuits reportados por los usuarios y detecta violaciones de su política a través de algoritmos.

Por otro lado, con la llegada de la Covid-19 Twitter anunció la implantación del uso de etiquetas a los tweets “para abordar el contenido que va directamente en contra de las directrices sobre Covid-19 de fuentes autorizadas sobre salud pública mundiales y locales”.

Sin embargo, hay casos de denuncias hacia el propio Twitter por no tomar acción necesaria contra los mensajes de odio: en mayo de 2020 cuatro organizaciones humanitarias francesas culparon a la red social por no actuar e indicaron en un comunicado que Twitter solo ha eliminado un 11,4% de los mensajes de odio “manifiestamente ilícitos” después de la denuncia ante el Tribunal Judicial de París, según EFE.

La proactividad de los algoritmos “externos” ayuda a detectar el odio: el rastreador de odio, monitoreo y clasificador en español de discurso de odio en Twitter es fruto de un TFM de Juan Carlos Pereira Kohatsu, estudiante de la Universidad Carlos III de Madrid. El programa está instalado en el Ministerio de Interior y está siendo empleado en modo interno por la Oficina de Delitos de Odio. El algoritmo rastrea millones de tuits con un filtro que incluye más de 500 palabras vinculadas a insultos y a grupos de víctimas de odio.