El discurso del odio es f¨¢cil de encontrar en las redes sociales

Poco despu¨¦s del tiroteo perpetrado en una sinagoga de Pittsburgh, observ¨¦ que la palabra ¡°jud¨ªos¡± era tema de tendencia en Twitter. Como investigadora de las redes sociales y educadora, me preocupaba que la violencia se extendiese por Internet, al igual que sucedi¨® en el pasado.

La actividad del supuesto atacante en la red social Gab ha llamado la atenci¨®n sobre la funci¨®n que esa red tiene como alternativa llena de odio a opciones m¨¢s convencionales como Facebook o Twitter. Estas ¨²ltimas se encuentran entre las plataformas de redes sociales que han prometido luchar contra el discurso del odio y los insultos en sus p¨¢ginas.

Sin embargo, cuando explor¨¦ la actividad en Internet tras el tiroteo, enseguida me qued¨® claro que los problemas no est¨¢n solo en sitios como Gab. Por el contrario, el discurso del odio sigue siendo f¨¢cil de encontrar en las redes sociales convencionales, incluida Twitter. Tambi¨¦n he determinado qu¨¦ medidas adicionales podr¨ªa tomar la empresa.

Respuestas incompletas a nuevos t¨¦rminos de odio

Yo esperaba que apareciesen en Internet nuevas amenazas relacionadas con el tiroteo de Pittsburgh, y hab¨ªa se?ales que indicaban que ya estaba ocurriendo. En un reciente ataque antisemita, el l¨ªder de Naci¨®n del Islam, Louis Farrakhan, empleaba la palabra ¡°termitas¡± para describir a los jud¨ªos. Busqu¨¦ este t¨¦rmino, sabiendo que era probable que los racistas lo utilizasen como palabra clave para evitar ser detectados al expresar el antisemitismo.

Twitter no hab¨ªa suspendido la cuenta de Farrakhan tras otra de sus declaraciones antisemitas, y la funci¨®n de b¨²squeda de la red sugiri¨® autom¨¢ticamente que tal vez yo buscase la expresi¨®n ¡°termite eats bullets¡± [la termita come balas]. Eso convierte la caja de b¨²squeda de Twitter en un cartel del discurso de odio.

Sin embargo, la empresa hab¨ªa ajustado al parecer algunos de sus algoritmos internos, porque en mis resultados de b¨²squeda no apareci¨® ning¨²n tuit con usos antisemitas de la palabra ¡°termita¡±.

Mensajes que han pasado desapercibidos durante a?os

Al continuar mis b¨²squedas de discursos de odio y llamamiento a la violencia contra los jud¨ªos, encontr¨¦ pruebas a¨²n m¨¢s inquietantes de los defectos del sistema de Twitter para moderar contenidos. Tras las elecciones presidenciales de 2016 en Estados Unidos y el descubrimiento de que Twitter se hab¨ªa utilizado para influir en ellas, la empresa afirm¨® que estaba invirtiendo en aprendizaje de m¨¢quinas para ¡°detectar y mitigar el efecto de la actividad de cuentas falsas, coordinadas y autom¨¢ticas sobre los usuarios¡±. Bas¨¢ndome en mis resultados, esos sistemas no han detectado siquiera amenazas violentas y discursos de odio claros y directos que llevan a?os en este sitio.

Cuando inform¨¦ de que un tuit subido en 2014 propon¨ªa matar a jud¨ªos ¡°por diversi¨®n¡±, Twitter lo retir¨® ese mismo d¨ªa, pero su aviso autom¨¢tico general no daba ninguna explicaci¨®n de por qu¨¦ hab¨ªa permanecido intacto durante m¨¢s de cuatro a?os.

El odio enga?a al sistema

Cuando revis¨¦ tuits de odio que no hab¨ªan sido detectados en a?os, comprob¨¦ que muchos no ten¨ªan texto y conten¨ªan solo una imagen. Sin texto, los tuits son m¨¢s dif¨ªciles de detectar tanto para los usuarios como para los propios algoritmos utilizados por Twitter para detectar el odio. Pero los usuarios que buscan espec¨ªficamente discurso de odio en Twitter pueden muy bien desplazarse por la actividad de las cuentas que encuentran, viendo a¨²n m¨¢s mensajes de odio.

Twitter parece ser consciente de este problema: a los usuarios que informan sobre un tuit se les anima a revisar otros tuits de la misma cuenta y a someter m¨¢s contenido a revisi¨®n, pero sigue dejando margen para que algunos no sean detectados.

Ayuda para gigantes tecnol¨®gicos en apuros

A medida que iba encontrando tuits que en mi opini¨®n incumpl¨ªan las pol¨ªticas de Twitter, fui informando sobre ellos. La mayor¨ªa los eliminaron con rapidez, incluso en menos de una hora. Pero algunos mensajes ofensivos tardaron hasta varios d¨ªas en desaparecer. Sigue habiendo unos cuantos mensajes de texto que todav¨ªa no se han eliminado, a pesar de incumplir claramente las pol¨ªticas de Twitter. Eso demuestra que el proceso de revisi¨®n de contenido de la empresa no es consecuente.

Puede parecer que Twitter est¨¢ mejorando en la eliminaci¨®n de contenido perjudicial y que est¨¢ retirando mucho contenido y memes, y suspendiendo cuentas, pero mucha de esa actividad no est¨¢ relacionada con el discurso de odio. Buena parte de la atenci¨®n de Twitter se ha centrado m¨¢s bien en lo que la empresa denomina ¡°manipulaci¨®n coordinada¡±, como bots y redes de perfiles falsos dirigidos por secciones de propaganda gubernamentales.

En mi opini¨®n, la empresa podr¨ªa dar un paso significativo y solicitar la ayuda de la ciudadan¨ªa, as¨ª como de investigadores y expertos como mis colaboradores y yo, para detectar el contenido de odio. Es normal que las empresas tecnol¨®gicas ¨CTwitter incluida¨C ofrezcan una remuneraci¨®n a quienes detecten vulnerabilidades en su soporte inform¨¢tico. Sin embargo, todo lo que la empresa ofrece a los usuarios que informan sobre contenido problem¨¢tico es enviarles un mensaje generado autom¨¢ticamente d¨¢ndoles las ¡°gracias¡±. La disparidad entre el modo en que Twitter trata los problemas de codificaci¨®n y las denuncias de contenido transmite el mensaje de que da prioridad a la tecnolog¨ªa sobre la comunidad.

En vez de eso, Twitter podr¨ªa pagar a los usuarios que informen sobre contenido que incumple sus directrices comunitarias, ofreciendo recompensas econ¨®micas por se?alar las vulnerabilidades sociales de su sistema, como si esos usuarios le estuviesen ayudando a determinar problemas de software o de hardware. Un ejecutivo de Facebook expres¨® la preocupaci¨®n de que esta posible soluci¨®n fallase y generase m¨¢s odio en la red, pero yo creo que el programa de recompensas podr¨ªa estructurarse y dise?arse de modo que evitase ese problema.

Queda mucho por hacer

Hay otros problemas de Twitter que van m¨¢s all¨¢ de lo que se publica directamente en su sitio. Los que cuelgan discurso de odio a menudo aprovechan otra herramienta clave de Twitter: la capacidad de incluir enlaces a otro contenido de Internet. Esa funci¨®n es clave en el uso de Twitter, y sirve para compartir contenido de intereses mutuos en la red. Pero es tambi¨¦n una forma de difundir el discurso de odio.

Por ejemplo, un tuit de apariencia totalmente inocente, que diga ¡°Esto tiene gracia¡± e incluya un enlace. Pero el enlace ¨Ca contenido no incluido en los servidores de Twitter¨C presenta un mensaje lleno de odio.

Adem¨¢s, el sistema de moderaci¨®n de contenido de Twitter solo permite a los usuarios denunciar tuits de odio y amenazadores, pero no cuentas que contengan mensajes similares en su propio perfil. Algunas de estas cuentas ¨Ccon fotos de Adolf Hitler, y nombres y direcciones de Twitter que animan a quemar jud¨ªos¨C ni siquiera cuelgan tuits o siguen a otros usuarios. A veces solo existen para que los usuarios los encuentren cuando busquen palabras en sus perfiles, convirtiendo de nuevo la caja de b¨²squeda en un sistema de difusi¨®n. Y aunque es imposible saberlo, es posible que estas cuentas se utilicen tambi¨¦n para comunicarse con otros en Twitter mediante mensaje directo, usando la plataforma como un canal de comunicaci¨®n encubierto.

Sin tuits ni otra actividad p¨²blica, es imposible que los usuarios denuncien estas cuentas a trav¨¦s del sistema habitual de denuncia de contenido. Pero son igual de ofensivos y peligrosos, y es necesario evaluarlos y moderarlos en igual medida que cualquier otro contenido del sitio. A medida que los que desean difundir el odio se vuelven m¨¢s expertos, las directrices comunitarias de Twitter ¨Cy lo que es m¨¢s importante, sus esfuerzos para aplicarlas¨C deben actualizarse y estar al tanto.

Si las redes sociales quieren evitar seguir siendo o convertirse en vectores de guerra informativa y plagas de ideas y memes de odio, tienen que ser mucho m¨¢s activas y, como m¨ªnimo, tener miles de empleados de moderaci¨®n de contenido a tiempo completo, como hizo una profesora en el transcurso de un fin de semana.

Jennifer Grygiel es profesora Adjunta de Comunicaciones, Universidad de Syracuse

Cl¨¢usula de Divulgaci¨®n. Jennifer Grygiel posee una peque?a cartera de acciones en las siguientes empresas de redes sociales: FB, GOOG, TWTR, BABA, LNKD, YY, and SNAP.

Este art¨ªculo fue publicado originalmente en The Conversation. Lea el original.