Las brechas lingüísticas de Facebook debilitan la detección del odio y el terrorismo
DUBAI, Emiratos Árabes Unidos (AP) – Mientras la guerra de Gaza se desataba y las tensiones aumentaban en el Medio Oriente en mayo pasado, Instagram prohibió brevemente el hashtag #AlAqsa, una referencia a la mezquita de Al-Aqsa en la Ciudad Vieja de Jerusalén, un punto de inflamación en el conflicto. Facebook , propietario de Instagram, se disculpó más tarde y explicó que sus algoritmos habían confundido el tercer sitio más sagrado del Islam con el grupo militante Al-Aqsa Martyrs Brigade, una rama armada del partido secular Fatah. Para muchos usuarios de habla árabe, fue solo el último y potente ejemplo de cómo el gigante de las redes sociales amordaza el discurso político en la región. El árabe es uno de los idiomas más comunes en las plataformas de Facebook, y la compañía emite frecuentes disculpas públicas después de eliminaciones de contenido fallidas similares. Ahora, los documentos internos de la compañía de la exgerente de producto de Facebook convertida en denunciante de irregularidades, Frances Haugen, muestran que los problemas son mucho más sistémicos que unos pocos errores inocentes, y que Facebook ha entendido la profundidad de estas fallas durante años sin hacer mucho al respecto.
Estos errores no se limitan al árabe. Un examen de los archivos revela que en algunas de las regiones más volátiles del mundo, el contenido terrorista y el discurso del odio proliferan porque la empresa sigue sin contar con moderadores que hablen los idiomas locales y comprendan los contextos culturales. Y sus plataformas no han logrado desarrollar soluciones de inteligencia artificial que puedan detectar contenido dañino en diferentes idiomas.
En países como Afganistán y Myanmar, estas lagunas han permitido que florezca un lenguaje incendiario en la plataforma, mientras que en Siria y los territorios palestinos, Facebook suprime el discurso ordinario, imponiendo prohibiciones generales a las palabras comunes.
“La raíz del problema es que la plataforma nunca se construyó con la intención de que algún día mediaría en el discurso político de todos en el mundo”, dijo Eliza Campbell, directora del Programa Cibernético del Middle East Institute. “Pero por la cantidad de importancia política y recursos que tiene Facebook, la moderación es un proyecto desconcertantemente escaso de recursos”.
Esta historia, junto con otras publicadas el lunes, se basa en las divulgaciones de Haugen a la Comisión de Bolsa y Valores , que también fueron proporcionadas al Congreso en forma redactada por su equipo legal. Las versiones redactadas fueron revisadas por un consorcio de organizaciones de noticias, incluida The Associated Press.
En un comunicado a la AP, un portavoz de Facebook dijo que durante los últimos dos años la compañía ha invertido en contratar más personal con experiencia en dialectos locales y temas para reforzar su capacidad de revisión en todo el mundo.
Pero en lo que respecta a la moderación del contenido en árabe, la empresa dijo: “Aún tenemos más trabajo por hacer. … Realizamos investigaciones para comprender mejor esta complejidad e identificar cómo podemos mejorar “.
En Myanmar, donde la información errónea basada en Facebook se ha relacionado repetidamente con la violencia étnica y religiosa, la compañía reconoció en sus informes internos que no había podido detener la propagación del discurso de odio dirigido a la minoría musulmana rohingya.
La persecución de los rohingya, que Estados Unidos ha descrito como limpieza étnica, llevó a Facebook a prometer públicamente en 2018 que reclutaría a 100 hablantes nativos de Myanmar para vigilar sus plataformas. Pero la compañía nunca reveló cuántos moderadores de contenido finalmente contrató ni reveló cuáles de los muchos dialectos del país cubrían.
A pesar de las promesas públicas de Facebook y muchos informes internos sobre los problemas, el grupo de derechos Global Witness dijo que el algoritmo de recomendación de la compañía continuó amplificando la propaganda del ejército y otro contenido que viola las políticas de la compañía en Myanmar luego de un golpe militar en febrero.
En India, los documentos muestran a los empleados de Facebook debatiendo en marzo pasado si podría reprimir las “narrativas antimusulmanas y terroristas” que el grupo nacionalista hindú de extrema derecha del primer ministro Narendra Modi, Rashtriya Swayamsevak Sangh, transmite en su plataforma.
En un documento, la compañía señala que los usuarios vinculados al partido de Modi habían creado varias cuentas para impulsar la difusión del contenido islamófobo. Gran parte de este contenido “nunca se marcó ni se activó”, según la investigación, porque Facebook carecía de moderadores y filtros automáticos con conocimiento de hindi y bengalí.
El árabe plantea desafíos particulares para los sistemas automatizados y los moderadores humanos de Facebook, cada uno de los cuales tiene dificultades para comprender los dialectos hablados únicos de cada país y región, sus vocabularios sazonados con diferentes influencias históricas y contextos culturales.
El árabe coloquial marroquí, por ejemplo, incluye palabras en francés y bereber, y se habla con vocales cortas. El árabe egipcio, por otro lado, incluye algunos turcos de la conquista otomana. Otros dialectos están más cerca de la versión “oficial” que se encuentra en el Corán. En algunos casos, estos dialectos no son mutuamente comprensibles y no existe una forma estándar de transcribir el árabe coloquial.
Facebook desarrolló por primera vez un seguimiento masivo en el Medio Oriente durante los levantamientos de la Primavera Árabe de 2011, y los usuarios atribuyeron a la plataforma una oportunidad única para la libre expresión y una fuente crítica de noticias en una región donde los gobiernos autocráticos ejercen controles estrictos sobre ambos. Pero en los últimos años, esa reputación ha cambiado.
Se borraron las cuentas de decenas de periodistas y activistas palestinos. Los archivos de la guerra civil siria han desaparecido. Y un vasto vocabulario de palabras cotidianas ha quedado fuera del alcance de los hablantes de árabe, el tercer idioma más común de Facebook con millones de usuarios en todo el mundo.
Para Hassan Slaieh, un destacado periodista de la Franja de Gaza bloqueada, el primer mensaje se sintió como un puñetazo en el estómago. “Su cuenta ha sido deshabilitada permanentemente por violar los Estándares de la Comunidad de Facebook”, decía la notificación de la compañía. Eso fue en el pico de la sangrienta guerra de Gaza de 2014, luego de años en que sus publicaciones de noticias sobre la violencia entre Israel y Hamas fueron marcadas como violaciones de contenido.
En unos momentos, perdió todo lo que había recopilado durante seis años: recuerdos personales, historias de la vida de la gente en Gaza, fotos de ataques aéreos israelíes que golpeaban el enclave, sin mencionar a los 200.000 seguidores. La eliminación más reciente de Facebook de su página el año pasado fue menos impactante. Era la decimoséptima vez que tenía que empezar de cero.
Había intentado ser inteligente. Como muchos palestinos, había aprendido a evitar las típicas palabras árabes para “mártir” y “prisionero”, junto con las referencias a la ocupación militar de Israel. Si mencionaba grupos militantes, agregaba símbolos o espacios entre cada letra.
Otros usuarios de la región han adoptado un enfoque cada vez más inteligente para engañar a los algoritmos de Facebook, empleando una escritura árabe centenaria que carece de puntos y marcas que ayudan a los lectores a diferenciar entre letras idénticas. El estilo de escritura, común antes de que el aprendizaje del árabe explotara con la propagación del Islam, ha eludido los censores de incitación al odio en la aplicación Instagram de Facebook, según los documentos internos.
Pero las tácticas de Slaieh no lograron el corte. Cree que Facebook lo prohibió simplemente por hacer su trabajo. Como reportero en Gaza, publica fotos de manifestantes palestinos heridos en la frontera israelí, madres llorando sobre los ataúdes de sus hijos, declaraciones de los gobernantes militantes de Hamas en la Franja de Gaza.
Las críticas, la sátira e incluso las simples menciones de grupos en la lista de Organizaciones y Personas Peligrosas de la compañía, un expediente inspirado en el equivalente del gobierno de EE. UU., Son motivos para un derribo.
“Estábamos aplicando incorrectamente el contenido de la lucha contra el terrorismo en árabe”, se lee en un documento, que señala que el sistema actual “limita a los usuarios a participar en el discurso político, impidiendo su derecho a la libertad de expresión”.
La lista negra de Facebook incluye al partido gobernante Hamas de Gaza, así como a Hezbollah, el grupo militante que tiene escaños en el Parlamento del Líbano, junto con muchos otros grupos que representan amplias franjas de personas y territorios en todo el Medio Oriente, según muestran los documentos internos, lo que resulta en lo que Facebook los empleados describen en los documentos como percepciones generalizadas de censura.
“Si publicaste sobre la actividad militante sin condenar claramente lo que está sucediendo, te tratamos como si lo apoyaras”, dijo Mai el-Mahdy, una ex empleada de Facebook que trabajó en la moderación de contenido en árabe hasta 2017.
En respuesta a las preguntas de la AP, Facebook dijo que consulta a expertos independientes para desarrollar sus políticas de moderación y hace “todo lo posible para asegurarse de que sean agnósticos a la religión, la región, la perspectiva política o la ideología”.
“Sabemos que nuestros sistemas no son perfectos”, agregó.
Las brechas lingüísticas y los sesgos de la empresa han llevado a la percepción generalizada de que sus revisores se inclinan a favor de los gobiernos y en contra de los grupos minoritarios.
Los ex empleados de Facebook también dicen que varios gobiernos ejercen presión sobre la empresa, amenazando con regulaciones y multas. Israel, una lucrativa fuente de ingresos publicitarios para Facebook, es el único país del Medio Oriente donde Facebook opera una oficina nacional. Su director de políticas públicas asesoró anteriormente al ex primer ministro de derecha Benjamin Netanyahu.
Las agencias de seguridad israelíes y los perros guardianes monitorean Facebook y lo bombardean con miles de órdenes para eliminar las cuentas y publicaciones palestinas mientras intentan reprimir la incitación.
“Inundan nuestro sistema, lo dominan por completo”, dijo Ashraf Zeitoon, exjefe de política de Facebook para la región de Medio Oriente y África del Norte, quien se fue en 2017. “Eso obliga al sistema a cometer errores a favor de Israel. En ningún otro lugar de la región se tenía un conocimiento tan profundo de cómo funciona Facebook “.
Facebook dijo en un comunicado que atiende las solicitudes de eliminación de los gobiernos de manera similar a las de las organizaciones de derechos o los miembros de la comunidad, aunque puede restringir el acceso al contenido según las leyes locales.
“Cualquier sugerencia de que eliminemos contenido únicamente bajo presión del gobierno israelí es completamente inexacta”, dijo.
Los periodistas y activistas sirios que informan sobre la oposición del país también se han quejado de la censura, y los ejércitos electrónicos que apoyan al asediado presidente Bashar Assad señalan agresivamente el contenido disidente para su eliminación.
Raed, un ex reportero del Aleppo Media Center, un grupo de activistas antigubernamentales y periodistas ciudadanos en Siria, dijo que Facebook borró la mayor parte de su documentación sobre los bombardeos del gobierno sirio en vecindarios y hospitales, citando contenido gráfico.
“Facebook siempre nos dice que rompemos las reglas, pero nadie nos dice cuáles son las reglas”, agregó, dando solo su primer nombre por temor a represalias.
En Afganistán, muchos usuarios literalmente no pueden entender las reglas de Facebook. Según un informe interno de enero, Facebook no tradujo las páginas de discursos de odio y desinformación del sitio al dari y al pashto, los dos idiomas más comunes en Afganistán, donde el inglés no se entiende ampliamente.
Cuando los usuarios afganos intentan marcar publicaciones como incitación al odio, los menús desplegables aparecen solo en inglés. También lo hace la página de Normas de la comunidad. El sitio tampoco tiene un banco de términos de incitación al odio, insultos y palabras en código en Afganistán que se utilizan para moderar el contenido en dari y pashto, como es típico en otros lugares. Sin este banco de palabras local, Facebook no puede crear los filtros automatizados que detectan las peores violaciones en el país.
Cuando se trató de investigar el abuso de las trabajadoras del hogar en el Medio Oriente, los documentos internos de Facebook reconocieron que los ingenieros se enfocaban principalmente en publicaciones y mensajes escritos en inglés. La lista de palabras marcadas no incluía el tagalo, el idioma principal de Filipinas, de donde provienen muchas de las empleadas domésticas y otras trabajadoras del hogar de la región.
En gran parte del mundo árabe, ocurre lo contrario: la empresa confía demasiado en los filtros de inteligencia artificial que cometen errores, lo que genera “muchos falsos positivos y una reacción violenta de los medios”, se lee en un documento. Los moderadores humanos, en su mayoría no calificados, tienden a responder de forma pasiva a las solicitudes de eliminación en lugar de examinarlas de forma proactiva.
Sophie Zhang, una ex empleada de Facebook convertida en denunciante que trabajó en la empresa durante casi tres años antes de ser despedida el año pasado, dijo que los contratistas de la oficina de Facebook en Irlanda se quejaron ante ella de que tenían que depender de Google Translate porque la empresa no les asignaba contenido. según los idiomas que conocían.
Facebook subcontrata la mayor parte de la moderación de contenido a empresas gigantes que reclutan trabajadores en lugares lejanos, desde Casablanca, Marruecos, hasta Essen, Alemania. Las empresas no patrocinan visas de trabajo para los equipos árabes, lo que limita el grupo a contrataciones locales en condiciones precarias, en su mayoría marroquíes que parecen haber exagerado sus capacidades lingüísticas. A menudo se pierden en la traducción de los 30 dialectos del árabe, señalando las publicaciones árabes inofensivas como contenido terrorista el 77% de las veces, según un documento.
“Estos representantes no deberían presentar contenido de una región que no sea del Magreb, sin embargo, en este momento es algo común”, dice otro documento, refiriéndose a la región del norte de África que incluye a Marruecos. El archivo continúa diciendo que la oficina de Casablanca afirmó falsamente en una encuesta que podía manejar “todos los dialectos” del árabe. Pero en un caso, los revisores marcaron incorrectamente un conjunto de contenido de dialecto egipcio el 90% del tiempo, según un informe.
Irak ocupa el primer lugar en la región por su volumen de discursos de odio en Facebook. Pero entre los críticos, el conocimiento del dialecto iraquí es “casi inexistente”, dijo un documento.
“Los periodistas están tratando de exponer los abusos a los derechos humanos, pero simplemente nos prohibieron”, dijo un activista por la libertad de prensa con sede en Bagdad, que habló bajo condición de anonimato por temor a represalias. “Entendemos que Facebook intenta limitar la influencia de las milicias, pero no está funcionando”.
Los lingüistas describieron el sistema de Facebook como defectuoso para una región con una gran diversidad de dialectos coloquiales que los hablantes de árabe transcriben de diferentes maneras.
“El estereotipo de que el árabe es una entidad es un problema importante”, dijo Enam al-Wer, profesor de lingüística árabe en la Universidad de Essex, citando las “enormes variaciones” del idioma no solo entre países sino también entre clases, género, religión y etnia.
A pesar de estos problemas, los moderadores están en la primera línea de lo que convierte a Facebook en un poderoso árbitro de la expresión política en una región tumultuosa.
Aunque los documentos de Haugen son anteriores a la guerra de Gaza de este año, los episodios de ese conflicto de 11 días muestran lo poco que se ha hecho para abordar los problemas señalados en los propios informes internos de Facebook.
Los activistas en Gaza y Cisjordania perdieron la capacidad de transmitir en vivo. Archivos completos del conflicto desaparecieron de las fuentes de noticias, un portal principal de información para muchos usuarios. Los influencers acostumbrados a decenas de miles de me gusta en sus publicaciones vieron cómo su alcance se desplomaba cuando publicaban sobre palestinos.
“Esto me ha restringido y me ha impedido sentirme libre de publicar lo que quiero por temor a perder mi cuenta”, dijo Soliman Hijjy, un periodista con sede en Gaza cuyas antenas del mar Mediterráneo obtuvieron decenas de miles de visitas más que sus imágenes de israelíes. bombas: un fenómeno común cuando las fotos se marcan por violar los estándares de la comunidad.
Durante la guerra, los defensores palestinos enviaron cientos de quejas a Facebook, lo que a menudo llevó a la empresa a admitir errores y restablecer publicaciones y cuentas.
En los documentos internos, Facebook informó que se había equivocado en casi la mitad de todas las solicitudes de eliminación en árabe presentadas para apelación.
“La repetición de falsos positivos crea una enorme pérdida de recursos”, dijo.
Al anunciar la revocación de una de esas eliminaciones de publicaciones palestinas el mes pasado, la junta de supervisión semiindependiente de Facebook instó a una investigación imparcial sobre la moderación del contenido en árabe y hebreo de la compañía. Pidió una mejora en su amplia lista negra de terrorismo para “aumentar la comprensión de las excepciones para la discusión neutral, la condena y la información de noticias”, según la declaración de asesoramiento de política de la junta.
Los documentos internos de Facebook también enfatizaron la necesidad de “mejorar” los algoritmos, reclutar a más moderadores árabes de países menos representados y restringirlos a donde tengan la experiencia adecuada en dialectos.
“Con el tamaño de la base de usuarios árabes y la gravedad potencial de los daños fuera de línea… seguramente es de la mayor importancia dedicar más recursos a la tarea de mejorar los sistemas árabes”, dijo el informe.
Pero la empresa también lamentó que “no existe una estrategia clara de mitigación”.
Mientras tanto, a muchos en todo el Medio Oriente les preocupa que los riesgos de las fallas de Facebook sean excepcionalmente altos, con el potencial de ampliar la desigualdad de larga data, enfriar el activismo cívico y avivar la violencia en la región.
“Le dijimos a Facebook: ¿Quieres que la gente transmita sus experiencias en las plataformas sociales o quieres cerrarlas?” dijo Husam Zomlot, el enviado palestino al Reino Unido, quien recientemente discutió la supresión de contenido árabe con funcionarios de Facebook en Londres. “Si quitas las voces de las personas, las alternativas serán más feas”.
___
Akram informó desde la ciudad de Gaza, Franja de Gaza. Los escritores de Associated Press Sam McNeil en Beijing, Sheikh Saaliq en Nueva Delhi y Barbara Ortutay en Oakland, California, contribuyeron a este informe.(AP).
Vea la cobertura completa de los “Documentos de Facebook” aquí: https://apnews.com/hub/the-facebook-papers
