Incluso en el año 2020, no es muy difícil extraviarse en Facebook. Haga clic en algunos enlaces engañosos y puede encontrarse en el fondo de una madriguera de conejo etnonacionalista frente a una ráfaga de discursos de odio y desinformación médica. Pero con la ayuda de la IA y los sistemas de aprendizaje automático, la plataforma de redes sociales está acelerando sus esfuerzos para evitar que este contenido se propague.

Ya es bastante malo que tengamos que lidiar con la pandemia de COVID-19 sin ser bombardeados en Facebook con anuncios de curas falsas y teorías de conspiración que se hacen pasar por la verdad del evangelio. La compañía ya se está asociando con 60 organizaciones de verificación de hechos para combatir esta desinformación y ha emitido una prohibición temporal para detener la venta de EPP, desinfectantes para manos y suministros de limpieza en la plataforma desde el inicio del brote en marzo. El problema es que las personas pueden sortear fácilmente esta prohibición al alterar ligeramente el texto o la imagen en un anuncio y volver a enviarlo. Las dos imágenes pueden parecer casi idénticas a las personas (capturas de pantalla, por ejemplo), pero pueden disparar los sistemas convencionales de visión por computadora porque esas máquinas están diseñadas para mirar píxeles individuales en lugar de la imagen en su conjunto. Extrañan el bosque por los árboles.

Pero ahí es donde entra SimSearchNet. Este modelo basado en redes neuronales convolucionales está diseñado específicamente para identificar imágenes casi idénticas, lo que a su vez ayuda a automatizar la aplicación de las comprobaciones realizadas por moderadores humanos. Una vez que un verificador de hechos humanos marca una imagen que contiene afirmaciones falsas sobre COVID-19, esa información se retroalimenta a SimSearchNet, que busca duplicados cercanos para que los moderadores también puedan colocar etiquetas de advertencia en esas imágenes. Básicamente, amplía el alcance del moderador, aplicando de forma autónoma sus decisiones a los miles (potencialmente millones) de doppelgangers digitales que generan esas imágenes falsas.

“Lo que queremos poder hacer es detectar esas cosas como idénticas, porque son, para una persona, lo mismo”, explicó Mike Schroepfer, director de tecnología de Facebook, en una conferencia telefónica el martes. “Pero tenemos que hacer esta precisión muy alta, porque no queremos tomar algo que se vea muy similar, pero en realidad es cualitativamente diferente, y poner una superposición de información errónea o bloquearlo según corresponda. Y, por lo tanto, nuestros sistemas anteriores eran muy precisos, pero eran muy frágiles y frágiles incluso con cambios muy pequeños si se cambia una pequeña cantidad de píxeles “.

En una publicación de blog, la compañía afirma haber etiquetado alrededor de 50 millones de publicaciones relacionadas con COVID-19 durante el mes de abril y eliminado “más de 2.5 millones de piezas de contenido para la venta de máscaras, desinfectantes para manos, toallitas desinfectantes de superficies y COVID- 19 kits de prueba “.

Por supuesto, Facebook ha tenido problemas de trol por mucho más tiempo que COVID-19 nos ha tenido refugiados en su lugar. La compañía siempre ha buscado frenar la prevalencia del discurso de odio en su sitio. Según un blog separado publicado el martes, los representantes de la compañía dijeron que según el “Informe de cumplimiento de normas comunitarias publicado hoy, AI ahora detecta de manera proactiva el 88.8 por ciento del contenido de discurso de odio que eliminamos, en comparación con el 80.2 por ciento del trimestre anterior. En el primer trimestre de 2020, tomamos medidas sobre 9.6 millones de piezas de contenido por violar nuestras políticas de discurso de odio, un aumento de 3.9 millones ”.

Detectar el discurso de odio no es tarea fácil. Puede haber capas sobre capas de matices involucradas: no se trata solo de lo que se dice, sino de cómo se dice, a quién se dice y qué tipo de contenido acompañante (ya sean imágenes, audio o video) a su lado Aún más difícil es identificar correctamente las respuestas al discurso de odio, especialmente cuando esas declaraciones usan gran parte del mismo lenguaje que la publicación ofensiva. Incluso los moderadores humanos se tropiezan habitualmente. En respuesta, Facebook ha pasado los últimos años mejorando sus capacidades de procesamiento de lenguaje natural, incluido XLM-R, que puede traducir texto entre aproximadamente 100 idiomas hablados, y RoBERTa, un modelo que ayuda a entrenar los gustos de XLM-R por períodos más largos y utilizando magnitudes más datos de entrenamiento.

La compañía incluso aborda memes de odio. Como se mencionó anteriormente, la combinación de dos tipos de contenido, es decir, texto e imagen, puede obstaculizar severamente los intentos de una IA de identificarlo como discurso de odio. Entonces, Facebook AI fue y creó una base de datos completa de ejemplos multimodales, más de 10,000 memes creados profesionalmente con imágenes de Getty con licencia, con los que capacitar a los moderadores de inteligencia artificial del mañana.

“Los memes fueron seleccionados de tal manera que los clasificadores estrictamente unimodales tendrían dificultades para clasificarlos correctamente”, escribió el equipo de AI de Facebook en una publicación de blog el martes. “También diseñamos el conjunto de datos específicamente para superar los desafíos comunes en la investigación de IA, como la falta de ejemplos para ayudar a las máquinas a aprender a evitar falsos positivos”.

Y para ayudar a impulsar el desarrollo de ese tipo de sistemas de moderación de contenido de aprendizaje automático, Facebook se está asociando con DrivenData para lanzar el Desafío Meme Odioso. Si puede codificar una IA para identificar y etiquetar automáticamente estos discursos de odio multimodales, podría ganarse unos increíbles $ 100,000.