La lucha de YouTube para anular los videos del tiroteo en Nueva Zelanda

Mientras un video espeluznante, grabado por el presunto autor de las sangrientas masacres en dos mezquitas de Nueva Zelanda, se reproducía en YouTube y otras redes sociales, Neal Mohan, a 3.700 millas de distancia, en San Bruno, California, tuvo la triste sensación de que su compañía sería superada por la situación, una vez más.

Mohan, director de productos de YouTube, había reunido su ‘comité de guerra’, un grupo de altos ejecutivos conocidos internamente como “comandantes de incidentes” que actúan ante las crisis, como cuando las imágenes de un suicidio o de disparos se difunden en línea.

El equipo trabajó durante la noche para identificar y eliminar decenas de miles de videos, muchos de ellos versiones renovadas o reeditadas de las imágenes originales que mostraban los horribles asesinatos. Apenas el grupo interceptaba uno, aparecía otro, tan rápido como uno por cada segundo en las horas posteriores al tiroteo, detalló Mohan.

A medida que sus esfuerzos fallaban, el equipo finalmente tomó medidas sin precedentes -incluida la desactivación temporal de varias funciones de búsqueda y el cese de las funciones de revisión humana- para acelerar la eliminación de videos marcados por sistemas automatizados. Muchos de los nuevos clips habían sido modificados de manera tal que lograban burlarse de los sistemas de detección de la compañía.

“Esta fue una tragedia diseñada casi con el propósito de volverse viral”, aseveró Mohan en una entrevista que ofreció el primer informe detallado de YouTube sobre cómo se desarrolló la crisis dentro del sitio de videos más grande del mundo. “Hemos progresado, pero eso no significa que no tengamos mucho trabajo por delante. Este incidente ha demostrado que -especialmente en el caso de videos virales como este- todavía hay trabajo por hacer”.

Las cargas de los videos ocurrían con mayor rapidez y a un volumen mucho mayor que durante los tiroteos de masas anteriores, explicó Mohan. Otros videos, principalmente desde el punto de vista de las víctimas, se difundieron en línea a partir del ataque en un concierto en Las Vegas, en octubre de 2017, y a una sinagoga de Pittsburgh, en octubre pasado. Pero ninguno de los incidentes había incluido una transmisión en vivo grabada por el perpetrador. En Nueva Zelanda, el tirador aparentemente llevaba una cámara corporal mientras disparaba a multitudes de fieles.

Cada tragedia pública que se ha visto en YouTube expuso un defecto profundo en su diseño, que permite que el odio y las conspiraciones florezcan en línea. La plataforma es una de las joyas de la corona de los servicios -enormemente redituables y populares- de Google, pero durante muchas horas no pudo detener la avalancha de usuarios que cargaban y volvían a subir las imágenes del asesinato masivo de musulmanes. Aproximadamente 24 horas más tarde -después de un esfuerzo continuado durante toda la noche-, los funcionarios de la compañía sintieron que el problema estaba cada vez más controlado, pero reconocieron que los desafíos más amplios aún estaban lejos de resolverse.

“Cada vez que ocurre una tragedia como esta, aprendemos algo nuevo, y en este caso fue la cantidad sin precedentes de videos”, remarcó Mohan. “Francamente, me hubiera gustado tener una idea de cómo manejar esto antes”.

La firma -que está en la mira por permitir que los rusos interfirieran en las elecciones presidenciales de EE.UU de 2016 a través de su sitio, y por su lentitud para captar contenidos inapropiados-, ha trabajado entre bambalinas durante más de un año para mejorar sus sistemas de detección y eliminación de videos problemáticos. Por ejemplo, contrató a miles de moderadores humanos de contenido, y creó un nuevo software que puede redirigir a los espectadores a fuentes de noticias acreditadas con mayor rapidez en momentos de crisis. Pero las dificultades de YouTube durante y después del tiroteo en Nueva Zelanda pusieron de relieve los límites de los sistemas y operaciones computarizados que las compañías de Silicon Valley desarrollaron para administrar los enormes volúmenes de contenidos generados por los usuarios en sus servicios en expansión.

En este caso, personas decididas a vencer las herramientas de detección de la compañía lograron imponerse, para el horror generalizado de las personas que observaban en todo el mundo.

YouTube no fue la única en luchar para controlar las consecuencias del pasado viernes y durante el fin de semana. La rápida difusión en línea de los videos del ataque terrorista -así como un manifiesto, aparentemente escrito por el tirador, que criticaba a los musulmanes e inmigrantes- pareció astutamente planeada para llegar a la mayor cantidad posible de personas en línea.

El ataque en una de las dos mezquitas fue transmitido en vivo por el presunto tirador en Facebook, y cargado casi instantáneamente a otros sitios de videos, principalmente a YouTube. El atacante hizo un llamamiento a las comunidades en línea, en particular a los partidarios de la estrella de YouTube PewDiePie, para que compartan el video (PewDiePie, cuyo nombre real es Felix Arvid Ulf Kjellberg, lo rechazó rápidamente).

Muchos de los usuarios que subieron los videos hacían pequeñas modificaciones en el video, como agregar marcas de agua o logotipos al material, o alterar el tamaño de los videos, para anular la capacidad de YouTube de detectarlos y eliminarlos. Algunos incluso convirtieron a las personas del material original en animaciones, como si se tratara de un videojuego. Durante muchas horas, el video del ataque se pudo encontrar fácilmente usando términos básicos tan simples como “Nueva Zelanda”.

Facebook informó que eliminó 1.5 millones de videos con imágenes del tiroteo en las primeras 24 horas después del hecho; 1.2 millones de los clips fueron bloqueados por un software en el momento de la carga. Reddit, Twitter y otras plataformas también se apresuraron a limitar la difusión del contenido relacionado con el ataque. YouTube declinó decir cuántos videos eliminó.

YouTube permaneció en la mira en los últimos dos años por difundir desinformación proveniente de Rusia, extremismo violento, teorías de conspiración de odio y contenido inadecuado con niños. En el último mes se conocieron escándalos sobre pedófilos que utilizan el sistema de comentarios de la plataforma para resaltar imágenes sexualizadas de chicos, también, un pediatra de Florida descubrió que en ciertos videos para niños aparecían empalmados consejos sobre cómo cometer un suicidio, tanto en YouTube como en su aplicación infantil, YouTube Kids.

Pedro Domingos, profesor de ciencias de la computación en la Universidad de Washington, afirmó que la inteligencia artificial (IA) es mucho menos sofisticada de lo que mucha gente cree y que a medida que las empresas de Silicon Valley compiten por los negocios, a menudo presentan sus sistemas como si fueran más poderosos de lo que realmente son. De hecho, los sistemas de inteligencia artificial más avanzados son todavía engañados en maneras que un humano podría detectar fácilmente. “Están un poco atrapados entre la espada y la pared cuando ocurre algo como esto, porque necesitan explicar que su IA es realmente falible”, expresó Domingos. “La IA no está totalmente a la altura de la tarea”.

Otros expertos creen que las redes sociales no pueden eliminar por completo la continua propagación de contenidos horribles cuando la característica principal de sus productos es permitir a los usuarios publicar abiertamente sin una revisión previa. Incluso si las compañías contrataran a decenas de miles de moderadores más, las decisiones tomadas por estos humanos serían propensas a errores de subjetividad y la IA nunca podrá tener el sutil juicio necesario para muchos casos.

Para el ex ingeniero de YouTube Guillaume Chaslot, quien dejó la compañía en 2013 y ahora dirige el grupo de vigilancia AlgoTransparency, YouTube no ha hecho los arreglos sistémicos necesarios para que su plataforma sea segura, y probablemente no lo hará sin más presión pública.

“A menos que los usuarios dejen de usar la plataforma, no tienen un incentivo real para hacer grandes cambios”, remarcó. “Siguen siendo reparaciones inútiles y los problemas vuelven a ocurrir”.

Sin embargo, la presión política está creciendo. El senador Mark R. Warner (demócrata por Virginia) señaló a YouTube en un agudo comunicado dado a conocer el pasado viernes. Y tanto demócratas como republicanos han pedido a las compañías de medios sociales que sean más activas en la vigilancia de sus plataformas, para controlar mejor la propagación de ideologías extremistas y odiosas, y la violencia que a veces provocan.

Los ejecutivos de YouTube aseguran que comenzaron a abordar los problemas de contenidos de manera más intensiva a fines de 2017 y principios de 2018. En ese momento, Mohan seleccionó a una de sus colaboradoras más confiables, Jennifer O’Connor, para reorganizar el enfoque de confianza y seguridad de la compañía y crear un manual para problemas emergentes. Los equipos generaron una “mesa de inteligencia” e identificaron a comandantes de incidentes, que se pondrían en acción inmediata durante las crisis. Ese grupo de inteligencia examina las tendencias emergentes no sólo en YouTube sino también en otros sitios populares, como Reddit.

La firma anunció que contrataría hasta 10.000 moderadores en todo Google para revisar videos problemáticos y otros contenidos que hubieran sido señalados como tales por los usuarios o por el software de IA.

Los ejecutivos también apuntalaron las herramientas de software de YouTube, particularmente en respuesta a incidentes de noticias urgentes. Construyeron software silenciosamente, tienen una “placa de noticias de último momento” y una “placa de noticias importantes”, que se activan cuando ocurre un incidente destacado y la gente recurre a la plataforma para buscar información, ya sea mediante búsquedas o para hallarla en la página de inicio.

La placa de noticias de último momento utiliza señales de Google News y otras fuentes para mostrar contenidos de fuentes autorizadas, como los medios de comunicación principales, ignorando a veces el contenido que los usuarios suben a diario. Los ingenieros también crearon una “tarjeta de noticias en desarrollo”, que aparece en la parte superior de la pantalla principal para brindar al usuario información sobre una crisis incluso antes de que realicen una búsqueda. Más recientemente, la compañía realizó cambios en sus algoritmos de recomendación, el popular software de sugerencia de contenidos que es la forma en que la mayoría de los usuarios descubren nuevos videos.

El software de noticias de último momento funcionó tal como estaba diseñado durante el tiroteo escolar en Parkland, Florida, en febrero del año pasado, remarcó O’Connor en una entrevista. Pero durante los días siguientes, surgió otro acontecimiento inesperado: los sobrevivientes en la escuela comenzaron a ser acosados en línea, cuando algunos videos que alegaban que esos alumnos eran “actores de la crisis”, en lugar de verdaderas víctimas, se volvieron extremadamente populares en YouTube. Aunque el sitio había prohibido el acoso desde mediados de 2017, los moderadores de la plataforma todavía estaban aprendiendo cómo aplicar sus políticas, expuso O’Connor, reconociendo el error.

Al igual que en Parkland, el tiroteo en Nueva Zelanda presentó otro conjunto de desafíos que superaron los sistemas de la compañía, indicó Mohan.

Cuando el video original fue subido, el pasado jueves por la noche, la sección de noticias de último momento de la empresa entró en acción, al igual que las tarjetas de noticias en desarrollo, que se publicaron como pancartas para que todos los usuarios de YouTube las vieran. Las búsquedas básicas llevaban a los espectadores a fuentes autorizadas y la función de autocompletar no sugería palabras inapropiadas, como lo había hecho durante otros incidentes.

Los ingenieros también marcaron con un, “hash”, control de comprobación aleatoria, el video de inmediato lo que significa que el software de inteligencia artificial podría reconocer las cargas de copias idénticas, junto con algunas modificadas y podría eliminarlas automáticamente. Las técnicas de hash son ampliamente utilizadas para prevenir los abusos a los derechos de autor de las películas y para detener la recarga de videos idénticos de pornografía infantil o de reclutamiento de terroristas.

Pero en este caso, el sistema de hash no fue suficiente para las decenas de miles de videos modificados del rodaje en tiempo real que se subieron a la plataforma, dijo Mohan. Si bien la tecnología de hash puede reconocer variaciones simples -tales como si un video está dividido por la mitad-, no puede anticipar animaciones o fragmentos de contenido de dos a tres segundos, especialmente si el video está modificado de alguna manera. “Como cualquier software de aprendizaje automático, nuestra tecnología sigue mejorando, pero francamente es un trabajo en progreso”, destacó Mohan.

Sumado a ello, muchos medios de comunicación decidieron no usar el nombre del presunto tirador, por lo cual las personas que subían videos utilizaban diferentes palabras clave y subtítulos para describir sus publicaciones. Eso representa un desafío para los sistemas de detección de la compañía y su capacidad para hacer emerger contenidos seguros y confiables. Aunque está de acuerdo con la decisión editorial de no nombrar a los tiradores, Mohan considera que el nombre de un atacante es uno de los términos de búsqueda más comunes que emplea la gente y una gran pista para el software de IA.

La noche del tiroteo, a Mohan le preocupaba que la compañía no actuara lo suficientemente rápido como para solucionar los problemas. Así, tomó la inusual decisión de suspender una parte central del proceso de operaciones de la empresa: el uso de moderadores humanos.

En circunstancias normales, el software marca el contenido problemático y lo envía a los moderadores humanos. Estos luego miran el video y toman una decisión.

Pero ese sistema no estaba funcionando lo suficientemente bien durante la crisis, por lo cual Mohan y otros altos ejecutivos decidieron evitarlo y usar en cambio un software que pudiera detectar las partes más violentas del video. Eso significaba que la IA estaría tomando el control de una decisión final e inmediata, permitiendo a la empresa, de esta manera, bloquear el contenido mucho más rápidamente.

Pero la decisión tuvo una enorme contraparte, explicó Mohan: Muchos videos que no eran problemáticos se vieron arrastrados por esa eliminación automática de contenido. “Preferimos básicamente equivocarnos con la inteligencia de la máquina, en lugar de esperar por la revisión humana”, dijo. Los editores cuyos videos fueron eliminados por error pueden presentar una apelación a la compañía, informó también.

A mediados del pasado viernes, Mohan aún no estaba satisfecho con los resultados. Así que, tomó otra decisión: deshabilitar la herramienta de la compañía, que permite a los usuarios buscar contenidos “subidos recientemente”.

Hasta el pasado lunes, tanto la búsqueda de cargas recientes como el uso de moderadores seguían bloqueados. YouTube precisó que seguirán inhabilitados hasta que la crisis se calme, y reconoció que no se trata de una solución definitiva.

Para leer esta nota en inglés, haga clic aquí