Discord prohíbe a unos 8.200 usuarios publicar imágenes de cuadrícula no ofensivas

Como muchas plataformas en línea, Discord cuenta con sistemas de seguridad que detectan y señalan automáticamente contenido abusivo, ilegal y otros contenidos dañinos. En los últimos meses, el sistema ha tenido errores de una manera muy extraña, lo que ha provocado que miles de usuarios hayan sido baneados por error. Esta situación brinda una buena oportunidad para considerar cómo las plataformas en línea pueden detectar automáticamente imágenes dañinas.

como borde Informelos usuarios de Discord se han quejado en línea de que fueron prohibidos injustamente por publicar una imagen completamente benigna y no ofensiva que contenía una cuadrícula. esto significa imagen de tablero de ajedrez, texturas del juegoo incluso algo como esto Captura de pantalla de la lista de videojuegos..

Cada bordeDesde mayo, aproximadamente 8.000 usuarios de Discord han sido prohibidos por compartir imágenes inofensivas marcadas por la herramienta de moderación de contenido incorporada de Discord. la falta de armonía misma decir en XTwitter, anteriormente conocido como Twitter, tuvo prohibidos a unos 200 usuarios durante el fin de semana. La empresa añadió que todos los usuarios afectados han sido restablecidos.

“Nuestro sistema marca el contenido comparándolo con material dañino conocido”, explica Discord. “Esta coincidencia de similitudes puede producir falsos positivos, razón por la cual los miembros de nuestro equipo de Confianza y Seguridad siempre revisan el contenido marcado antes de tomar cualquier medida”.

Sin embargo, a medida que la discordia continuó, y este fue claramente el caso, este sistema típico falló. El sistema está diseñado para evitar que los usuarios carguen contenido nuevo mientras personas reales revisan sus cuentas, en lugar de prohibirlos por completo.

“Encontramos un error”, dijo Discord sobre la prohibición errante. La compañía dijo que el error, que impedía que las cuentas liquidadas se desbloquearan adecuadamente, ha afectado a unos 8.200 usuarios desde mayo.

“Entendemos que esta no es una explicación satisfactoria si esta fuera tu cuenta”, dijo Discord. “Deberíamos habernos dado cuenta de esto antes”.

La compañía está trabajando para cambiar sus salvaguardas para garantizar que este tipo de prohibiciones “silenciosas” no vuelvan a ocurrir y que sus sistemas de seguridad no penalicen a los usuarios que no violen las reglas de la plataforma.

Hashing perceptivo y su aplicación en el reconocimiento de imágenes.

Como se mencionó anteriormente, muchas plataformas utilizan herramientas automatizadas diseñadas para detectar contenido dañino, incluidas herramientas que se basan en coincidencias de similitudes. Como usuario de Reddit u/itsFolf Escribirlos sistemas de etiquetado como este suelen utilizar el llamado “hashing perceptivo”.

Como señala el regulador de comunicaciones del Reino Unido, Ofcom, las funciones hash de percepción normalmente primero convierten la imagen a escala de grises y luego la reducen a una resolución más baja. explicar. Luego, el sistema divide la imagen en partes cuadradas y asigna un valor unitario a cada cuadrado en función de su brillo en relación con los cuadrados vecinos. Si bien esto suena muy simple, una entrada determinada y una función hash específica siempre producirán la misma salida. Esto significa que a cualquier imagen conocida se le puede asignar un identificador único, lo que permite la identificación ilimitada de imágenes ofensivas sin intervención humana.

Si bien existen limitaciones, el hashing ha demostrado ser generalmente eficaz para identificar duplicados exactos, lo que sin duda puede prevenir la propagación de contenido dañino. Ofcom afirma específicamente que el hash perceptivo es uno de los dos métodos más eficaces para detectar, eliminar y prevenir la propagación de CSAM en línea, junto con el análisis de metadatos. Existen varios repositorios de hash diseñados específicamente para identificar y eliminar CSAM, y las plataformas pueden utilizar estos repositorios dentro de sus propios sistemas de seguridad.

Esta tecnología sustenta la tecnología de empresas como Microsoft. ADN ópticodiseñado específicamente para combatir la difusión de material de abuso sexual infantil (CSAM) en línea. También se utiliza en algunas tecnologías que detectan casos de infracción de derechos de autor en línea, como Dropbox. cuando manzana declarar Hay planes para escanear bibliotecas de fotos de iPhone en busca de CSAM en 2021, un método también basado en hash perceptivo.

Fuente de la imagen: Una imagen de encabezado creada utilizando un activo con licencia a través de Depositphotos.com. Imagen hash perceptual ilustrativa de Ofcom.