Meta creó una herramienta de detección de IA para capturar imágenes producidas por su nuevo generador de imágenes Muse y luego realizó una prueba básica con sus propias imágenes. Cuando se recortaron estas imágenes de IA, la herramienta omitió más de la mitad de ellas.
Los hallazgos provienen de un análisis de Reuters, que informa GizmodoEsta semana, se presentó una vista previa de Meta Detector junto con Muse Image, su primer modelo de imagen disponible públicamente. Reuters pasó 40 imágenes por la herramienta y descubrió que etiquetó correctamente las 40 imágenes originales como generadas por IA. Pero una vez que estas mismas imágenes se recortaron entre un tercio y la mitad de su tamaño original, el detector no pudo identificar el 55% de ellas. No se realizaron otras ediciones.
Todo el sistema se basa en una marca de agua invisible que Meta llama Sello de Contenido, que la empresa incorpora en cada imagen producida por Muse Image. Meta dice en su sitio web que la señal está diseñada para sobrevivir cuando las imágenes se recortan, se comprimen, se cambia el tamaño o se hacen capturas de pantalla. Cuando se le preguntó sobre los resultados, Meta señaló que la herramienta aún está en vista previa y dijo que las marcas de agua están diseñadas para funcionar con ediciones comunes, pero si la imagen está muy recortada, la señal puede perderse. Ésta es la brecha. El recorte no es un ataque singular. Esto es lo primero que hace la mayoría de la gente antes de publicar una foto.
Los investigadores que estudian este tema lo vienen diciendo desde hace algún tiempo. Siwei Lyu, profesor de informática en la Universidad de Buffalo que trabaja en análisis forense de imágenes con inteligencia artificial, dijo a Reuters que no había probado las herramientas de Meta pero que el sistema de marcas de agua tenía una debilidad conocida. “Los métodos basados en marcas de agua pueden ser muy efectivos cuando la marca de agua permanece intacta, pero cualquier modificación que elimine o debilite la señal incrustada (como recortar, cambiar el tamaño, comprimir fuertemente o editar) puede reducir su efectividad, dependiendo de cómo se diseñe la marca de agua”, dijo Lyu. Sarah Barrington, investigadora de inteligencia artificial y Ph.D. Los candidatos de la Escuela de Información de UC Berkeley son generalmente más optimistas acerca de este enfoque. “Como ocurre con muchas medidas preventivas de ciberseguridad o seguridad física, puede que no sea completamente hermético, pero incluso si solo detectamos el 90% de los casos, sigue siendo un gran salto desde cero”, dijo.
Las etiquetas que aparecen en su trabajo están cada vez más fuera de su control y están construidas en máquinas que pueden romperse fácilmente. Meta ya etiqueta automáticamente imágenes en Facebook, Instagram y Threads leyendo los estándares de metadatos de la industria como C2PA e IPTC. Así es como los retratos modificados y rellenos que genera con Photoshop se pueden etiquetar con una etiqueta de “Información AI” que no se puede eliminar. Estas señales de metadatos también son frágiles en la otra dirección. Múltiples análisis han encontrado que las principales plataformas sociales recomprimen el contenido subido, eliminando los metadatos incrustados en el proceso, lo que significa que el contenido que más necesita seguimiento de procedencia es el contenido que tiene más probabilidades de perderse. Los sellos de contenido deberían resolver este problema al existir en píxeles en lugar de metadatos. Los resultados del recorte muestran que el enfoque de píxeles tiene sus propias debilidades.
Todo esto esconde una verdadera asimetría. Un mal actor que quisiera blanquear una IA falsa para convertirla en algo que pareciera real podría simplemente recortarla, y los propios datos de Meta sugieren que este enfoque tiene aproximadamente la mitad de éxito. Al mismo tiempo, un fotógrafo honesto que utilice una herramienta generativa para hacer una pequeña limpieza probablemente será señalado, y no existe una manera limpia de ser atractivo. Meta no es la única empresa que enfrenta este dilema. Tanto Google como OpenAI advierten que sus herramientas de detección no son infalibles contra las personas que manipulan imágenes, y SynthID de Google toma una ruta similar de marca de agua de píxeles para Content Seal. En marzo, la junta de supervisión de Meta instó a la empresa a invertir recursos en el desarrollo de una detección más sólida de contenido engañoso de IA. Las herramientas que se rinden cuando recortas una imagen no son la respuesta que pide el tablero.
