Tag IA Generativa

Cómo diferenciar una fotografía o un vídeo real de una falsificación y rastrear su procedencia.

Durante los últimos 18 meses, más o menos, parece que hemos perdido la capacidad de confiar en nuestros ojos. Las falsificaciones de Photoshop no son nada nuevo, por supuesto, pero la llegada de la inteligencia artificial (IA) generativa ha llevado la falsificación a un nivel completamente nuevo. Quizás la primera falsificación de IA viral fue la imagen del Papa en 2023 con una chaqueta acolchada blanca de diseño, pero, desde entonces, el número de engaños visuales de alta calidad se ha disparado a muchos miles. Y, a medida que la IA se desarrolle aún más, podemos esperar más y más vídeos falsos convincentes en un futuro muy cercano.

Uno de los primeros deepfakes en hacerse viral en todo el mundo: el Papa luciendo una moderna chaqueta acolchada blanca.

Esto solo exacerbará el ya complicado problema de las noticias falsas y las imágenes que las acompañan. Pueden publicar una foto de un evento y afirmar que es de otro, poner a personas que nunca se han conocido en la misma fotografía, entre otras cosas.

La falsificación de imágenes y vídeos tiene una relación directa con la ciberseguridad. Los estafadores han estado utilizando imágenes y vídeos falsos para engañar a las víctimas y lograr que desembolsen su dinero durante años. Es posible que te envíen una fotografía de un cachorro triste que, según dicen, necesita ayuda, una imagen de una celebridad que promueve algunos planes sospechosos o, incluso, una fotografía de una tarjeta de crédito que dicen que pertenece a alguien que tú conoces. Los estafadores también utilizan imágenes generadas por IA para los perfiles falsos en sitios de citas y redes sociales.

Las estafas más sofisticadas hacen uso de vídeos y audios falsos del jefe de la víctima o de un familiar para que cumplan con las peticiones de los estafadores. Recientemente, un empleado de una institución financiera fue engañado para que transfiriera 25 millones de dólares a ciberdelincuentes. Habían pactado una videollamada con el “director financiero” y los “colegas” de la víctima, todos deepfakes.

Entonces, ¿qué se puede hacer para lidiar con los deepfakes o con las falsificaciones clásicas? ¿Cómo se pueden detectar? Este es un problema extremadamente complejo, pero que se puede mitigar paso a paso, rastreando la procedencia de la imagen.

Espera… ¿no lo había visto antes?

Como se mencionó anteriormente, existen diferentes tipos de “falsificaciones”. A veces, la imagen en sí no es falsa, pero se usa de manera engañosa. Tal vez una fotografía real de una zona de guerra se hace pasar como si fuera de otro conflicto, o una escena de una película se presenta como metraje documental. En estos casos, buscar anomalías en la imagen en sí no ayudará mucho, pero puedes intentar buscar copias de la fotografía en línea. Afortunadamente, tenemos herramientas como la búsqueda inversa de imágenes en Google y TinEye, que pueden ayudarnos a hacer precisamente eso.

Si tienes alguna duda sobre una imagen, simplemente cárgala en una de estas herramientas y mira los resultados. Es posible que descubras que la misma fotografía de una familia que se quedó sin hogar por el fuego, o un grupo de perros en un refugio, o las víctimas de alguna otra tragedia, ha estado circulando en línea durante años. Por cierto, cuando se trata de una recaudación de fondos falsa, hay algunas otras señales de alerta a tener en cuenta además de las imágenes en sí.

¿Perro de un refugio? No, de un stock de fotografías.

¿Se usó Photoshop? Pronto lo sabremos.

Dado que la edición en Photoshop existe desde hace un tiempo, los matemáticos, los ingenieros y los expertos en imágenes han estado trabajando durante mucho tiempo en formas para detectar imágenes alteradas automáticamente. Algunos métodos populares incluyen el análisis de metadatos de imágenes y el análisis de nivel de error (ELA), que comprueba si hay artefactos de compresión JPEG para identificar las partes modificadas de una imagen. Muchas herramientas de análisis de imágenes populares, como Fake Image Detector, aplican estas técnicas.

Fake Image Detector advierte que el Papa probablemente no usó esa campera el domingo de Pascuas… o nunca.

Con la aparición de la IA generativa, también hemos visto nuevos métodos basados en la IA para detectar el contenido generado, pero ninguno de ellos es perfecto. Estos son algunos de los desarrollos relevantes: detección de cambio de rostro, detección de imágenes generadas por IA y determinación del modelo de IA utilizado para generarlas, y un modelo de IA abierto para los mismos fines.

Con todos estos enfoques, el problema clave es que ninguno te da el 100 % de certeza sobre la procedencia de la imagen, garantiza que la imagen esté libre de modificaciones o permite verificar dichas modificaciones.

WWW al rescate: verificar la procedencia del contenido

¿No sería fantástico si los usuarios comunes pudieran comprobar si una imagen es real? Imagina hacer clic en una fotografía y ver algo como: “John tomó esta fotografía con un iPhone el 20 de marzo”, “Ann recortó los bordes y aumentó el brillo el 22 de marzo”, “Peter volvió a guardar esta imagen con alta compresión el 23 de marzo”, o ” No se realizaron cambios”, y todos estos datos serían imposibles de falsificar. Suena como un sueño, ¿cierto? Bueno, eso es exactamente lo que busca la Coalición para la Procedencia y Autenticidad del Contenido (C2PA). La C2PA incluye algunos de los principales actores de las industrias de la informática, la fotografía y los medios de comunicación: Canon, Nikon, Sony, Adobe, AWS, Microsoft, Google, Intel, BBC, Associated Press y alrededor de un centenar de otros miembros; básicamente todas las empresas que podrían haber estado involucradas individualmente en casi cualquier paso de la vida de una imagen, desde su creación hasta su publicación en línea.

El estándar de la C2PA desarrollado por esta coalición ya está disponible e incluso ha alcanzado la versión 1.3, y ahora estamos empezando a ver que las piezas del rompecabezas industrial necesarias para usarlo encajan en su lugar. Nikon planea fabricar cámaras compatibles con la C2PA, y la BBC ya ha publicado sus primeros artículos con imágenes verificadas.

La BBC habla sobre cómo se verifican las imágenes y los vídeos en sus artículos.

La idea es que, cuando los medios de comunicación responsables y las grandes empresas pasen a publicar imágenes en forma verificada, puedas comprobar la procedencia de cualquier imagen directamente en el navegador. Verás una pequeña etiqueta de “imagen verificada” y, cuando hagas clic en ella, aparecerá una ventana más grande que te mostrará qué imágenes sirvieron como origen y qué ediciones se realizaron en cada etapa antes de que la imagen apareciera en el navegador, quién las hizo y cuándo. Incluso podrás ver todas las versiones intermedias de la imagen.

Historia de la creación y edición de imágenes.

Este enfoque no es solo para cámaras; también puede funcionar para otras formas de crear imágenes. Servicios como Dall-E y Midjourney también pueden etiquetar sus creaciones.

Esto fue claramente creado en Adobe Photoshop.

El proceso de verificación se basa en una criptografía de clave pública similar a la protección utilizada en los certificados de servidor web para establecer una conexión HTTPS segura. La idea es que cada creador de imágenes, ya sea Joe Bloggs con un tipo particular de cámara o Angela Smith con una licencia de Photoshop, necesitará obtener un certificado X.509 de una autoridad de certificación de confianza. Este certificado se puede conectar directamente a la cámara en la fábrica, mientras que, para los productos de software, se puede emitir al momento de la activación. Al procesar imágenes con seguimiento de procedencia, cada nueva versión del archivo contendrá una gran cantidad de información adicional: la fecha, hora y ubicación de las ediciones, las miniaturas de las versiones original y editada, etc. Todo esto irá firmado digitalmente por el autor o editor de la imagen. De esta forma, un archivo de imagen verificado tendrá una cadena de todas sus versiones anteriores, cada una firmada por la persona que lo editó.

Este vídeo incluye contenido generado por IA.

Los autores de la especificación también se preocuparon por las funciones de privacidad. A veces, los periodistas no pueden revelar sus fuentes. Para situaciones como esa, hay un tipo especial de edición llamada “redacción”. Esto permite que alguien reemplace parte de la información sobre el creador de la imagen con ceros y luego firme ese cambio con su propio certificado.

Para mostrar las capacidades de la C2PA, se creó una colección de imágenes y vídeos de prueba. Puedes consultar el sitio web de Content Credentials para ver las credenciales, el historial de creación y el historial de edición de estas imágenes.

El sitio web de Content Credentials revela el origen completo de las imágenes de la C2PA.

Limitaciones naturales

Desafortunadamente, las firmas digitales para imágenes no resolverán el problema de las falsificaciones de la noche a la mañana. Después de todo, ya hay miles de millones de imágenes en línea que no han sido firmadas por nadie y que no van a ninguna parte. Sin embargo, a medida que más y más fuentes de información de renombre pasen a publicar solo imágenes firmadas, cualquier fotografía sin una firma digital comenzará a ser vista con sospecha. Las fotografías y los vídeos reales con marcas de tiempo y datos de ubicación serán casi imposibles de hacer pasar por otra cosa, y el contenido generado por IA será más fácil de detectar.

Fuente: latam.kaspersky.com

El proyecto Synthetic Memories ayuda a familias de todo el mundo a recuperar un pasado que nunca se fotografió

María creció en Barcelona, España, en la década de 1940. Los primeros recuerdos de su padre son vívidos. Cuando tenía seis años, María visitaba el apartamento de un vecino de su edificio cuando quería verle. Desde allí, podía asomarse a la prisión a través de la barandilla de un balcón e intentar verle por la pequeña ventana de su celda, donde estaba encerrado por oponerse a la dictadura de Francisco Franco.

No hay ninguna foto de María en ese balcón. Pero ahora puede sostener algo parecido: una foto falsa -o una reconstrucción basada en la memoria, como dice el estudio de diseño barcelonés Domestic Data Streamers- de la escena que podría haber captado una cámara real. Las instantáneas falsas están borrosas y distorsionadas, pero pueden rebobinar toda una vida en un instante.

«Es muy fácil ver cuándo has acertado con la reconstrucción, porque hay una reacción muy visceral», dice Pau García, fundador de Domestic Data Streamers. «Ocurre siempre. Es como: ‘¡Oh! ¡Sí! Fue así!».

En la Barcelona de la década de 1960, después de la guerra civil, Denia, de 14 años (ahora 73) y su familia, recién llegada de Alcalá de Júcar, encontraron consuelo y emoción en el animado salón de baile ‘La Gavina Azul’. Era un santuario de alegría en medio de la realidad de la posguerra, donde la emoción de la música y la danza prometía libertad de la monotonía diaria y la pobreza de esa época.

Decenas de personas han convertido sus recuerdos en imágenes gracias a Synthetic Memories, un proyecto de Domestic Data Streamers. El estudio utiliza modelos de imagen generativos, como DALL-E de OpenAI, para dar vida a los recuerdos de las personas. Desde 2022, el estudio, que ha recibido financiación de la ONU y Google, trabaja con comunidades de inmigrantes y refugiados de todo el mundo para crear imágenes de escenas que nunca han sido fotografiadas, o para recrear fotos que se perdieron cuando las familias abandonaron sus hogares. 

Ahora, Domestic Data Streamers ocupa un edificio junto al Museo del Diseño de Barcelona para registrar los recuerdos de la gente de la ciudad utilizando imágenes sintéticas. Cualquiera puede acudir y contribuir con un recuerdo al archivo, dice García.  

Synthetic Memories podría ser algo más que un proyecto social o cultural. Este verano, el estudio iniciará una colaboración con investigadores para averiguar si su técnica podría utilizarse para tratar la demencia. 

Graffitis memorables

La idea del proyecto surgió de una experiencia que García tuvo en 2014, cuando trabajaba en Grecia con una organización que reubicaba a familias refugiadas de Siria. Una mujer le dijo que ella misma no tenía miedo de ser refugiada, pero sí de que sus hijos y nietos siguieran siendo refugiados porque podrían olvidar su historia familiar: dónde compraban, qué llevaban, cómo vestían. 

García consiguió voluntarios para que dibujaran los recuerdos de la mujer como graffiti en las paredes del edificio donde se alojaban las familias. «Eran dibujos muy malos, pero de ahí nació la idea de los recuerdos sintéticos», dice. Varios años después, cuando García vio lo que podían hacer los modelos generativos de imágenes, se acordó de aquel graffiti. «Fue una de las primeras cosas que me vinieron a la mente», dice. 

En 1990, Emerund, de 14 años, vivía en un pequeño pueblo de Camerún y pasaba las tardes ayudando a su madre en el campo a plantar maíz y patatas después de la escuela. Estos momentos eran una mezcla de deber y alegría, ya que equilibraba las responsabilidades hacia su familia con los sencillos placeres de estar cerca de la naturaleza y de sus hermanos. Estos recuerdos de su infancia ocupan un lugar especial en su corazón, ya que recordaba una parte concreta de los campos donde sus hermanos jugaban al escondite con su madre.

El proceso que García y su equipo han desarrollado es sencillo. Un entrevistador se sienta con un sujeto y le pide que recuerde una escena o un acontecimiento concreto. Un ingeniero de prompts con un ordenador utiliza ese recuerdo para escribir un mensaje en un modelo de inteligencia artificial, que genera una imagen. 

Su equipo ha creado una especie de glosario de términos que han demostrado su eficacia para evocar distintos periodos de la historia y distintos lugares. Pero suele haber idas y venidas, algunos ajustes de la indicación, dice García: «Muestras la imagen generada a partir de esa indicación al sujeto y puede que diga: ‘Oh, la silla estaba en ese lado’ o ‘Era de noche, no de día’. Lo vas afinando hasta que llegas a un punto en el que hace clic». 

Hasta ahora, Domestic Data Streamers ha utilizado la técnica para preservar los recuerdos de personas de varias comunidades de inmigrantes, incluidas familias coreanas, bolivianas y argentinas que viven en São Paulo, Brasil. Pero también ha trabajado con una residencia de ancianos de Barcelona para ver cómo las reconstrucciones basadas en la memoria podrían ayudar a las personas mayores. El equipo colaboró con investigadores de Barcelona en un pequeño piloto con 12 sujetos, aplicando el enfoque a la terapia de reminiscencia, un tratamiento para la demencia que tiene como objetivo estimular las capacidades cognitivas mostrándole a alguien imágenes del pasado. Desarrollada en la década de 1960, la terapia de reminiscencia tiene muchos defensores, pero los investigadores no están de acuerdo sobre su eficacia y cómo debe realizarse.

El estudio piloto permitió al equipo perfeccionar el proceso y asegurarse de que los participantes podían dar su consentimiento informado, explica García. Los investigadores planean ahora realizar un estudio clínico más amplio en verano con colegas de la Universidad de Toronto para comparar el uso de modelos generativos de imágenes con otros enfoques terapéuticos. 

Una cosa que descubrieron en el estudio piloto fue que las personas mayores conectaban mucho mejor con las imágenes si éstas se imprimían. «Cuando las ven en una pantalla, no tienen el mismo tipo de relación emocional con ellas», dice García. «Pero cuando podían verlas físicamente, el recuerdo cobraba mucha más importancia».     

Borroso es mejor

Los investigadores también descubrieron que las versiones anteriores de modelos de imágenes generativas funcionan mejor que las más nuevas. Comenzaron el proyecto utilizando dos modelos que salieron en 2022: DALL-E 2 y Stable Diffusion, un modelo de imagen generativa de uso gratuito lanzado por Stability AI. Estos pueden producir imágenes con fallas, con rostros deformados y cuerpos retorcidos. Pero cuando cambiaron a la última versión de Midjourney (otro modelo de imagen generativa que puede crear imágenes más detalladas), los resultados no gustaron tan bien a la gente.

«Si haces algo superrealista, la gente se fija en detalles que no estaban ahí», dice García. «Si está borroso, el concepto llega mejor. Los recuerdos son un poco como los sueños. No se comportan como fotografías, con detalles. No recuerdas si la silla era roja o verde. Simplemente recuerdas que había una silla». 

«Cuando pudieron verlo físicamente, el recuerdo cobró mucha más importancia».

Desde entonces, el equipo ha vuelto a utilizar los modelos antiguos. «Para nosotros, los fallos son una característica», dice García. «A veces hay cosas que están y no están. Es una especie de estado cuántico en las imágenes que funciona muy bien con los recuerdos.» 

Sam Lawton, un cineasta independiente que no participa en el estudio, está entusiasmado con el proyecto. Está especialmente feliz de que el equipo observe los efectos cognitivos de estas imágenes en un estudio clínico riguroso. Lawton ha utilizado modelos de imágenes generativas para recrear sus propios recuerdos. En una película que hizo el año pasado, llamada Infancia expandida , utilizó DALL-E para extender viejas fotos familiares más allá de sus fronteras, difuminando escenas reales de la infancia con escenas surrealistas.

«El efecto que la exposición a este tipo de imágenes generadas tiene en el cerebro de una persona fue lo que me impulsó a hacer la película en primer lugar», dice Lawton. «No estaba en condiciones de lanzarme a una investigación en toda regla, así que pivoté hacia el tipo de narración que me resulta más natural». 

El trabajo de Lawton explora una serie de cuestiones: ¿Qué efecto tendrá en nosotros la exposición prolongada a imágenes alteradas o generadas por IA? ¿Pueden estas imágenes ayudar a replantear recuerdos traumáticos? ¿O crean un falso sentido de la realidad que puede provocar confusión y disonancia cognitiva? 

Lawton mostró las imágenes de Expanded Childhood a su padre e incluyó sus comentarios en la película: «Algo va mal. No sé qué es. ¿Es que no lo recuerdo?». 

Nuria, que ahora tiene 90 años, recuerda vívidamente a los hombres y niños que esperaban fuera de los refugios antiaéreos de Barcelona durante la Guerra Civil española, listos con picos y hachas para rescatar a cualquiera que estuviera atrapado dentro. Estas personas, desafiando el peligro de las bombas, demostraron un valor y un desinterés increíbles. Sus acciones, arriesgando la vida para salvar a otros, dejaron una huella imborrable en Nuria. Incluso ahora recuerda con detalle la ropa y los abrigos sucios que llevaban estos hombres.

García es consciente de los peligros de confundir recuerdos subjetivos con registros fotográficos reales. Las reconstrucciones basadas en la memoria de su equipo no deben tomarse como documentos fácticos, afirma. De hecho, señala que ésta es otra razón para ceñirse a las imágenes menos fotorrealistas producidas por versiones más antiguas de los modelos generativos de imágenes. «Es importante diferenciar muy claramente lo que es memoria sintética y lo que es fotografía», dice García. «Esta es una forma sencilla de demostrarlo».

Pero a García le preocupa ahora que las empresas que están detrás de los modelos retiren sus versiones anteriores. La mayoría de los usuarios esperan modelos más potentes y mejores; para las memorias sintéticas, menos puede ser más. «Me da mucho miedo que OpenAI cierre DALL-E 2 y tengamos que usar DALL-E 3», dice.

Fuente: www.technologyreview.es