La IA generativa puede convertir tus recuerdos en fotos que nunca existieron
El proyecto Synthetic Memories ayuda a familias de todo el mundo a recuperar un pasado que nunca se fotografió
María creció en Barcelona, España, en la década de 1940. Los primeros recuerdos de su padre son vívidos. Cuando tenía seis años, María visitaba el apartamento de un vecino de su edificio cuando quería verle. Desde allí, podía asomarse a la prisión a través de la barandilla de un balcón e intentar verle por la pequeña ventana de su celda, donde estaba encerrado por oponerse a la dictadura de Francisco Franco.
No hay ninguna foto de María en ese balcón. Pero ahora puede sostener algo parecido: una foto falsa -o una reconstrucción basada en la memoria, como dice el estudio de diseño barcelonés Domestic Data Streamers- de la escena que podría haber captado una cámara real. Las instantáneas falsas están borrosas y distorsionadas, pero pueden rebobinar toda una vida en un instante.
«Es muy fácil ver cuándo has acertado con la reconstrucción, porque hay una reacción muy visceral», dice Pau García, fundador de Domestic Data Streamers. «Ocurre siempre. Es como: ‘¡Oh! ¡Sí! Fue así!».
En la Barcelona de la década de 1960, después de la guerra civil, Denia, de 14 años (ahora 73) y su familia, recién llegada de Alcalá de Júcar, encontraron consuelo y emoción en el animado salón de baile ‘La Gavina Azul’. Era un santuario de alegría en medio de la realidad de la posguerra, donde la emoción de la música y la danza prometía libertad de la monotonía diaria y la pobreza de esa época.
Decenas de personas han convertido sus recuerdos en imágenes gracias a Synthetic Memories, un proyecto de Domestic Data Streamers. El estudio utiliza modelos de imagen generativos, como DALL-E de OpenAI, para dar vida a los recuerdos de las personas. Desde 2022, el estudio, que ha recibido financiación de la ONU y Google, trabaja con comunidades de inmigrantes y refugiados de todo el mundo para crear imágenes de escenas que nunca han sido fotografiadas, o para recrear fotos que se perdieron cuando las familias abandonaron sus hogares.
Ahora, Domestic Data Streamers ocupa un edificio junto al Museo del Diseño de Barcelona para registrar los recuerdos de la gente de la ciudad utilizando imágenes sintéticas. Cualquiera puede acudir y contribuir con un recuerdo al archivo, dice García.
Synthetic Memories podría ser algo más que un proyecto social o cultural. Este verano, el estudio iniciará una colaboración con investigadores para averiguar si su técnica podría utilizarse para tratar la demencia.
Graffitis memorables
La idea del proyecto surgió de una experiencia que García tuvo en 2014, cuando trabajaba en Grecia con una organización que reubicaba a familias refugiadas de Siria. Una mujer le dijo que ella misma no tenía miedo de ser refugiada, pero sí de que sus hijos y nietos siguieran siendo refugiados porque podrían olvidar su historia familiar: dónde compraban, qué llevaban, cómo vestían.
García consiguió voluntarios para que dibujaran los recuerdos de la mujer como graffiti en las paredes del edificio donde se alojaban las familias. «Eran dibujos muy malos, pero de ahí nació la idea de los recuerdos sintéticos», dice. Varios años después, cuando García vio lo que podían hacer los modelos generativos de imágenes, se acordó de aquel graffiti. «Fue una de las primeras cosas que me vinieron a la mente», dice.
En 1990, Emerund, de 14 años, vivía en un pequeño pueblo de Camerún y pasaba las tardes ayudando a su madre en el campo a plantar maíz y patatas después de la escuela. Estos momentos eran una mezcla de deber y alegría, ya que equilibraba las responsabilidades hacia su familia con los sencillos placeres de estar cerca de la naturaleza y de sus hermanos. Estos recuerdos de su infancia ocupan un lugar especial en su corazón, ya que recordaba una parte concreta de los campos donde sus hermanos jugaban al escondite con su madre.
El proceso que García y su equipo han desarrollado es sencillo. Un entrevistador se sienta con un sujeto y le pide que recuerde una escena o un acontecimiento concreto. Un ingeniero de prompts con un ordenador utiliza ese recuerdo para escribir un mensaje en un modelo de inteligencia artificial, que genera una imagen.
Su equipo ha creado una especie de glosario de términos que han demostrado su eficacia para evocar distintos periodos de la historia y distintos lugares. Pero suele haber idas y venidas, algunos ajustes de la indicación, dice García: «Muestras la imagen generada a partir de esa indicación al sujeto y puede que diga: ‘Oh, la silla estaba en ese lado’ o ‘Era de noche, no de día’. Lo vas afinando hasta que llegas a un punto en el que hace clic».
Hasta ahora, Domestic Data Streamers ha utilizado la técnica para preservar los recuerdos de personas de varias comunidades de inmigrantes, incluidas familias coreanas, bolivianas y argentinas que viven en São Paulo, Brasil. Pero también ha trabajado con una residencia de ancianos de Barcelona para ver cómo las reconstrucciones basadas en la memoria podrían ayudar a las personas mayores. El equipo colaboró con investigadores de Barcelona en un pequeño piloto con 12 sujetos, aplicando el enfoque a la terapia de reminiscencia, un tratamiento para la demencia que tiene como objetivo estimular las capacidades cognitivas mostrándole a alguien imágenes del pasado. Desarrollada en la década de 1960, la terapia de reminiscencia tiene muchos defensores, pero los investigadores no están de acuerdo sobre su eficacia y cómo debe realizarse.
El estudio piloto permitió al equipo perfeccionar el proceso y asegurarse de que los participantes podían dar su consentimiento informado, explica García. Los investigadores planean ahora realizar un estudio clínico más amplio en verano con colegas de la Universidad de Toronto para comparar el uso de modelos generativos de imágenes con otros enfoques terapéuticos.
Una cosa que descubrieron en el estudio piloto fue que las personas mayores conectaban mucho mejor con las imágenes si éstas se imprimían. «Cuando las ven en una pantalla, no tienen el mismo tipo de relación emocional con ellas», dice García. «Pero cuando podían verlas físicamente, el recuerdo cobraba mucha más importancia».
Borroso es mejor
Los investigadores también descubrieron que las versiones anteriores de modelos de imágenes generativas funcionan mejor que las más nuevas. Comenzaron el proyecto utilizando dos modelos que salieron en 2022: DALL-E 2 y Stable Diffusion, un modelo de imagen generativa de uso gratuito lanzado por Stability AI. Estos pueden producir imágenes con fallas, con rostros deformados y cuerpos retorcidos. Pero cuando cambiaron a la última versión de Midjourney (otro modelo de imagen generativa que puede crear imágenes más detalladas), los resultados no gustaron tan bien a la gente.
«Si haces algo superrealista, la gente se fija en detalles que no estaban ahí», dice García. «Si está borroso, el concepto llega mejor. Los recuerdos son un poco como los sueños. No se comportan como fotografías, con detalles. No recuerdas si la silla era roja o verde. Simplemente recuerdas que había una silla».
«Cuando pudieron verlo físicamente, el recuerdo cobró mucha más importancia».
Desde entonces, el equipo ha vuelto a utilizar los modelos antiguos. «Para nosotros, los fallos son una característica», dice García. «A veces hay cosas que están y no están. Es una especie de estado cuántico en las imágenes que funciona muy bien con los recuerdos.»
Sam Lawton, un cineasta independiente que no participa en el estudio, está entusiasmado con el proyecto. Está especialmente feliz de que el equipo observe los efectos cognitivos de estas imágenes en un estudio clínico riguroso. Lawton ha utilizado modelos de imágenes generativas para recrear sus propios recuerdos. En una película que hizo el año pasado, llamada Infancia expandida , utilizó DALL-E para extender viejas fotos familiares más allá de sus fronteras, difuminando escenas reales de la infancia con escenas surrealistas.
«El efecto que la exposición a este tipo de imágenes generadas tiene en el cerebro de una persona fue lo que me impulsó a hacer la película en primer lugar», dice Lawton. «No estaba en condiciones de lanzarme a una investigación en toda regla, así que pivoté hacia el tipo de narración que me resulta más natural».
El trabajo de Lawton explora una serie de cuestiones: ¿Qué efecto tendrá en nosotros la exposición prolongada a imágenes alteradas o generadas por IA? ¿Pueden estas imágenes ayudar a replantear recuerdos traumáticos? ¿O crean un falso sentido de la realidad que puede provocar confusión y disonancia cognitiva?
Lawton mostró las imágenes de Expanded Childhood a su padre e incluyó sus comentarios en la película: «Algo va mal. No sé qué es. ¿Es que no lo recuerdo?».
Nuria, que ahora tiene 90 años, recuerda vívidamente a los hombres y niños que esperaban fuera de los refugios antiaéreos de Barcelona durante la Guerra Civil española, listos con picos y hachas para rescatar a cualquiera que estuviera atrapado dentro. Estas personas, desafiando el peligro de las bombas, demostraron un valor y un desinterés increíbles. Sus acciones, arriesgando la vida para salvar a otros, dejaron una huella imborrable en Nuria. Incluso ahora recuerda con detalle la ropa y los abrigos sucios que llevaban estos hombres.
García es consciente de los peligros de confundir recuerdos subjetivos con registros fotográficos reales. Las reconstrucciones basadas en la memoria de su equipo no deben tomarse como documentos fácticos, afirma. De hecho, señala que ésta es otra razón para ceñirse a las imágenes menos fotorrealistas producidas por versiones más antiguas de los modelos generativos de imágenes. «Es importante diferenciar muy claramente lo que es memoria sintética y lo que es fotografía», dice García. «Esta es una forma sencilla de demostrarlo».
Pero a García le preocupa ahora que las empresas que están detrás de los modelos retiren sus versiones anteriores. La mayoría de los usuarios esperan modelos más potentes y mejores; para las memorias sintéticas, menos puede ser más. «Me da mucho miedo que OpenAI cierre DALL-E 2 y tengamos que usar DALL-E 3», dice.
Fuente: www.technologyreview.es
