Tag deepfakes

Videos falsos creados con IA simulan profesionales de salud, difundiendo información dudosa para promocionar productos y engañar a los usuarios.

Desde que los algoritmos de inteligencia artificial generativa dejaron los laboratorios de universidades y se convirtieron en una herramienta al alcance de cualquier usuario, múltiples beneficios han surgido. Sin embargo, los ciberatacantes también lograron sacarles rédito, y las deepfakes se convirtieron en uno de los grandes dolores de cabeza en el mundo de la ciberseguridad.

La generación de imágenes, video o audio falsificado para cometer estafas, robar información o desestabilización de la opinión pública, son moneda corriente en el mundo del cibercrimen.

Desde los laboratorios de ESET Latinoamérica hemos descubierto una campaña en redes sociales que utiliza avatares creados con IA para imitar a profesionales de salud con el fin de promover la compra de suplementos y otros productos, haciendo que parezcan recomendaciones médicas verdaderas.

Así funciona el engaño

Estos videos analizados siguen una estructura muy delimitada: en un formato de “avatar” en una esquina de la pantalla, una persona que alega ser especialista con más de una década de experiencia da una serie de recomendaciones de estética y salud. Los consejos, que suelen ser más cercanos a tips de alimentación natural, inducen a la compra de productos que venden.

Se valen de una estrategia de marketing desleal en la que intentan generar una validación falsa de supuestos especialistas para hacer creer que el mensaje está dado por una persona con conocimientos del tema.

Ejemplo de un video de TikTok engañoso. Fuente

También se observaron casos en los que se promocionan medicamentos sin aprobación y se dan consejos falsos para problemas de salud graves, utilizando deepfakes con la imagen de profesionales bien reconocidos.

Desinformación y engaño

Como ejemplo de los videos hallados, una de estas cuentas promueve un extracto natural que afirma ser más efectivo que el medicamento Ozempic, el cual se ha vuelto popular recientemente por su efecto secundario de pérdida de peso.

El engaño radica en que el enlace proporcionado en el usuario de tiktok lleva a la plataforma Amazon para comprar el supuesto producto para bajar de peso, pero en realidad el producto final se describe como “gotas de relax” y “anti-hinchazón”, sin mencionar los supuestos grandes beneficios mencionados en el video.

Imagen: Algunos de los videos engañosos en la plataforma TikTok

Una aplicación que facilita la creación de identidades falsas

En este relevamiento, hemos identificado más de 20 cuentas con este contenido, repartidas en las plataformas de preferencia en cuanto a videos cortos, Instagram y Tiktok. Los avatares están creados usando la aplicación Captions, una plataforma de generación de contenido que utiliza inteligencia artificial.

Imagen: Opción de generación de avatares en la herramienta Captions

De hecho, podemos encontrar en el listado a todos los supuestos doctores que aparecen en cada uno de los videos sospechosos. Por ejemplo, esta falsa ginecóloga con más de 13 años de experiencia:

Imagen: Video promocional (izquierda) y el avatar utilizado (derecha)

Estos avatares son parte del programa llamado “AI Creator”, en donde influencers y creadores de contenido pueden ofrecerse como protagonistas de estos videos generados artificialmente y ganar dinero por ello, simplemente filmando unos clips de minutos de duración y enviándolos a la plataforma.

Y si bien este tipo de videos conformaría una violación a los Términos y Condiciones de la aplicación, esto también debe ser un aprendizaje para creadores de contenido que estén considerando inscribirse en este tipo de programas remunerados.

En tiempos de desinformación de fácil llegada, es vital poder reconocer este tipo de engaños o publicidades infundadas. Por eso, debemos buscar señales de que se trata de un contenido falsificado y engañoso en los siguientes puntos:

– Desincronización de la boca y labios, que no coinciden del todo con el audio.

– Expresiones faciales poco naturales o rígidas.

– Artefactos visuales y distorsiones, como bordes borrosos o cambios repentinos de iluminación.

– Voz robótica, artificial o con entonación demasiado uniforme.

– Cuentas de reciente creación, con pocos seguidores o sin historial relevante.

– Lenguaje exagerado, con frases como “cura milagrosa”, “los doctores no quieren que lo sepas” o “100% garantizado”.

– Afirmaciones que no tienen respaldo científico, o que se basan en estudios o fuentes de poca reputación.

– Llamado a la urgencia y presión para comprar en frases como “solo por tiempo limitado” o “pocas unidades disponibles”.

Si encontramos este tipo de contenidos, es vital no compartir o creer antes de verificar el origen o propósito de las afirmaciones de los videos. Además, y en el caso de identificar un contenido engañoso, debemos denunciar la publicación ante la red social que estemos usando.

Fuente: www.welivesecurity.com

Cómo diferenciar una fotografía o un vídeo real de una falsificación y rastrear su procedencia.

Durante los últimos 18 meses, más o menos, parece que hemos perdido la capacidad de confiar en nuestros ojos. Las falsificaciones de Photoshop no son nada nuevo, por supuesto, pero la llegada de la inteligencia artificial (IA) generativa ha llevado la falsificación a un nivel completamente nuevo. Quizás la primera falsificación de IA viral fue la imagen del Papa en 2023 con una chaqueta acolchada blanca de diseño, pero, desde entonces, el número de engaños visuales de alta calidad se ha disparado a muchos miles. Y, a medida que la IA se desarrolle aún más, podemos esperar más y más vídeos falsos convincentes en un futuro muy cercano.

Uno de los primeros deepfakes en hacerse viral en todo el mundo: el Papa luciendo una moderna chaqueta acolchada blanca.

Esto solo exacerbará el ya complicado problema de las noticias falsas y las imágenes que las acompañan. Pueden publicar una foto de un evento y afirmar que es de otro, poner a personas que nunca se han conocido en la misma fotografía, entre otras cosas.

La falsificación de imágenes y vídeos tiene una relación directa con la ciberseguridad. Los estafadores han estado utilizando imágenes y vídeos falsos para engañar a las víctimas y lograr que desembolsen su dinero durante años. Es posible que te envíen una fotografía de un cachorro triste que, según dicen, necesita ayuda, una imagen de una celebridad que promueve algunos planes sospechosos o, incluso, una fotografía de una tarjeta de crédito que dicen que pertenece a alguien que tú conoces. Los estafadores también utilizan imágenes generadas por IA para los perfiles falsos en sitios de citas y redes sociales.

Las estafas más sofisticadas hacen uso de vídeos y audios falsos del jefe de la víctima o de un familiar para que cumplan con las peticiones de los estafadores. Recientemente, un empleado de una institución financiera fue engañado para que transfiriera 25 millones de dólares a ciberdelincuentes. Habían pactado una videollamada con el “director financiero” y los “colegas” de la víctima, todos deepfakes.

Entonces, ¿qué se puede hacer para lidiar con los deepfakes o con las falsificaciones clásicas? ¿Cómo se pueden detectar? Este es un problema extremadamente complejo, pero que se puede mitigar paso a paso, rastreando la procedencia de la imagen.

Espera… ¿no lo había visto antes?

Como se mencionó anteriormente, existen diferentes tipos de “falsificaciones”. A veces, la imagen en sí no es falsa, pero se usa de manera engañosa. Tal vez una fotografía real de una zona de guerra se hace pasar como si fuera de otro conflicto, o una escena de una película se presenta como metraje documental. En estos casos, buscar anomalías en la imagen en sí no ayudará mucho, pero puedes intentar buscar copias de la fotografía en línea. Afortunadamente, tenemos herramientas como la búsqueda inversa de imágenes en Google y TinEye, que pueden ayudarnos a hacer precisamente eso.

Si tienes alguna duda sobre una imagen, simplemente cárgala en una de estas herramientas y mira los resultados. Es posible que descubras que la misma fotografía de una familia que se quedó sin hogar por el fuego, o un grupo de perros en un refugio, o las víctimas de alguna otra tragedia, ha estado circulando en línea durante años. Por cierto, cuando se trata de una recaudación de fondos falsa, hay algunas otras señales de alerta a tener en cuenta además de las imágenes en sí.

¿Perro de un refugio? No, de un stock de fotografías.

¿Se usó Photoshop? Pronto lo sabremos.

Dado que la edición en Photoshop existe desde hace un tiempo, los matemáticos, los ingenieros y los expertos en imágenes han estado trabajando durante mucho tiempo en formas para detectar imágenes alteradas automáticamente. Algunos métodos populares incluyen el análisis de metadatos de imágenes y el análisis de nivel de error (ELA), que comprueba si hay artefactos de compresión JPEG para identificar las partes modificadas de una imagen. Muchas herramientas de análisis de imágenes populares, como Fake Image Detector, aplican estas técnicas.

Fake Image Detector advierte que el Papa probablemente no usó esa campera el domingo de Pascuas… o nunca.

Con la aparición de la IA generativa, también hemos visto nuevos métodos basados en la IA para detectar el contenido generado, pero ninguno de ellos es perfecto. Estos son algunos de los desarrollos relevantes: detección de cambio de rostro, detección de imágenes generadas por IA y determinación del modelo de IA utilizado para generarlas, y un modelo de IA abierto para los mismos fines.

Con todos estos enfoques, el problema clave es que ninguno te da el 100 % de certeza sobre la procedencia de la imagen, garantiza que la imagen esté libre de modificaciones o permite verificar dichas modificaciones.

WWW al rescate: verificar la procedencia del contenido

¿No sería fantástico si los usuarios comunes pudieran comprobar si una imagen es real? Imagina hacer clic en una fotografía y ver algo como: “John tomó esta fotografía con un iPhone el 20 de marzo”, “Ann recortó los bordes y aumentó el brillo el 22 de marzo”, “Peter volvió a guardar esta imagen con alta compresión el 23 de marzo”, o ” No se realizaron cambios”, y todos estos datos serían imposibles de falsificar. Suena como un sueño, ¿cierto? Bueno, eso es exactamente lo que busca la Coalición para la Procedencia y Autenticidad del Contenido (C2PA). La C2PA incluye algunos de los principales actores de las industrias de la informática, la fotografía y los medios de comunicación: Canon, Nikon, Sony, Adobe, AWS, Microsoft, Google, Intel, BBC, Associated Press y alrededor de un centenar de otros miembros; básicamente todas las empresas que podrían haber estado involucradas individualmente en casi cualquier paso de la vida de una imagen, desde su creación hasta su publicación en línea.

El estándar de la C2PA desarrollado por esta coalición ya está disponible e incluso ha alcanzado la versión 1.3, y ahora estamos empezando a ver que las piezas del rompecabezas industrial necesarias para usarlo encajan en su lugar. Nikon planea fabricar cámaras compatibles con la C2PA, y la BBC ya ha publicado sus primeros artículos con imágenes verificadas.

La BBC habla sobre cómo se verifican las imágenes y los vídeos en sus artículos.

La idea es que, cuando los medios de comunicación responsables y las grandes empresas pasen a publicar imágenes en forma verificada, puedas comprobar la procedencia de cualquier imagen directamente en el navegador. Verás una pequeña etiqueta de “imagen verificada” y, cuando hagas clic en ella, aparecerá una ventana más grande que te mostrará qué imágenes sirvieron como origen y qué ediciones se realizaron en cada etapa antes de que la imagen apareciera en el navegador, quién las hizo y cuándo. Incluso podrás ver todas las versiones intermedias de la imagen.

Historia de la creación y edición de imágenes.

Este enfoque no es solo para cámaras; también puede funcionar para otras formas de crear imágenes. Servicios como Dall-E y Midjourney también pueden etiquetar sus creaciones.

Esto fue claramente creado en Adobe Photoshop.

El proceso de verificación se basa en una criptografía de clave pública similar a la protección utilizada en los certificados de servidor web para establecer una conexión HTTPS segura. La idea es que cada creador de imágenes, ya sea Joe Bloggs con un tipo particular de cámara o Angela Smith con una licencia de Photoshop, necesitará obtener un certificado X.509 de una autoridad de certificación de confianza. Este certificado se puede conectar directamente a la cámara en la fábrica, mientras que, para los productos de software, se puede emitir al momento de la activación. Al procesar imágenes con seguimiento de procedencia, cada nueva versión del archivo contendrá una gran cantidad de información adicional: la fecha, hora y ubicación de las ediciones, las miniaturas de las versiones original y editada, etc. Todo esto irá firmado digitalmente por el autor o editor de la imagen. De esta forma, un archivo de imagen verificado tendrá una cadena de todas sus versiones anteriores, cada una firmada por la persona que lo editó.

Este vídeo incluye contenido generado por IA.

Los autores de la especificación también se preocuparon por las funciones de privacidad. A veces, los periodistas no pueden revelar sus fuentes. Para situaciones como esa, hay un tipo especial de edición llamada “redacción”. Esto permite que alguien reemplace parte de la información sobre el creador de la imagen con ceros y luego firme ese cambio con su propio certificado.

Para mostrar las capacidades de la C2PA, se creó una colección de imágenes y vídeos de prueba. Puedes consultar el sitio web de Content Credentials para ver las credenciales, el historial de creación y el historial de edición de estas imágenes.

El sitio web de Content Credentials revela el origen completo de las imágenes de la C2PA.

Limitaciones naturales

Desafortunadamente, las firmas digitales para imágenes no resolverán el problema de las falsificaciones de la noche a la mañana. Después de todo, ya hay miles de millones de imágenes en línea que no han sido firmadas por nadie y que no van a ninguna parte. Sin embargo, a medida que más y más fuentes de información de renombre pasen a publicar solo imágenes firmadas, cualquier fotografía sin una firma digital comenzará a ser vista con sospecha. Las fotografías y los vídeos reales con marcas de tiempo y datos de ubicación serán casi imposibles de hacer pasar por otra cosa, y el contenido generado por IA será más fácil de detectar.

Fuente: latam.kaspersky.com

A medida que las deepfakes comienzan a ser más fáciles de crear y se hacen más difíciles de detectar para el ojo humano, ¿está el mundo preparado para el impacto que puedan tener?

Las deepfakes están comenzando a crearse con mayor facilidad y rapidez, y están abriendo una puerta a una nueva forma de delito cibernético. Aunque los videos falsos todavía se consideran como relativamente dañinos o incluso como graciosos, este fenómeno podría dar un giro más siniestro en el futuro y ser el centro de escándalos políticos, delitos cibernéticos o incluso escenarios inimaginables que involucran videos falsos, y no solo dirigidos a figuras públicas.

Se conoce como deepfake a la técnica de síntesis de imágenes humanas basada en inteligencia artificial que se utiliza para crear contenido falso, ya sea desde cero o usando un video existente con el objetivo de replicar la apariencia y el sonido de un humano real. Tales videos pueden parecer increíblemente reales y actualmente muchos de estos involucran a celebridades o figuras públicas que dicen algo escandaloso o falso.

Una reciente investigación muestra un gran aumento en la creación de videos que hacen uso de esta técnica, casi duplicándose el número de estos videos solo en los últimos nueve meses. Los deepfakes también están creciendo en calidad a un ritmo acelerado. Este video que muestra a Bill Hader transformándose sin esfuerzo entre Tom Cruise y Seth Rogan es solo un ejemplo de cuán auténticos se ven y suenan estos videos. Al buscar en YouTube el término ‘deepfake’, te darás cuenta de que estamos viendo la punta del iceberg de lo que está por venir.

De hecho, ya se han registrado casos en los que se utiliza esta tecnología para el fraude, donde, según los informes, se utilizó una voz falsa para estafar a un CEO con una gran suma de dinero. Se cree que el CEO de una firma británica no identificada pensó que estaba hablando por teléfono con el CEO de la empresa matriz alemana y fue convencido para transferir, de forma inmediatamente, € 220,000 (aproximadamente US$ 244,000) a la cuenta bancaria de un supuesto proveedor húngaro. Si fue tan fácil influir en alguien simplemente pidiendo que lo haga mediante una llamada telefónica, entonces seguramente necesitaremos una mejor seguridad para mitigar esta amenaza.

Engañando el ojo

También hemos visto aplicaciones que hacen que los deepnudes conviertan en segundos las fotos de cualquier persona vestida en una foto en topless. Si bien, afortunadamente, una aplicación en particular, DeepNude, fue dada de baja, ¿qué sucedería si la misma regresa bajo otra forma y es capaz de crear videos convincentemente de apariencia auténtica?

También hay evidencia de que la producción de estos videos se está convirtiendo en un negocio lucrativo, especialmente en la industria de la pornografía. La BBC dice que “el 96% de estos videos son de celebridades femeninas cuyas imágenes fueron utilizadas para crear videos sexuales sin su conocimiento o consentimiento”.

Un proyecto de ley reciente en California ha dado un salto de fe y ha hecho ilegal crear una deepfake pornográfica de alguien sin su consentimiento, multando al responsable con hasta $150,000. Pero es muy probable que ninguna legislación sea suficiente para disuadir a algunas personas de crear esta clase de videos.

Para estar seguros, un artículo de The Economist discute que para hacer una deepfake lo suficientemente convincente se necesitaría una gran cantidad de material en video y/o grabaciones de voz para hacer incluso una breve deepfake. Quería desesperadamente crear una deepfake de mí mismo, pero lamentablemente, al no contar con muchas horas de video, no pude hacer una deepfake de mi rostro.

Habiendo dicho eso, en un futuro no muy lejano, puede ser completamente posible que a partir de solo unas pocas “historias” de Instagram se pueda crear una deepfake convincente para la mayoría de los seguidores. Adicionalmente, las deepfakes también pueden ser utilizadas para hacer bullying en las escuelas, la oficina o incluso en otros terrenos.

Además, los ciberdelincuentes definitivamente utilizarán más esta tecnología para generar víctimas. Las deepfakes se están volviendo más fáciles de crear y se vuelven casi imposibles de detectar para el ojo humano. Como resultado, toda esa falsificación podría contaminar el agua que separa la realidad de la ficción, lo que a su vez podría llevarnos a no confiar en nada, incluso cuando se nos presenta algo que nuestros sentidos nos dicen que es real.

Enfrentando una amenaza muy real

Entonces, ¿qué se puede hacer para prepararnos ante esta amenaza? Primero, necesitamos educar mejor a las personas sobre la existencia de las deepfakes, cómo funcionan y el daño potencial que pueden causar. Todos tendremos que aprender a ser conscientes de que incluso los videos más realistas que vemos podrían tratarse de piezas fabricadas.

En segundo lugar, la tecnología necesita desesperadamente desarrollar una mejor detección de las deepfakes. Aunque el machine learning es una pieza central en la creación de estos contenidos falsos, deberá crearse algo que actúe como el antídoto capaz de detectarlos sin depender únicamente del ojo humano.

Finalmente, las plataformas sociales deben darse cuenta de que existe una amenaza importante y que puede tener un impacto muy grande, porque cuando se combina un video impactante con las redes sociales, el resultado suele ser una propagación muy rápida, lo cual podría tener un impacto negativo en la sociedad.

No me malinterpretes; disfruto enormemente el desarrollo de la tecnología y ver cómo se desarrolla frente a mis propios ojos. Sin embargo, debemos ser conscientes de cómo la tecnología a veces puede afectarnos negativamente, especialmente cuando el machine learning está madurando a un ritmo más rápido que nunca. De lo contrario, pronto veremos que las deepfakes se convertirán en la norma y esto tendrá efectos de largo alcance.

¿Cómo se hace un ‘deepfake’?

Fuente: www.welivesecurity.com