Alerta investigación por apps de IA para generar desnudos que operan como contenido para todas las edades

Las tecnológicas Apple y Google mantienen en sus tiendas decenas de aplicaciones que utilizan inteligencia artificial para generar desnudos, muchas de ellas clasificadas como aptas para todas las edades y potenciadas por sus propios sistemas de búsqueda y publicidad.

Una investigación del Tech Transparency Project (TTP) identificó que ambas plataformas han ofertado alrededor de 50 aplicaciones de este tipo cada una, pese a que sus políticas prohíben explícitamente contenido sexual o herramientas que “desnuden” a las personas.

El informe también documenta que basta con buscar términos como “nudify” o “undress” para encontrar estas aplicaciones, muchas de las cuales aparecen entre los primeros resultados o incluso son promovidas mediante anuncios. Entre los casos más relevantes, se encuentra el del chatbot Grok, vinculado a la red social X, que llegó a generar millones de imágenes sexualizadas antes de limitar sus funciones.

Crisis social: menores en el centro del riesgo

UNICEF advirtió que “el daño por deepfakes es real y urgente” y que los menores “no pueden esperar a que la ley los alcance”.

Un estudio internacional, realizado junto a INTERPOL y la red ECPAT, reveló que al menos 1.2 millones de menores han sido víctimas de manipulación de imágenes sexuales en el último año. En algunos países, esto equivale a uno de cada 25 niños, es decir, un caso potencial por salón de clases.

Estas herramientas permiten alterar fotografías reales para simular desnudos o contenido sexual, lo que no solo vulnera directamente a las víctimas, sino que también contribuye a normalizar formas de violencia digital. Además, organismos internacionales advierten que la inteligencia artificial ya se utiliza para prácticas como grooming, análisis de comportamiento infantil y extorsión sexual.

Datos del Childlight Global Child Safety Institute muestran que los casos de abuso infantil facilitado por tecnología en Estados Unidos pasaron de 4,700 en 2023 a más de 67,000 en 2024, reflejando una escalada acelerada del problema.

Casos concretos: del algoritmo al daño real

El impacto también se refleja en tribunales. En Estados Unidos, adolescentes presentaron una demanda contra xAI tras denunciar que su asistente de inteligencia artificial fue utilizado para generar imágenes sexuales falsas a partir de fotografías reales.

Las imágenes, que incluían rostros identificables y referencias escolares, fueron difundidas en plataformas digitales, provocando ansiedad, aislamiento y daño reputacional entre las víctimas.

El caso ha reactivado el debate sobre la responsabilidad de las empresas tecnológicas, que durante años se han amparado en marcos legales como la Section 230 para evitar sanciones por contenido generado por usuarios, pero que ahora enfrentan cuestionamientos por el diseño y funcionamiento de sus propias herramientas.

Vacíos legales y presión internacional

El crecimiento de estas aplicaciones ha evidenciado un desfase entre el avance tecnológico y la regulación. Aunque las plataformas prohíben este tipo de contenido, su persistencia exhibe fallas en los mecanismos de control y supervisión.

Organismos internacionales han comenzado a exigir cambios: ampliar las definiciones legales de abuso sexual infantil para incluir contenido generado con IA, criminalizar su producción y obligar a las plataformas a impedir su circulación desde el origen.

El tema ya escala a nivel político. Países como Australia han impulsado restricciones directas al acceso de menores a redes sociales, mientras que Reino Unido, Francia y Canadá avanzan en medidas similares enfocadas en verificación de edad, consentimiento parental y mayor responsabilidad de las plataformas. A esta tendencia se suman otros países como España, Alemania e Irlanda, así como marcos regionales como el de la Unión Europea, que buscan reforzar la protección de menores en entornos digitales y limitar los riesgos asociados al uso de redes sociales.

Además, agencias de la ONU advierten que muchas herramientas de inteligencia artificial no están diseñadas considerando la seguridad de los niños, lo que incrementa su vulnerabilidad en entornos digitales.

Incentivos económicos detrás de la expansión

A pesar de los riesgos, estas aplicaciones continúan creciendo impulsadas por su rentabilidad. En conjunto, han acumulado cientos de millones de descargas y generado más de 122 millones de dólares en ingresos, según estimaciones de la firma de análisis AppMagic citadas por el Tech Transparency Project.

El modelo de negocio de las tiendas digitales, basado en comisiones por descargas, suscripciones y publicidad, implica que las propias plataformas obtienen beneficios indirectos, lo que dificulta su eliminación efectiva.