Alfonso Peralta Gutierrez, magistrado experto en derecho digital. Según WIRED, el contenido explícito no consensuado creado por bots deepfake a través de Telegram ha aumentado exponencialmente. La revista señaló que actualmente hay al menos cincuenta bots activos que gestionan más de cuatro millones de solicitudes al mes en la plataforma de Telegram y se utilizan para atacar a miles de mujeres y niñas en todo el mundo[1]. Además, un análisis realizado por Wired destacó el rápido crecimiento de la pornografía deepfake no consensuada, con al menos 244.625 vídeos subidos a importantes webs de deepfake en los últimos siete años. Las subidas aumentaron considerablemente en 2023, con 113.000 vídeos publicados solo en los primeros nueve meses, superando a todos los años anteriores juntos[2]. Estos datos fueron de hace dos y tres años. [1] WIRED, «Millones de personas están usando bots abusivos de IA 'Nudify' en Telegram» 15 de octubre de 2024 [2] BURGESS, M. (16 de octubre de 2023). El porno deepfake está fuera de control. Conectado. 16 de octubre de 2023
 |
||
|
Imagen del magistrado Alfonso Peralta |
||
A partir de finales de diciembre, los usuarios de la plataforma de redes sociales inundaron la cuenta X del chatbot con peticiones para alterar fotos reales de mujeres y niños para quitarse la ropa, ponerlos en bikini y ponerlos en posiciones sexuales. Según The New York Times y el Center for Countering Digital Hate, en solo nueve días Grok publicó más de 4,4 millones de imágenes.
Una reseña de The Times estimó de forma conservadora que al menos el 41 por ciento de las publicaciones, o 1,8 millones, probablemente contenían imágenes sexualizadas de mujeres. Un análisis más amplio del Center for Countering Digital Hate, utilizando un modelo estadístico, estimó que el 65 por ciento, o algo más de tres millones, contenían imágenes sexualizadas de hombres, mujeres o niños[1].
En España, el "Caso Almendrajajo" saltó a los medios. Los menores usaban una aplicación de IA generativa accesible a través de un canal de Telegram para crear imágenes sexuales sintéticas "desnudando" digitalmente fotografías de chicas tomadas de redes sociales. El eslogan de la app deja claro su propósito: "Desnuda a las chicas gratis". Su funcionamiento es sencillo: el único requisito es que la persona aparezca sola en la imagen y no lleve ropa de abrigo. Los rostros de las víctimas se superpusieron a cuerpos desnudos y las imágenes manipuladas se compartieron posteriormente en grupos de WhatsApp.
Quince menores fueron declarados responsables en un fallo acordado de veinte delitos de pornografía infantil y veinte delitos contra la integridad moral. Cada uno recibió una libertad condicional de un año por manipular con inteligencia artificial y difundir imágenes de menores para que aparentaran desnudos. Uno de los problemas de este caso fue que, según la legislación y jurisprudencia españolas (STS n.º 1342/2003, de 20 de octubre), considere que la imagen de un desnudo – ya sea menor o adulto, masculino o femenino – no puede considerarse objetivamente material pornográfico. La app y Telegram no fueron condenados.
En cuanto a la responsabilidad de los prestadores, no serán responsables por la mera transmisión, acceso, alojamiento o almacenamiento de la información. La principal causa de exención de responsabilidad será que “actúe con prontitud para retirar la información que haya almacenado, o bloquear el acceso a ella, en cuanto tenga conocimiento efectivo” de que debe retirarla o bloquearla (ap. e) del art. 5º). Los elementos para exigir o exonerar de responsabilidad serán entonces tener conocimiento efectivo y actuar con prontitud en tal caso.
Así, la ley europea viene a ser coincidente con la legislación española que a su vez es trasposición de la europea. (Artículo 16, relativo a responsabilidad de los prestadores de servicios de alojamiento o almacenamiento de datos y Artículo 17 de la responsabilidad de los prestadores de servicios que faciliten enlaces a contenidos o instrumentos de búsqueda de la Ley 34/2002, de 11 de julio, de servicios de la sociedad de la información y de comercio electrónico. Estos artículos son trasposición de Artículo 14 de la Directiva 2000/31/CE del Parlamento Europeo y del Consejo, de 8 de junio de 2000, relativa a determinados aspectos jurídicos de los servicios de la sociedad de la información, en particular el comercio electrónico en el mercado interior (Directiva sobre el comercio electrónico).
Normativa europea traspuesta al Código Penal
De igual manera, la DIRECTIVA 2011/93/UE DEL PARLAMENTO EUROPEO Y DEL CONSEJO de 13 de diciembre de 2011 relativa a la lucha contra los abusos sexuales y la explotación sexual de los menores y la pornografía infantil y por la que se sustituye la Decisión marco 2004/68/JAI del Consejo en su Art. 25 1 los Estados miembros adoptarán las medidas necesarias para garantizar la rápida retirada de las páginas web de Internet que contengan o difundan pornografía infantil que se encuentren en su territorio y procurarán obtener la retirada de las páginas de esa índole que se encuentren fuera de su territorio así como para bloquear el acceso a las páginas web de Internet que contengan o difundan pornografía infantil a los usuarios de Internet en su territorio. Articulo traspuesto en nuestro articulo 189 bis del Codigo Penal.
Lo curioso es que la normativa americana viene a regular exactamente lo mismo. El 19 de mayo de 2025, la "Ley de Herramientas para Abordar la Explotación Conocida mediante la Inmovilización de Deepfakes Tecnológicos en Sitios Web y Redes, o la Ley TAKE It Down"[2] se convirtió en ley estadounidense. Este proyecto de ley generalmente prohíbe la publicación en línea no consensuada de representaciones visuales íntimas de individuos, tanto auténticas como generadas por ordenador, y exige que ciertas plataformas en línea eliminen rápidamente dichas representaciones al recibir la notificación de su existencia. Los infractores están sujetos a restitución obligatoria y sanciones penales, incluyendo prisión, multa, o ambas cosas.
Pero es mas, en Estados Unidos existe la Sección 230 es una parte del Título 47 del Código de los Estados Unidos, implementada como parte de la Ley de Decencia en las Comunicaciones de 1996, que constituye el Título V de la Ley de Telecomunicaciones de 1996.
Una ley que surgió en los años 90 y que ya exigía lo mismo que la DSA o la Directiva europea del año 2000, la protección del "buen samaritano" contra la responsabilidad civil para los operadores de servicios informáticos interactivos que eliminen o moderen de buena fe material de terceros que consideren "obsceno, lujurioso, lascivo, sucio, excesivamente violento, acosador, o de otro modo objetable, sin importar si dicho material está o no protegido constitucionalmente".
De la misma forma, la jurisprudencia europea igualmente exime de responsabilidad en ausencia de conocimiento efectivo y una vez adquiera conocimiento, actúen con diligencia para retirar los datos o hacer imposible el acceso a ellos. El propio artículo realiza una interpretación auténtica del concepto de conocimiento efectivo, que se entenderá como tal cuando un órgano competente haya declarado la ilicitud de los datos, ordenado su retirada o que se imposibilite el acceso a los mismos, o se hubiera declarado la existencia de la lesión, y el prestador conociera la correspondiente resolución, sin perjuicio de los procedimientos de detección y retirada de contenidos que los prestadores apliquen en virtud de acuerdos voluntarios y de otros medios de conocimiento efectivo que pudieran establecerse.
Para la mitigación de riesgos o reparación del daño, podrá ayudar cuando de buena fe y de modo diligente, los prestadores inicien investigaciones por iniciativa propia de forma voluntaria, o adopten medidas con el fin de detectar, identificar y retirar contenidos ilícitos, o bloquear el acceso a estos.
El TJUE los ha interpretado en algunas sentencias, entre otras de 12 de julio de 2011 C‑324/09, L’Oréal SA o de 23 de marzo de 2010 23 de marzo de 2010 asuntos acumulados C-236/08 a C-238/08 entre Google France SARL, Google Inc. Y Louis Vuitton Malletier SA, que para el conocimiento efectivo bastará con que el prestatario adquiera conocimiento, de una forma o de otra, como consecuencia de una investigación realizada por su propia iniciativa o que le sea notificada.
Sentencia TJUE importante
Respecto a Estrasburgo, debemos recordar la sentencia Delfi As v Estonia GRAND CHAMBER CASE OF DELFI AS v. ESTONIA (Application no. 64569/09) 16 June 2015, en la que considera que la compañía ejercía un control substancial sobre los comentarios, pero dado que se permitía la intervención de usuarios no registrados, existía una cierta responsabilidad de los proveedores debiendo además existir un especial deber de cautela, pues debería haber previsto comentarios ofensivos y, en consecuencia, haber ejercido un plus adicional de precaución para evitar los daños a la reputación de los afectados. Además, si bien reconoce la utilidad del anonimato en la red, no obstante, llama a la precaución sobre ello y considera que, si bien la empresa no fue completamente negligente, no obstante, el sistema de moderación de contenidos podía ser insuficiente en cuanto a su diseño pues se difundieron gran cantidad de comentarios difamatorios que estuvieron accesibles durante semanas.
En resumen, aunque Delfi sí contaba con medidas de filtrado de comentarios, éstos demostraron ser insuficientes tanto en un plano previo (detección de palabras inapropiadas) como posterior (posibilidad de denunciar como contenido inapropiado) pues se tardaron 6 semanas en proceder a su efectiva retirada. En caso de no haber mediado dicha tardanza, el Tribunal considera que no habría conflicto.
Otro de los casos que siguió al de Delfi fue Wegrzynowski and Smolczewski v. Poland 33846/07, FINAL 16/10/2013 o Magyar Tartalomszolgáltatók Egyesülete and Index.hu Zrt v. Hungary Final 02/05/2016 application (no. 22947/13).
En la jurisprudencia española cabe recordar las sentencia ya añejas de los casos “putasgae.com”[3], “quejasonline.com”[4] o “alasbarricadas.org[5]” según las cuales se considera que no basta el conocimiento efectivo cuando un órgano judicial lo declare como tal, sino que basta con que existan otros medios de conocimiento efectivo, aunque sea mediatamente o por inferencias lógicas […]”. Y es que parece que lo habíamos avanzado en moderación de contenidos online y responsabilidad de las plataformas desde los años 2000, 25 años después está volviendo a surgir. Otros casos similares muy conocidos en su momento son caso “merodeando.com”[6], el caso “meristation”[7] o el caso “Ramoncín”[8]. Otro caso fue el de la Sentencia del Tribunal Supremo de 5 de mayo de 2016[9]. Mas reciente la sentencia del TC 3/2023, de 4 de julio de 2023, recurso de amparo 4913-2020.
En definitiva, la normativa europea de la Ley de Servicios Digitales viene a continuar lo dispuesto en la Directiva 2000/31/CE y la jurisprudencia tanto de Bruselas como de Estrasburgo, que a su vez es coincidente con la normativa americana.
Mientras los usuarios de X y las celebridades expresaban su indignación por la proliferación de pornografía no consensuada generada por IA en la plataforma, el CTO de X, Elon Musk, pareció hacer una broma sobre la controversia, respondiendo a una imagen generada por IA de un cohete SpaceX en bikini con "Bastante sexy, no voy a mentir [sic]".
Kind hot ngl https://t.co/Xbo4MEVZeF
— Elon Musk (@elonmusk) January 1, 2026
También le pidió a Grok que se retratara en bikini.
Después de esto, juzguen ustedes mismos. Que los tribunales ya tendrán tiempo de juzgar.
[1] CONGER, K., FREEDMAN, D., & THOMPSON, S. A. (2024). La avalancha de chatbots de Musk... Con millones de imágenes sexualizadas en días, según muestran nuevas estimaciones. The New York Times. Disponible en: https://www.nytimes.com/2026/01/22/technology/grok-x-ai-elon-musk-deepfakes.html
[3] Caso “ putasgae ” STS 7684/2009 ECLI: ES:TS:2009:7684; Sección: 1, Fecha: 09/12/2009,
[4] Caso quejasonline.com, Roj: STS 559/2011 - ECLI:ES:TS:2011:559, Sección: 1, Ponente: JUAN ANTONIO XIOL RIOS
[5] Sentencia del Tribunal Supremo del 10 de febrero de 2011 del caso “alasbarricadas.org”. Roj: STS 559/2011 - ECLI:ES:TS:2011:559; Ponente: JUAN ANTONIO XIOL RIOS
[6] Roj: SAP Madrid 2467/2011 - ECLI:ES:APM:2011:2467; Sección: 11; Fecha de Resolución: 31/03/2011; Ponente: MARIA JOSE ALFARO HOYS
[7] Conocimiento efectivo desde emplazamiento de la demanda. Roj: STS 68/2014 - ECLI:ES:TS:2014:68, Tribunal Supremo. Sala de lo Civil, Sección: 1, Nº de Recurso: 340/2011, Nº de Resolución: 805/2013, Fecha de Resolución: 07/01/2014, Ponente: JOSE RAMON FERRANDIZ GABRIEL
[8] Según el cual no se puede alegar desconocimiento tras un fax recibido, en el que se advertía con claridad la existencia de comunicaciones lesivas del derecho al honor y se reclamaba su retirada. Así, el Tribunal Supremo estima que la entidad demandada debió extremar las precauciones y ejercer un mayor control sobre las opiniones y comentarios alojados, cuyas connotaciones despectivas y peyorativas para el demandante no podían pasarle inadvertidas, pese a que del contenido del burofax no se desprendiera qué comentarios eran los que se consideraban ofensivos e incitadores violencia y procurar de este modo la pronta retirada de aquellos. Por ello Alto Tribunal español concluye que la entidad demandada incumplió el deber de diligencia. Roj: STS 1441/2013 - ECLI:ES:TS:2013:1441; Sección: 1; Nº de Recurso: 1500/2011; Nº de Resolución: 128/2013; Fecha de Resolución: 26/02/2013; Ponente: JUAN ANTONIO XIOL RIOS.
[9] Donde se reprocha que ciertas descalificaciones excederían del ámbito de confrontación entre partidos políticos en la proximidad de unas elecciones, pues se están imputando en un foro al demandante actitudes delictivas. Según la Audiencia, se habría rebasado ampliamente el tono de una crítica desabrida o molesta, para caer en la descalificación más vejatoria y por consiguiente incurrieron en responsabilidad al no vigilar adecuadamente los comentarios vertidos en ella, máxime cuando existía un moderador en el foro que, por el contrario, sí impidió el acceso de mensajes que desmentían los ofensivos, lo que suponía el conocimiento efectivo de tales mensajes ofensivos, cuya ilicitud era patente, sin necesidad de una resolución judicial que así lo declarara. La página web contaba con sistemas de control, detección o moderación de su contenido, hasta el punto de que comentarios favorables al demandante fueron censurados, mientras que permanecieron publicados los que resultaban ofensivos. Por tanto, tales controles no funcionaron adecuadamente sin necesidad para la ilicitud de la conducta de la demandada de que ninguna resolución judicial declare la ilicitud de las expresiones publicadas. STS 1885/2016 - ECLI:ES:TS:2016:1885; Id Cendoj: 28079110012016100274 Sala de lo Civil, Sección: 1; Nº de Recurso: 1261/2015; Nº de Resolución: 297/2016, Ponente: RAFAEL SARAZA JIMENA.