El 10 de abril de 2025 el Garante per la Protezione dei Dati Personali de Italia impuso una multa de 5.000.000 EUR a Luka Inc., una empresa estadounidense creadora del chatbot Replika por infracciones al Reglamento General de Protección de Datos (RGPD). El caso trasciende la sanción administrativa y puede tomarse como banco de pruebas de lo que Sheila Jasanoff conceptualiza como coproducción sociotécnica, donde derecho, tecnología y sociedad se entrelazan para redefinir las fronteras de lo humano, lo íntimo y lo regulable. Replika no es solo un chatbot basado en un gran modelo de lenguaje (LLM). Su génesis narrativa revela la profundidad del fenómeno coproductivo que Jasanoff describe: fue creado en 2016 por Yevgenia Kuyda que, devastada por la muerte de su amigo Roman Mazurenko, decidió traspasar la barrera ontológica entre vida y muerte mediante la tecnología, creando un software basado en las conversaciones recopiladas con su amigo fallecido. Esta biografía tecnológica ilustra cómo los imaginarios sociotécnicos que Jasanoff y Sang-Hyun Kim teorizan no emergen en el vacío, sino desde experiencias profundamente humanas que buscan reconfigurar los límites de la pérdida, el duelo y la compañía.
El software evolucionó hasta convertirse en una plataforma que "está diseñada específicamente para ser su amigo, socio e incluso amante virtual", utilizando aprendizaje automático para simular conversaciones humanas con el objetivo de ofrecer compañía, seguimiento del estado de ánimo, apoyo en momentos de ansiedad e incluso ser un alter romántico. Esta funcionalidad revela una nueva configuración de la intimidad, donde los límites entre lo humano y lo artificial se desdibujan en espacios antes exclusivamente reservados a las relaciones interpersonales. El Garante no actuó en el vacío normativo: las preocupaciones sociales expresadas en medios italianos sobre los riesgos del chatbot desencadenaron una investigación de oficio que reveló la inadecuación del marco jurídico existente para abordar esta nueva realidad sociotécnica.
La decisión inicial del 2 de febrero de 2023, que ordenaba limitar el uso de datos personales en Italia, seguida de su modificación para permitir el uso bajo ciertas condiciones correctivas ilustra los "constitutional moments" en la coproducción: momentos donde las instituciones jurídicas deben rearticularse para acomodar nuevas realidades tecnológicas. Sin embargo, el posterior incumplimiento de Replika y la multa definitiva de 5 millones de euros revelan las tensiones inherentes en este proceso coproductivo. La sanción no se fundamentó en una única infracción, sino en una serie de violaciones críticas del RGPD que revelan la complejidad de regular estas nuevas formas de intimidad artificial:
Tratamiento ilícito de datos sensibles: Replika procesa datos íntimos sobre el estado de ánimo, la salud mental y las preferencias afectivas de sus usuarios. El Garante determinó que Luka Inc. carecía de una base jurídica válida para dicho tratamiento, violando la exigencia legal de un consentimiento explícito e informado para el manejo de categorías especiales de datos.
Falta de transparencia: La información proporcionada a los usuarios era opaca e insuficiente. No se explicaba con claridad cómo se utilizaban sus conversaciones para entrenar al algoritmo, un incumplimiento directo del derecho a la información.
Vulnerabilidad de los menores: La autoridad señaló la ausencia de un mecanismo eficaz de verificación de edad, exponiendo a menores de edad a conversaciones potencialmente inapropiadas y al tratamiento de sus datos sin el consentimiento parental requerido.
Así las cosas, el análisis del caso Replika revela que estamos ante la emergencia de nuevas categorías jurídicas que trascienden el marco tradicional de protección de datos personales. La preocupación central del Garante por la verificación de edad para menores no responde únicamente a consideraciones de privacidad, sino a una intuición jurídica más profunda sobre la vulnerabilidad específica que representan las relaciones emocionales artificiales para sujetos en formación. Esto configura un "derecho emergente de la intimidad artificial": un corpus normativo que debe regular no solo el procesamiento de datos, sino la construcción misma de vínculos afectivos mediados tecnológicamente. El derecho se ve forzado a conceptualizar nuevas formas de daño que no existían en el marco regulatorio tradicional: el daño por dependencia emocional artificial, la manipulación algorítmica de la afectividad y la cosificación de la intimidad.
De la ficción a la regulación: Los imaginarios sociotécnicos materializados
En 1976, Isaac Asimov recreó una relación romántica entre el robot Andrew y la humana Portia en su libro "El Hombre Bicentenario". Casi cinco décadas despues no podemos decir que es una situación imaginaria y representa una materialización de imaginarios sociotécnicos: narrativas que inicialmente pertenecen al ámbito de la especulación cultural pero que gradualmente se sedimentan en expectativas sociales y en marcos normativos. El caso Replika demuestra cómo estos imaginarios, previamente confinados a la ciencia ficción (Her, 2013; Holo mi amor, 2020) ahora requieren respuestas jurídicas concretas. Replika encarna un imaginario poderoso y seductor: la idea de que la tecnología puede erradicar la creciente soledad que experimentamos en el mundo de hoy y ofrecer una compañía siempre disponible y libre de conflictos humanos. Este imaginario materializado es hoy una fuerza que impulsa modelos de negocio multimillonarios y moldea políticas públicas.
Por lo tanto, el derecho debe evolucionar desde una lógica reactiva hacia una lógica anticipatoria que reconozca la coproducción continua entre imaginarios tecnológicos y realidades sociales. La pregunta ya no es si debemos regular estas tecnologías, sino cómo hacerlo desde una comprensión profunda de los futuros que promueven. La Ley de Inteligencia Artificial de la UE, recientemente aprobada, marca un giro hacia una regulación proactiva, clasificando sistemas como Replika como de "alto riesgo", lo que implica estrictas exigencias de transparencia, supervisión humana y robustez. Además, se abre un debate sobre la responsabilidad civil y del consumidor, cuestionando si estos sistemas deben considerarse productos defectuosos o servicios con publicidad potencialmente engañosa. Y exige políticas públicas integrales que aborden tanto el potencial terapéutico como los riesgos emocionales de la interacción humano-IA. El caso Replika nos desafía a anticipar transformaciones sociotécnicas antes de que sus consecuencias sean irreversibles y nos invita a regular desde imaginarios sociotécnicos emergentes, marcos tecnológicamente informados, éticamente robustos y socialmente conscientes. Este es el comienzo de una transformación jurídica que apenas comprendemos.