JUC


Para esta jurista “ la supervisión humana es una garantía frente al poder algorítmico. No se trata simplemente de mantener a un humano en el circuito. Se trata de garantizar que el humano conserva el control”

María Luisa García Torres, Dra. en Derecho Procesal

Jefe de estudios del área de Derecho Facultad Business & Tech

 

En artículos anteriores he abordado distintos aspectos de la gobernanza de la Inteligencia Artificial -en adelante, IA-: la gobernanza integrada, la figura del AI Officer, la distribución de responsabilidades, la organización del departamento de IA y, más recientemente, el inventario de sistemas.

Una vez que la empresa sabe qué IA utiliza y quién responde de cada uso, aparece una cuestión más compleja: ¿qué significa realmente supervisar un sistema de IA? No basta con escribir en un procedimiento que existe un human in the loop, ni con dejar constancia de que una persona “validó” el resultado. La intervención humana no puede ser aparente: solo existe una supervisión real, cuando quien la ejerce comprende qué está supervisando, dispone de información suficiente y tiene capacidad efectiva para cuestionar, corregir, detener o escalar la actuación del sistema.

Supervisar no es estar presente

La presencia humana no equivale a supervisión humana. Puede existir una persona formalmente situada al final del proceso y, sin embargo, producirse una dependencia casi automática del resultado generado por la IA. El riesgo es especialmente relevante cuando el sistema ofrece puntuaciones, clasificaciones o recomendaciones que transmiten una apariencia de precisión y objetividad técnica y favorecen una aceptación acrítica del resultado.

El Reglamento (UE) 2024/1689 -en adelante, RIA- identifica expresamente este problema. Su art. 14 exige que los sistemas de IA de alto riesgo estén diseñados de forma que puedan ser supervisados eficazmente por personas físicas. La finalidad es prevenir o minimizar riesgos para la salud, la seguridad y los derechos fundamentales, tanto cuando el sistema se utiliza conforme a su finalidad prevista, como cuando se produce un uso indebido razonablemente previsible, especialmente si esos riesgos subsisten pese a las restantes medidas de control.

Para que la supervisión sea efectiva, quien la ejerce debe poder comprender las capacidades y limitaciones del sistema, detectar anomalías, interpretar correctamente sus resultados y permanecer alerta frente al denominado sesgo de automatización.

Desde la perspectiva empresarial, no basta con prever formalmente una intervención humana; es necesario garantizar que quien supervisa disponga de facultades efectivas para modificar, corregir o detener el curso de la decisión cuando resulte necesario.

Diseño del sistema y organización de la empresa

El RIA sitúa la supervisión humana en dos planos. El art. 14 actúa sobre el diseño del sistema: el proveedor debe hacerlo de forma que permita una supervisión humana efectiva. El art. 26.2, por su parte, obliga al responsable del despliegue a encomendarla a personas físicas con competencia, formación y autoridad necesarias, así como con apoyo suficiente.

La distinción es esencial: el proveedor debe hacer técnicamente posible la supervisión; la organización que utiliza el sistema debe hacerla organizativamente real.

Debe tenerse en cuenta, además, el calendario de aplicación. El Reglamento (UE) 2026/1744, de 8 de julio de 2026, que modifica el RIA, ha diferido la aplicación de las secciones 1, 2 y 3 de su Capítulo III. Estas obligaciones serán exigibles desde el 2 de diciembre de 2027 para los sistemas de alto riesgo del art. 6.2 y anexo III y desde el 2 de agosto de 2028 para los del art. 6.1 y anexo I. Este aplazamiento no resta relevancia a la necesidad de diseñar desde ahora mecanismos de supervisión humana efectivos.

Quién supervisa y con qué autoridad

Los conceptos del art. 26.2 deben leerse conjuntamente. La competencia exige conocer el proceso sobre el que actúa la IA; la formación, comprender las capacidades y limitaciones del sistema; la autoridad, poder apartarse de su resultado, solicitar una revisión, impedir determinados efectos o escalar la cuestión; y el apoyo, disponer de información, herramientas, tiempo y canales organizativos suficientes.

La supervisión no debería atribuirse automáticamente al AI Officer, al DPO, a Compliance o a Tecnología. En muchos casos, deberá recaer en personas próximas al proceso de negocio y con conocimiento suficiente de la materia. Pero esa proximidad no puede traducirse en pérdida de capacidad crítica. La supervisión efectiva exige simultáneamente proximidad al proceso y autonomía de criterio: conocer el contexto en el que opera la IA y disponer de libertad real para cuestionar su resultado, apartarse de él o exigir una revisión.

Las funciones especializadas establecerán controles desde sus ámbitos; el AI Officer coordinará el modelo y; la matriz funcional deberá determinar quién supervisa, qué facultades tiene y cuándo debe escalarse la cuestión.

El Comité de IA puede ocupar un segundo nivel: resolver situaciones que excedan la capacidad del supervisor, valorar conflictos entre funciones y, conforme a sus competencias, decidir sobre excepciones, acordar medidas o elevar a la alta dirección la suspensión del sistema. Así, el supervisor controla el uso concreto; el Comité resuelve cuestiones transversales o escaladas y; la alta dirección conserva las decisiones de máximo nivel.

De la presencia humana a la capacidad real de actuación

El art. 14 es especialmente detallado a este respecto. La persona encargada de la supervisión debe poder, cuando resulte apropiado y de manera proporcionada, comprender las capacidades y limitaciones pertinentes del sistema y vigilar su funcionamiento; interpretar correctamente sus resultados; decidir no utilizarlo o descartar, invalidar o revertir sus resultados e; intervenir o interrumpir su funcionamiento mediante un mecanismo que permita detenerlo de forma segura. Además, debe ser consciente del posible sesgo de automatización, especialmente cuando la IA proporciona información o recomendaciones destinadas a apoyar una decisión humana.

La supervisión deja así de ser una presencia formal y se convierte en capacidad de actuación. La pregunta empresarial ya no es “¿hemos puesto una persona en el circuito?”, sino: ¿qué información ve?, ¿qué debe comprobar?, ¿puede rechazar el resultado?, ¿puede detener el proceso?, ¿a quién debe escalar una anomalía?

Estas cuestiones deberían quedar definidas antes de que el sistema entre en funcionamiento. La organización puede articularlas, cuando proceda, mediante un protocolo o plan de supervisión humana asociado al sistema o caso de uso, conectado con su ficha en el inventario y con la matriz funcional. Debe concretar las facultades del supervisor, los supuestos de intervención, las reglas de escalado y las evidencias que deben conservarse.

Supervisión, auditoría y evidencia

Supervisión y auditoría no cumplen la misma función. La supervisión opera durante el uso del sistema y debe permitir prevenir, corregir o detener una actuación antes de que produzca sus efectos. La auditoría, desde una posición de independencia, verifica periódicamente o con posterioridad si el sistema de gobernanza, los controles y las decisiones funcionan o han funcionado como debían.

Una organización que confía exclusivamente en controles retrospectivos corre el riesgo de convertir parte de su gobernanza en una actividad forense: podrá reconstruir por qué se produjo un problema, pero quizá no dispuso de mecanismos suficientes para detectarlo o detenerlo a tiempo.

La trazabilidad tampoco debería limitarse a registrar que “hubo intervención humana”. Debe permitir conocer, cuando resulte pertinente, qué información recibió quien supervisaba, qué resultado produjo el sistema, qué verificaciones realizó, qué decisión adoptó y qué incidencias o escalados se produjeron. No se trata de documentar cada clic, sino de conservar evidencias proporcionadas al riesgo y suficientes para acreditar que la intervención humana fue efectiva.

Incluso una tasa aparentemente perfecta de validación merece análisis. Si todas las recomendaciones del sistema son aceptadas sistemáticamente, la organización debería preguntarse si responde a su elevada fiabilidad o si la supervisión se está convirtiendo en mera ratificación. La supervisión humana no puede transformarse en el acto mecánico de pulsar “aceptar”.

IA agéntica: supervisar el itinerario, no solo el resultado

El problema adquiere otra dimensión con la IA agéntica. Cuando un sistema puede ejecutar tareas sucesivas, buscar fuentes, activar herramientas, interactuar con otros sistemas, acceder a recursos o desencadenar efectos operativos, la supervisión no puede concentrarse únicamente en el resultado final.

Debe extenderse a las condiciones bajo las que actúa el agente: instrucciones, objetivos, herramientas, fuentes, permisos y acciones que puede ejecutar autónomamente o que requieren autorización humana. También deben definirse los límites que no puede superar, cuándo debe detenerse o solicitar intervención y en qué puntos debe existir capacidad real de interrupción.

Cuanta mayor autonomía operativa se conceda al sistema, más importante será diseñar puntos de control humano y mecanismos que permitan reconstruir el itinerario seguido: qué instrucciones recibió, qué decisiones intermedias adoptó, qué herramientas utilizó, qué acciones ejecutó y cuándo pudo intervenir una persona.

Conclusión: supervisar es garantizar

La supervisión humana forma parte de la gobernanza de la IA, pero su sentido último va más allá de la organización interna de una empresa. Es una garantía para las personas cuyos derechos y libertades pueden verse afectados por decisiones en las que interviene un sistema de IA. No es casual que el RIA refuerce la supervisión en los sistemas de alto riesgo: se trata de usos capaces de incidir intensamente en ámbitos esenciales de la vida de las personas.

Cuando la IA interviene en la selección para un empleo, en el acceso a determinados servicios, en decisiones educativas o en otros procesos que pueden condicionar significativamente las oportunidades de una persona, detrás de una puntuación, clasificación o recomendación existe alguien que puede sufrir sus consecuencias. La intervención humana solo constituye una garantía si permite comprender, cuestionar, corregir, apartarse del resultado y, cuando sea necesario, detener el proceso.

La supervisión es también una cuestión ética. Incorporar IA a la toma de decisiones no puede significar transferir progresivamente a los sistemas algorítmicos una capacidad de decisión sobre las personas que vacíe de contenido el juicio humano. Si queremos que la IA permanezca al servicio de la persona, el control humano debe conservarse allí donde están en juego derechos, libertades y decisiones relevantes.

Por eso no basta una supervisión formal. Debe ser real: exige conocimiento, autonomía de criterio, información suficiente y autoridad efectiva para intervenir.

En definitiva, la supervisión humana es una garantía frente al poder algorítmico. No se trata simplemente de mantener a un humano en el circuito. Se trata de garantizar que el humano conserva el control.