Modelos algorítmicos como evaluadores en exámenes de derecho

I. Una pregunta provocadora en el corazón de la enseñanza jurídica

Un reciente estudio dirigido por el profesor Eric Posner, catedrático de la Facultad de Derecho de la Universidad de Chicago, ha puesto sobre la mesa una cuestión que hasta hace poco pertenecía al terreno de la especulación: ¿puede la inteligencia artificial calificar los exámenes de derecho tan bien como un profesor? La pregunta es provocadora porque afecta al núcleo mismo de la función docente y porque, en el ámbito jurídico, la corrección de un examen no es un mero trámite administrativo, sino un acto de juicio que moviliza criterios de pertinencia, precisión, estructura argumental y conocimiento sustantivo. Si una máquina puede replicar ese juicio con un grado de coincidencia comparable al que se da entre dos evaluadores humanos, algo relevante se revela no solo sobre la máquina, sino también sobre la naturaleza de la evaluación.

El experimento inicial que desencadenó la investigación fue tan sencillo como revelador. Posner corrigió un examen de Contratos, liberó las calificaciones a los estudiantes y, meses después, sometió las mismas pruebas a un modelo de lenguaje de gran escala sin proporcionarle instrucciones detalladas. La correlación entre las notas que él había puesto y las que generó ChatGPT resultó sorprendentemente alta. Aquel hallazgo le llevó a formar un equipo de cinco profesores de distintas facultades de derecho y disciplinas para realizar un estudio más sistemático, utilizando exámenes finales de cuatro asignaturas troncales —Procedimiento Civil, Contratos, Responsabilidad Extracontractual y Derecho de Sociedades— y comparando los resultados de la corrección humana con los de la inteligencia artificial en diversos escenarios: con y sin rúbricas detalladas, con distintas instrucciones y en diferentes contextos de evaluación.

II. La calificación humana como estándar imperfecto

Una de las contribuciones más relevantes del estudio consiste en replantear la noción misma de precisión en la corrección de exámenes. El sentido común académico tiende a tratar la calificación del profesor como el patrón oro, la medida exacta de la calidad de una respuesta. Pero Posner sostiene que no existe una nota objetiva, sino una distribución de calificaciones razonables para cada examen. El evaluador humano, por muy experimentado que sea, está sometido a efectos cognitivos bien documentados: la fatiga, el arrastre de la nota anterior sobre la siguiente, la compresión de la escala hacia el centro, la deriva del criterio a medida que avanzan las horas. Cualquiera que haya corregido una pila de exámenes sabe que la primera prueba del bloque condiciona inevitablemente la segunda, y que la número cuarenta no se evalúa exactamente igual que la número cinco.

La inteligencia artificial, en cambio, no se cansa, no se aburre, no arrastra sesgos de arrastre y mantiene el mismo criterio del primero al último examen. El estudio demuestra que, cuando se le proporciona una rúbrica detallada, la coincidencia entre las calificaciones de la máquina y las del profesor se aproxima a la que se observa cuando un mismo docente vuelve a corregir sus propios exámenes después de un tiempo. Dicho de otro modo: la inteligencia artificial no es infalible, pero es al menos tan consistente como un profesor humano, y probablemente más.

Debe tenerse presente que esta constatación no desacredita la corrección humana, sino que la sitúa en sus justos términos. La calificación de un examen de derecho no es una medición exacta, sino una apreciación experta que inevitablemente incorpora un margen de subjetividad. Lo que el estudio sugiere es que la inteligencia artificial puede situarse dentro de ese mismo margen, no como un intruso, sino como un evaluador más cuyo criterio, debidamente supervisado, resulta comparable al de un jurista formado.

III. Sesgos, consistencia y legitimidad

El estudio aborda también una cuestión que preocupa desde hace tiempo a las facultades de derecho: el sesgo en la corrección. Aunque la mayoría de las escuelas utilizan sistemas de anonimización para reducir el riesgo de prejuicios basados en la identidad del estudiante, subsisten preocupaciones sobre la influencia del estilo de escritura, la estructura de la argumentación y otras señales sutiles que pueden condicionar al evaluador. La inteligencia artificial no está libre de sesgos —los incorpora, necesariamente, de los datos con los que ha sido entrenada—, pero tiene la ventaja de que esos sesgos pueden ser identificados, medidos y, eventualmente, corregidos mediante ajustes en el modelo o en las instrucciones de corrección. El sesgo humano, en cambio, es más difícil de aislar y de someter a escrutinio.

Posner sostiene que, lejos de agravar los problemas de legitimidad de las calificaciones, la inteligencia artificial podría contribuir a reducirlos. Si la máquina es más consistente y, por tanto, más predecible en la aplicación de los criterios de evaluación, las notas resultantes deberían ser percibidas como más justas. La legitimidad de una calificación no depende solo de su corrección intrínseca —que, como se ha visto, es difícil de establecer en términos absolutos—, sino también de la percepción de que ha sido otorgada mediante un procedimiento limpio, transparente y homogéneo. La inteligencia artificial, adecuadamente auditada, puede ofrecer esa homogeneidad.

Hay que reseñar que la correlación entre las calificaciones humanas y las algorítmicas es más alta cuando el profesor utiliza una rúbrica detallada. Este dato es significativo porque revela algo que los docentes quizá no han reflexionado lo suficiente: que la forma en que se corrige importa, y mucho. Una rúbrica precisa constriñe el juicio, reduce la variabilidad y acerca al evaluador humano al estándar de consistencia que la máquina alcanza de manera natural. Pero también limita la flexibilidad para valorar respuestas originales o creativas que se apartan del esquema previsto. La inteligencia artificial reproduce esta misma tensión: cuanto más estructurada es la rúbrica, más se aproxima al criterio del profesor, pero menos margen queda para apreciar lo inesperado.

IV. Un complemento, no un sustituto

A pesar de los resultados alentadores, Posner no cree que los profesores de derecho vayan a ser sustituidos por algoritmos en un futuro próximo. La inteligencia artificial, al menos en su estado actual, es un complemento, no un sustituto. Puede servir como control de calidad, señalando aquellos exámenes en los que la nota asignada por el profesor y la sugerida por la máquina divergen de manera significativa, lo que permitiría una segunda revisión humana en los casos dudosos. Puede ayudar a los docentes a detectar inconsistencias en su propio criterio y a calibrar sus expectativas. Puede, en fin, aliviar una parte de la carga cognitiva que representa la corrección masiva de exámenes, liberando tiempo para otras tareas que ninguna máquina puede desempeñar: la preparación de las clases, la tutoría de los estudiantes, la investigación.

La verdadera lección del estudio no es que la inteligencia artificial sea mejor que los profesores, sino que la corrección de exámenes es una tarea más estructurable de lo que se suele admitir. Si un modelo de lenguaje, entrenado con datos genéricos y sin conocimiento específico de la materia, puede aproximarse al criterio de un catedrático de derecho, ello indica que una parte significativa de lo que se evalúa en un examen responde a patrones identificables de razonamiento, estructura y contenido. Dicho de otro modo: la inteligencia artificial no es tan brillante, pero el examen de derecho no es tan insondable.

V. Las implicaciones más allá de las aulas

El estudio de Posner sugiere que las conclusiones alcanzadas en el ámbito de la evaluación académica podrían extenderse a otros dominios donde el juicio humano desempeña un papel central. La misma combinación de ambigüedad, criterio y necesidad de motivación que caracteriza la corrección de exámenes jurídicos se encuentra en la práctica judicial y en la emisión de dictámenes. Si la inteligencia artificial puede evaluar respuestas de estudiantes con una consistencia comparable a la de un profesor experimentado, ¿podría también asistir en la valoración de pruebas, en la calificación de escritos forenses o en la detección de líneas argumentales insuficientemente desarrolladas?

La pregunta no es retórica, pero conviene manejarla con la prudencia que exige el método jurídico. Una cosa es evaluar un examen de Contratos, donde las respuestas se mueven dentro de un campo dogmático relativamente acotado, y otra muy distinta es valorar la credibilidad de un testimonio o la aplicabilidad de un precedente a un caso inédito. La inteligencia artificial puede procesar patrones, pero no puede ponderar la intención, ni la equidad, ni las consecuencias sociales de una decisión. Y esas dimensiones son, precisamente, las que definen el razonamiento jurídico cuando abandona el terreno del ejercicio académico y se adentra en el de la práctica real.

VI. Reflexiones finales sobre la evaluación como espejo

El estudio dirigido por Eric Posner obliga a los juristas a mirarse en un espejo incómodo. Si una máquina puede calificar un examen de derecho con un grado de acierto comparable al de un profesor, ¿qué dice eso sobre la naturaleza de la evaluación? Dice, en primer lugar, que la corrección de exámenes no es un acto de iluminación inefable, sino una operación en buena medida pautada, que puede descomponerse en criterios, aplicarse con regularidad y ser replicada por un sistema entrenado. Dice, en segundo lugar, que la calidad de la corrección humana depende en gran medida de la explicitación de esos criterios, esto es, de la rúbrica que el profesor se da a sí mismo antes de empezar a corregir. Y dice, en tercer lugar, que la tecnología, lejos de amenazar la función docente, puede contribuir a mejorarla, siempre que se utilice con la modestia del complemento y no con la arrogancia del sustituto.

Las facultades de derecho, concluye Posner, harían bien en enseñar a sus estudiantes a utilizar la inteligencia artificial en la práctica jurídica, porque esa es ya una habilidad necesaria. Y los profesores harían bien en seguir investigando sobre sus implicaciones, porque la inteligencia artificial va a plantear preguntas que afectarán a todos los ámbitos del derecho. La evaluación de exámenes es solo la primera de ellas. Pero es una buena pregunta para empezar.