La comunidad de expertos en Legaltech Observatorio Legal acaba de presentar su análisis y ranking donde evaluado 15 asistentes de inteligencia artificial, entre los que se encuentran algunos de los principales actores del mercado jurídico y tecnológico: Lexroom, Aranzadi Allegra, Vincent AI de vLex/Clio, Maite.ai, GenIA-L de Lefebvre o SOFIA de Tirant lo Blanch, junto a modelos generalistas de referencia mundial como Claude de Anthropic y ChatGPT de OpenAI, entre otros.
De esos datos se deduce que en esta ocasión Prudencia.ai, startup que dirigen Carlos Guerrero y Jaume Bosch encabeza esa clasificación con 90.6 puntos de media en su Índice de Fiabilidad Jurídica, frente a Lexroom, con un 89.7, Vicent AI llega a 88.8 y Claude Fable 5 a 88.5 en las primeras posiciones de un total de quince asistentes. .
Según los impulsores de esta iniciativa, este Índice de Fiabilidad Jurídica (0-100): agrega elementos como la fiabilidad de fuente, exactitud, vigencia, calibración, trazabilidad, cobertura y profundidad. No incluye precio ni velocidad. Cada columna lleva su peso en la cabecera: noventa puntos de profundidad y noventa de fiabilidad de fuente no valen lo mismo. La metodología explica qué categoría de la batería alimenta cada componente y qué se mide fuera del índice.
 |
||
|
Alex Dantart, abogado digital y CEO de Observatorio Legal, explica que “hemos medido el impacto de estos asistentes de IA y lo seguiremos haciendo en otras ocasiones” (Observatorio Legal) |
||
Para Alex Dantart, Ceo de Observatorio Legal, el trabajo se resume en cuatro meses midiendo quince asistentes legales de IA. Noventa preguntas, tres veces cada una, 4.050 ejecuciones. Y después, lo que casi nadie hace: 2.774 citas buscadas una a una en el CENDOJ y en el BOE, por dos personas que no veían el veredicto de la otra.
Este experto indica que realmente hemos creado un mapa del Legaltech en español que mide cosas muy distintas —adopción en los despachos, estado de los servicios judiciales, tiempos de los juzgados, publicación de jurisprudencia, gasto público, rendimiento de la IA jurídica— y cada bloque tiene su propia metodología y su propia publicación.
Para este experto, Los datos, en conjunto, dicen tres cosas. La primera es que el suelo y el techo están muy lejos. Las citas que directamente no existen van del 1,1% al 8,8% según el asistente. Diez puntos arriba o abajo en fiabilidad, dentro del mismo mercado y con el mismo cliente delante. Y hay un error más silencioso que la sentencia inventada: la que existe pero no sostiene lo que se le atribuye. Esa pasa todos los filtros de quien no va a la fuente, porque la cita parece impecable.
La segunda es que saber derecho y saber el derecho de hoy son cosas distintas. En las preguntas ancladas a reformas recientes, el rango va de 68 a 95 sobre 100. Un asistente puede dominar la materia y estar contestando con la redacción anterior, y el usuario no tiene forma de notarlo.
La tercera es que ni el tiempo ni el precio predicen nada. Entre 1,6 y 5,8 segundos hasta la primera respuesta, y hasta medio minuto para cerrarla, sin que esperar más traiga una respuesta mejor. En precio, la horquilla publicada va de menos de 8 euros al mes a 250, y la correlación con el índice sencillamente no aparece.
“Seis de quince proveedores, además, no publican tarifa comparable. Ahí decidimos no estimar nada: una cifra inventada por nosotros valdría lo mismo que una cita inventada por ellos.
Dantart añade una cuarta “ que es la que más me hace pensar. Un modelo generalista, sin ninguna especialización jurídica, se cuela en la parte alta de la tabla. Con sus carencias de vigencia, que las tiene y se ven. Pero ahí está”, comenta
A su juicio, diferencias de menos de cinco puntos no son concluyentes y así está publicado. No pido que nadie se crea el ranking: pido que lo discuta con los datos delante. “Lo que ya no se puede sostener es que esto no se podía medir y seguiremos midiéndolo en posteriores campañas”.
Carlos Guerrero,, aquí con su socio Jaume Bosch, señala que “en una evaluación independiente, con una metodología común y frente a 15 de las principales soluciones analizadas, Prudencia ha obtenido la puntuación más alta en fiabilidad jurídica” (Prudencia .ai)
Prudencia.ai, validar el trabajo bien hecho
Para Carlos Guerrero, CEO de Prudencia.ai destaca que “ocupar la primera posición del ranking de fiabilidad jurídica elaborado por Observatorio Legal es una noticia que hemos recibido con enorme satisfacción en todo el equipo. Pero, sobre todo, “la entendemos como una validación externa del trabajo que llevamos haciendo desde el primer día alrededor de una idea muy concreta: si queremos que la inteligencia artificial se integre de verdad en el trabajo de los profesionales del Derecho, la fiabilidad tiene que estar en el centro del producto”.
A su juicio, el resultado tiene todavía más valor cuando se analiza la dimensión del estudio y, especialmente, las herramientas con las que se ha comparado Prudencia. “Estamos hablando, por tanto, de una comparativa en la que conviven compañías con décadas de experiencia en información jurídica, plataformas especializadas en Legaltech y algunos de los gigantes tecnológicos que están liderando la evolución mundial de la inteligencia artificial.”, resalta
Que Prudencia haya obtenido la puntuación más alta entre todos ellos, con un Índice de Fiabilidad Jurídica de 90,6 sobre 100, supone para nosotros una enorme satisfacción y una validación muy importante del nivel de producto que estamos construyendo desde España.
“Además, no se trata de una comparativa basada en unas pocas preguntas. El benchmark comprende 90 ítems, 4.050 ejecuciones y la revisión individual de 2.774 citas jurídicas. Analiza aspectos como la fiabilidad de las fuentes, la exactitud jurídica, la vigencia, la calibración, la trazabilidad, la cobertura, la profundidad o la consistencia de las respuestas” indica
Un trabajo bien hecho
Guerrero recuerda que “cuando empezamos a construir Prudencia tuvimos claro que una IA jurídica no podía limitarse a responder de forma convincente. En Derecho, una respuesta puede estar extraordinariamente bien redactada y ser jurídicamente incorrecta. Una sentencia puede existir, pero no decir aquello que la IA le atribuye. Una norma puede ser real, pero haber sido modificada o derogada”.
Por eso hemos trabajado desde el principio para que Prudencia pueda fundamentar sus respuestas, trabajar con información jurídica actualizada, localizar jurisprudencia y normativa y facilitar al profesional la comprobación de las fuentes utilizadas.
Los resultados del benchmark reflejan parte de ese esfuerzo. Además del 90,6 en el índice global, Prudencia obtiene un 91,2 % en trazabilidad, un 90 % en vigencia y una tasa de alucinación del 2,6 %. Detrás de esos números hay muchísimo trabajo.
“Hay ingeniería, producto, datos y conocimiento jurídico. Hay una evolución constante de nuestra arquitectura de recuperación de información, ampliación de fuentes jurídicas, mejoras en la búsqueda de jurisprudencia, actualización normativa y mecanismos destinados a conseguir que el sistema seleccione mejor la información que necesita para responder” resalta
Muchas de esas mejoras son invisibles para el usuario, pero son precisamente las que determinan la calidad final de una IA jurídica.
Porque creemos que construir una buena IA jurídica es mucho más que conectar un gran modelo de lenguaje a una base de datos. El verdadero valor está en todo lo que se construye alrededor del modelo: las fuentes, el contexto, los sistemas de recuperación, la actualización de la información, la verificación, la experiencia de usuario y, cada vez más, los workflows específicos del profesional jurídico.
También queremos reconocer expresamente el trabajo de Observatorio Legal y de todo el equipo que ha participado en el benchmark.
El sector necesita evaluaciones independientes, metodologías transparentes y criterios objetivos que permitan comparar las herramientas más allá de las afirmaciones comerciales de cada compañía. La confianza en la inteligencia artificial jurídica no puede construirse únicamente sobre marketing. Tiene que poder medirse.
Y medir también significa reconocer los matices. El propio Observatorio Legal advierte de que diferencias inferiores a cinco puntos en el Índice de Fiabilidad Jurídica no son concluyentes. Por eso no interpretamos esta primera posición como una proclamación de que Prudencia sea infalible o vaya a ofrecer siempre una respuesta mejor que cualquier otra herramienta.
Ninguna inteligencia artificial es infalible.
Lo que sí podemos afirmar es que, en una evaluación independiente, con una metodología común y frente a 15 de las principales soluciones analizadas, Prudencia ha obtenido la puntuación más alta en fiabilidad jurídica. Y para nuestro equipo eso supone un reconocimiento enorme al trabajo realizado.
Nuestra visión es que la próxima evolución de la IA jurídica no consistirá únicamente en conseguir respuestas cada vez mejores. La IA empezará a integrarse en el propio entorno de trabajo del profesional, conectando investigación jurídica, jurisprudencia, normativa, documentos, conocimiento privado, expedientes y herramientas especializadas.
Es la dirección en la que estamos avanzando con Prudencia Nova.
Durante los últimos años hemos aprendido a preguntar a una inteligencia artificial. Ahora empieza la etapa de aprender a trabajar con ella.
Por eso estamos enormemente orgullosos de esta primera posición, pero también somos conscientes de la responsabilidad que supone. Estar por delante en este ranking de herramientas desarrolladas por referentes como Aranzadi, vLex, Lefebvre, Tirant, Lexroom, Maite, Anthropic u OpenAI eleva todavía más nuestro nivel de exigencia.
Desde el principio hemos defendido una convicción muy sencilla: en inteligencia artificial jurídica, innovar es importante, pero sin fiabilidad no hay confianza; y sin confianza no puede existir un verdadero uso profesional.
Carlos Guerrero constata que “este ranking nos confirma que vamos en la dirección correcta. Ahora toca seguir construyendo”, indica