La forma práctica de evaluar una IA legal es aplicar un proceso en tres fases (cribado documental previo, validación en demo y piloto supervisado) y puntuar cada herramienta con un scorecard que incluya trazabilidad de fuentes, seguridad conforme al RGPD y métricas de precisión verificables. Si la herramienta no puede mostrar qué norma o sentencia concreta respalda cada respuesta, y no ofrece garantías contractuales sobre el tratamiento de datos, debe descartarse del proceso de selección antes de llegar a la demo.
El marco abierto de Legal Benchmarks formaliza este proceso en tres fases y define ocho criterios operativos: alineación estratégica, funcionalidad, robustez, seguridad, privacidad, riesgo del proveedor, soporte y coste total de propiedad. Ese marco, combinado con las orientaciones de la AEPD sobre inteligencia artificial y las obligaciones derivadas del Reglamento de IA de la UE, constituye la base metodológica que cualquier despacho en España debería aplicar antes de contratar una solución de IA jurídica.
Los criterios mínimos que toda evaluación debe verificar son:
- Trazabilidad verificable: la herramienta debe citar la norma, sentencia o resolución exacta que sustenta cada respuesta, con metadatos exportables.
- Garantías de tratamiento de datos: cláusula expresa de no entrenamiento con datos del cliente, ubicación del procesamiento en la UE y subprocesadores identificados.
- Robustez frente a alucinaciones: metodología documentada para reducir errores factuales, preferiblemente con arquitectura RAG anclada a corpus verificados.
- Integración y continuidad: APIs documentadas, SLAs con penalizaciones y plan de portabilidad de datos.
- Cumplimiento normativo: evidencia de medidas de seguridad técnicas y organizativas conforme al RGPD y la LOPDGDD, y alineación con la Instrucción 2/2026 del CGPJ para usos jurisdiccionales.
Consejo profesional: Si el proveedor no puede entregar documentación sobre su arquitectura de datos y sus políticas de retención antes de la demo, esa ausencia ya es una señal de alarma suficiente para excluirlo del proceso.
Puntos clave
Evaluar una IA jurídica con rigor requiere aplicar las tres fases del proceso (cribado documental, validación en demo y piloto supervisado), puntuar cada proveedor con un scorecard de cinco criterios y verificar que el contrato incluye las cláusulas mínimas de privacidad y seguridad antes de firmar.
| Punto | Detalles |
|---|---|
| Proceso en tres fases | Aplicar cribado documental, demo con escenarios propios y piloto de 6–12 semanas con KPIs definidos antes del inicio. |
| Trazabilidad como criterio decisivo | Sin cita verificable de la norma o sentencia exacta, la herramienta no es apta para escritos ante terceros. |
| Alucinaciones y arquitectura | Los modelos generalistas muestran tasas de error cercanas al 43 %; los especializados se sitúan en rangos del 17–33 % según el análisis de Cinco Días. |
| Señales de alarma contractuales | Descartar contratos con cláusulas ambiguas sobre reentrenamiento, sin identificación de subprocesadores o sin derecho de auditoría. |
| Ai Consultas | Respuestas con trazabilidad a fuentes oficiales, arquitectura sin reentrenamiento con datos del cliente y demo técnica disponible con documentos propios del despacho. |
Tabla de contenidos
- ¿Qué preguntas hacer a un proveedor de IA jurídica antes de la demo?
- Proceso recomendado en tres fases para evaluar herramientas de IA jurídica
- ¿Cómo detectar alucinaciones y medir la precisión de una IA jurídica?
- Privacidad, seguridad y cumplimiento normativo aplicable en España
- ¿Qué debe demostrar una demo y cómo puntuarla con un scorecard?
- Cláusulas contractuales clave y señales de alerta en acuerdos con proveedores de IA
- Cómo diseñar y ejecutar un piloto con métricas objetivas
- Ai Consultas cumple los criterios del checklist desde el primer día
- Fuentes
¿Qué preguntas hacer a un proveedor de IA jurídica antes de la demo?
Un cribado documental riguroso ahorra semanas de evaluación posterior. Estas preguntas deben formularse por escrito antes de aceptar cualquier demostración comercial, y las respuestas deben quedar documentadas para la toma de decisión final.
Fuentes y trazabilidad
- ¿La herramienta muestra, para cada respuesta, qué artículo, sentencia o resolución administrativa la sustenta?
- ¿Es posible exportar los metadatos de las fuentes citadas (referencia, fecha, tribunal o BOE)?
- ¿Con qué frecuencia se actualiza el corpus normativo y quién es responsable de esa actualización?
Datos y privacidad
- ¿Las consultas introducidas por el despacho se utilizan para reentrenar el modelo? ¿Existe cláusula contractual expresa que lo prohíba?
- ¿Dónde se procesan y almacenan los datos? ¿El procesamiento se realiza íntegramente dentro de la UE?
- ¿Quiénes son los subprocesadores y qué garantías ofrecen?
- ¿Cuál es la política de retención y el procedimiento de borrado certificado?
Seguridad y certificaciones
- ¿Dispone de cifrado en tránsito (TLS 1.2 o superior) y en reposo (AES-256 o equivalente)?
- ¿Cuenta con certificaciones SOC 2 tipo II, ISO/IEC 27001 o equivalentes auditadas por terceros?
- ¿La arquitectura incorpora principios de privacidad desde el diseño (privacy-by-design)?
Funcionalidad e integración
- ¿Dispone de API documentada para integrarse con el gestor documental o el expediente electrónico del despacho?
- ¿Permite crear bases de conocimiento privadas con documentación interna del despacho?
- ¿Qué módulos cubre (fiscal, laboral, procesal, mercantil) y cuáles están en hoja de producto?
Soporte y continuidad
- ¿Cuáles son los SLAs de disponibilidad y tiempo de respuesta ante incidencias críticas?
- ¿Existe plan de continuidad de negocio y recuperación ante desastres documentado?
- ¿Cómo se gestiona la portabilidad de datos si el despacho decide cambiar de proveedor?
Riesgo del proveedor
- ¿Cuánto tiempo lleva la empresa operando y cuál es su situación financiera?
- ¿Qué cláusulas de responsabilidad civil se incluyen en el contrato y cuáles son sus límites?
- ¿El contrato incluye derechos de auditoría para el cliente?
Consejo profesional: Solicite las respuestas por escrito antes de la demo. Un proveedor que se resiste a documentar sus políticas de datos antes de una reunión comercial rara vez mejora esa postura una vez firmado el contrato.
Proceso recomendado en tres fases para evaluar herramientas de IA jurídica
El marco de Legal Benchmarks estructura la evaluación en tres fases secuenciales que permiten filtrar proveedores con criterios objetivos y documentar la decisión final de forma defendible ante el comité de dirección o el responsable de cumplimiento.
Fase 1: cribado documental previo a la demo
- Recopilar la documentación pública del proveedor: términos y condiciones, política de privacidad, arquitectura técnica publicada y certificaciones disponibles.
- Revisar las cláusulas de tratamiento de datos en busca de las señales de alarma descritas en la sección de contratos.
- Verificar si el proveedor figura en el registro de actividades de tratamiento como encargado del tratamiento y si dispone de DPA (acuerdo de encargado de tratamiento) estándar.
- Comprobar si la herramienta está clasificada como sistema de IA de alto riesgo según el Reglamento de IA de la UE, lo que implicaría obligaciones adicionales de transparencia y control humano.
- Elaborar un shortlist de máximo tres proveedores que superen este cribado.
Fase 2: validación en demo
- Preparar un conjunto de escenarios de prueba con documentos reales del despacho, previamente anonimizados.
- Asignar roles: un abogado experto en el área de práctica relevante actúa como evaluador técnico-jurídico; el responsable de sistemas verifica la integración; el DPO o responsable de cumplimiento supervisa los aspectos de privacidad.
- Ejecutar los escenarios del checklist (consultas factuales verificables, análisis jurídico interpretativo y redacción de documentos procesales) y registrar las respuestas.
- Puntuar cada proveedor con el scorecard operativo (véase la sección correspondiente) inmediatamente después de la sesión.
- Solicitar al proveedor evidencia de las respuestas: capturas, exportaciones de metadatos y acceso a los logs de la sesión.
Fase 3: piloto supervisado con métricas
- Seleccionar el proveedor con mayor puntuación en el scorecard y negociar un acuerdo de piloto de 6–12 semanas con acceso a un entorno de producción controlado.
- Definir los KPIs antes del inicio (tasa de alucinaciones, tiempo ahorrado por tarea, tasa de adopción).
- Asignar un comité de evaluación con representación jurídica, técnica y de cumplimiento que se reúna quincenalmente.
- Documentar cada incidencia, error factual o problema de integración en un registro centralizado.
- Al finalizar el piloto, elaborar un informe con métricas objetivas que soporte la decisión de pasar a producción o descartar la herramienta.
¿Cómo detectar alucinaciones y medir la precisión de una IA jurídica?
La arquitectura determina la probabilidad de error. Según el análisis publicado en Cinco Días, los modelos generalistas muestran tasas de error en consultas jurídicas en torno al cuarenta por ciento, mientras que herramientas especializadas ancladas a corpus verificados reducen dichos errores a un rango más bajo, inferior al cuarenta por ciento. Ninguna arquitectura elimina las alucinaciones por completo, pero la diferencia es suficientemente grande para que la elección de arquitectura sea un criterio de evaluación de primer orden.
RAG: ventajas reales y limitaciones que no deben ignorarse
La generación aumentada por recuperación (RAG, por sus siglas en inglés) reduce las alucinaciones al anclar las respuestas del modelo a documentos recuperados de un corpus verificado. Sin embargo, como señala el análisis técnico de arXiv, RAG no elimina los errores: puede fallar en la fase de recuperación (devolviendo documentos irrelevantes o desactualizados) y también en la fase de generación (interpretando incorrectamente el fragmento recuperado). En contexto jurídico, un error de recuperación puede traducirse en citar una versión derogada de un artículo o una sentencia que no es aplicable al caso.
Las pruebas de evaluación deben cubrir ambas fases por separado:
- Precisión de recuperación: ¿el sistema recupera el fragmento normativo correcto para la consulta planteada?
- Fidelidad de generación: ¿la respuesta generada es coherente con el fragmento recuperado, sin añadir información no presente en él?
Metodología de pruebas recomendada
- Evaluación basada en referencias (oráculos de metadatos): se preparan consultas con respuesta conocida y verificable (número de artículo, fecha de sentencia, tribunal) y se compara la respuesta del sistema con el «oráculo».
- Pruebas de consistencia múltiple (auto-consistencia): se formula la misma consulta con variaciones de redacción y se verifica que las respuestas sean coherentes entre sí.
- Evaluación humana experta con rúbricas: un abogado especialista puntúa cada respuesta según criterios predefinidos de exactitud, completitud y viabilidad procesal.
Plantilla de rúbrica de pruebas
| Tarea | Respuesta esperada (oráculo) | Evidencia recuperada | Grado de concordancia | Nivel de riesgo | Nota final |
|---|---|---|---|---|---|
| Consulta factual | Plazo de prescripción: 5 años | Fragmento del BOE correcto | 3 | Bajo | Apto |
| Análisis interpretativo (cláusula abusiva) | Criterios TJUE y TS aplicables | Sentencia relevante recuperada | 2 | Medio | Revisar |
| Redacción de escrito procesal | Estructura y fundamentos correctos | Normativa procesal vigente | 1 | Alto | No apto |
Consejo profesional: Utilice expedientes anonimizados del propio despacho para las pruebas, no los casos de ejemplo que proporciona el proveedor. Las demos preparadas con datos propios del proveedor tienden a ocultar las limitaciones del sistema en contextos reales.
La trazabilidad de fuentes es el criterio que convierte una prueba en verificable. Sin la posibilidad de comprobar exactamente qué artículo, ley o sentencia ha utilizado la herramienta, el resultado no puede validarse para su uso en escritos que deban presentarse ante terceros, como señalan los expertos en LegalTech consultados por LawAndTrends.
Privacidad, seguridad y cumplimiento normativo aplicable en España
La adopción de IA en despachos jurídicos activa obligaciones concretas bajo el RGPD, la LOPDGDD y, para usos jurisdiccionales, la Instrucción 2/2026 del CGPJ. El Reglamento de IA de la UE añade una capa adicional para sistemas clasificados como de alto riesgo, que incluye requisitos de transparencia, supervisión humana y documentación técnica.
Obligaciones de tratamiento de datos y secreto profesional
El despacho actúa como responsable del tratamiento cuando introduce datos de clientes en una herramienta de IA. El proveedor debe suscribir un acuerdo de encargado del tratamiento (art. 28 RGPD) que especifique la finalidad, la base de legitimación, las medidas de seguridad y la prohibición expresa de usar esos datos para reentrenar el modelo. La ausencia de este acuerdo, o su redacción ambigua respecto al reentrenamiento, constituye una infracción potencial del RGPD y un riesgo directo para el secreto profesional abogado-cliente.
La AEPD publica orientaciones técnicas específicas sobre IA y protección de datos que deben consultarse al revisar las medidas de privacidad y las cláusulas contractuales de cualquier proveedor. Sus guías sobre evaluaciones de impacto (EIPD) son especialmente relevantes cuando la herramienta procesa datos de partes en litigios o expedientes con datos sensibles.
Instrucción 2/2026 del CGPJ
Esta instrucción establece límites y condiciones para el uso de IA en el ámbito jurisdiccional: exige control humano efectivo sobre las decisiones, prohíbe determinados usos automatizados en resoluciones judiciales y obliga a documentar el uso de herramientas de IA en los procedimientos. Para despachos que trabajan con juzgados o que asesoran a órganos jurisdiccionales, su cumplimiento no es opcional.
Checklist de evidencias de cumplimiento que pedir al proveedor
- Acuerdo de encargado del tratamiento (DPA) con cláusula expresa de no reentrenamiento con datos del cliente.
- Identificación de todos los subprocesadores y sus garantías (cláusulas contractuales tipo o BCR).
- Ubicación del procesamiento y almacenamiento de datos (preferiblemente dentro de la UE).
- Política de retención documentada y procedimiento de borrado certificado al finalizar el contrato.
- Registro de actividades de tratamiento actualizado que incluya la herramienta de IA.
- Evidencia de cifrado en tránsito y en reposo.
- Informe de auditoría de seguridad reciente (SOC 2 tipo II, ISO/IEC 27001 o equivalente).
- Evaluación de impacto relativa a la protección de datos (EIPD) cuando el tratamiento sea de alto riesgo.
El CCBE también ha publicado una guía técnica sobre el uso de herramientas de IA por abogados que establece requisitos mínimos de transparencia, control humano y documentación que complementan las obligaciones regulatorias europeas.
Un proveedor que no puede acreditar dónde se almacenan los datos ni qué subprocesadores intervienen no cumple los requisitos mínimos del art. 28 RGPD para actuar como encargado del tratamiento de un despacho jurídico.
¿Qué debe demostrar una demo y cómo puntuarla con un scorecard?
Una demo comercial bien diseñada no es una presentación de producto: es una sesión de pruebas estructurada con escenarios predefinidos por el evaluador, no por el proveedor. La diferencia entre ambas es la diferencia entre ver lo que el proveedor quiere mostrar y verificar lo que el despacho necesita saber.
Elementos que la demo debe demostrar sin excepción
- Reproducibilidad de citas: la herramienta debe mostrar, para cada respuesta, la referencia exacta de la norma o sentencia utilizada.
- Exportación de metadatos: el evaluador debe poder descargar o copiar esas referencias en un formato utilizable (PDF, JSON, CSV).
- Control de retención: el proveedor debe demostrar en vivo que las consultas introducidas durante la demo no se almacenan para reentrenamiento.
- Opción de entorno cerrado: para despachos con datos especialmente sensibles, debe existir la posibilidad de despliegue en entorno privado o con aislamiento de datos.
Scorecard operativo para puntuar proveedores
Umbrales de decisión: una puntuación total de 20 o más sobre 25 habilita el paso a piloto; entre 15 y 19 requiere negociación de mejoras contractuales antes de continuar; por debajo de 15, el proveedor se descarta.
Cómo estructurar la sesión
El evaluador jurídico plantea los escenarios de prueba preparados con anterioridad. El responsable técnico verifica la integración y los aspectos de arquitectura. El DPO o responsable de cumplimiento observa el flujo de datos y registra las respuestas del proveedor a las preguntas de privacidad. Al finalizar, cada evaluador completa su parte del scorecard de forma independiente antes de la puesta en común, para evitar el sesgo de anclaje grupal.
Cláusulas contractuales clave y señales de alerta en acuerdos con proveedores de IA
El contrato con un proveedor de IA jurídica no es un contrato de software estándar. Contiene riesgos específicos derivados del tratamiento de datos confidenciales de clientes y de la posibilidad de que el modelo use esos datos para mejorar sus propios sistemas.
Cláusulas indispensables
- Alcance del tratamiento: descripción precisa de qué datos se procesan, con qué finalidad y durante cuánto tiempo.
- Prohibición de reentrenamiento: cláusula expresa que impida al proveedor usar los datos del despacho para entrenar, ajustar o mejorar el modelo.
- Derechos de auditoría: derecho del despacho a auditar o encargar una auditoría independiente de las medidas de seguridad del proveedor.
- Portabilidad y eliminación: procedimiento documentado para exportar todos los datos del despacho y certificar su eliminación al finalizar el contrato.
- SLA y responsabilidades: niveles de servicio con penalizaciones económicas por incumplimiento y límites de responsabilidad civil razonables.
Cláusulas de seguridad técnica
- Cifrado en tránsito (TLS 1.2 o superior) y en reposo (AES-256 o equivalente).
- Segregación lógica o física de los datos del despacho respecto a otros clientes.
- Control de accesos basado en roles y registro de auditoría de accesos.
- Plan de respuesta a incidentes con plazos de notificación conformes al art. 33 RGPD (72 horas).
Señales de alarma contractuales
- Cláusulas que permitan al proveedor usar los datos del cliente para «mejorar el servicio» sin definir qué significa eso.
- Ausencia de identificación de subprocesadores o remisión genérica a «terceros proveedores».
- Limitación de responsabilidad que excluya daños derivados de errores factuales del sistema.
- Ausencia de derecho a auditoría o sustitución por «informes de cumplimiento» elaborados por el propio proveedor.
- Cláusulas de renovación automática sin preaviso razonable o penalizaciones desproporcionadas por rescisión anticipada.
Un ejemplo de las consecuencias prácticas de citar jurisprudencia incorrecta puede verse en el análisis de Solvendi Abogados sobre doctrina del Tribunal Supremo en materia de IRPH: una sentencia mal citada o una doctrina malinterpretada puede comprometer la posición procesal del cliente.
Consejo profesional: Antes de firmar, solicite que el DPO del proveedor participe en una reunión de revisión contractual. Si el proveedor no tiene DPO designado o no puede identificar quién es, esa ausencia es incompatible con las obligaciones del art. 37 RGPD para encargados del tratamiento que procesan datos a gran escala.
Cómo diseñar y ejecutar un piloto con métricas objetivas
Un piloto bien diseñado responde a una pregunta concreta: ¿esta herramienta mejora los resultados del despacho de forma medible y sostenible? Para responderla con datos, el piloto necesita KPIs definidos antes del inicio, no al final.
KPIs recomendados
- Tasa de alucinaciones en tareas verificables: porcentaje de respuestas que contienen afirmaciones factuales incorrectas sobre normas o sentencias, medido sobre el conjunto de pruebas del piloto.
- Tiempo medio ahorrado por tarea: comparación del tiempo dedicado a tareas de investigación o redacción antes y durante el piloto, registrado por los abogados participantes.
- Tasa de adopción: porcentaje de abogados del grupo piloto que utilizan la herramienta al menos una vez por semana al finalizar el periodo.
- Coste por asunto: variación del coste operativo por asunto gestionado durante el piloto respecto al periodo anterior.
- Incidencias de seguridad o privacidad: número de incidencias detectadas y tiempo de resolución.
Duración y tamaño de muestra
Un piloto más corto no genera suficiente variabilidad para detectar fallos sistemáticos; uno más largo sin revisiones intermedias acumula problemas sin corrección.
Gobernanza del piloto
- Comité de evaluación: representación de la dirección del despacho, un abogado experto en el área de práctica principal, el responsable técnico y el DPO.
- Ciclos de retroalimentación: reuniones quincenales para revisar métricas, registrar incidencias y ajustar el alcance del piloto si es necesario.
- Registro centralizado de evidencias: cada error factual, problema de integración o incidencia de privacidad se documenta con fecha, descripción y resolución.
Formación y adaptación interna
La tasa de adopción depende en gran medida de la formación inicial. Antes del inicio del piloto, los abogados participantes deben recibir al menos una sesión práctica sobre los límites de la herramienta, los procedimientos de verificación obligatoria y los flujos de trabajo modificados. La guía sobre IA jurídica en despachos detalla cómo estructurar esa formación y los controles de supervisión humana que deben mantenerse durante el piloto.
Informe final y criterios de decisión
El informe final debe incluir los valores de cada KPI al inicio y al final del piloto, el registro de incidencias con su resolución, la valoración del comité de evaluación y una recomendación explícita de pasar a producción, ampliar el piloto o descartar la herramienta. Una herramienta que no supera el umbral de tasa de alucinaciones acordado o que genera incidencias de privacidad sin resolución no debe pasar a producción, independientemente de otros indicadores positivos.
Criterios de escalabilidad técnica: verificar que la herramienta mantiene tiempos de respuesta aceptables con el volumen de consultas proyectado para producción, que la integración con los sistemas existentes es estable y que el proveedor puede escalar la capacidad sin cambios contractuales unilaterales.
La IA jurídica no es una solución milagrosa, pero sí una ventaja real si se evalúa bien
Uno de los errores más frecuentes en despachos que se acercan por primera vez a la IA jurídica es buscar una herramienta que resuelva todo: investigación, redacción, análisis y gestión documental en un único sistema. Esa expectativa casi siempre conduce a decepción o, peor, a confiar en un sistema que no está preparado para todas esas tareas con el mismo nivel de fiabilidad.
La estrategia que funciona en la práctica, como señala el análisis de Derecho Práctico, combina IA generalista para tareas creativas de bajo riesgo con IA jurídica especializada para investigación normativa, análisis de jurisprudencia y redacción de documentos procesales. No son herramientas competidoras: son capas complementarias con perfiles de riesgo distintos.
La supervisión humana no es una formalidad de cumplimiento. El abogado que firma un escrito es responsable de su contenido, con independencia de qué herramienta lo haya generado. Eso significa que la verificación de las fuentes citadas por la IA no es opcional: es parte del flujo de trabajo profesional. Formar un pequeño equipo interno con roles mixtos (jurídico y técnico) para liderar las evaluaciones y los pilotos no solo mejora la calidad de la decisión de compra, sino que también acelera la adopción posterior, porque ese equipo se convierte en el referente interno de buenas prácticas.
Ai Consultas cumple los criterios del checklist desde el primer día
Los despachos que aplican el proceso descrito en esta guía necesitan un proveedor que pueda responder afirmativamente a cada pregunta del checklist, no solo a las más cómodas. Ai Consultas está construida sobre esa exigencia: sus respuestas citan la norma, sentencia o resolución exacta que las sustenta, con trazabilidad verificable en cada consulta fiscal, laboral o jurídica. La arquitectura multiagente opera exclusivamente sobre fuentes oficiales actualizadas (BOE, jurisprudencia del Tribunal Supremo, resoluciones de la AEAT), sin reentrenar el modelo con los datos de los despachos clientes.
Para despachos que quieren verificar estos criterios antes de comprometerse, Ai Consultas ofrece una demo técnica estructurada con los propios documentos del despacho, siguiendo exactamente el proceso de validación descrito en esta guía. Los módulos de investigación y redacción jurídica y de IA para notificaciones AEAT están disponibles para prueba independiente. Solicite acceso a la demo técnica en Aiconsultas y compruebe en su propio contexto si la herramienta supera el scorecard.
Fuentes
Para ampliar la evaluación y justificar decisiones ante el comité de dirección o el responsable de cumplimiento, los siguientes recursos son los de mayor utilidad práctica:
Para cumplimiento normativo y privacidad:
- Legal Benchmarks lanza el primer marco abierto y estandarizado para evaluar herramientas de IA legal | Derecho Práctico
- arXiv: Evaluación crítica de RAG y metodologías de medición de alucinaciones (Resumen técnico)
- Sistemas de IA en Derecho y datos: el problema de la arquitectura y la probabilidad | Legal | Cinco Días
Para metodología técnica y evaluación de alucinaciones:
Para marcos de evaluación y scorecards:
Para perspectiva profesional y supervisión humana:
Este artículo es información general y no sustituye el consejo de un abogado cualificado. Consulte a un profesional del derecho cualificado sobre su caso particular antes de actuar según este contenido.
