Por qué una IA se inventa una sentencia (y cómo evitarlo)

Un modelo de lenguaje no está diseñado para darte la respuesta correcta. Está diseñado para construir la siguiente palabra más probable, y además para responder siempre y de forma convincente. Cuando una frase suya suele terminar con la cita de una sentencia y no encuentra ninguna, no se detiene: la construye. No es un fallo del sistema. Es el sistema funcionando como fue concebido. Saber eso cambia bastante cómo se trabaja con él.

No es una base de datos: es un modelo de lenguaje

Empecemos por el nombre, que ya lo dice todo.

Un modelo de lenguaje es exactamente eso: un sistema entrenado para manejar lenguaje. Por eso te entiende aunque escribas con prisa, con faltas o mezclando idiomas. Y por eso lo que devuelve tiene una sintaxis impecable y suena bien. Esa es su competencia y en eso es extraordinario.

La segunda característica es la que casi nadie explica: funciona por probabilidad. Ha procesado una cantidad enorme de texto y ha aprendido qué patrones se repiten. Cuando responde, no está consultando un archivo. Está calculando qué palabra suele venir después de las anteriores, y luego la siguiente, y la siguiente.

De ahí se sigue lo importante: su objetivo no es la precisión.

Eso no es una crítica, es una descripción. Una base de datos jurídica está construida para devolver el dato exacto; si no lo tiene, no devuelve nada. Un modelo de lenguaje está construido para producir lenguaje plausible. Son 2 herramientas distintas, y llevamos 2 años pidiéndoles lo mismo.

Y además está diseñado para responder siempre

Aquí está la parte que de verdad desconcierta.

Contesta siempre. No tiene la opción de decir «no lo sé». Un abogado la usa continuamente: no lo sé, tengo que mirarlo, déjame que lo compruebe. Es una de las cosas que distinguen a un buen profesional. El modelo no la tiene.

Y contesta de forma convincente. Está entrenado para satisfacer a quien pregunta, así que lo que devuelve suena seguro incluso cuando no hay ningún motivo para estarlo. No hay titubeo, no hay matiz, no hay «esto habría que confirmarlo».

La combinación de las 2 cosas es lo que produce el problema. Si el patrón que ha aprendido dice que ese tipo de párrafo termina citando una sentencia, la cita. Da exactamente igual que exista. Y sale con el formato completo: sala, fecha, número de recurso, todo en su sitio.

Con las normas pasa lo mismo. Puede decirte que el artículo 267 de la Ley de Enjuiciamiento Civil dice algo que en realidad dice el 215, o el 268. No es que mienta: es que, para el cálculo que está haciendo, el número correcto y el que está justo al lado son igual de probables.

Y no le importa si la norma sigue vigente. La ha visto citada muchas veces en textos que leyó, y eso le basta.

Lo que engaña no es el error: es el formato

Un error evidente no engaña a nadie. Si una respuesta dice una barbaridad, se detecta a la primera lectura y no pasa nada.

Lo que engaña es una cita inventada con formato impecable, colocada exactamente donde tocaría una real, en el párrafo donde tú mismo habrías puesto una. No chirría. Encaja.

Por eso conviene saber reconocer un texto escrito así. Las señales son bastante constantes:

Empieza por el principio y termina por el final, sin dejarse nada. Una exhaustividad que ningún profesional tiene cuando escribe con el reloj encima. Los textos humanos se saltan cosas, dan por supuestas otras y van al grano en lo que importa.

La longitud no guarda proporción con lo que se pedía. 3 folios para algo que se resolvía en un párrafo.

Las referencias están donde corresponde pero no resisten la comprobación. O no existen, o existen y dicen otra cosa.

El tono es uniformemente seguro. Sin los matices que pone alguien que conoce el caso, que sabe qué punto es débil y cuál no.

Quien recibe escritos de terceros lo está notando ya. Llega un burofax al despacho y se ve a la primera lectura que no lo ha redactado un abogado. No por lo que dice: por cómo está construido.

«Tardo menos haciéndolo yo»

Esta es la objeción de verdad, y merece una respuesta seria.

El razonamiento es este: si voy a tener que comprobar cada sentencia, cada artículo y cada afirmación, no estoy ahorrando nada. Lo hago yo directamente y me quedo tranquilo.

Es un cálculo razonable. Si verificar significa rehacer el trabajo desde cero, efectivamente no compensa. Quien piensa así no está siendo desconfiado: está echando cuentas.

Pero verificar no es rehacer, y la diferencia está en saber dónde mirar.

Lo que hay que comprobar siempre, sin excepción: toda cita de una norma, de una resolución o de un dato concreto. Todo lo que tenga un número. Eso no se negocia y no lleva tanto tiempo como parece, porque es una comprobación puntual, no una lectura.

Lo que no exige el mismo nivel de revisión: la estructura de un argumento, el orden en que se presentan los hechos, la redacción de un párrafo que tú vas a firmar después de leerlo. Ahí el riesgo es bajo, porque el error se ve leyendo.

Y lo que cambia el cálculo por completo: de dónde saca la herramienta lo que te dice.

Si trabaja sobre todo el texto que ha leído en internet, puede construir una cita a partir de un patrón. Si trabaja solo sobre documentos que tú le has dado, no tiene de dónde sacarse una sentencia que no esté en ellos. El riesgo no desaparece, pero se desplaza: deja de estar en las citas y pasa a estar en la interpretación de lo que hay en tus documentos. Y ahí un abogado sabe mirar, porque es lo que hace todos los días.

Así que la pregunta útil no es ¿esto alucina?, sino ¿de dónde saca lo que me está diciendo?

Lo que no se puede delegar

Por mucho que mejoren las herramientas, y han mejorado bastante, hay algo que no se mueve: la responsabilidad del escrito es de quien lo firma.

Delegar el cien por cien no es un atajo. Es una negligencia, y se juzga como tal.

Y una recomendación práctica que vale más que cualquier lista de comprobación: léelo entero hasta el final, aunque parezca perfecto. Sobre todo cuando parece perfecto, que es justo el momento en el que uno baja la guardia y firma sin mirar la última página.

Si quieres verlo con un escrito tuyo delante, escríbenos.