Por que unha IA inventa unha sentenza (e como evitalo)

Un modelo de linguaxe non está deseñado para darche a resposta correcta. Está deseñado para construír a seguinte palabra máis probable e, ademais, para responder sempre e de forma convincente. Cando unha frase súa adoita rematar coa cita dunha sentenza e non atopa ningunha, non se detén: constrúea. Non é un fallo do sistema. É o sistema funcionando tal e como foi concibido. Sabelo cambia bastante como se traballa con el.

Non é unha base de datos: é un modelo de linguaxe

Comecemos polo nome, que xa o di todo.

Un modelo de linguaxe é exactamente iso: un sistema adestrado para manexar linguaxe. Por iso enténdete aínda que escribas con présa, con faltas ou mesturando idiomas. E por iso o que devolve ten unha sintaxe impecable e soa ben. Esa é a súa competencia e niso é extraordinario.

A segunda característica é a que case ninguén explica: funciona por probabilidade. Procesou unha cantidade enorme de texto e aprendeu que patróns se repiten. Cando responde, non está consultando un arquivo. Está calculando que palabra adoita vir despois das anteriores, e logo a seguinte, e a seguinte.

De aí séguese o importante: o seu obxectivo non é a precisión.

Iso non é unha crítica, é unha descrición. Unha base de datos xurídica está construída para devolver o dato exacto; se non o ten, non devolve nada. Un modelo de linguaxe está construído para producir linguaxe plausible. Son 2 ferramentas distintas, e levamos 2 anos pedíndolles o mesmo.

E ademais está deseñado para responder sempre

Aquí está a parte que de verdade desconcerta.

Contesta sempre. Non ten a opción de dicir «non o sei». Un avogado úsaa continuamente: non o sei, teño que miralo, déixame que o comprobe. É unha das cousas que distinguen a un bo profesional. O modelo non a ten.

E contesta de forma convincente. Está adestrado para satisfacer a quen pregunta, así que o que devolve soa seguro mesmo cando non hai ningún motivo para estalo. Non hai titubeo, non hai matiz, non hai «isto habería que confirmalo».

A combinación das 2 cousas é o que produce o problema. Se o patrón que aprendeu di que ese tipo de parágrafo remata citando unha sentenza, cítaa. Dá exactamente igual que exista. E sae co formato completo: sala, data, número de recurso, todo no seu sitio.

Coas normas pasa o mesmo. Pode dicirche que o artigo 267 da Lei de axuizamento civil di algo que en realidade di o 215, ou o 268. Non é que minta: é que, para o cálculo que está facendo, o número correcto e o que está xusto ao lado son igual de probables.

E non lle importa se a norma segue vixente. Viuna citada moitas veces en textos que leu, e iso abóndalle.

O que engana non é o erro: é o formato

Un erro evidente non engana a ninguén. Se unha resposta di unha barbaridade, detéctase na primeira lectura e non pasa nada.

O que engana é unha cita inventada con formato impecable, colocada exactamente onde tocaría unha real, no parágrafo onde ti mesmo terías posto unha. Non renxe. Encaixa.

Por iso convén saber recoñecer un texto escrito así. Os sinais son bastante constantes:

Empeza polo principio e remata polo final, sen deixar nada. Unha exhaustividade que ningún profesional ten cando escribe co reloxo enriba. Os textos humanos saltan cousas, dan por supostas outras e van ao gran no que importa.

A lonxitude non garda proporción co que se pedía. 3 folios para algo que se resolvía nun parágrafo.

As referencias están onde corresponde pero non resisten a comprobación. Ou non existen, ou existen e din outra cousa.

O ton é uniformemente seguro. Sen os matices que pon alguén que coñece o caso, que sabe que punto é débil e cal non.

Quen recibe escritos de terceiros xa o está notando. Chega un burofax ao despacho e vese na primeira lectura que non o redactou un avogado. Non polo que di: por como está construído.

«Tardo menos facéndoo eu»

Esta é a obxección de verdade, e merece unha resposta seria.

O razoamento é este: se vou ter que comprobar cada sentenza, cada artigo e cada afirmación, non estou aforrando nada. Fágoo eu directamente e quedo tranquilo.

É un cálculo razoable. Se verificar significa refacer o traballo desde cero, efectivamente non compensa. Quen pensa así non está sendo desconfiado: está botando contas.

Pero verificar non é refacer, e a diferenza está en saber onde mirar.

O que hai que comprobar sempre, sen excepción: toda cita dunha norma, dunha resolución ou dun dato concreto. Todo o que teña un número. Iso non se negocia e non leva tanto tempo como parece, porque é unha comprobación puntual, non unha lectura.

O que non esixe o mesmo nivel de revisión: a estrutura dun argumento, a orde na que se presentan os feitos, a redacción dun parágrafo que ti vas asinar despois de lelo. Aí o risco é baixo, porque o erro vese lendo.

E o que cambia o cálculo por completo: de onde saca a ferramenta o que che di.

Se traballa sobre todo o texto que leu en internet, pode construír unha cita a partir dun patrón. Se traballa só sobre documentos que ti lle deches, non ten de onde sacar unha sentenza que non estea neles. O risco non desaparece, pero desprázase: deixa de estar nas citas e pasa a estar na interpretación do que hai nos teus documentos. E aí un avogado sabe mirar, porque é o que fai todos os días.

Así que a pregunta útil non é isto alucina?, senón de onde saca o que me está dicindo?

O que non se pode delegar

Por moito que melloren as ferramentas, e melloraron bastante, hai algo que non se move: a responsabilidade do escrito é de quen o asina.

Delegar o cen por cento non é un atallo. É unha neglixencia, e xúlgase como tal.

E unha recomendación práctica que vale máis que calquera lista de comprobación: leo enteiro ata o final, aínda que pareza perfecto. Sobre todo cando parece perfecto, que é xusto o momento no que un baixa a garda e asina sen mirar a última páxina.

Se queres velo cun escrito teu diante, escríbenos.