Per què una IA s’inventa una sentència (i com evitar-ho)

Un model de llenguatge no està dissenyat per donar-te la resposta correcta. Està dissenyat per construir la paraula següent més probable i, a més, per respondre sempre i de manera convincent. Quan una frase seva sol acabar amb la citació d’una sentència i no en troba cap, no s’atura: la construeix. No és una fallada del sistema. És el sistema funcionant tal com va ser concebut. Saber-ho canvia força com s’hi treballa.

No és una base de dades: és un model de llenguatge

Comencem pel nom, que ja ho diu tot.

Un model de llenguatge és exactament això: un sistema entrenat per manejar llenguatge. Per això t’entén encara que escriguis amb pressa, amb faltes o barrejant idiomes. I per això el que et torna té una sintaxi impecable i sona bé. Aquesta és la seva competència i en això és extraordinari.

La segona característica és la que gairebé ningú no explica: funciona per probabilitat. Ha processat una quantitat enorme de text i ha après quins patrons es repeteixen. Quan respon, no consulta cap arxiu. Calcula quina paraula sol venir després de les anteriors, i després la següent, i la següent.

D’aquí se’n deriva el que importa: el seu objectiu no és la precisió.

Això no és una crítica, és una descripció. Una base de dades jurídica està construïda per tornar la dada exacta; si no la té, no torna res. Un model de llenguatge està construït per produir llenguatge plausible. Són 2 eines diferents, i fa 2 anys que els demanem el mateix.

I a més està dissenyat per respondre sempre

Aquí hi ha la part que de debò desconcerta.

Contesta sempre. No té l’opció de dir «no ho sé». Un advocat la fa servir contínuament: no ho sé, ho he de mirar, deixa’m que ho comprovi. És una de les coses que distingeixen un bon professional. El model no la té.

I contesta de manera convincent. Està entrenat per satisfer qui pregunta, així que el que torna sona segur fins i tot quan no hi ha cap motiu per estar-ho. No hi ha titubeig, no hi ha matís, no hi ha «això caldria confirmar-ho».

La combinació de les 2 coses és la que produeix el problema. Si el patró que ha après diu que aquella mena de paràgraf acaba citant una sentència, la cita. Tant li fa si existeix. I surt amb el format complet: sala, data, número de recurs, tot al seu lloc.

Amb les normes passa el mateix. Et pot dir que l’article 267 de la Llei d’enjudiciament civil diu una cosa que en realitat diu el 215, o el 268. No és que menteixi: és que, per al càlcul que està fent, el número correcte i el que hi ha just al costat són igual de probables.

I tant li fa si la norma continua vigent. L’ha vista citada moltes vegades en textos que va llegir, i això li basta.

El que enganya no és l’error: és el format

Un error evident no enganya ningú. Si una resposta diu una barbaritat, es detecta a la primera lectura i no passa res.

El que enganya és una citació inventada amb un format impecable, col·locada exactament on tocaria una de real, al paràgraf on tu mateix n’hauries posat una. No grinyola. Encaixa.

Per això convé saber reconèixer un text escrit així. Els senyals són força constants:

Comença pel principi i acaba pel final, sense deixar-se res. Una exhaustivitat que cap professional no té quan escriu amb el rellotge a sobre. Els textos humans es salten coses, en donen d’altres per suposades i van al gra en el que importa.

La llargada no guarda proporció amb el que es demanava. 3 folis per a una cosa que es resolia en un paràgraf.

Les referències són on toca però no resisteixen la comprovació. O no existeixen, o existeixen i diuen una altra cosa.

El to és uniformement segur. Sense els matisos que hi posa algú que coneix el cas, que sap quin punt és feble i quin no.

Qui rep escrits de tercers ja ho està notant. Arriba un burofax al despatx i es veu a la primera lectura que no l’ha redactat un advocat. No pel que diu: per com està construït.

«Trigo menys fent-ho jo»

Aquesta és l’objecció de debò, i mereix una resposta seriosa.

El raonament és aquest: si hauré de comprovar cada sentència, cada article i cada afirmació, no estalvio res. Ho faig jo directament i quedo tranquil.

És un càlcul raonable. Si verificar vol dir refer la feina des de zero, efectivament no compensa. Qui ho pensa així no és desconfiat: està fent números.

Però verificar no és refer, i la diferència és saber on mirar.

El que cal comprovar sempre, sense excepció: tota citació d’una norma, d’una resolució o d’una dada concreta. Tot el que porti un número. Això no es negocia i no porta tant de temps com sembla, perquè és una comprovació puntual, no una lectura.

El que no exigeix el mateix nivell de revisió: l’estructura d’un argument, l’ordre en què es presenten els fets, la redacció d’un paràgraf que tu signaràs després de llegir-lo. Aquí el risc és baix, perquè l’error es veu llegint.

I el que canvia el càlcul del tot: d’on treu l’eina el que et diu.

Si treballa sobre tot el text que ha llegit a internet, pot construir una citació a partir d’un patró. Si treballa només sobre documents que tu li has donat, no té d’on treure una sentència que no hi sigui. El risc no desapareix, però es desplaça: deixa d’estar en les citacions i passa a estar en la interpretació del que hi ha als teus documents. I això un advocat ho sap mirar, perquè és el que fa cada dia.

Així que la pregunta útil no és això al·lucina?, sinó d’on treu el que m’està dient?

El que no es pot delegar

Per molt que millorin les eines, i han millorat força, hi ha una cosa que no es mou: la responsabilitat de l’escrit és de qui el signa.

Delegar el cent per cent no és una drecera. És una negligència, i es jutja com a tal.

I una recomanació pràctica que val més que qualsevol llista de comprovació: llegeix-lo sencer fins al final, encara que sembli perfecte. Sobretot quan sembla perfecte, que és justament el moment en què un abaixa la guàrdia i signa sense mirar l’última pàgina.

Si vols veure-ho amb un escrit teu al davant, escriu-nos.