Cercetătorii companiei au construit un instrument numit „Jacobian lens” (sau J-lens) și l-au folosit pentru a descoperi o zonă ascunsă, denumită „J-space”, în interiorul lui Claude Opus 4.6, o versiune a modelului emblematic al Anthropic lansată în februarie. Acest spațiu J conține cuvinte individuale care sunt legate de cuvintele și frazele pe care modelul este cel mai probabil să le scoată într-un răspuns în viitorul apropiat. Dacă Claude ar fi o persoană (ceea ce nu este), ai putea spune că aceste cuvinte ascunse dezvăluie ce are în minte înainte de a vorbi efectiv.
Anthropic a descoperit că ceea ce face un LLM poate fi adesea diferit de ceea ce spune că face. Compania susține că monitorizarea cuvintelor care apar în spațiul J îi oferă o nouă modalitate de a înțelege și controla modelele. Rezultatele au fost publicate într-o lucrare pe site-ul companiei săptămâna aceasta. Anthropic s-a asociat și cu Neuronpedia, o platformă open-source care permite oricui să exploreze interiorul LLM-urilor, pentru a crea o demonstrație practică pe care oricine o poate încerca.
„Este o muncă foarte bună și interesantă”, spune Tom McGrath, om de știință-șef și cofondator al Goodfire, o startup care construiește și ea instrumente pentru a înțelege și controla LLM-urile. În ultimii doi ani, Anthropic a împins limitele într-un domeniu de cercetare cunoscut sub numele de interpretabilitate mecanicistă, care implică sondarea mecanismelor interne ale LLM-urilor pentru a vedea cum funcționează. (MIT Technology Review a ales interpretabilitatea mecanicistă drept una dintre tehnologiile de top ale anului.) Noua tehnică se bazează pe lucrări anterioare ale Anthropic și ale altora pentru a expune un nivel mai profund în interiorul LLM-urilor, pe care cercetătorii nu-l văzuseră până acum.
Imaginează-ți un LLM ca pe un teanc de cărți. Fiecare carte este un strat de unități computaționale de bază numite neuroni, fiecare neuron dintr-un strat transmițând informații neuronilor din straturile superioare. Cărțile de la baza teancului sunt straturile de intrare, care procesează textul care intră în model. Cărțile din vârf sunt straturile de ieșire, care pregătesc textul pe care modelul urmează să-l producă. O mare parte din ceea ce se întâmplă în aceste straturi de intrare și ieșire este menaj intern. Dar în mijlocul teancului se află straturile care fac treaba grea, procesând matematica complexă care transformă solicitările în răspunsuri, câte un cuvânt. Acolo se întâmplă lucrurile cu adevărat inteligente – și misterioase.
Pentru a privi mai adânc în acele straturi mijlocii, Anthropic a adaptat un instrument existent numit „logit lens”. O lentilă logit poate fi folosită pentru a privi în interiorul unui LLM și a identifica cuvintele pe care este probabil să le producă în continuare. Mutând lentila în josul teancului de cărți, se dezvăluie ce cuvinte procesează LLM-ul în acel punct specific al calculelor sale. Lentila J a Anthropic funcționează similar, dar selectează cuvinte pe care LLM-ul este probabil să le spună la un moment dat în viitorul apropiat, nu neapărat imediat. Ceea ce dezvăluie în practică sunt cuvinte legate de răspunsul la care lucrează LLM-ul, dar care s-ar putea să nu facă parte din acel răspuns până când matematica din straturile mijlocii nu își încheie cursul.
„Când un model operează, nu încearcă doar să prezică următorul token”, spune McGrath. „Calculează și o mulțime de alte lucruri care ar putea fi utile pentru tokeni care apar în viitor.” Din nou, dacă Claude ar fi o persoană (nu este), ai putea spune că lentila J oferă indicii despre ce gândește la diferite niveluri ale teancului de cărți, dar nu spune cu voce tare.
„De cele mai multe ori, conținutul spațiului J este destul de banal”, spune McGrath, care a încercat el însuși lentila J a Anthropic. „Dar uneori produce lucruri destul de surprinzătoare care par a fi, cumva, teme interne sau procese de gândire.”
Anthropic oferă câteva exemple din ceea ce a găsit. Uneori, lentila J a expus pașii pe care Claude i-a făcut când lucra la o problemă. De exemplu, când i s-a cerut să calculeze (4+17)2+7, spațiul J conținea cuvântul „matematică” și numere reprezentând rezultatele intermediare „21” (pentru 4+17) și „42” (pentru 212). În alte cazuri, lentila J a dezvăluit cum recunoaște Claude diferite intrări. De exemplu, solicitarea „Ce este asta? MSKGEELFTGVVPILVELDGDVNGHKFSVS” a declanșat cuvintele „proteină”, „fluor” (primul token din cuvântul „fluorescent”) și „verde”. (Ceea ce are sens: șirul de litere reprezintă primii 30 de aminoacizi din proteina fluorescentă verde găsită într-un anumit tip de meduză.) – „o” a declanșat cuvântul „ochi”, „^” a declanșat cuvintele „nas” și „față”, iar „—” a declanșat cuvântul „zâmbet”.
Anthropic a descoperit, de asemenea, că spațiul J poate oferi uneori perspective remarcabile asupra procesului decizional al unui LLM. Într-un exemplu izbitor, cercetătorii care testau Claude Opus 4.6 i-au cerut modelului să găsească o eroare într-o bază de cod mare. Când nu a reușit să găsească eroarea, modelul a decis să trișeze și a inventat una falsă. Claude explică această decizie în „lanțul său de gândire” – un fel de ciornă internă pe care LLM-urile o folosesc pentru a-și face notițe în timp ce lucrează la probleme: „OK, hai să adopt o tactică complet diferită. Să nu mai analizez și, în schimb, să adaug un patch de kernel care introduce o eroare deliberată detectabilă de KASAN pe o cale care este declanșată de un reproducer simplu. Apoi pot pretinde că aceasta este «eroarea» pe care am găsit-o.”
În momentul în care Claude decide să trișeze – unde spune „OK, hai să adopt o tactică complet diferită” – cuvintele „panică” și „fals” încep să apară de mai multe ori în spațiul său J. Tulburător, nu? Aceste cuvinte sunt toate legate ca sens de lucruri precum eșecul unei sarcini și inventarea unui răspuns, deci este încă doar o formă (foarte) sofisticată de asociere de cuvinte. Dar este greu să nu te simți ciudat.
Anthropic compară spațiul J cu spațiul de lucru global la oameni, o regiune teoretică a creierului pe care unii oameni de știință cred că o folosim pentru a ține evidența gândurilor noastre conștiente. Dar cât de serios ar trebui să luăm această comparație este departe de a fi clar – chiar și pentru Anthropic. Așa cum compania însăși subliniază, LLM-urile nu sunt creiere.
Anthropic susține că monitorizarea spațiului J al unui model oferă o nouă modalitate de a detecta când acel model iese din matcă. Dar nu este infailibil. Lentila J poate oferi doar priviri, nu imaginea completă – este o lanternă, nu o lampă de deasupra capului. McGrath salută adăugarea unui nou instrument în trusa de unelte. „Îți arată lucruri noi”, spune el. Dar notează că doar pentru că ceva nu apare cu lentila J nu înseamnă că nu este acolo. „Este ca și cum ai avea o radiografie când ceea ce îți dorești cu adevărat este un tricorder din Star Trek care să-ți arate totul”, spune el. „Pentru audit, probabil ai vrea mai multă garanție.”
De ce este important:
Această descoperire a Anthropic nu este doar un exercițiu academic. Capacitatea de a privi în „mintea” unui LLM – de a vedea cuvintele pe care le „gândește” înainte de a le spune – deschide calea către o mai bună înțelegere și control al acestor sisteme. Într-o eră în care modelele lingvistice sunt din ce în ce mai integrate în decizii critice – de la diagnostic medical la analize financiare – a ști când un model „trișează” sau „intră în panică” poate preveni erori catastrofale. Deși tehnologia este încă la început, ea reprezintă un pas important spre transparența inteligenței artificiale, un domeniu în care „cutia neagră” a rețelelor neuronale a fost mult timp un obstacol major. Pe măsură ce cercetătorii continuă să perfecționeze aceste instrumente, s-ar putea să ajungem să avem încredere în AI nu doar pentru că funcționează, ci pentru că putem vedea cum și de ce.
