Reacția a fost instantană și violentă. Comunitatea de siguranță IA, de obicei prudentă, sceptică, a început să sărbătorească. Un cercetător de la Stanford a twittat că acest lucru ar putea fi „un moment major în istoria științei”. Alții au vorbit de o „catapultare a înțelegerii cu cinci ani în viitor”. Dar, la fel de repede, au venit și vociile raționale. Chris Potts, de la Stanford, a tăiat entuziasmul: „Nimic din acest post nu face problemele mai ușoare.” Jacob Hilton, de la Alignment Research Center, a avertizat: „Înțelegem mai puțin de 0,01% din funcționarea modelelor de top.”
Deci, ce s-a întâmplat cu adevărat? De ce un singur om, uitându-se la neuroni zece ore pe zi, a reușit să creeze o fisură în zidul pesimismului care domină interpretabilitatea mecanicistă de ani de zile?
Grădina, nu podul
Pentru a înțelege mărimea afirmației lui Cammarata, trebuie să ne întoarcem la metafora fundamentală a IA-ului modern: „Modelele sunt crescute ca o grădină, nu construite ca un pod.” Când antrenezi o rețea neuronală, nu scrii cod pentru fiecare regulă. Îți dai date, o funcție de pierdere și lasi gradientul să modeleze parametrii. Rezultatul este o cutie neagră de miliarde de numere care, prin magie matematică, vorbesc, programează și razonează.
Anni de zile, Nick Cammarata a fost unul dintre arhitechții căutării de lanternă în această întuneric. La OpenAI, a ajutat la dezvoltarea tehnicilor de „interpretabilitate mecanicistă” – esențial, IRM-uri pentru neuroni artificiali. Ideea era simplă: dacă poți vedea ce face fiecare neuron, poți reconstrui logica modelului.
Dar în 2020, studiind un model de recunoaștere a imaginilor numit Inception v1, echipa sa a lovit un perete. Au descoperit „superpoziția”: un singur neuron se activa atât la pisici, cât și la mașini. La fațete de ceas, la urechi de șoarece. Concluzia a fost desăvârșită: rețelele sunt un nod gordian. Concepte nelegate sunt împachetate în același neuron pentru a economisi spațiu. Dacă nu poți desface nodul, nu poți citi codul. Pesimismul s-a instalat ca o certitudine: înțelegerea granulară a unui LLM modern este probabil imposibilă.
Conversia
Cammarata a părăsit OpenAI și a ajuns la Goodfire. Acolo, a făcut ceva ce pare contra-intuitiv într-o eră de automatizare: a început să se uite manual. Zile, săptămâni, luni. 10 ore pe zi, 7 zile pe săptămână. A construit unelte noi, a folosit agenți de IA ca asistenți de laborator, dar esențialul a fost el – privind, etichetând, gândindu-se.
„Am fost foarte pesimist,” mă spune într-o discuție exclusivă, ziua după explozia postării sale. „Dar apoi m-am uitat cu adevărat. Și lucrurile au început să se așeze.”
Nu a fost o descoperire tehnică bruscă. A fost o schimbare de paradigmă. Cammarata realizează că comunitatea a suferit de un bias de confirmare masiv. Deoarece ne așteptam să găsim haos, am găsit haos. De fiecare dată când un neuron părea confuz, ne spuneam: „Vedeți? E prea complicat. Trebuie să dezlegăm superpoziția.”
Dar ce dacă neuronul nu e confuz? Ce dacă noi suntem cei care nu vedem pattern-ul?
Neuronul „V”
Cammarata s-a întors la Inception v1, modelul pe care îl cunoștea ca pe mâna sa. La acel neuron faimos – cel de „pisici și mașini”. În loc să întrebe „de ce ambele?”, a întrebat: „Ce au ele în comun?”
I s-a aprins becul în cinci secunde. O formă de V.
Fața unei pisici văzută de front: două urechi, un vârf de nas – un V. Fața laterală a unei mașini: capota și capota motorului – un V. A testat: colțul unei mese de bilard (V), nasul vârf al unui tren Shinkansen (V), un vapor de pompieri care aruncă apă în aer (un V inversat). Și a verificat ce dezactivează neuronul: forme rotunde, ca un O. Anti-V-ul.
Modelul nu împacheta concepte aleatoriu. Împacheta trăsături vizuale fundamentale. Pisica și mașina nu sunt „concepte semantice” pentru neuron; sunt instanțe ale aceleiași geometrie de bază.
„Am stat de mii de ore să studiez acest model,” spune Cammarata, vocea încă plină de uimire. „Și am greșit. Toți am greșit. Ne uitam la el greșit.”
De la pisici la LLM-uri: saltul credinței
Aici intervine scepticul rațional. Inception v1 are câțiva milioane de parametri. GPT-4 sau Claude 3.5 au sute de miliarde. Structura este exponențial mai complexă. Neuroni nu mai sunt singurele unități; „circuitele” – grupuri de neuroni care colaborează – sunt unitatea reală de calcul.
Cammarata nu neagă asta. „Nu spun că înțeleg pe deplin LLM-urile,” clarifică. „Spun că nu mai cred că e imposibil.”
Diferența este ontologică. Dacă înțelegerea e imposibilă, siguranța IA e un joc de noroc – punem gardă la uși pe care nu le putem deschide. Dacă e doar dificilă, dar finită, atunci automatizarea interpretabilității devine o problemă de inginerie, nu una de filozofie.
„Dacă aș avea 100.000 de ani să mă uit la un model frontier circuit cu circuit, cred că aș reuși,” spune el. „Și dacă asta e adevărat, lucrurile sunt bune. Pentru că agenții noștri de IA devin demente de capabili. Ce mi-ar lua mie 100.000 de ani, ei vor face în zile.”
Războiul narativelor
Neel Nanda, pionier al interpretabilității la Google DeepMind, a fost clar pe X: „Aceasta e o lucrare interesantă, dar nu cred că e o actualizare semnificativă a tablei mari.” El și Hilton subliniază același lucru: neuroni sunt doar atomi. Chimia – circuitele, algoritmii emergenti – rămâne o misteră aproape totală.
Cammarata recunoaște hype-ul: „O mulțime de oameni au luat ceea ce am zis prea departe. Nu e infinit de bun.”
Dar chiar și criticii îi recunosc valoarea intuției: nu renunța prea devreme. Majoritatea cercetătorilor aruncă o privire la un neuron haotic, spun „superpoziție” și trec la următorul. Cammarata a stat acolo până a văzut geometria.
Ce urmează?
Echipa Goodfire analizează acum LLM-uri de frontieră. Rezultatele tehnice vor fi publicate în curând. Până atunci, lumea IA trăiește într-o stare de suspensie cuantică: între speranța că cutia neagră are de fapt o ușă din sticlă, și frica că ne-am doar păcălit singuri cu o iluzie optică la scară mică.
Un lucru e sigur: pentru prima dată de mult timp, pesimismul nu mai este poziția implicită a expertului. Și în un domeniu unde „nu putem înțelege” a fost scuză pentru „lansăm mai repede”, o doză de optimism bazat pe evidiență – orice de incompletă – e o știre bună.
De ce este important:
Această poveste nu e despre un articol de blog. E despre epistemologia ingineriei. Decenii, am construit sisteme pe care nu le înțelegem, sperând că testele de suprafață sunt suficiente. Cammarata ne amintește că privirea atentă – nu doar datele la scară largă – poate dezvălui ordinea ascunsă în haosul aparent. Dacă are dreptate, calea către IA sigură nu trece prin „aliniere prin speranță”, ci prin reverse engineering la scară industrială. Dacă greșește, am pierdut doar timp. Dar dacă nu ne uităm deloc, sigur pierdem viitorul.
