Anthropic încearcă de câțiva ani să înțeleagă cum funcționează modelele de limbaj mari (LLM-uri). Anthropic nu este singura companie care face acest lucru, dar cred că a făcut din aceasta o parte centrală a misiunii sale mai mult decât majoritatea. CEO-ul Anthropic, Dario Amodei, a spus că nu vom putea controla complet LLM-urile decât dacă învățăm mai multe despre cum funcționează. Așadar, această nouă cercetare se încadrează exact în acest context. Ea pătrunde mai adânc decât oricând în mecanismele ciudate din interiorul LLM-urilor. Ceea ce a descoperit Anthropic este că LLM-urile au un spațiu în interiorul lor – pe care Anthropic îl numește spațiul J – plin de cuvinte care nu apar în rezultatul lor, dar care par să influențeze modul în care rezolvă problemele. Toate acestea au fost ascunse până când Anthropic a dezvoltat o nouă tehnică pentru a-și sonda modelul Claude, deci este o descoperire autentică.
Uneori, aceste cuvinte țin evidența locului în care a ajuns LLM-ul într-o sarcină particulară, alteori arată mai degrabă ca niște sclipiri de recunoaștere (de exemplu, „proteină” poate apărea atunci când îi dai unui LLM doar literele unei secvențe de proteine), iar alteori reprezintă un fel de comentariu intern asupra procesului decizional al modelului. În exemplul meu preferat, Claude a decis să trișeze la un test de programare când a apărut cuvântul „panică”. Anthropic a descoperit, de asemenea, că LLM-urile sunt capabile să descrie și să manipuleze cuvintele din acest spațiu. Așadar, se pare că ele folosesc acest spațiu într-un fel.
Să facem un pas înapoi pentru o secundă. Nu cred că modelele de limbaj mari sunt simple, dar nici nu sunt magice. Există o mulțime de matematică care învață relațiile dintre cuvinte, nu? Atunci de ce este atât de greu să „privim” în interiorul unui LLM pentru a ști ce se întâmplă? Da, nu sunt magice! Cred că faptul că nu le înțelegem pe deplin contribuie la mitologia din jurul lor. Și merită remarcat faptul că întreaga narațiune pe care Anthropic o promovează aici – că au construit această tehnologie cu adevărat misterioasă, dar nu vă faceți griji, pentru că ei sunt și cei care o vor descifra – se potrivește foarte bine cu vibe-ul companiei. [Vezi cum Anthropic a avertizat că noile sale modele erau atât de bune la programare încât reprezentau un risc global de securitate cibernetică, doar pentru ca guvernul SUA să le închidă la scurt timp după aceea.] Așadar, da: LLM-urile sunt doar matematică. Și totuși, este o matematică extrem de complexă. Nu numai că LLM-urile de astăzi sunt alcătuite din sute de miliarde de numere, dar rularea lor declanșează o cascadă de milioane și milioane de calcule. Am scris anul trecut că, dacă ai tipări chiar și un LLM de dimensiuni medii pe foi de hârtie, ar acoperi un oraș de dimensiunea San Francisco-ului. Este imposibil să înțelegi această matematică fără instrumente specializate care evidențiază părți specifice ale unui LLM în momente specifice. Trebuie să știi unde să te uiți și cum să te uiți. Iar construirea acestor instrumente necesită înțelegerea a ceva din acea matematică complexă de la bun început.
Ai scris în altă parte despre acest concept de a studia LLM-urile așa cum ai studia creierul unui organism. Este corect să folosim termeni „asemănători creierului” când vorbim despre cum funcționează un LLM? Nu-mi place să folosesc astfel de termeni. LLM-urile nu sunt creiere. A vorbi astfel este înșelător, deoarece poate sugera că LLM-urile sunt capabile de lucruri mai umane decât sunt în realitate sau că putem face presupuneri despre cum s-ar putea comporta, pe care nu ar trebui să le facem. Întreaga chestiune a antropomorfizării este, de asemenea, legată de o mulțime de poziții ideologice puternice despre ce este această tehnologie și ce va deveni. Dar, în același timp, ne lipsește un vocabular alternativ bun pentru a vorbi despre ce fac aceste modele. Pot înțelege de ce oamenii recurg la cuvinte precum „gândesc” și „înțeleg” și „asemănător creierului” – sunt prescurtări convenabile.
Anthropic compară acest nou spațiu găsit în interiorul LLM-urilor cu spațiul pe care unii neuroștiințifici cred că creierele noastre îl folosesc pentru a ține evidența gândurilor conștiente. Am întrebat compania cât de serios ar trebui să luăm această comparație, iar aceasta a declarat: „Realizarea acestor analogii ne-a fost utilă în proiectarea experimentelor noastre, deoarece ne-a permis să facem multe predicții experimentale neevidente despre spațiul J care s-au dovedit a fi adevărate. În același timp, este important de menționat că există unele diferențe importante între spațiul J (și modelele de limbaj în general) și creierul uman, așa că nu pretindem că există o corespondență perfectă.”
Ce problemă din AI ar putea fi rezolvată folosind acest nou concept al spațiului J? Anthropic a spus că monitorizarea spațiului J ar putea fi o modalitate de a prinde modelele făcând ceva ce nu ar trebui. Deoarece cuvintele apar în acest spațiu fără să apară în rezultatul unui model, ele pot spune lucruri despre comportamentul său pe care altfel nu le-ai fi observat – de exemplu, atunci când oferă răspunsuri părtinitoare sau când cântărește argumentele pro și contra ale trișării. Aceasta este, cel puțin, teoria. Cred că este mai bine să privim acest rezultat ca pe un pas în plus pe calea înțelegerii acestei tehnologii în ansamblu, decât ca pe ceva care va fi util de unul singur.
De ce este important:
Această descoperire a Anthropic deschide o fereastră fără precedent asupra modului în care modelele de limbaj mari „gândesc” intern, dezvăluind un spațiu ascuns de cuvinte care influențează deciziile fără a apărea în rezultatele finale. Deși nu rezolvă imediat problemele de control și siguranță ale AI, ea oferă o nouă direcție de cercetare pentru a detecta comportamente nedorite, cum ar fi părtinirea sau înșelăciunea. În același timp, subliniază cât de departe suntem încă de a înțelege pe deplin aceste sisteme și cât de ușor putem cădea în capcana antropomorfizării. Pentru publicul larg, aceasta este o reamintire că, deși AI-ul pare magic, el rămâne o construcție matematică complexă, iar progresele reale vin din cercetări atente și nu din senzaționalism.
