Sună tehnic, și chiar este. Dar miza e uriașă. Pentru că, dacă un LLM poate să-și proiecteze propriul sistem de operare intern, atunci nu mai vorbim despre un simplu chatbot, ci despre un agent capabil să se autoîmbunătățească. Iar rezultatele studiului sunt, în același timp, încurajatoare și reci ca un duș dimineața.
Ce este, de fapt, un „harness” de agent
Hai să lămurim termenul, că altfel ne pierdem în jargon. Când vorbim despre un agent AI, nu vorbim doar despre modelul în sine. Vorbim despre tot ansamblul care îl face funcțional: cum își planifică pașii, cum apelează unelte externe, cum își verifică rezultatele, cum își memorează contextul, cum decide când să se oprească. Acest ansamblu se numește „harness” — ham, schelet, cadru de execuție. Este, practic, sistemul nervos al agentului.
Până acum, aceste hame erau construite manual de ingineri. Oameni cu experiență scriau cod, testau, ajustau, iterau. HarnessDev propune ceva radical diferit: lasă modelele să și-l construiască singure, pornind de la zero.
Experimentul: șase modele, cinci benchmark-uri, 2.207 sarcini
Cercetătorii au pornit de la un „seed” — un punct de plecare care obține scorul zero. Practic, un ham complet nefuncțional. Apoi au pus șase modele mari de limbaj, pe care le numesc „creator LLMs”, să construiască hame funcționale pentru cinci benchmark-uri diferite, acoperind în total 2.207 de sarcini distincte. Nu e puțin lucru. Vorbim despre scris, despre experimente de machine learning, despre cod, despre căutare de informații — domenii care cer abilități foarte diferite.
Partea cu adevărat fascinantă vine după. Modelele nu au construit hamul o dată și gata. L-au evoluat. Adică au primit feedback din execuție — ce a mers, ce nu a mers — și au modificat hamul pe baza acestui feedback. Exact așa cum ar face un inginer care își depanează codul, doar că aici „inginerul” este un model de limbaj.
Rezultatele: unde se descurcă și unde se împiedică
Aici devine interesant. Hamele construite de modele au reușit să egaleze referințele umane în două domenii: scrisul și experimentele de machine learning. Adică, în aceste zone, un ham făcut de un LLM este la fel de bun ca unul făcut de un om cu experiență. Nu e puțin lucru. Este, de fapt, o veste uriașă pentru direcția auto-îmbunătățirii agenților.
Dar, ca în orice poveste bună, vine și partea neplăcută. La cod și la căutare, hamele auto-construite rămân în urmă față de referințele umane. Nu catastrofal, dar vizibil. Și aici apare o întrebare legitimă: de ce? Probabil pentru că scrisul și experimentele ML tolerează mai multă ambiguitate, în timp ce codul și căutarea cer precizie chirurgicală, unde fiecare virgulă contează.
Problema generalizării: 34 din 64
Și acum ajungem la miezul studiului, la cifra care dă și titlul discuției: doar 34 din 64 de modificări aduse hamului în timpul evoluției s-au dovedit a fi generalizabile. Adică, din 64 de „îmbunătățiri” pe care modelele le-au făcut pe baza feedback-ului, doar 34 au mers în aceeași direcție și pe sarcini noi, ținute deoparte (held-out tasks). Restul? S-au dovedit a fi ajustări care funcționau doar pe cazurile pe care modelul le văzuse deja.
Asta este, de fapt, marea problemă a învățării automate de la bun început: supraajustarea. Modelul învață să treacă testul, nu să rezolve problema. Și, când îl pui în fața unei situații noi, cade. Faptul că aproape jumătate dintre modificările auto-generate nu se generalizează ne spune un lucru clar: LLM-urile pot să itereze, pot să modifice, pot să pară că învață — dar nu întotdeauna învață ce trebuie.
Ce ne spune asta despre viitorul agenților
Să nu fim nici prea entuziasmaști, nici prea pesimiști. Studiul HarnessDev nu demonstrează că LLM-urile pot să-și construiască singure infrastructura perfectă. Demonstrează ceva mai nuanțat: pot să o construiască parțial, în anumite domenii, cu rezultate comparabile cu ale oamenilor. Dar procesul lor de auto-îmbunătățire este zgomotos, plin de pași laterali și de iluzii de progres.
Este, într-un fel, o oglindă a modului în care învățăm și noi, oamenii. Încercăm, greșim, ajustăm, credem că am înțeles — și apoi descoperim că am memorat un caz particular, nu un principiu general. Diferența e că noi avem ani de experiență și un simț al contextului pe care un model încă nu îl are.
Ceea ce face HarnessDev valoros nu este neapărat rezultatul, ci metoda. Pentru prima dată, avem un cadru care măsoară nu doar ce știe un model, ci ce este capabil să construiască. Și, în lumea agenților autonomi, capacitatea de a construi infrastructură este mult mai importantă decât capacitatea de a răspunde la întrebări.
De ce este important:
HarnessDev mută discuția despre inteligența artificială dintr-o zonă confortabilă — „cât de bine răspunde modelul?” — într-una mult mai relevantă pentru viitor: „cât de bine își construiește modelul propriile unelte?”. Aceasta este întrebarea care va decide dacă agenții autonomi devin cu adevărat utili sau rămân simple demonstrații de laborator. Faptul că doar 34 din 64 de modificări auto-generate se generalizează ne arată limita actuală: modelele pot itera, dar nu pot încă să distingă între o îmbunătățire reală și una care doar pare bună pe hârtie. Pentru companiile care construiesc agenți AI, acest lucru înseamnă că supravegherea umană rămâne esențială, cel puțin deocamdată. Iar pentru cercetare, înseamnă că următorul mare pas nu este să facem modele mai mari, ci să le învățăm să învețe ce trebuie — nu doar să treacă testul.
