Ce este conectomul și de ce ar conta?
Conectomul este harta completă a conexiunilor neuronale dintr-un organism. Pentru muștele de fructe (Drosophila melanogaster), această hartă a fost complet mapată în ultimii ani, devenind unul dintre cele mai detaliate „scheme electrice” disponibile pentru orice creier. Ideea din spatele FLM este că, dacă un LLM poate învăța din texte, de ce nu ar putea învăța și din structura unui creier real? Practic, cercetătorii au luat fiecare neuron și fiecare sinapsă din conectom și le-au transformat în vectori de înglobare (embeddings), pe care i-au injectat în modelul de limbaj.
Arhitectura FLM: cum funcționează?
FLM pornește de la un model de bază înghețat, LFM2.5-1.2B-Instruct, care are 1,2 miliarde de parametri. Acest model este „înghețat”, adică nu mai este antrenat deloc. În schimb, FLM adaugă un strat de corecție mic, învățabil, care primește informațiile din conectom. Doar 278.528 de parametri sunt antrenați, ceea ce este infim comparativ cu miliardele din modelul de bază. Practic, FLM încearcă să „ghideze” modelul înghețat folosind structura creierului de muscă, ca un fel de pilot automat neuronal.
Rezultatele: o îmbunătățire minusculă, dar controalele spun altceva
Preprintul asociat raportează o îmbunătățire de 0,0222 nats per token față de modelul de bază. Nats sunt o unitate de măsură a informației, similară cu biții, dar în logaritm natural. O îmbunătățire de 0,0222 nats per token este extrem de mică, dar totuși pozitivă. Cu toate acestea, cercetătorii au făcut un lucru esențial: au creat patru controale. Un control este un model cu același număr de parametri antrenați, dar fără graful de conectom, doar cu embeddings aleatorii sau cu o structură similară. Rezultatul? În fiecare seed (fiecare rulare cu inițializări diferite), controlul fără graful de conectom a avut performanțe ușor mai bune decât FLM. Asta înseamnă că adăugarea conectomului nu doar că nu ajută, dar chiar încetinește ușor învățarea.
De ce se întâmplă asta?
Există mai multe explicații posibile. În primul rând, conectomul muștei de fructe este conceput pentru a procesa informații senzoriale și motorii, nu limbaj. Structura sa este optimizată pentru supraviețuirea insectei, nu pentru a înțelege sintaxa sau semantica. În al doilea rând, modelul de bază LFM2.5-1.2B este deja foarte bun la procesarea limbajului, iar adăugarea unui semnal extern, chiar și unul atât de complex, poate introduce zgomot. În al treilea rând, doar 278.528 de parametri antrenați sunt prea puțini pentru a învăța cum să folosească eficient cele 25,6 milioane de muchii. Practic, modelul nu are capacitatea de a „înțelege” ce să facă cu toate acele informații structurale.
Memoria și constrângerile tehnice
Un aspect interesant este limita de memorie de 0,6 per token. Aceasta înseamnă că, pentru fiecare token procesat, modelul poate stoca doar 0,6 bytes de informație suplimentară din conectom. Este o constrângere extrem de severă, care limitează cantitatea de informație structurală care poate fi injectată. În practică, aceasta înseamnă că FLM nu poate folosi întregul conectom în mod eficient, ci doar o parte foarte comprimată. Acest lucru explică de ce îmbunătățirea este atât de mică și de ce controalele o depășesc.
Cum rulezi codul local?
Codul este disponibil sub licență MIT, ceea ce înseamnă că oricine îl poate descărca și rula. Pentru a-l rula local, ai nevoie de un GPU cu cel puțin 16 GB VRAM, deoarece modelul de bază are 1,2 miliarde de parametri. De asemenea, trebuie să descarci conectomul MaleCNS, care este disponibil public. Procesul implică transformarea conectomului în embeddings, apoi antrenarea stratului de corecție. Totul este documentat în repository-ul oficial, dar atenție: rezultatele nu sunt spectaculoase, așa cum am văzut.
Implicații mai largi pentru IA
Acest studiu este un exemplu excelent de transparență științifică. Cercetătorii nu au ascuns faptul că metoda lor nu funcționează; dimpotrivă, au publicat controalele care arată eșecul. Acest lucru este rar în domeniul IA, unde multe lucrări prezintă doar rezultate pozitive. FLM ne învață că integrarea datelor biologice în LLM-uri nu este o soluție magică. Deși conectomul este o comoară de informații structurale, el nu este direct util pentru procesarea limbajului. Poate că viitoarele cercetări vor găsi modalități mai bune de a folosi astfel de date, cum ar fi antrenarea unui model de la zero cu arhitecturi inspirate de biologie, nu doar adăugarea unui strat peste un model existent.
Concluzie: un experiment curajos, dar cu rezultate modeste
FLM este un experiment fascinant care împinge limitele a ceea ce putem face cu LLM-urile. Faptul că nu a funcționat nu este un eșec, ci o lecție valoroasă. Ne arată că biologia și IA nu se îmbină atât de ușor pe cât ne-am dori. Totuși, efortul de a cartografia un creier întreg și de a-l conecta la un model de limbaj este demn de laudă. Pe viitor, poate vom vedea abordări mai sofisticate, care să țină cont de dinamica neuronală, nu doar de structura statică. Până atunci, FLM rămâne un studiu de caz interesant despre limitele actuale ale IA.
De ce este important:
Acest studiu este important pentru că demonstrează, cu rigoare științifică, că simpla adăugare a unui conectom biologic la un LLM nu aduce beneficii semnificative. Într-o perioadă în care multe companii și cercetători caută să imite creierul uman, FLM oferă o notă de precauție: nu orice structură biologică este utilă pentru procesarea limbajului. Mai mult, publicarea controalelor negative este un exemplu de bune practici în cercetarea IA, încurajând transparența și reproducibilitatea. Pentru comunitatea științifică, aceasta înseamnă că trebuie să căutăm abordări mai profunde, nu doar să lipim date biologice pe modele existente. Pentru publicul larg, este o lecție despre cum funcționează de fapt știința: cu încercări, erori și onestitate.
