PrismML și visul unui AI mic de tot: cum ar putea un model de 5,9 GB să schimbe felul în care folosim inteligența artificială

Într-o lume în care modelele de inteligență artificială par să crească necontenit, cu parametri numărați în miliarde și sute de miliarde, o echipă de cercetători de la Caltech vine cu o idee contrară: ce-ar fi dacă modelele performante nu ar trebui să fie neapărat uriașe? PrismML, un startup încă tânăr, dar cu o echipă tehnică impresionantă, mizează exact pe această idee. Compania a lansat recent Bonsai 2 27B, un model de inteligență artificială care, deși poartă numele de „27B” (referindu-se la numărul de parametri), reușește să se comprimeze într-un spațiu de doar 5,9 GB. Asta înseamnă că poate rula pe un PC obișnuit și, eventual, pe un smartphone de ultimă generație. Pentru context, modelul original, Qwen3.8 27B de la Alibaba, ocupă de aproximativ 9-10 ori mai multă memorie. O reducere spectaculoasă, care ar putea democratiza accesul la inteligența artificială avansată.Dar de ce este acest lucru atât de important? Pentru că, până acum, modelele de tip reasoning, cele care „gândesc” înainte de a răspunde, au fost rezervate marilor companii și infrastructurilor cloud. Utilizatorii obișnuiți trebuie să se conecteze la internet și să trimită datele către servere îndepărtate, cu toate riscurile de confidențialitate și costurile asociate. PrismML vrea să schimbe această paradigmă, aducând inteligența artificială direct pe dispozitivele noastre. Și nu este doar o vorbă: deja primul model Bonsai, lansat în martie, a fost descărcat de peste 11 milioane de ori, iar modelele și mai mici ale companiei au strâns alte 2,6 milioane de descărcări. Semn că există o cerere reală pentru astfel de soluții.Ce face PrismML diferit față de alți jucători din domeniul compresiei de modele? În primul rând, echipa. Fondat de cercetători de la Caltech, startup-ul este condus de Babak Hassibi, profesor la Caltech și expert în tehnologii de compresie. În plus, are ca advisor pe Ion Stoica, co-fondator al Databricks și director al Sky Computing Lab de la Berkeley, un loc care a dat naștere unor tehnologii și startup-uri celebre, de la Letta la SGLang. Investitorii includ Khosla Ventures, Cerberus Capital și chiar Caltech. Nu este singura companie care lucrează la compresia LLM-urilor – Multiverse Computing, fondată de un profesor renumit din Spania, face și ea acest lucru – dar Hassibi susține că tehnologia PrismML este unică prin faptul că modelele sale pierd aproape nimic din performanță.Concret, Bonsai 2 27B atinge 98% din scorurile agregate ale modelului Qwen original, față de 95% cât atingea prima versiune Bonsai. O îmbunătățire clară de la o lansare la alta. Întrebarea dacă se poate ajunge la 100% rămâne deschisă, dar Hassibi este optimist, mai ales pentru modelele mai mari. „Următoarele modele pe care le vom lansa, sperăm în următoarele luni, vor fi în intervalul de câteva sute de miliarde de parametri, și mă aștept ca acolo să fie mai ușor să păstrăm inteligența”, a declarat el pentru TechCrunch. Raționamentul este simplu: cu cât modelul este mai mare, cu atât există mai mult „spațiu” de comprimat fără a pierde esențialul. „Ca tendință generală, pentru modelele mai mari, este mai ușor să ajungi la 100%”, a adăugat el.Cum funcționează, de fapt, această compresie? Totul se reduce la „greutățile” (weights) modelului – adică informațiile pe care modelul le învață și le stochează în timpul antrenării. În mod normal, fiecare greutate necesită 16 biți. PrismML folosește o abordare numită „greutăți ternare”, care simplifică valorile la doar trei posibilități: +1, -1 sau 0. Cu valori mult mai mici de stocat pentru fiecare greutate, modelul ocupă dramatic mai puțin spațiu. Este o tehnică elegantă, care reduce complexitatea fără a sacrifica prea mult din acuratețe. Desigur, compresia va avea întotdeauna un anumit impact, recunoaște Hassibi, dar diferența de 2% este aproape academică, având în vedere că modelele necomprimate nu sunt nici ele perfecte, iar benchmark-urile nu reflectă întotdeauna sarcinile reale. În plus, software-ul din jurul modelului – „hamul” în care rulează – contează enorm pentru acuratețea finală.Ion Stoica vede în această tehnologie o oportunitate uriașă de a aduce inteligența artificială la îndemâna tuturor. „Vei avea inteligență la vârful degetelor, și va fi gratuită, pentru că va rula pe dispozitivul pe care deja l-ai cumpărat. Va fi și privată, pentru că nu o vei trimite în cloud”, a spus el. Aceasta este, de fapt, marea promisiune a PrismML: un AI care nu depinde de conexiunea la internet, care nu îți trimite datele personale către servere îndepărtate și care funcționează chiar și atunci când ești offline. Pentru utilizatorii preocupați de confidențialitate, pentru cei din zone cu acces limitat la internet sau pentru companiile care nu vor să-și expună datele sensibile, aceasta ar putea fi o schimbare de joc.Desigur, nu totul este roz. PrismML nu a strâns încă sume uriașe – doar o rundă seed de 22,25 milioane de dolari – și se confruntă cu concurență din partea unor companii mai bine finanțate. De asemenea, rămâne de văzut dacă modelele comprimate vor putea face față sarcinilor complexe de reasoning la fel de bine ca cele originale, în condiții reale de utilizare. Dar primele rezultate sunt încurajatoare, iar faptul că Bonsai 2 a fost deja adoptat de atât de mulți utilizatori sugerează că există o piață reală pentru acest tip de soluții. Se zvonește chiar că PrismML ar fi în discuții cu Apple, deși CEO-ul Babak Hassibi a refuzat să comenteze acest subiect pentru TechCrunch. Dacă un astfel de parteneriat s-ar materializa, ar putea însemna că viitoarele iPhone-uri sau Mac-uri ar putea rula modele de inteligență artificială avansate direct pe dispozitiv, fără a fi nevoie de cloud.Într-o eră în care inteligența artificială devine tot mai prezentă în viața noastră, dar și tot mai centralizată, inițiativa PrismML aduce o gură de aer proaspăt. Nu este doar o problemă tehnică, ci una filosofică: cine deține controlul asupra inteligenței artificiale? Dacă modelele pot rula local, pe dispozitivele noastre, atunci nu mai suntem dependenți de marile corporații pentru a accesa aceste instrumente. Este o viziune care pune puterea în mâinile utilizatorilor, iar asta ar putea avea implicații profunde pentru industrie, pentru confidențialitate și pentru modul în care interacționăm cu tehnologia. PrismML este încă la început, dar direcția în care merge este una care merită urmărită cu atenție.### De ce este important:Această tehnologie ar putea democratiza accesul la inteligența artificială avansată, permițând rularea modelelor de reasoning pe dispozitive personale, fără conexiune la internet și fără a compromite confidențialitatea datelor. Dacă PrismML reușește să-și extindă compresia la modele de sute de miliarde de parametri, am putea vedea un viitor în care fiecare smartphone sau PC devine un hub de inteligență artificială, reducând dependența de cloud și deschizând noi posibilități pentru aplicații offline, asistenți personali inteligenți și procesare locală a datelor sensibile. Este un pas important către un AI mai accesibil, mai privat și mai eficient din punct de vedere energetic.