LingBot-VLA 2.0 nu este doar o actualizare minoră. Față de versiunea anterioară, aduce îmbunătățiri substanțiale atât în ceea ce privește datele de antrenare, cât și arhitectura modelului. Conform echipei Robbyant, modelul a fost pre-antrenat pe aproximativ 60.000 de ore de date, dintre care 50.000 de ore provin din traiectorii robotice reale, înregistrate pe 20 de configurații robotice diferite. Restul de 10.000 de ore sunt videoclipuri egocentrice umane – adică filmări din perspectiva primului ochi, care oferă o sursă bogată de informații despre modul în care oamenii interacționează cu obiectele. Această combinație de date robotice și umane este cheia pentru a învăța mișcări fine și adaptabile.
Un aspect remarcabil al LingBot-VLA 2.0 este modul în care unifică diferite tipuri de corpuri robotice. În loc să aibă module separate pentru fiecare tip de robot, modelul mapează fiecare embodiment într-un spațiu canonic de acțiune de 55 de dimensiuni. Acest spațiu acoperă brațe, mâini dexteroase (cu degete articulate), talie, cap și baze mobile. Astfel, același model poate fi folosit pentru un braț robotic industrial, un robot umanoid sau un robot mobil cu braț – fără a necesita reantrenare specifică. Este o abordare care amintește de conceptul de „fundamental model” în robotică, similar cu ceea ce fac modelele de limbaj mari pentru text.
Arhitectura modelului include un Mixture-of-Experts (MoE) la nivel de token, specializat pe acțiuni. Spre deosebire de alte implementări MoE, acesta nu folosește o pierdere de echilibrare a sarcinii (load-balancing loss), ceea ce simplifică antrenarea și reduce costurile computaționale. În plus, modelul beneficiază de o tehnică inovatoare numită „dual-query distillation” din LingBot-Depth și DINO-Video. Aceasta adaugă supervizare geometrică și temporală, permițând modelului să anticipeze mișcările viitoare – un avantaj crucial pentru manipularea dinamică, cum ar fi prinderea unui obiect în mișcare.
Rezultatele sunt promițătoare. Pe benchmark-ul GM-100, care testează abilitățile generaliste de manipulare, LingBot-VLA 2.0 depășește atât modelul π0.5 (un alt VLA popular), cât și propria versiune anterioară, LingBot-VLA 1.0. Performanța superioară a fost confirmată pe ambele platforme evaluate, ceea ce sugerează că modelul este robust și scalabil.
Ce înseamnă acest lucru pentru comunitatea de robotică? În primul rând, accesul open-source permite cercetătorilor și inginerilor să experimenteze, să ajusteze și să extindă modelul fără restricții. În al doilea rând, abordarea cross-embodiment reduce semnificativ timpul și resursele necesare pentru a antrena roboți pentru sarcini noi. În loc să colectezi date specifice pentru fiecare robot, poți folosi un model pre-antrenat care înțelege deja principiile de bază ale manipulării.
Desigur, provocările rămân. Deși 60.000 de ore de date sună impresionant, în realitate, diversitatea sarcinilor și a mediilor este încă limitată. Roboții trebuie să facă față unor situații complet noi, iar generalizarea rămâne o problemă deschisă. De asemenea, modelul are 6 miliarde de parametri, ceea ce necesită resurse hardware semnificative pentru rulare în timp real. Cu toate acestea, tendința este clară: modelele VLA devin din ce în ce mai puternice și mai accesibile.
Robbyant a publicat și un articol tehnic detaliat, precum și codul și greutățile modelului pe GitHub. Pentru cei interesați, este o oportunitate excelentă de a explora frontiera roboticii bazate pe învățare profundă. Pe măsură ce aceste modele evoluează, ne putem aștepta ca roboții să devină mai utili în fabrici, depozite, case și chiar în medii periculoase.
De ce este important:
LingBot-VLA 2.0 reprezintă un pas semnificativ spre democratizarea roboticii inteligente. Prin oferirea unui model open-source, cross-embodiment, care unifică controlul pentru diverse tipuri de roboți, Robbyant accelerează cercetarea și dezvoltarea în domeniu. Aceasta înseamnă că mai multe echipe, de la startup-uri la universități, pot construi pe baza acestui model fără a reinventa roata. În plus, utilizarea datelor umane egocentrice pentru antrenare deschide calea către o învățare mai naturală și mai eficientă. Pe termen lung, astfel de modele ar putea duce la roboți care se adaptează rapid la noi sarcini și medii, reducând costurile și crescând siguranța în aplicații critice.
