Modelele Viziune-Limbaj (VLMs) reprezintă astăzi una dintre cele mai avansate frontiere în inteligența artificială, reușind să proceseze și să interpreteze simultan informații vizuale și textuale. Cu toate acestea, deși capacitățile lor brute sunt în continuă creștere, provocarea reală rămâne alinierea acestora la preferințele umane. Un model poate fi extrem de puternic, dar dacă nu răspunde într-un mod util, sigur și coerent intențiilor utilizatorului, valoarea sa este semnificativ diminuată. În ecosistemul de învățare automată, biblioteca TRL (Transformer Reinforcement Learning) a devenit standardul pentru ajustarea fină și alinierea modelelor. Recent, TRL a făcut pași mari dincolo de metodele tradiționale, introducând suport pentru tehnici avansate de optimizare care extrag semnale mult mai bogate din datele de preferință.
Această evoluție este crucială. Până recent, fluxul de lucru standard implica aplicarea Supervised Fine-Tuning (SFT) urmat de Direct Preference Optimization (DPO). Deși eficient, DPO are limitări, în special în contextul multimodal, unde complexitatea datelor necesită abordări mai nuanțate. Noile metode implementate în TRL, precum Mixed Preference Optimization (MPO), Group Relative Policy Optimization (GRPO) și Group Sequence Policy Optimization (GSPO), promit să depășească aceste bariere, oferind o scalabilitate și o performanță superioară pentru VLM-urile moderne.
Optimizarea Preferințelor Mixte (MPO): O Abordare Hibridă
Una dintre cele mai interesante inovații este Mixed Preference Optimization (MPO), o tehnică concepută special pentru a aborda deficiențele metodelor clasice în sarcinile de raționament multimodal. S-a observat că modelele aliniate exclusiv prin SFT tind să sufere de o schimbare a distribuției, în timp ce cele aliniate doar cu DPO pot eșua în generarea de raționamente coerente, căzând adesea în capcana răspunsurilor repetitive.
MPO rezolvă această problemă printr-o abordare hibridă, combinând trei tipuri de pierderi (loss-uri) distincte:
1. Pierderea de preferință (sigmoid loss): Preluată din DPO, optimizează preferințele dintre perechile de răspunsuri (alese vs. respinse).
2. Pierderea de calitate (BCO loss): Derivată din Binary Classifier Optimization, aceasta ajută modelul să distingă calitatea intrinsecă a răspunsurilor.
3. Pierderea de generare (SFT loss): Menține capacitatea modelului de a genera text coerent și relevant.
Conform lucrărilor de cercetare, simpla comutare la această pierdere combinată a dus la o îmbunătățire de 6,2 puncte pe benchmark-ul MathVista, o realizare notabilă. Din perspectiva implementării, TRL a integrat MPO direct în clasa DPOTrainer, permițând dezvoltatorilor să activeze această funcționalitate printr-o simplă configurare a ponderilor pentru fiecare tip de pierdere.
Group Relative Policy Optimization (GRPO): Robustete prin Grupuri
GRPO reprezintă o metodă de aliniere de ultimă generație, popularizată prin modelul DeepSeek R1. Aceasta este o extensie a algoritmului clasic PPO (Proximal Policy Optimization), dar cu o diferență majoră: actualizările politicii se fac la nivel de grupuri de traiectorii, nu la nivel individual.
Această abordare oferă o robustete superioară față de zgomotul din semnalul de recompensă. Într-un sistem tradițional, o recompensă anomală (prea mare sau prea mică) poate destabiliza antrenarea. În GRPO, media recompenselor dintr-un grup netezește aceste extreme, permițând modelului să învețe un sens mai larg al ceea ce constituie un răspuns bun, în detrimentul optimizării pentru eșantioane izolate de recompensă mare.
În contextul VLM-urilor, GRPO necesită definirea unor funcții de recompensă specifice. De exemplu, pentru probleme de matematică cu input vizual, putem defini două funcții critice:
Implementarea în TRL permite antrenarea modelelor cu aceste funcții de recompensă personalizate, facilitând dezvoltarea unor VLM-uri capabile să „gândească” înainte de a oferi un răspuns final.
Group Sequence Policy Optimization (GSPO): Stabilitate la Nivel de Secvență
Lansat de echipa Qwen, GSPO abordează unele limitări ale GRPO, în special în cazul modelelor MoE (Mixture of Experts). Diferența cheie constă în modul de calculare a ponderilor de importanță (importance sampling weights). În timp ce GRPO poate calcula aceste ponderi la nivel de token, GSPO le calculează la nivel de secvență întreagă.
Această schimbare tehnică duce la o antrenare mult mai stabilă. În modelele complexe, cum ar fi cele MoE, stabilitatea gradientului este esențială pentru convergență. GSPO a demonstrat că poate oferi rezultate superioare în scenarii care necesită o înțelegere holistică a contextului, nu doar o optimizare locală a token-ilor. TRL suportă acum GSPO ca o variantă configurabilă a GRPO, simplificând adoptarea acestei metode de către comunitate.
Comparație Practică și Rezultate
Pentru a ilustra impactul acestor tehnici, să analizăm un exemplu concret de rezolvare a unei probleme de geometrie. Un model de bază (Qwen2.5VL-3B) tinde să aplice formule standard în mod mecanic, ajungând la un rezultat incorect (50°) din cauza unei interpretări greșite a proprietăților arcelor și coardelor.
În schimb, un model antrenat cu MPO demonstrează o capacitate superioară de raționament. Acesta nu doar că recunoaște proprietățile geometrice, dar aplică corect teoreme precum suma unghiurilor într-un patrulater cyclic. În exemplul analizat, MPO a reușit să deducă corect răspunsul de 130°, demonstrând că metoda hibridă de optimizare permite modelului să navigheze prin ambiguități și să ajungă la soluția corectă printr-un raționament logic structurat.
Concluzie și Extensii Viitoare
Pe lansă aceste metode de aliniere, TRL a introdus și suport nativ pentru Supervised Fine-tuning și integrarea cu vLLM pentru inferență rapidă. Algoritmi precum Reinforce Leave One Out (RLOO) și Online DPO extind și mai mult arsenalul dezvoltatorilor. Viitorul VLM-urilor nu constă doar în modele mai mari, ci și în modele mai bine aliniate, capabile să înțeleagă nuanțele umane și să raționeze complex. Prin democratizarea accesului la aceste tehnici avansate, TRL accelerează inovația în domeniul inteligenței artificiale multimodale.
