Pentru cei care nu sunt familiarizați, MoE (Mixture-of-Experts) este o tehnică prin care un model mare este împărțit în mai multe „experți” mai mici, fiecare specializat pe o parte a datelor. La rulare, doar un subset de experți este activat, ceea ce reduce costul computațional fără a sacrifica performanța. Însă antrenamentul acestor modele este notoriu de complex, în special din cauza naturii nedeterministe a operațiilor paralele – două rulări ale aceluiași cod pot da rezultate ușor diferite, ceea ce complică depanarea și reproducibilitatea.
Cursor, cunoscută pentru instrumentele sale de dezvoltare AI, a decis să abordeze această problemă printr-o abordare radicală: un megakernel care unifică toate operațiile critice într-un singur nucleu de calcul, eliminând variabilitatea introdusă de scheduling-ul GPU-urilor. MoK (Mixture-of-Kittens – un nume jucăuș care face aluzie la „pisicuțe” și la amestecul de experți) este construit pe CUDA și optimizează fluxul de date între memorie și procesoarele tensor, asigurând că fiecare pas al antrenamentului este perfect reproductibil.
„Determinismul nu este doar un moft academic”, explică inginerii Cursor într-un document tehnic asociat. „Când antrenezi modele cu sute de miliarde de parametri, chiar și o diferență de 0.001% în greutăți poate duce la comportamente complet diferite. Cu MoK, fiecare experiment poate fi reprodus exact, ceea ce accelerează cercetarea și reduce costurile.”
Ce înseamnă acest lucru pentru rack-urile GB300 NVL72? Acestea sunt sisteme modulare care înglobează 72 de GPU-uri NVIDIA GB300 (următoarea generație după H100/B200) interconectate prin NVLink de mare viteză. Sunt concepute pentru a rula modele de tip frontieră, cum ar fi GPT-4 sau Gemini, dar eficiența lor depinde de software-ul care orchestrează calculul. MoK este primul kernel open-source care profită de arhitectura specifică NVL72, utilizând memoria partajată și bandwidth-ul ridicat pentru a minimiza latența.
Un aspect remarcabil este că MoK nu este doar un kernel de antrenament, ci un „megakernel” – adică un singur program care gestionează atât forward-ul, cât și backward-ul, precum și actualizarea ponderilor. Aceasta reduce overhead-ul de lansare a kernelurilor și permite o planificare mai fină a resurselor. În testele interne, Cursor raportează o îmbunătățire de 15-20% a throughput-ului față de abordările tradiționale bazate pe biblioteci precum Megatron-LM sau DeepSpeed, menținând în același timp determinismul strict.
Deschiderea codului sursă este o veste excelentă pentru comunitatea open-source. Până acum, soluțiile deterministe pentru MoE erau fie proprietare, fie limitate la anumite configurații. MoK este licențiat sub Apache 2.0 și poate fi integrat în framework-uri populare precum PyTorch sau JAX. Cursor speră ca acest lucru să stimuleze inovația în domeniul modelelor de tip MoE, care devin din ce în ce mai populare datorită eficienței lor.
„Am văzut cum open-source a transformat deep learning-ul”, a declarat un purtător de cuvânt al Cursor. „Cu MoK, vrem să oferim cercetătorilor uneltele necesare pentru a construi modele mai mari, mai sigure și mai reproductibile. GB300 NVL72 este platforma ideală pentru asta, iar MoK este cheia care deblochează potențialul său real.”
Desigur, nu totul este roz. Unii critici subliniază că MoK este optimizat exclusiv pentru GB300 NVL72, ceea ce îl face inutilizabil pe hardware mai vechi. De asemenea, megakernel-ul necesită o cantitate semnificativă de memorie partajată, ceea ce poate limita dimensiunea modelelor care pot fi antrenate. Cu toate acestea, Cursor promite că lucrează la versiuni pentru alte arhitecturi, inclusiv pentru clustere mai mici.
Impactul pe termen lung al acestei lansări ar putea fi uriaș. În primul rând, determinismul reduce risipa de resurse: nu mai trebuie să rulezi același experiment de mai multe ori pentru a verifica rezultatele. În al doilea rând, deschiderea codului permite comunității să contribuie cu optimizări, accelerând evoluția tehnologiei. În al treilea rând, MoK demonstrează că este posibil să combine performanța maximă cu reproductibilitatea, un compromis considerat mult timp imposibil.
Pentru cei care doresc să experimenteze, codul sursă este disponibil pe GitHub-ul Cursor, împreună cu documentație detaliată și exemple de utilizare. Instalarea necesită CUDA 12.4 sau mai nou și un sistem cu cel puțin un GPU GB300 (sau emulator). Cursor organizează și un webinar săptămâna viitoare pentru a explica arhitectura internă a MoK.
În concluzie, Mixture-of-Kittens este mai mult decât un nume simpatic – este o soluție tehnică serioasă pentru una dintre cele mai mari provocări ale antrenamentului AI modern. Prin deschiderea sa, Cursor nu doar că își consolidează poziția de lider în inovație, ci și democratizează accesul la tehnologii de vârf. Rămâne de văzut cât de repede va fi adoptat MoK de către comunitatea de cercetare, dar un lucru este cert: pisicuțele au venit să rămână.
De ce este important:
Lansarea open-source a MoK de către Cursor marchează un pas crucial spre antrenamentul reproductibil și eficient al modelelor MoE la scară largă. Într-o eră în care costurile de antrenare explodează, iar rezultatele sunt adesea greu de reprodus, un megakernel deterministic poate reduce semnificativ timpul și resursele necesare pentru cercetare. Mai mult, prin optimizarea pentru platforma GB300 NVL72, MoK valorifică la maximum hardware-ul de ultimă generație, deschizând calea către modele AI mai sigure, mai transparente și mai accesibile. Pentru comunitatea open-source, acesta este un cadou neprețuit care poate accelera inovația în domeniul inteligenței artificiale.
