Subiect: #Mixture of Experts
Samaya AI lansează Sterling: Modelul de 3B parametri care dă bataie de cap Claude 3.5 Sonnet în finanțe, la o fracțiune din cost
Samaya AI lansează Sterling, un agent de cercetare financiară cu 3B parametri activi care depășește Claude 3.5 Sonnet pe benchmark-ul FrontierFinance la 1/11 din cost. Articolul analizează arhitectura Mixture-of-Experts, impactul economic pentru fondurile mici și românești, riscurile de securitate și de ce acest lucru semnifică sfârșitul erii modelelor masive generaliste în favoarea micro-experților specializați.
JetBrains lansează Mellum2.1: un model open-source de 12 miliarde de parametri, cu arhitectură MoE, gândit special pentru agenții de cod
JetBrains a lansat Mellum2.1, un model open-source de 12 miliarde de parametri cu arhitectură Mixture of Experts, special gândit pentru agenții autonomi de cod. Analizăm ce înseamnă asta pentru dezvoltatori, pentru piața AI și pentru suveranitatea digitală europeană.
Aleph Alpha lansează Kolibri: un model uriaș de 78,1 miliarde de parametri care consumă cât unul mic. Revoluția silențioasă vine din Germania
Compania germană Aleph Alpha a lansat Kolibri, un model AI cu 78,1 miliarde de parametri totali dar doar 3,46 miliarde activi, folosind arhitectura Mixture of Experts. Bilingv engleză-germană și cu greutăți deschise, Kolibri promite performanță de gigant cu eficiența unui model mic — un pas major pentru suveranitatea digitală europeană.
AMD lansează Instella-MoE-16B-A3B: un model lingvistic open-source cu arhitectură Mixture-of-Experts, antrenat pe GPU-uri Instinct
AMD a lansat Instella-MoE-16B-A3B, un model lingvistic open-source cu arhitectură Mixture-of-Experts, având 16 miliarde de parametri totali, dar doar 2,8 miliarde activi. Antrenat pe GPU-uri AMD Instinct, modelul oferă o alternativă eficientă și accesibilă la soluțiile bazate pe NVIDIA, deschizând calea către o AI mai democratizată.
Robbyant lansează LingBot-VLA 2.0: un model open-source de tip Vision-Language-Action (VLA) cu 6 miliarde de parametri pentru manipularea robotică multi-embodiment
Robbyant, divizia de cercetare a Ant Group, a lansat LingBot-VLA 2.0, un model open-source de tip Vision-Language-Action cu 6 miliarde de parametri, capabil să controleze multiple configurații robotice. Antrenat pe 60.000 de ore de date, modelul folosește un spațiu de acțiune canonic de 55 de dimensiuni și tehnici avansate de distilare, depășind modelele anterioare pe benchmark-ul GM-100.
Google lansează DiffusionGemma: un model open-source de 26 de miliarde de parametri care generează text de 4 ori mai rapid
Google a lansat DiffusionGemma, un model open-source de 26 de miliarde de parametri care folosește difuzia textuală pentru a genera text de până la 4 ori mai rapid decât modelele tradiționale. Acest model inovator promite să revoluționeze generarea de text, oferind viteză și eficiență sporite, fiind disponibil gratuit pentru comunitatea AI.
NVIDIA lansează Nemotron 3 Ultra: un model deschis de 550 de miliarde de parametri, hibrid Mamba-Transformer, pentru agenți cu execuție îndelungată
NVIDIA a lansat Nemotron 3 Ultra, un model open-source de 550 de miliarde de parametri, care combină arhitecturile Mamba și Transformer într-un sistem Mixture-of-Experts, optimizat pentru agenți AI cu execuție îndelungată. Este un pas major spre democratizarea AI-ului de ultimă generație.
DeepSeek prezintă un nou model de AI care „îmbrățișează spațiul” cu modelele de frontieră
DeepSeek lansează modelele V4 Flash și V4 Pro, cu până la 1,6 biliardi de parametri,preturi subțepătoare și performanțe aproape la nivelul modelelor de frontiera, marcând un pas semnificativ în cursa globală de AI.
Alegeri Arhitecturale în Ecosistemul AI Open-Source din China: Construcția Dincolo de DeepSeek
Analiza detaliată a schimbărilor arhitecturale din ecosistemul AI open-source din China post-DeepSeek, evidențiind adoptarea arhitecturii Mixture of Experts (MoE), diversificarea modalităților, preferința pentru modelele mici și trecerea strategică la hardware domestic.
Mixture of Experts (MoE) în Transformers: O Revoluție în Arhitectura Modelelor de Limbaj
Modelele Mixture of Experts (MoE) revoluționează AI-ul prin decuplarea capacității de învățare de costul computațional. Acest articol explorează integrarea lor în Transformers, de la refactorizarea încărcării greutăților și materializarea leneșă a tensorilor, până la backend-uri optimizate și paralelismul experților.