Subiect: #MoE
MiniMax Sparse Attention (MSA): O Revoluție în Atenția Dispersată cu Două Ramuri, Antrenată pe un Model MoE de 109 Miliarde de Parametri cu un Buget de 3 Tiloane de Token-uri
MiniMax Sparse Attention (MSA) este o arhitectură inovatoare de atenție dispersată cu două ramuri, antrenată pe un model MoE de 109 miliarde de parametri cu un buget de 3 trilioane de token-uri. MSA combină atenția locală și globală pentru a reduce costul computațional, permițând modelelor să gestioneze contexte mai lungi eficient. Această tehnologie ar putea democratiza accesul la AI și permite aplicații noi.
JetBrains lansează Mellum2: modelul de 12 miliarde de parametri care promite să schimbe regulile jocului în conductele AI multimodel
JetBrains a lansat Mellum2, un model MoE de 12 miliarde de parametri, conceput pentru sarcini rapide și specializate în conductele AI multimodel. Articolul analizează arhitectura, poziționarea competitivă și impactul asupra dezvoltatorilor.
Liquid AI lansează LFM2.5-8B-A1B: Un model MoE pentru dispozitive cu 8,3 miliarde de parametri totali și doar 1,5 miliarde activi
Liquid AI a lansat LFM2.5-8B-A1B, un model MoE cu 8,3 miliarde de parametri totali și doar 1,5 miliarde activi, optimizat pentru rulare pe dispozitive. Articolul explică arhitectura, beneficiile pentru edge computing și impactul asupra confidențialității și performanței.
Cohere lansează Command A+: Un model MoE de 218B parametri pentru fluxuri de lucru agentice, care rulează pe doar două GPU-uri H100
Cohere lansează Command A+, un model de 218 miliarde de parametri cu arhitectură Mixture of Experts, capabil să ruleze pe doar două GPU-uri H100. Modelul este optimizat pentru fluxuri de lucru agentice, stabilind noi recorduri de performanță și democratizând accesul la AI avansat.
Zyphra lansează ZAYA1-8B-Diffusion-Preview: primul model de difuzie MoE convertit dintr-un LLM autoregresiv, cu o accelerare de până la 7,7 ori
Zyphra a lansat ZAYA1-8B-Diffusion-Preview, primul model de difuzie MoE convertit dintr-un LLM autoregresiv, care oferă o accelerare de până la 7,7 ori. Articolul explică tehnologia din spate, performanțele și impactul asupra industriei AI.
AntAngelMed: Modelul medical open-source cu 103 miliarde de parametri care revoluționează diagnosticarea asistată
AntAngelMed, un model lingvistic medical open-source cu 103 miliarde de parametri și arhitectură MoE 1/32, activează doar 6,1 miliarde de parametri la inferență, atingând performanțe de top pe benchmark-uri medicale, cu viteză și eficiență remarcabile.
Google Cloud C4 și Intel Xeon 6: O revoluție în eficiența costurilor pentru modelele AI de tip MoE
Noile instanțe Google Cloud C4, echipate cu procesoare Intel Xeon 6, demonstrează o reducere de 70% a Costului Total de Proprietate (TCO) pentru inferența modelelor AI MoE, grație optimizărilor hardware și software realizate în colaborare cu Hugging Face.