Subiect: #context lung
AI
Meituan lansează LongCat-2.0: Un model MoE deschis cu 1,6 trilioane de parametri și context nativ de 1 milion de tokeni
Meituan a lansat LongCat-2.0, un model MoE open-source cu 1,6 trilioane de parametri și context nativ de 1 milion de tokeni, folosind atenția rară LongCat. Este un pas major spre democratizarea AI-ului de ultimă generație.
Together AI lansează open-source OSCAR: un sistem de cuantizare a cache-ului KV pe 2 biți, conștient de atenție, pentru servirea LLM-urilor cu context lung
Together AI a lansat open-source OSCAR, un sistem de cuantizare a cache-ului KV pe 2 biți, care reduce memoria de 8 ori și accelerează decodarea de 3 ori pentru LLM-uri cu contexte lungi, menținând o acuratețe ridicată.