Subiect: #decodare speculativă
Liquid AI lansează modelele draft LFM2.5-DSpark: decodare de până la 3,18 ori mai rapidă, fără a schimba rezultatele
Liquid AI a lansat modelele draft LFM2.5-DSpark, care accelerează decodarea de până la 3,18 ori fără a modifica rezultatele. Această inovație promite inferență mai rapidă, costuri reduse și o experiență îmbunătățită pentru utilizatorii de aplicații AI.
Tencent lansează open-source AngelSpec: un cadru unificat de antrenament pentru decodarea speculativă MTP și bloc-paralelă pe modele Hy3
Tencent a deschis codul sursă al AngelSpec, un cadru unificat de antrenare pentru decodarea speculativă pe modele Hy3. Include DFly, un draftor bazat pe difuzie bloc, și D-cut, un modul de bugetare adaptivă, oferind o accelerare de până la 2,40× față de decodarea autoregresivă standard.
DeepSeek lansează DSpark: un cadru de decodare speculativă care accelerează generarea per utilizator cu 60–85% față de MTP-1
DeepSeek a lansat DSpark, un cadru de decodare speculativă care accelerează generarea de text per utilizator cu 57–85% față de MTP-1, fără pierderi de calitate. Folosește un draft paralel și un cap Markov pentru a reduce degradarea sufixelor, plus o verificare adaptivă în funcție de încărcarea GPU-ului. DeepSpec, setul de instrumente de antrenament, este open-source sub licență MIT.
EAGLE 3.1: Algoritmul de decodare speculativă care repară deriva atenției în inferența modelelor de limbaj
EAGLE 3.1 este un algoritm de decodare speculativă care corectează deriva atenției în inferența modelelor de limbaj, reducând latența cu până la 60% și menținând calitatea textului generat.