Filtrează articolele

Subiect: #AI inference

AI FreeToken: Motorul de servire MoE care rulează GLM-5.2 de 753B pe un singur GPU de workstation

FreeToken: Motorul de servire MoE care rulează GLM-5.2 de 753B pe un singur GPU de workstation

FreeToken este un motor de servire open-source care rulează modelul GLM-5.2 de 753 de miliarde de parametri pe un singur GPU de workstation, folosind tehnici avansate de offloading și cuantizare. Acest lucru democratizează accesul la AI de ultimă generație și face posibilă rularea locală a modelelor complexe.

🕒 3 săptămâni în urmă
AI NVIDIA și Google reduc costurile de inferență AI printr-o colaborare strategică

NVIDIA și Google reduc costurile de inferență AI printr-o colaborare strategică

NVIDIA și Google Cloud au anunțat o colaborare care reduce costurile de inferență AI de zece ori, prin instanțe A5X bazate pe arhitectura Vera Rubin. Parteneriatul include soluții de guvernanță a datelor, calcul confidențial, sisteme agentice și AI fizică, deschizând calea pentru adoptarea pe scară largă în industrii reglementate și producție.

🕒 4 luni în urmă

Acest site folosește cookie-uri pentru a-ți oferi o experiență de navigare cât mai plăcută. Continuarea navigării implică acceptarea acestora.