FreeToken: Motorul de servire MoE care rulează GLM-5.2 de 753B pe un singur GPU de workstation
FreeToken este un motor de servire open-source care rulează modelul GLM-5.2 de 753 de miliarde de parametri pe un singur GPU de workstation, folosind tehnici avansate de offloading și cuantizare. Acest lucru democratizează accesul la AI de ultimă generație și face posibilă rularea locală a modelelor complexe.
🕒 3 săptămâni în urmă
