Subiect: #PrismML
PrismML lansează Ternary Bonsai 2 27B: un model Apache 2.0 de doar 5,9 GB care păstrează 98,2% din performanța Qwen3.8 27B
PrismML a lansat Ternary Bonsai 2 27B, un model de limbaj de doar 5,9 GB, cu licență Apache 2.0, care păstrează 98,2% din performanța Qwen3.8 27B. Această inovație demonstrează că modelele ternare pot fi atât eficiente, cât și precise, deschizând calea către AI accesibil pe dispozitive cu resurse limitate.
PrismML și visul unui AI mic de tot: cum ar putea un model de 5,9 GB să schimbe felul în care folosim inteligența artificială
PrismML, un startup fondat de cercetători de la Caltech, a lansat Bonsai 2 27B, un model de inteligență artificială comprimat la doar 5,9 GB, care poate rula pe PC-uri și smartphone-uri. Cu o performanță de 98% față de original, compania vrea să demonstreze că modelele mari nu trebuie să fie neapărat uriașe, aducând AI-ul direct pe dispozitivele utilizatorilor.
Implementarea modelului 1-Bit Bonsai-27B cu PrismML llama.cpp și fluxuri de inferență locale compatibile OpenAI
Află cum să implementezi modelul Bonsai-27B cuantizat pe 1 bit folosind PrismML llama.cpp și să configurezi un server local de inferență compatibil cu API-ul OpenAI, reducând cerințele hardware și păstrând confidențialitatea datelor.
PrismML lansează Bonsai 27B: versiuni cuantizate 1-bit și ternare ale Qwen3.6-27B care rulează pe laptopuri și telefoane
PrismML a lansat Bonsai 27B, o versiune cuantizată 1-bit și ternară a modelului Qwen3.6-27B, capabilă să ruleze pe laptopuri și telefoane. Articolul explică tehnologia din spate, performanțele și implicațiile pentru confidențialitate și accesibilitate.