Subiect: #compresie modele
AI
PrismML și visul unui AI mic de tot: cum ar putea un model de 5,9 GB să schimbe felul în care folosim inteligența artificială
PrismML, un startup fondat de cercetători de la Caltech, a lansat Bonsai 2 27B, un model de inteligență artificială comprimat la doar 5,9 GB, care poate rula pe PC-uri și smartphone-uri. Cu o performanță de 98% față de original, compania vrea să demonstreze că modelele mari nu trebuie să fie neapărat uriașe, aducând AI-ul direct pe dispozitivele utilizatorilor.
NVIDIA lansează Nemotron-Labs-3-Puzzle-75B-A9B: un model lingvistic hibrid MoE comprimat care oferă o performanță de server de 2,03 ori mai mare la același debit per utilizator
NVIDIA a lansat Nemotron-Labs-3-Puzzle-75B-A9B, un model lingvistic hibrid MoE comprimat, care oferă o performanță de server de 2,03 ori mai mare decât predecesorul său, la același debit per utilizator. Modelul folosește o tehnică inovatoare de compresie structurală iterativă, reducând parametrii de la 120,7B la 75,3B, și permite o concurență de 8 ori mai mare pe un singur GPU H100.