Subiect: #Inferență
Startupul de inferență AI Baseten ar urma să strângă 1,5 miliarde de dolari, la doar câteva luni după runda uriașă anterioară
Startupul de inferență AI Baseten este pe cale să strângă 1,5 miliarde de dolari la o evaluare de 13 miliarde, la doar cinci luni după o rundă de 300 de milioane. Runda are prețuri diferențiate, iar investitorii includ Spark Capital, Sands Capital, Altimeter Capital și Wellington Management.
După „neachiziția” de 20 de miliarde de dolari de la Nvidia, startup-ul de cipuri AI Groq strânge 650 de milioane de dolari
Startup-ul Groq, cunoscut pentru cipurile sale AI specializate în inferență, strânge 650 de milioane de dolari de la investitori existenți, la scurt timp după un acord spectaculos cu Nvidia, evaluat la 20 de miliarde de dolari. Fondurile vor fi folosite pentru extinderea cloud-ului de inferență, un domeniu tot mai important în inteligența artificială.
După mega-afacerea de 20 de miliarde de dolari cu Nvidia, startup-ul de cipuri AI Groq strânge 650 de milioane de dolari
Startup-ul Groq, cunoscut pentru cipurile sale AI specializate în inferență, se pregătește să atragă 650 de milioane de dolari de la investitorii existenți, la doar câteva luni după un acord de 20 de miliarde de dolari cu Nvidia. Fondurile vor fi folosite pentru extinderea cloud-ului de inferență, o piață în plină expansiune, unde Groq vrea să concureze direct cu gigantul Nvidia.
A început vânătoarea pentru puterea de calcul AI? General Compute, noul „Cerebras” al inferenței
General Compute, un startup specializat în inferență AI, a strâns 15 milioane de dolari pentru a implementa cipuri SambaNova care promit de 2-3 ori mai multă viteză decât GPU-urile. Compania vrea să devină noul standard pentru rularea modelelor AI, rezolvând criza de cipuri și infrastructură.
EAGLE 3.1: Algoritmul de decodare speculativă care repară deriva atenției în inferența modelelor de limbaj
EAGLE 3.1 este un algoritm de decodare speculativă care corectează deriva atenției în inferența modelelor de limbaj, reducând latența cu până la 60% și menținând calitatea textului generat.
Cipul Vera de la Nvidia: pariul de 200 de miliarde de dolari pe care Jensen Huang nu vrea să-l ignori
Nvidia a raportat venituri record, dar adevărata știre este cipul Vera, care vizează o piață de 200 de miliarde de dolari în inferență AI. CEO-ul Jensen Huang mizează pe acest procesor pentru a contracara concurența din partea Google, Amazon și Microsoft, care își construiesc propriile cipuri. Cu toate acestea, problemele de aprovizionare și scăderea acțiunilor după anunț arată că pariul este departe de a fi câștigat.
Google Cloud lansează două noi cipuri AI pentru a compete cu Nvidia: TPU 8t și TPU 8i
Google Cloud a lansat două noi cipuri AI — TPU 8t pentru antrenament și TPU 8i pentru inferență — oferind până la 3x mai multă viteză și 80% mai bună performanță pe dolar, în timp ce continuă să colaboreze cu Nvidia pentru a optimiza infrastructura de AI în cloud.
Optimizarea spațiilor ZeroGPU prin compilarea ahead-of-time: Ghid complet pentru performanță maximă
Compilarea ahead-of-time (AoT) revoluționează performanța modelelor ML în spațiile ZeroGPU de la Hugging Face, eliminând timpii de pornire la rece și oferind accelerări de 1.3×-1.8×. Acest ghid detaliază implementarea tehnică, de la capturarea intrărilor până la integrarea în pipeline, explorând și tehnici avansate precum cuantizarea FP8 și FlashAttention-3.
Scaleway devine furnizor oficial de inferență AI pe Hugging Face Hub
Scaleway se integrează oficial pe Hugging Face Hub ca furnizor de inferență, oferind acces serverless la modele AI de top, cu infrastructură europeană, prețuri competitive și latență redusă pentru dezvoltatori.
Batching continuu: De la primele principii la optimizarea inferenței AI
Articolul explorează mecanismele fundamentale ale inferenței în modelele de limbaj de mari dimensiuni, de la atenție și KV caching până la batching-ul continuu, explicând cum aceste tehnici optimizează throughput-ul în scenarii de servire în sarcină ridicată.
Open Responses: Revoluția Inferenței AI dincolo de Era Chatbot-urilor
Open Responses redefinește standardul inferenței AI, trecând de la modelul conversațional la sisteme autonome capabile de raționament complex și execuție de sarcini multi-eta, oferind transparență și interoperabilitate într-un format open-source.