Subiect: #Inferență
Cum se construiesc fluxuri de lucru de machine learning pe GPU: ghid practic cu NVIDIA cuML, RAPIDS și inferență accelerată
NVIDIA RAPIDS și cuML mută machine learning-ul clasic direct pe GPU, cu accelerări de până la 100x. De la clustering cu DBSCAN și K-Means, la benchmarking corect, explainability cu SHAP și inferență cu Forest Inference Library, iată cum arată un flux de lucru modern de data science pe plăci video.
Cipul Jalapeño de la OpenAI: performanțe remarcabile la inferență, dar concurența nu doarme
OpenAI a prezentat la Hot Chips primele rezultate de benchmark pentru cipul său Jalapeño, care arată o performanță semnificativă la inferență, cu mai multe tokenuri per utilizator și mai mult throughput per kilowatt decât sistemele actuale. Cipul, dezvoltat cu Broadcom, este proiectat pentru a minimiza întârzierile în prefill și comunicare, și va fi implementat în volume mici la sfârșitul lui 2026. Această mișcare strategică ar putea schimba echilibrul de putere în industria AI.
Etched își dublează evaluarea la 21 de miliarde de dolari într-o singură lună: ce se află în spatele celei mai rapide creșteri din AI
Etched, startup-ul care construiește hardware specializat pentru inferența AI, și-a dublat evaluarea la 21 de miliarde de dolari într-o lună, după o rundă de 700 de milioane condusă de Jane Street. Tehnologia sa inovatoare, care separă fazele de prefill și decode, promite viteze mai mari și costuri mai mici, atrăgând investitori de top și provocând dominația Nvidia.
Viitorul centrelor de date este portabil? Runware construiește un pod pentru a afla
Runware lansează Sonic Inference Pod, un centru de date modular și transportabil, care promite inferență AI mai rapidă, mai ieftină și mai ecologică, fără a consuma apă și folosind energia existentă.
Fostul șef AI de la Databricks crede că poate reduce factura de energie a AI-ului de 1.000 de ori
Naveen Rao, fostul șef AI de la Databricks, lansează Unconventional AI, o companie care promite să reducă consumul de energie al inferenței AI de 1.000 de ori, folosind o arhitectură bazată pe oscilatori. Primul model, Un0, demonstrează fezabilitatea tehnologiei.
OpenAI își lansează primul cip personalizat, construit împreună cu Broadcom
OpenAI a dezvăluit primul său cip personalizat, Jalapeño, construit cu Broadcom, special pentru inferență. Cipul promite o eficiență energetică superioară și reduce dependența de Nvidia, marcând o schimbare strategică majoră în infrastructura AI.
Startupul de inferență AI Baseten ar urma să strângă 1,5 miliarde de dolari, la doar câteva luni după runda uriașă anterioară
Startupul de inferență AI Baseten este pe cale să strângă 1,5 miliarde de dolari la o evaluare de 13 miliarde, la doar cinci luni după o rundă de 300 de milioane. Runda are prețuri diferențiate, iar investitorii includ Spark Capital, Sands Capital, Altimeter Capital și Wellington Management.
După „neachiziția” de 20 de miliarde de dolari de la Nvidia, startup-ul de cipuri AI Groq strânge 650 de milioane de dolari
Startup-ul Groq, cunoscut pentru cipurile sale AI specializate în inferență, strânge 650 de milioane de dolari de la investitori existenți, la scurt timp după un acord spectaculos cu Nvidia, evaluat la 20 de miliarde de dolari. Fondurile vor fi folosite pentru extinderea cloud-ului de inferență, un domeniu tot mai important în inteligența artificială.
După mega-afacerea de 20 de miliarde de dolari cu Nvidia, startup-ul de cipuri AI Groq strânge 650 de milioane de dolari
Startup-ul Groq, cunoscut pentru cipurile sale AI specializate în inferență, se pregătește să atragă 650 de milioane de dolari de la investitorii existenți, la doar câteva luni după un acord de 20 de miliarde de dolari cu Nvidia. Fondurile vor fi folosite pentru extinderea cloud-ului de inferență, o piață în plină expansiune, unde Groq vrea să concureze direct cu gigantul Nvidia.
A început vânătoarea pentru puterea de calcul AI? General Compute, noul „Cerebras” al inferenței
General Compute, un startup specializat în inferență AI, a strâns 15 milioane de dolari pentru a implementa cipuri SambaNova care promit de 2-3 ori mai multă viteză decât GPU-urile. Compania vrea să devină noul standard pentru rularea modelelor AI, rezolvând criza de cipuri și infrastructură.
EAGLE 3.1: Algoritmul de decodare speculativă care repară deriva atenției în inferența modelelor de limbaj
EAGLE 3.1 este un algoritm de decodare speculativă care corectează deriva atenției în inferența modelelor de limbaj, reducând latența cu până la 60% și menținând calitatea textului generat.
Cipul Vera de la Nvidia: pariul de 200 de miliarde de dolari pe care Jensen Huang nu vrea să-l ignori
Nvidia a raportat venituri record, dar adevărata știre este cipul Vera, care vizează o piață de 200 de miliarde de dolari în inferență AI. CEO-ul Jensen Huang mizează pe acest procesor pentru a contracara concurența din partea Google, Amazon și Microsoft, care își construiesc propriile cipuri. Cu toate acestea, problemele de aprovizionare și scăderea acțiunilor după anunț arată că pariul este departe de a fi câștigat.