Subiect: #GPU
Cum să construiești transformatoare eficiente din punct de vedere al memoriei cu xFormers folosind secvențe împachetate, GQA, ALiBi, SwiGLU și atenție cauzală
xFormers optimizează transformatoarele pe GPU-uri prin atenție eficientă, secvențe împachetate, GQA, ALiBi și SwiGLU, reducând memoria cu până la 40% și accelerând antrenamentul.
Tutorial NVIDIA cuTile Python: Construirea Kernel-urilor GPU cu Plăci pentru Adunare Vectorială, Adunare Matriceală și Înmulțire Matriceală în Colab
Tutorial practic pentru NVIDIA cuTile Python în Colab, acoperind adunare vectorială, adunare matriceală și înmulțire matriceală cu plăci, validare PyTorch și benchmark-uri.
Xiaomi MiMo și TileRT: Un model cu 1 trilion de parametri depășește 1000 de tokeni pe secundă pe GPU-uri comerciale
Xiaomi și TileRT au dezvoltat o soluție care permite unui model AI cu 1 trilion de parametri să ruleze la peste 1000 de tokeni pe secundă pe GPU-uri comerciale, democratizând accesul la inteligența artificială avansată.
Google lansează Colab CLI: dezvoltatorii și agenții AI pot rula Python pe GPU-uri și TPU-uri direct din terminal
Google a lansat Colab CLI, o unealtă care permite dezvoltatorilor și agenților AI să ruleze cod Python pe GPU-uri și TPU-uri remote direct din terminal, fără a mai fi nevoie de interfața web. Aceasta deschide noi posibilități de automatizare și integrare în fluxuri de lucru complexe.
Google plătește SpaceX 920 de milioane de dolari pe lună pentru putere de calcul
Google va plăti SpaceX 920 de milioane de dolari pe lună între 2026 și 2029 pentru acces la 110.000 de GPU-uri NVIDIA și alte componente, într-un acord anunțat cu o săptămână înainte de IPO-ul istoric al SpaceX. Similar cu parteneriatul anterior cu Anthropic, contractul include clauze de reziliere și reflectă creșterea explozivă a cererii de infrastructură AI.
mKernel: Biblioteca de kerneluri fuzionate pentru comunicare GPU multi-GPU și multi-nod
mKernel este o bibliotecă open-source care revoluționează comunicarea între GPU-uri multiple, rulând kerneluri fuzionate direct pe placă grafică, fără a mai trece prin CPU. Rezultatul: antrenare mai rapidă a modelelor AI, latență redusă și suport nativ pentru medii multi-nod.
La fel ca aurul și petrolul, în curând vom putea tranzacționa futures pe token-uri AI
Bursele din Shanghai, CME Group și ICE lucrează la lansarea de contracte futures pe token-uri AI și închiriere de GPU-uri, transformând puterea de calcul într-o marfă tranzacționabilă similară aurului sau petrolului.
Cipul Vera de la Nvidia: pariul de 200 de miliarde de dolari pe care Jensen Huang nu vrea să-l ignori
Nvidia a raportat venituri record, dar adevărata știre este cipul Vera, care vizează o piață de 200 de miliarde de dolari în inferență AI. CEO-ul Jensen Huang mizează pe acest procesor pentru a contracara concurența din partea Google, Amazon și Microsoft, care își construiesc propriile cipuri. Cu toate acestea, problemele de aprovizionare și scăderea acțiunilor după anunț arată că pariul este departe de a fi câștigat.
NVIDIA lansează SANA-WM: modelul mondial open-source cu 2,6 miliarde de parametri care generează videoclipuri de 720p la scară de minute pe un singur GPU
NVIDIA a lansat SANA-WM, un model mondial open-source cu 2,6 miliarde de parametri, capabil să genereze videoclipuri de 720p de până la un minut pe un singur GPU. Articolul explică tehnologia, comparațiile cu Sora, aplicațiile și impactul asupra democratizării generării video.
NVIDIA lansează cuda-oxide: un compilator experimental Rust-to-CUDA care compilează kernel-uri SIMT direct în PTX
NVIDIA a lansat cuda-oxide, un backend experimental de compilare care transformă kernel-uri SIMT scrise în Rust direct în PTX, deschizând calea către programarea GPU-urilor cu siguranța și performanța oferite de Rust.
OpenAI lansează MRC (Multipath Reliable Connection): Un nou protocol de rețea deschis pentru clusterele de antrenare AI la scară largă
OpenAI, în parteneriat cu AMD, Broadcom, Intel, Microsoft și NVIDIA, lansează MRC (Multipath Reliable Connection), un protocol de rețea deschis care îmbunătățește performanța și reziliența clusterelor de antrenare AI, permițând distribuirea pachetelor pe sute de căi simultan și recuperarea în microsecunde după defecțiuni.
ScaleOps atrage 130 de milioane de dolari pentru a revoluționa eficiența computațională în era cererii masive pentru AI
Startup-ul ScaleOps a ridicat 130 de milioane de dolari într-o rundă Series C, evaluând compania la 800 de milioane de dolari, pentru a aborda ineficiența critică din infrastructura AI. Fondat de un fost inginer Run:ai, ScaleOps oferă o soluție software autonomă care promite reducerea costurilor cloud cu până la 80%, gestionând în timp real resursele precum GPU-urile, memoria și rețelele pentru giganți precum Adobe și Salesforce.