Subiect: #GPU
Accelerarea antrenării transformatoarelor cu NVIDIA Transformer Engine, kernel-uri fuzionate, BF16, FP8 și benchmark-uri GPU
NVIDIA Transformer Engine, kernel-urile fuzionate și preciziile BF16/FP8 revoluționează antrenarea modelelor transformer, oferind accelerări de până la 4x și reducând costurile. Află cum funcționează și cum le poți folosi în propriile proiecte AI.
LingBot-Map Tutorial: Inferență conștientă de GPU și Export de Nor de Puncte
Învață cum să folosești LingBot-Map pentru inferență conștientă de GPU și export de nori de puncte, cu exemple practice de cod și sfaturi de optimizare.
Proiectarea kernel-urilor GPU de înaltă performanță cu TileLang: GEMM pe Tensor-Core, Softmax fuzionat, FlashAttention și autotuning
TileLang este un limbaj și compilator specializat pentru kernel-uri GPU de înaltă performanță, care simplifică utilizarea Tensor Cores, fuzionarea operațiilor precum Softmax, implementarea FlashAttention și autotuning-ul. Acest articol explorează cum TileLang revoluționează dezvoltarea de kernel-uri pentru inteligența artificială.
Nvidia trimite procesoare GPU pe Lună: Roverul Lunar Outpost va folosi cipuri Jetson pentru navigare autonomă
Nvidia colaborează cu Lunar Outpost pentru a trimite procesoare GPU Jetson pe Lună, unde vor controla navigarea unui rover. Este prima dată când un GPU ajunge pe suprafața selenară, deschizând calea către roboți mai autonomi în explorarea spațială.
NVIDIA lansează DeepStream 9.1: Inteligența artificială agentică ajunge în domeniul viziunii computerizate cu 13 abilități și urmărire 3D multi-vedere
NVIDIA a lansat DeepStream 9.1, aducând inteligența artificială agentică în viziunea computerizată. Platforma include 13 abilități predefinite și urmărire 3D multi-vedere, permițând sistemelor să perceapă, să raționeze și să acționeze autonom în timp real.
De ce primii finanțatori de GPU-uri se orientează acum către cipuri de inferență, într-o tranzacție de 400 de milioane de dolari
General Compute, un startup de cloud AI, a obținut un împrumut de 400 de milioane de dolari de la Upper90, folosind cipuri de inferență ca garanție. Este prima tranzacție de acest gen și semnalează o schimbare majoră de la GPU-urile scumpe la soluții mai eficiente pentru rularea modelelor AI open-source.
Nvidia, victima propriei sale creații: piața de calcul pe care a construit-o o întoarce spatele
Nvidia se confruntă cu o scădere a acțiunilor pe fondul atenuării penuriei de GPU-uri, în timp ce producătorii de memorie precum Micron beneficiază de cererea explozivă de DRAM. Analiza arată cum succesul Nvidia a creat o piață de calcul care acum îi scapă de sub control.
MoonMath AI lansează open-source un kernel de atenție HIP pentru AMD MI300X care depășește AITER v3 în toate formele și modurile de rotunjire
MoonMath AI a lansat open-source un kernel de atenție HIP pentru AMD MI300X care depășește AITER v3 în toate testele. Descoperiți cum această mișcare poate schimba echilibrul de putere în hardware-ul AI și ce înseamnă pentru dezvoltatori și centrele de date.
Cum să construiești transformatoare eficiente din punct de vedere al memoriei cu xFormers folosind secvențe împachetate, GQA, ALiBi, SwiGLU și atenție cauzală
xFormers optimizează transformatoarele pe GPU-uri prin atenție eficientă, secvențe împachetate, GQA, ALiBi și SwiGLU, reducând memoria cu până la 40% și accelerând antrenamentul.
Tutorial NVIDIA cuTile Python: Construirea Kernel-urilor GPU cu Plăci pentru Adunare Vectorială, Adunare Matriceală și Înmulțire Matriceală în Colab
Tutorial practic pentru NVIDIA cuTile Python în Colab, acoperind adunare vectorială, adunare matriceală și înmulțire matriceală cu plăci, validare PyTorch și benchmark-uri.
Xiaomi MiMo și TileRT: Un model cu 1 trilion de parametri depășește 1000 de tokeni pe secundă pe GPU-uri comerciale
Xiaomi și TileRT au dezvoltat o soluție care permite unui model AI cu 1 trilion de parametri să ruleze la peste 1000 de tokeni pe secundă pe GPU-uri comerciale, democratizând accesul la inteligența artificială avansată.
Google lansează Colab CLI: dezvoltatorii și agenții AI pot rula Python pe GPU-uri și TPU-uri direct din terminal
Google a lansat Colab CLI, o unealtă care permite dezvoltatorilor și agenților AI să ruleze cod Python pe GPU-uri și TPU-uri remote direct din terminal, fără a mai fi nevoie de interfața web. Aceasta deschide noi posibilități de automatizare și integrare în fluxuri de lucru complexe.