Startup-ul Infinity, fondat de fostul cercetător Google Jeremy Nixon, a strâns 15 milioane de dolari de la Touring Capital și cercetători OpenAI și Anthropic pentru a construi un software universal care să permită oricărui cip AI să ruleze modele de inteligență artificială la performanțe comparabile cu Nvidia, amenințând dominația acesteia pe piață.
Un ghid practic pentru programarea GPU pe bază de tile-uri folosind cuTile, Triton și Flash Attention, cu exemple de kernel-uri și verificare în PyTorch. Învață cum să optimizezi operații precum adunarea vectorială, GELU, softmax, înmulțirea matricelor și atenția eficientă.
Sakana AI și NVIDIA au lansat TwELL, o tehnologie care accelerează inferența cu 20,5% și antrenamentul cu 21,9% pentru modelele de limbaj mari, folosind nuclee CUDA optimizate. Articolul explică cum funcționează, impactul și importanța acestei inovații.
NVIDIA a lansat cuda-oxide, un backend experimental de compilare care transformă kernel-uri SIMT scrise în Rust direct în PTX, deschizând calea către programarea GPU-urilor cu siguranța și performanța oferite de Rust.
Un articol detaliat despre utilizarea modelului Claude pentru a genera și transfera abilități de programare CUDA către modele open-source mai mici, democratizând accesul la expertiza avansată în optimizarea GPU.
Acest site folosește cookie-uri pentru a-ți oferi o experiență de navigare cât mai plăcută. Continuarea navigării implică acceptarea acestora.