Subiect: #Optimizare
Ghid practic pentru programarea GPU pe bază de tile-uri: de la cuTile și Triton la Flash Attention
Un ghid practic pentru programarea GPU pe bază de tile-uri folosind cuTile, Triton și Flash Attention, cu exemple de kernel-uri și verificare în PyTorch. Învață cum să optimizezi operații precum adunarea vectorială, GELU, softmax, înmulțirea matricelor și atenția eficientă.
Liquid AI lansează Antidoom: o metodă open-source care reduce buclele de doom în modelele de raționament
Liquid AI a lansat Antidoom, o metodă open-source care reduce drastic buclele de doom în modelele de raționament, folosind Final Token Preference Optimization (FTPO) pentru a reantrena doar tokenul care declanșează bucla. Rezultatele arată scăderi de la 22,9% la 1% pe anumite modele.
Pot companiile tech să învețe să iubească modelele AI mai ieftine?
Industria AI se confruntă cu o posibilă schimbare majoră: trecerea de la modele mari și costisitoare la modele mai mici și mai ieftine, care ar putea gestiona 80% din sarcini fără pierderi de calitate. Aceasta ar putea reduce drastic costurile și ar putea redefini economia sectorului.
Xiaomi MiMo și TileRT: Un model cu 1 trilion de parametri depășește 1000 de tokeni pe secundă pe GPU-uri comerciale
Xiaomi și TileRT au dezvoltat o soluție care permite unui model AI cu 1 trilion de parametri să ruleze la peste 1000 de tokeni pe secundă pe GPU-uri comerciale, democratizând accesul la inteligența artificială avansată.
NVIDIA revoluționează distilarea cunoștințelor: X-Token, noul standard care depășește GOLD cu +3.82 puncte pe Llama-3.2-1B
NVIDIA lansează X-Token, o tehnică avansată de distilare a cunoștințelor care depășește metoda GOLD cu +3.82 puncte pe modelul Llama-3.2-1B. Articolul explică mecanismul de proiecție ghidată și cross-tokenizer, rezultatele obținute și impactul asupra dezvoltării modelelor AI compacte și eficiente.
EAGLE 3.1: Algoritmul de decodare speculativă care repară deriva atenției în inferența modelelor de limbaj
EAGLE 3.1 este un algoritm de decodare speculativă care corectează deriva atenției în inferența modelelor de limbaj, reducând latența cu până la 60% și menținând calitatea textului generat.
Părtinirea de frecvență a Gradientului Descendent Stocastic (SGD) și cum o rezolvă Adam
Gradientul Descendent Stocastic (SGD) are o părtinire de frecvență care favorizează tiparele rare în detrimentul celor frecvente. Optimizatorul Adam corectează această problemă prin adaptarea ratei de învățare per-parametru, normalizând gradienții în funcție de varianță. Articolul explică mecanismul și importanța sa practică.
Cum să comprimi și să evaluezi modelele lingvistice instruite cu FP8, GPTQ și SmoothQuant folosind llmcompressor
Află cum poți comprima modelele lingvistice instruite (instruction-tuned LLMs) folosind FP8, GPTQ și SmoothQuant cu ajutorul bibliotecii llmcompressor. Articolul explică pașii de implementare, rezultatele benchmark-urilor și importanța cuantizării pentru eficiență și accesibilitate.
Tehnici de Distilare a Modelelor de Limbaj: Cum să Obții Performanță cu Resurse Reduse
Distilarea modelelor de limbaj (LLM distillation) este tehnica prin care un model mare „profesor” transferă cunoștințele unui model mic „elev”, reducând costurile și resursele necesare, păstrând în același timp o mare parte din performanță. Articolul explică principalele tehnici (logit-based, feature-based, generare de date sintetice, multi-profesor), beneficiile, provocările și exemple notabile din industrie.
Sakana AI și NVIDIA lansează TwELL cu nuclee CUDA: accelerare cu 20,5% la inferență și 21,9% la antrenament pentru modelele de limbaj mari
Sakana AI și NVIDIA au lansat TwELL, o tehnologie care accelerează inferența cu 20,5% și antrenamentul cu 21,9% pentru modelele de limbaj mari, folosind nuclee CUDA optimizate. Articolul explică cum funcționează, impactul și importanța acestei inovații.
De ce zigzaghează Gradient Descent și cum îl corectează Momentum
Gradient descent zigzaghează din cauza diferențelor mari de magnitudine ale gradientilor pe diferite direcții. Momentum, inspirat din fizică, netezește oscilațiile și accelerează convergența, fiind esențial în antrenarea rețelelor neuronale.
Presupunerea LoRA care eșuează în producție
LoRA este o tehnică populară de fine-tuning, dar în producție, presupunerea că funcționează la fel ca fine-tuning-ul complet se sparge adesea. Află care sunt capcanele și cum să le eviți.