Subiect: #FlashAttention
Proiectarea kernel-urilor GPU de înaltă performanță cu TileLang: GEMM pe Tensor-Core, Softmax fuzionat, FlashAttention și autotuning
TileLang este un limbaj și compilator specializat pentru kernel-uri GPU de înaltă performanță, care simplifică utilizarea Tensor Cores, fuzionarea operațiilor precum Softmax, implementarea FlashAttention și autotuning-ul. Acest articol explorează cum TileLang revoluționează dezvoltarea de kernel-uri pentru inteligența artificială.
Nous Research propune Lighthouse Attention: un mecanism de atenție ierarhică bazat pe selecție, care accelerează pre-antrenarea de 1,4–1,7 ori în contexte lungi
Nous Research a lansat Lighthouse Attention, un mecanism de atenție ierarhică bazat pe selecție, care accelerează pre-antrenarea modelelor de limbaj pe contexte lungi de 1,4–1,7 ori, prin pooling simetric al Q, K și V într-o piramidă multi-rezoluție, fără a degrada performanța finală.
Paralelismul de Secvență Ulysses: Antrenarea modelelor AI cu contexte de un milion de token-uri
Ulysses Sequence Parallelism oferă o soluție revoluționară pentru antrenarea modelelor AI cu contexte de milioane de token-uri, distribuind calculul atenției pe multiple GPU-uri prin paralelismul capetelor de atenție, integrată acum complet în ecosistemul Hugging Face.