Subiect: #FlashAttention
Nous Research propune Lighthouse Attention: un mecanism de atenție ierarhică bazat pe selecție, care accelerează pre-antrenarea de 1,4–1,7 ori în contexte lungi
Nous Research a lansat Lighthouse Attention, un mecanism de atenție ierarhică bazat pe selecție, care accelerează pre-antrenarea modelelor de limbaj pe contexte lungi de 1,4–1,7 ori, prin pooling simetric al Q, K și V într-o piramidă multi-rezoluție, fără a degrada performanța finală.
AI
Paralelismul de Secvență Ulysses: Antrenarea modelelor AI cu contexte de un milion de token-uri
Ulysses Sequence Parallelism oferă o soluție revoluționară pentru antrenarea modelelor AI cu contexte de milioane de token-uri, distribuind calculul atenției pe multiple GPU-uri prin paralelismul capetelor de atenție, integrată acum complet în ecosistemul Hugging Face.