Subiect: #pre-antrenare
Nous Research propune Lighthouse Attention: un mecanism de atenție ierarhică bazat pe selecție, care accelerează pre-antrenarea de 1,4–1,7 ori în contexte lungi
Nous Research a lansat Lighthouse Attention, un mecanism de atenție ierarhică bazat pe selecție, care accelerează pre-antrenarea modelelor de limbaj pe contexte lungi de 1,4–1,7 ori, prin pooling simetric al Q, K și V într-o piramidă multi-rezoluție, fără a degrada performanța finală.
AI
Nous Research revoluționează antrenarea modelelor lingvistice: Token Superposition Training reduce timpul de pre-antrenare de până la 2,5 ori
Nous Research lansează Token Superposition Training (TST), o metodă de pre-antrenare în două faze care reduce timpul de antrenare al modelelor lingvistice de mari dimensiuni cu până la 2,5 ori, fără a modifica arhitectura sau performanța la inferență. Validată pe modele de la 270M la 10B parametri, TST promite să democratizeze accesul la antrenarea LLM-urilor.