Cum să construiești transformatoare eficiente din punct de vedere al memoriei cu xFormers folosind secvențe împachetate, GQA, ALiBi, SwiGLU și atenție cauzală
xFormers optimizează transformatoarele pe GPU-uri prin atenție eficientă, secvențe împachetate, GQA, ALiBi și SwiGLU, reducând memoria cu până la 40% și accelerând antrenamentul.
🕒 3 zile în urmă