Proiectarea kernel-urilor GPU de înaltă performanță cu TileLang: GEMM pe Tensor-Core, Softmax fuzionat, FlashAttention și autotuning
TileLang este un limbaj și compilator specializat pentru kernel-uri GPU de înaltă performanță, care simplifică utilizarea Tensor Cores, fuzionarea operațiilor precum Softmax, implementarea FlashAttention și autotuning-ul. Acest articol explorează cum TileLang revoluționează dezvoltarea de kernel-uri pentru inteligența artificială.
🕒 1 ore în urmă
