Perplexity AI lansează open-source un tokenizer Unigram care reduce latența p50 de 5 ori față de crate-ul Hugging Face
Perplexity AI a lansat open-source un tokenizer Unigram care oferă o latență p50 de cinci ori mai mică decât Hugging Face tokenizers, promițând să accelereze procesarea textului în modelele de limbaj.
🕒 2 săptămâni în urmă
