Universitatea Tsinghua lansează AKV: Serverul de cache open-source care revoluționează performanța agentilor LLM pe SGLang
Universitatea Tsinghua lansează AKV, un server de cache KV open-source specializat pentru agenți LLM pe SGLang. Dezleagă cache-ul de GPU, folosește evicție semantic-aware și reduce costurile de inferență cu 60-80%, devenind o componentă esențială pentru AI-ul în producție.
🕒 1 săptămâni în urmă
