Noutăți în llama.cpp: Gestionarea Avansată a Modelelor și Arhitectura Multi-Proces
Echipa llama.cpp introduce un sistem revoluționar de gestionare a modelelor, similar cu Ollama, bazat pe o arhitectură multi-proces. Aceasta asigură stabilitate superioară prin izolarea proceselor și include funcții avansate precum auto-descoperirea modelelor, încărcare la cerere și evacuare inteligentă LRU pentru optimizarea memoriei video.
🕒 1 luni în urmă
