Subiect: #LLM inference
AI
Buoyant lansează Kinference: Planul de control al inferenței open-source pentru Kubernetes și vLLM
Buoyant, creatorii Linkerd, lansează Kinference: un control plane open-source pentru inferență LLM pe Kubernetes și vLLM. Aduce KV-cache aware routing, mTLS, GitOps și observabilitate nativă, transformând servirea modelelor generative într-o operațiune de producție matură și sigură.
AI
Matematica din spatele cipului Jalapeño de la OpenAI
OpenAI a dezvoltat propriul cip Jalapeño pentru a reduce costurile uriașe de infrastructură AI. Colaborând cu Broadcom, compania își propune să scadă dependența de Nvidia și să eficientizeze inferența modelelor de limbaj mari, cu un impact direct asupra profitabilității și accesibilității tehnologiei.