Subiect: #Kubernetes
Microsoft deschide sursa TauGrid: un stack nativ Kubernetes pentru sarcini AI pe GPU
Microsoft a deschis sursa TauGrid, un stack nativ Kubernetes pentru gestionarea sarcinilor AI pe GPU. Acesta oferă programare inteligentă, scalare elastică și monitorizare avansată, democratizând accesul la infrastructură de calcul de înaltă performanță.
NVIDIA lansează Dynamo Snapshot: un sistem de pornire rapidă pentru inferență AI pe Kubernetes bazat pe CRIU
NVIDIA a lansat Dynamo Snapshot, un sistem bazat pe CRIU care permite pornirea aproape instantanee a containerelor de inferență AI pe Kubernetes, reducând timpii de inițializare de la zeci de secunde la sub o secundă. Articolul explică tehnologia din spate, integrarea cu Kubernetes și impactul asupra costurilor și performanței.
Platforma LiteLLM Agent: Un strat de infrastructură auto-găzduit, bazat pe Kubernetes, pentru sandbox-uri izolate de agenți și gestionarea persistentă a sesiunilor în producție
LiteLLM a lansat Platforma LiteLLM Agent, o soluție auto-găzduită bazată pe Kubernetes, care oferă sandbox-uri izolate pentru agenți AI și gestionare persistentă a sesiunilor în producție. Articolul detaliază arhitectura, beneficiile și cazurile de utilizare ale acestei platforme.
ScaleOps atrage 130 de milioane de dolari pentru a revoluționa eficiența computațională în era cererii masive pentru AI
Startup-ul ScaleOps a ridicat 130 de milioane de dolari într-o rundă Series C, evaluând compania la 800 de milioane de dolari, pentru a aborda ineficiența critică din infrastructura AI. Fondat de un fost inginer Run:ai, ScaleOps oferă o soluție software autonomă care promite reducerea costurilor cloud cu până la 80%, gestionând în timp real resursele precum GPU-urile, memoria și rețelele pentru giganți precum Adobe și Salesforce.