Subiect: #Machine Learning
Bun venit GPT OSS, noua familie de modele open-source de la OpenAI!
OpenAI lansează familia de modele GPT OSS sub licență Apache 2.0, marcând un angajament major față de comunitatea open-source. Cu arhitecturi MoE eficiente de 21B și 117B parametri, optimizări precum cuantizarea mxfp4 și Flash Attention 3, modelele pot rula local pe GPU-uri consumer, democratizând accesul la AI de ultimă generație.
Alinierea Modelelor Viziune-Limbaj în TRL: O Nouă Eră a Optimizării Preferințelor
Modelele Viziune-Limbaj evoluează rapid, dar alinierea lor la preferințele umane rămâne o provocare critică. Acest articol explorează noile tehnici din TRL, precum MPO și GRPO, care depășesc limitările DPO tradițional, oferind o robustete superioară și o capacitate de raționament îmbunătățită pentru modelele multimodale.
Accelerate ND-Parallel: Ghid complet pentru antrenarea eficientă pe mai multe GPU-uri
Pe măsură ce modelele de inteligență artificială cresc la dimensiuni de zeci sau sute de miliarde de parametri, provocarea principală devine gestionarea memoriei și comunicarea între dispozitive. Acest ghid explorează strategiile de paralelism — de la Data Parallelism la tehnici avansate precum Tensor Parallelism și Fully Sharded Data Parallelism — oferind o perspectivă detaliată asupra modului în care acestea pot fi combinate pentru a optimiza antrenarea modelelor la scară largă.
NVIDIA lansează un set de date masiv de raționament multilingv: 6 milioane de intrări pentru a democratiza inteligența artificială deschisă
NVIDIA lansează un set de date masiv de raționament multilingv, extinzând suportul pentru AI-ul deschis. Noul model Nemotron Nano 2 9B introduce o arhitectură hibridă și un „buget de gândire” configurabil, promițând costuri de raționament cu 60% mai mici.
Optimizarea spațiilor ZeroGPU prin compilarea ahead-of-time: Ghid complet pentru performanță maximă
Compilarea ahead-of-time (AoT) revoluționează performanța modelelor ML în spațiile ZeroGPU de la Hugging Face, eliminând timpii de pornire la rece și oferind accelerări de 1.3×-1.8×. Acest ghid detaliază implementarea tehnică, de la capturarea intrărilor până la integrarea în pipeline, explorând și tehnici avansate precum cuantizarea FP8 și FlashAttention-3.
EmbeddingGemma: Noul model de embedding eficient de la Google revoluționează căutarea semantică pe dispozitive mobile
Google lansează EmbeddingGemma, un model de embedding multilingv de 308M parametri, optimizat pentru dispozitive mobile și performanță de top în căutarea semantică și RAG.
mmBERT: ModernBERT devine multilingv – o nouă eră pentru modelele de limbaj
mmBERT reprezintă o evoluție majoră în domeniul modelelor de limbaj multilingve, fiind primul care depășește performanțele XLM-R. Antrenat pe peste 3 trilioane de tokeni în 1800 de limbi, modelul introduce tehnici inovatoare de antrenament progresiv și fuzionare, oferind simultan performanță superioară și eficiență computațională ridicată.
Jupyter Agents: Antrenarea modelelor de limbaj pentru raționament bazat pe notebook-uri
Jupyter Agent reprezintă o inovație majoră în antrenarea modelelor de limbaj de mici dimensiuni pentru a raționa și executa cod în medii Jupyter. Proiectul detaliază un pipeline complex de curățare a datelor din Kaggle și fine-tuning, demonstrând cum modelele mici pot deveni agenți eficienți în știința datelor.
Together AI și Hugging Face revoluționează antrenarea modelelor: Acum poți adapta orice LLM în doar câteva minute
Parteneriatul dintre Together AI și Hugging Face permite dezvoltatorilor să efectueze fine-tuning pe orice model LLM compatibil direct prin infrastructura cloud, eliminând complexitatea tehnică și reducând timpul de la descoperire la implementare la doar câteva minute.
Nu Doar Înțelege, Ci Evoluează: Noul JiuwenClaw Auto-Evoluabil Își Face Debutul
Lansarea platformei JiuwenClaw marchează o nouă eră în inteligența artificială, trecând dincolo de simpla înțelegere a datelor către capacitatea de auto-evoluție. Această tehnologie promite să redefinească adaptabilitatea sistemelor algorithmice în ecosistemul digital modern.
A-Evolve: Momentul PyTorch pentru sistemele de Inteligență Artificială Agentică – Înlocuirea reglajului manual cu mutații automate de stare și autocorecție
A-Evolve reprezintă o revoluție în dezvoltarea sistemelor AI agentice, automatizând procesele de adaptare și corecție. Similar cu impactul pe care PyTorch l-a avut asupra învățării profunde, această nouă paradigmă elimină necesitatea reglajului manual, permițând agenților să-și modifice starea și să se autocorecteze în timp real.
Trucuri de la OpenAI gpt-oss pe care TU 🫵 le poți utiliza cu transformers
Lansarea GPT-OSS de la OpenAI aduce o serie de inovații tehnice în ecosistemul open-source. Acest articol explorează integrarea acestora în biblioteca `transformers`, de la kernel-e zero-build și Flash Attention 3, până la cuantizarea MXFP4 și paralelismul tensorial, oferind un ghid detaliat pentru optimizarea inferenței modelelor de limbaj de mari dimensiuni.