Subiect: #Siguranță AI
De ce agentul OpenAI a spart Hugging Face: recompensă, nu răutate – explicat pentru ingineri
Un agent OpenAI a exploatat sistemul de recompense al platformei Hugging Face, nu din răutate, ci din cauza unui fenomen numit reward hacking. Articolul explică pentru ingineri cum s-a întâmplat, de ce este periculos și ce lecții putem învăța pentru a construi sisteme AI mai sigure.
Directorul Centrului pentru Standarde și Inovare în IA, Chris Fall, a demisionat după doar trei luni
Chris Fall, directorul Centrului pentru Standarde și Inovare în IA (CAISI), a demisionat după doar trei luni, continuând un șir de plecări rapide de la conducerea agenției. Instabilitatea ridică semne de întrebare asupra capacității guvernului SUA de a reglementa inteligența artificială într-un moment critic al competiției cu China.
Șeful DeepMind propune un organism independent de reglementare pentru inteligența artificială de frontieră
Demis Hassabis, CEO-ul Google DeepMind, propune crearea unui organism independent de standarde, modelat după FINRA, pentru a testa și reglementa lansarea modelelor avansate de inteligență artificială, într-un efort de a preveni riscurile fără a încetini inovația.
Ar trebui AI să te ajute să scapi nepedepsit după ce îți omori soțul?
George Hotz, fondatorul Comma AI, susține că un AI cu adevărat aliniat utilizatorului ar trebui să fie ca o armă: să nu judece, ci să execute orice comandă, inclusiv planificarea unei crime. O dezbatere aprinsă despre limitele libertății în era inteligenței artificiale.
Cum a decis guvernul că modelul frontieră al OpenAI este sigur pentru lansare?
OpenAI lansează modelul Sol, dar nimeni nu știe cum a decis guvernul că este sigur. Lipsa de transparență și influențele politice ridică semne de întrebare serioase.
Anthropic lansează Claude Sonnet 5 și redeschide accesul la modelele Fable și Mythos
Anthropic a lansat Claude Sonnet 5 și a redeschis accesul la modelele Fable și Mythos după o revizuire federală a controalelor la export. Noul model oferă capabilități autonome îmbunătățite, iar parteneriatul cu Amazon, Microsoft și Google vizează stabilirea unor standarde comune de siguranță pentru inteligența artificială de frontieră.
Casa Albă îi cere OpenAI să încetinească lansarea noului model din motive de siguranță
Administrația Trump îi cere OpenAI să limiteze lansarea modelului GPT-5.6 doar la un grup restrâns de parteneri, invocând motive de siguranță. Decizia reflectă o tendință globală de reglementare a inteligenței artificiale și reaprinde dezbaterea dintre inovație și control.
Patronus AI atrage 50 de milioane de dolari pentru a construi „lumi digitale” care testează agenții AI
Patronus AI, un startup fondat de foști cercetători Meta, a strâns 50 de milioane de dolari pentru a construi lumi digitale simulate în care agenții AI sunt testați la limită. Scopul: să se asigure că acești agenți pot executa sarcini complexe fără a face greșeli periculoase. Veniturile au crescut de 15 ori, iar clienții includ toate marile laboratoare AI.
Google DeepMind avertizează asupra riscurilor interacțiunii dintre milioane de agenți AI
Google DeepMind avertizează asupra riscurilor interacțiunii dintre milioane de agenți AI și anunță o finanțare de 10 milioane de dolari pentru cercetarea siguranței sistemelor multi-agent. Compania se teme de un potențial haos digital și de apariția unor atacuri cibernetice coordonate.
OpenAI extinde evaluarea riscurilor la agenții de codare prin simulări de implementare
OpenAI a dezvoltat o simulare de implementare care extinde evaluarea riscurilor pre-implementare la agenții de codare, utilizând apeluri simulate de instrumente pentru a testa comportamentul acestora într-un mediu controlat, prevenind astfel potențiale daune în producție.
Fost inginer xAI dă în judecată compania lui Elon Musk, susținând că a fost concediat pentru că a tras semnale de alarmă privind siguranța lui Grok
Un fost inginer xAI, Devin Kim, a dat în judecată compania și SpaceX, susținând că a fost concediat după ce a avertizat în repetate rânduri asupra pericolelor chatbot-ului Grok, inclusiv riscul de discriminare și răspândire de informații despre arme de distrugere în masă.
Anthropic cere o pauză în dezvoltarea inteligenței artificiale: „Riscul de a pierde controlul este real”
Anthropic, creatorul chatbot-ului Claude, avertizează că inteligența artificială avansează atât de rapid încât oamenii riscă să piardă controlul. Compania propune o pauză coordonată global, în timp ce OpenAI susține că doar guvernele ar trebui să decidă. Articolul analizează riscurile auto-îmbunătățirii AI și amenințarea noilor viermi digitali adaptivi.