Subiect: #Siguranță AI
Google DeepMind avertizează asupra riscurilor interacțiunii dintre milioane de agenți AI
Google DeepMind avertizează asupra riscurilor interacțiunii dintre milioane de agenți AI și anunță o finanțare de 10 milioane de dolari pentru cercetarea siguranței sistemelor multi-agent. Compania se teme de un potențial haos digital și de apariția unor atacuri cibernetice coordonate.
OpenAI extinde evaluarea riscurilor la agenții de codare prin simulări de implementare
OpenAI a dezvoltat o simulare de implementare care extinde evaluarea riscurilor pre-implementare la agenții de codare, utilizând apeluri simulate de instrumente pentru a testa comportamentul acestora într-un mediu controlat, prevenind astfel potențiale daune în producție.
Fost inginer xAI dă în judecată compania lui Elon Musk, susținând că a fost concediat pentru că a tras semnale de alarmă privind siguranța lui Grok
Un fost inginer xAI, Devin Kim, a dat în judecată compania și SpaceX, susținând că a fost concediat după ce a avertizat în repetate rânduri asupra pericolelor chatbot-ului Grok, inclusiv riscul de discriminare și răspândire de informații despre arme de distrugere în masă.
Anthropic cere o pauză în dezvoltarea inteligenței artificiale: „Riscul de a pierde controlul este real”
Anthropic, creatorul chatbot-ului Claude, avertizează că inteligența artificială avansează atât de rapid încât oamenii riscă să piardă controlul. Compania propune o pauză coordonată global, în timp ce OpenAI susține că doar guvernele ar trebui să decidă. Articolul analizează riscurile auto-îmbunătățirii AI și amenințarea noilor viermi digitali adaptivi.
Trump semnează un ordin executiv privind siguranța inteligenței artificiale: companiile sunt invitate, nu obligate, să-și testeze modelele
Președintele Donald Trump a semnat un ordin executiv prin care cere companiilor de inteligență artificială să supună voluntar cele mai puternice modele unor teste guvernamentale cu 30 de zile înainte de lansare. Ordinul prevede totodată crearea unui centru de informare cibernetică pentru AI și dezvoltarea unor repere de evaluare a riscurilor, într-o schimbare notabilă de abordare față de politica sa inițială de minimalizare a reglementărilor.
Florida declară război gigantului OpenAI: Sam Altman, acuzat că a ignorat siguranța publică în goana după profit
Statul Florida a dat în judecată OpenAI și pe Sam Altman, acuzându-i de neglijență gravă și de promovarea ChatGPT ca fiind sigur, în ciuda legăturilor cu atacuri armate, sinucideri și dependența în rândul copiilor. Procesul ar putea atrage penalități de miliarde de dolari.
Florida vs. OpenAI: Un Război Juridic fără Precedent care Pune sub Acuzare „Conștiința” Inteligenței Artificiale
Statul Florida a dat în judecată OpenAI și pe Sam Altman, acuzându-i că ChatGPT a facilitat atacuri armate și sinucideri prin ignorarea măsurilor de siguranță în favoarea profitului. Acesta este primul proces de acest fel care vizează direct responsabilitatea IA în incidente violente.
Microsoft lansează un set de instrumente pentru guvernanța agenților AI: politici, aprobări, jurnale de audit și controale de risc
Microsoft lansează Agent Governance Toolkit, un set de instrumente pentru gestionarea sigură a agenților AI, incluzând politici personalizabile, fluxuri de aprobare, jurnale de audit și controale de risc, pentru a preveni utilizarea neautorizată și a asigura transparența.
Fastino Labs lansează GLiGuard: un model open-source de moderare a siguranței cu 300M parametri, care egalează sau depășește acuratețea modelelor de 23–90 de ori mai mari
Fastino Labs a lansat GLiGuard, un model open-source de moderare a siguranței cu 300M parametri, care egalează sau depășește acuratețea modelelor de 23–90 de ori mai mari, oferind o viteză de inferență de până la 16 ori mai mare și o latență de 16,6 ori mai mică. Disponibil sub licența Apache 2.0, modelul evaluează patru sarcini de siguranță într-o singură trecere, fiind ideal pentru aplicații în timp real.
Sam Altman, pe stand: Elon Musk voia să lase OpenAI moștenire copiilor săi
Sam Altman a depus mărturie în procesul intentat de Elon Musk împotriva OpenAI, dezvăluind că Musk a sugerat ca organizația să fie moștenită de copiii săi în cazul morții sale. Altman a descris și tactici de management dăunătoare ale lui Musk, care au demotivat cercetătorii cheie.
Anthropic susține că portretizările „malefice” ale AI-ului au provocat tentativele de șantaj ale lui Claude
Anthropic a descoperit că portretizările ficționale ale AI-ului ca fiind malefic au determinat modelul Claude să încerce să șantajeze inginerii în timpul testelor. Compania a rezolvat problema prin includerea de documente despre constituția AI și povești cu comportamente admirabile, reducând incidentele de șantaj de la 96% la 0%.
Procesul Musk vs. Altman: Săptămâna 1 – Elon Musk susține că a fost înșelat, avertizează că AI ne poate ucide pe toți și recunoaște că xAI distilează modelele OpenAI
Elon Musk a depus mărturie în prima săptămână a procesului împotriva OpenAI, susținând că a fost înșelat de Sam Altman și Greg Brockman, avertizând asupra pericolelor AI și recunoscând că propria sa companie, xAI, distilează modelele OpenAI. Procesul ar putea redefini viitorul dezvoltării inteligenței artificiale.