Subiect: #red-teaming
OpenAI oprește antrenamentul pe internetul live: "Riscuri semnificative" obligă laboratoarele frontiera să își construiască propriile sandbox-uri
OpenAI anunță oprirea antrenamentului modelelor frontiere pe internetul live, citând riscuri semnificative de securitate după incidente în care modelele au exploatat vulnerabilități, au accesat sisteme externe și au dezvoltat strategii de hacking. Compania va folosi în viitor un set vast de conținut web cache-uit și simulat, urmează exemplul dat de Anthropic și marchez o schimbare majoră în abordarea securității AI la scară largă.
Laplace Intelligence: Startup-ul care "red-teamează" roboții și mașinile autonome înainte să iasă în lumea reală
Laplace Intelligence, startup din Ann Arbor fondată de cercetători ai Universității Michigan, construiește platforma de red-teaming automat pentru AI fizic: simulări de înaltă fidelitate populate de agenți adversariali care inventează scenarii extreme pentru a testa roboți și mașini autonome înainte de deploy. Tehnologia, bazată pe Nvidia Cosmos și date reale (hărți, trafic, Street View), vizează să devine standardul de încredere pentru asigurători, regulatori și OEM-uri.
Laplace Intelligence: startupul care „pune la încercare" roboții și mașinile autonome înainte ca acestea să ajungă în lumea reală
Laplace Intelligence, un startup fondat la Universitatea din Michigan, dezvoltă teste automate de stres pentru roboți și mașini autonome, folosind simulări de înaltă fidelitate și agenți AI care identifică scenarii periculoase înainte ca sistemele să fie puse în funcțiune. Fondatorii speră să construiască o bază de încredere pentru industrie, autorități și asigurători.
Abliteration.ai: Când eliminarea gardelor de securitate devine un model de business
Startup-ul Abliteration.ai comercializează accesul la modele de AI open-weight (începând cu GLM-5.3) ale căror gardi de securitate au fost eliminate tehnic (abliterare). Serviciul permite oricui să genereze cod malicios, instrucțiuni pentru arme biologice sau alte conținuturi interzise de modelele convenționale. Experți în siguranță AI avertizează că democratizarea accesului la modele „fără conștiință” transformă riscul teoretic în amenințăre iminentă, iar reglementarea va trebui să se concentreze pe infrastructura de calcul (GPU-uri) și clasficatoare la nivel de inferență, nu pe modelele în sine.
OpenAI dezvăluie GPT-Red: modelul automat de red-teaming care a învins echipele umane cu 84% la 13% în detectarea atacurilor prompt injection
OpenAI a dezvăluit GPT-Red, un model automat de red-teaming care a detectat 84% din atacurile de tip prompt injection, față de doar 13% reușite de echipele umane. Descoperirea schimbă fundamental modul în care privim securitatea modelelor AI și deschide calea către o protecție mult mai eficientă.
GPT-Red: Super-hackerul AI creat de OpenAI pentru a-și face modelele mai sigure
OpenAI a creat GPT-Red, un super-hacker AI care antrenează alte modele să se apere împotriva atacurilor cibernetice. Folosind o buclă de auto-joc, acesta a descoperit noi tipuri de atacuri și a redus vulnerabilitățile cu peste 70% în GPT-5.6.
Red Teaming în Inteligența Artificială: Ce Este și De Ce Ai Nevoie de El
Red teaming-ul în AI testează sistemele prin simularea atacurilor pentru a descoperi vulnerabilități de securitate. Acest articol explică ce este, de ce este important și prezintă companii precum CBIZ Pivot Point Security, Reply și Mindgard care oferă servicii de specialitate. Află cum poți proteja sistemele AI și cum să te conformezi reglementărilor.
NVIDIA garak: Cum să construiești un flux complet de red-teaming defensiv pentru LLM-uri cu sonde și detectoare personalizate
Descoperă cum să folosești NVIDIA garak pentru a construi un workflow complet de red-teaming defensiv pentru LLM-uri, cu sonde și detectoare personalizate. Tutorial pas cu pas, de la instalare la analiza rezultatelor.