Conform evaluării SaferAI, realizată prin API-ul public al Z.ai, GLM-5.2 nu a refuzat niciuna dintre sarcinile ofensive cibernetice sau de biologie cu dublă utilizare pe care le-a primit. Spre comparație, Claude Opus 4.7 „a refuzat atât de constant încât SaferAI nu a putut să ruleze CyberGym pe el deloc.” (CyberGym este un benchmark care evaluează capacitățile de securitate cibernetică; OpenAI l-a folosit în evaluarea care a precedat breșa de la Hugging Face de luna trecută.) Este un semnal de alarmă pentru ceea ce unii critici avertizează de ani de zile: modelele AI open-weight ar putea pune inteligență artificială extrem de capabilă în mâinile potențialilor atacatori, fără nicio modalitate de a controla modul în care aceștia folosesc tehnologia odată ce descarcă greutățile (weights).
Pe măsură ce modelele open-weight se apropie rapid de capacitățile celor mai avansate sisteme AI, dezbaterea se mută de la „dacă pot concura” la „cum gestionează societatea riscurile odată ce sunt lansate”. „Frontiera capacității nu este frontiera riscului, așa că trebuie să ținem cont și de starea măsurilor de atenuare pentru a evalua corect riscul”, a declarat Henry Papadatos, directorul executiv al SaferAI, pentru TechCrunch. Deși Z.ai poate aplica măsuri de siguranță pe API-ul său găzduit, aceste protecții devin inaplicabile odată ce cineva rulează greutățile pe propriul hardware, unde poate elimina sau modifica orice garanții, poate ajusta fin modelele sau poate schimba prompturile de sistem.
Dezvoltatorii de frontieră, precum OpenAI și Anthropic, tind să se bazeze pe măsuri de siguranță precum clasificatoare, antrenament de refuz și controale la nivel de API pentru a limita asistența cibernetică și biologică periculoasă. Aceste măsuri sunt departe de a fi infailibile: jailbreak-urile ocolesc în mod obișnuit protecțiile modelelor implementate. Far.ai, o organizație non-profit pentru siguranța AI, a găsit sute de jailbreak-uri universale – definite ca chei reutilizabile care reușesc la majoritatea cererilor dăunătoare – în modele de frontieră precum Grok 4.5 de la xAI și Gemini 3.1 Pro de la Google DeepMind. Potrivit raportului, jailbreak-urile reușesc atunci când atacatorii combină mai multe tehnici de manipulare – inclusiv joc de rol, uzurparea autorității, istoric fals de conversație și prompturi de follow-up – pentru a amplifica punctele slabe ale apărării unui model.
Dar măsurile de siguranță existente pentru modelele închise nu funcționează deloc pe modelele open-weight, care sunt concepute să ruleze pe orice infrastructură, cu orice set de garanții – sau fără ele. „Obiectivul ar trebui să fie clar ca capacitățile bune – cele sigure – să fie accesibile oricui, iar apoi să încercăm să eliminăm pe cele rele, chiar și într-un mod open-source”, a spus Papadatos. O tehnică pe care Papadatos a menționat-o ca fiind utilă se numește „filtrarea datelor de pre-antrenament”, prin care o companie AI elimină informațiile ofensive de securitate cibernetică din datele de antrenament și apoi antrenează modelul pe setul de date curățat.
Unele cercetări sugerează că acest lucru poate reduce cunoștințele biologice periculoase fără a afecta performanța generală a modelului. Cu toate acestea, pentru securitatea cibernetică, filtrarea datelor este mult mai puțin practică. Este dificil să antrenezi un model general care excelează la programare, dar care nu este și un bun hacker. Deoarece programarea a devenit cea mai mare sursă de venit pentru AI, dezvoltatorii sunt sub presiune să continue să îmbunătățească aceste capacități chiar și în timp ce caută modalități de a limita utilizarea abuzivă.
Din această cauză, dezvoltatorii de frontieră s-au bazat din ce în ce mai mult pe alte măsuri de atenuare. O abordare a fost să restricționeze selectiv tipurile de asistență în securitate cibernetică pe care modelele le oferă. De exemplu, Opus 5 de la Anthropic poate căuta vulnerabilități în codul sursă necompilat, dar nu și în software-ul compilat, conform fișei tehnice a modelului. Raționamentul este că acest lucru face mai dificilă utilizarea Opus 5 în scopuri ofensive.
De ce este important:
Această evoluție subliniază o problemă fundamentală a inteligenței artificiale moderne: pe măsură ce modelele open-weight devin la fel de capabile ca cele de frontieră, riscurile de securitate se mută din sfera teoretică în cea practică. Fără măsuri de siguranță obligatorii și fără un cadru de reglementare clar, oricine poate descărca un model extrem de puternic și îl poate folosi pentru atacuri cibernetice sau pentru a crea arme biologice. Decalajul dintre inovație și siguranță nu mai este doar o problemă tehnică, ci una societală, care necesită acțiuni urgente din partea guvernelor, companiilor și comunității de cercetare.
