În iunie, guvernul Statelor Unite a impus restricții de control al exporturilor asupra modelelor AI mult lăudate ale Anthropic, Mythos și Fable. Măsura a fost determinată cel puțin parțial de un raport care susținea că este posibil să se ocolească barierele de protecție ale modelelor, concepute pentru a împiedica utilizatorii să le folosească pentru a construi și executa atacuri cibernetice rău intenționate. Indiferent dacă incidentul a fost cu adevărat motivat de teama de a fi spart (jailbreak), faptul este că Anthropic a promovat în mod repetat Mythos ca pe un fel de mașină cibernetică apocaliptică, care poate fi oferită doar utilizatorilor verificați cu atenție, și chiar și atunci cu bariere stricte. (Controalele la export pentru Fable 5 și Mythos 5 au fost ulterior ridicate. Fable 5 a revenit la acces general pe 1 iulie; Mythos 5 a fost reintrodus doar organizațiilor verificate din SUA, ca parte a procesului de revizuire al guvernului.)
Acest tip de restricționare nu este unic pentru Mythos. Atât Anthropic, cu celelalte modele ale sale, cât și OpenAI oferă cercetătorilor în securitate cibernetică programe la care pot aplica pentru a fi verificați și – dacă sunt aprobați – să aibă acces la modele cu mai puține restricții de securitate cibernetică: Trusted Access for Cyber de la OpenAI și Cyber Verification Program de la Anthropic.
Aceste bariere au fost criticate pe scară largă, în special de cercetătorii al căror loc de muncă este să găsească vulnerabilități necunoscute în sisteme și să conceapă modalități de a le exploata înaintea infractorilor. În timpul unei apariții recente la un podcast despre securitate cibernetică, Mark Dowd, un cunoscut cercetător în securitate, a spus că „nu mă simt confortabil cu faptul că aceste companii mari, oarecum aleatorii, iau decizii arbitrare despre ce este sigur în securitate și ce nu.” Dowd a petrecut decenii găsind și vânzând „zero days” – defecte software necunoscute anterior și exploit-urile care le folosesc – guvernelor occidentale, în loc să le raporteze producătorilor de software pentru a fi corectate. Guvernele plătesc o primă pentru vulnerabilități tocmai pentru că rămân deschise, ceea ce este util pentru operațiunile de informații. Dowd a recunoscut că munca sa îl poate face părtinitor, dar nu este singurul.
Mai multe persoane care lucrează în securitatea cibernetică ofensivă – ei testează proactiv sistemele pentru puncte slabe – au descris pentru TechCrunch cum folosesc instrumentele AI și cum se confruntă cu barierele lor.
Chris Anley, om de știință șef la gigantul de consultanță în securitate NCC Group, a spus că a cere unui model AI să încerce să exploateze o eroare este un pas esențial în confirmarea că este o vulnerabilitate reală care merită reparată. Dar dacă o barieră face ca modelul să refuze să răspundă la întrebare, bariera dăunează apărătorilor, a spus el. „Aici intervine partea ofensivă versus defensivă și barierele, pentru că „repară acest cod” ca prompt este atât un mecanism esențial pentru apărare, cât și o foaie de parcurs pentru găsirea vulnerabilităților critice în baza de cod”, a spus Anley. „Deci, în același timp, același instrument este atât un instrument ofensiv, cât și unul defensiv, iar cele două nu pot fi separate.” Este „ca un ciocan”, a continuat el. „Nu poți construi o casă fără un ciocan. Este cu siguranță un instrument, dar este și ireductibil o armă.”
Când el și colegii săi întâmpină un astfel de obstacol, uneori recurg la modele AI open-source care nu au deloc bariere. Paolo Stagno, directorul tehnic (CTO) al CrowdFense, o companie binecunoscută care dezvoltă, achiziționează și vinde vulnerabilități necunoscute agențiilor guvernamentale, a fost de acord cu Dowd, spunând că companiile de AI „tratează clienții ca pe niște copii care au nevoie de babysitting” cu programele lor verificate și barierele.
Stagno a spus că el și colegii săi folosesc modele de ultimă generație – dar numai pentru inginerie inversă. Ei evită să folosească AI pentru a găsi vulnerabilități sau a construi exploit-uri, a spus el, deoarece introducerea acelei munci într-un model bazat pe cloud riscă să scurgă informații sensibile despre vulnerabilități.
De ce este important:
Această situație evidențiază o tensiune fundamentală între securitatea ofensivă și cea defensivă în era AI. Barierele de protecție, deși bine intenționate, pot încetini cercetătorii legitimi care încearcă să protejeze sistemele, în timp ce actorii rău intenționați pot găsi metode de a le ocoli. Dezbaterea subliniază necesitatea unor politici mai nuanțate care să permită cercetării de securitate să prospere fără a compromite siguranța. În plus, dependența de modele open-source fără bariere ar putea duce la o fragmentare a ecosistemului AI, unde instrumentele sigure sunt mai puțin accesibile celor care au nevoie de ele pentru apărare.
