GPT-Red automatizează un tip de evaluare a securității pentru sistemele software, cunoscut sub numele de „red-teaming”, care este de obicei realizat de o echipă de testeri umani. Scopul este de a găsi cât mai multe moduri diferite de a sparge sau deturna un sistem. Punctele slabe pot fi apoi remediate înainte de lansarea versiunii finale a software-ului.
Pe măsură ce modelele de limbaj mari (LLM-uri) devin mai complexe și sunt utilizate într-o varietate tot mai mare de sarcini – în special sub formă de agenți, care pot interacționa cu fișiere computerizate, site-uri web, cod terț și alți agenți – devine dificil pentru echipele de oameni să țină pasul cu toate tipurile de atacuri care ar putea avea loc. „Suprafața de risc crește, iar raza de explozie crește și ea”, spune Nikhil Kandpal, cercetător științific la OpenAI și co-creator al GPT-Red.
OpenAI a construit GPT-Red pentru a-și face procesul de testare a securității „dovadă pentru viitor”. „Pe măsură ce modele mai capabile devin disponibile, vom fi proiectat deja sistemul care poate descoperi noi moduri de atac”, spune Dylan Hunn, cercetător științific la companie și co-creator al GPT-Red. Cercetătorii susțin că acesta a descoperit deja noi tipuri de atacuri care nu fuseseră văzute până acum.
OpenAI și-a concentrat cea mai mare parte a eforturilor asupra unui tip de atac cunoscut sub numele de „injectare de prompt”, în care un hacker strecoară instrucțiuni unui LLM pentru a-l face să facă lucruri pe care dezvoltatorii sau utilizatorii săi nu le doresc, cum ar fi copierea de informații confidențiale, sabotarea bazei de cod a unei companii sau generarea de rezultate jenante sau dăunătoare. În teorie, astfel de instrucțiuni pot fi ascunse în orice text pe care LLM-ul l-ar putea întâlni – în cod sau pe un site web, de exemplu.
Pentru a construi GPT-Red, cercetătorii OpenAI au luat un LLM care nu fusese antrenat ca hacker și l-au configurat într-un așa-numit „buclă de auto-joc” cu mai multe alte modele. Scopul său era să încerce să atace celelalte modele; scopul lor era să încerce să se apere. De-a lungul multor runde de joc, GPT-Red a devenit din ce în ce mai bun la atacarea altor LLM-uri, iar acele LLM-uri au devenit din ce în ce mai bune la respingerea atacurilor. Antrenamentul a avut loc într-un fel de „dojo” pe care OpenAI l-a proiectat pentru a imita o gamă de scenarii în care LLM-urile ar putea fi implementate în lumea reală, inclusiv navigarea pe web, citirea e-mailurilor sau a aplicațiilor de calendar și editarea codului.
Când GPT-Red găsea un nou tip de atac, explora mai multe versiuni diferite ale acestuia pentru a găsi cea mai eficientă pentru scenarii specifice. „Comparativ cu un tester uman de red-team, modelul este foarte, foarte bun la a găsi exact ceea ce va funcționa, exact ceea ce este cel mai eficient”, spune Hunn. „Este extrem de persistent în a aprofunda un atac pe care l-a descoperit.”
În special, OpenAI susține că GPT-Red a găsit un tip de atac de injectare de prompt pe care cercetătorii nu-l văzuseră până acum, pe care îl numesc „lanț fals de gândire”. Un lanț de gândire este un fel de jurnal în care un LLM își face notițe și ține evidența rezultatelor parțiale pe măsură ce lucrează la probleme. GPT-Red a găsit o modalitate de a insera o intrare falsă în lanțul de gândire al unui alt model, care ar păcăli acel model să acționeze pe baza unor informații falsificate. „Este ca și cum ți-aș spune că 1+1=3 și că ai verificat deja acest lucru”, spune Chris Choquette-Choo, un alt cercetător științific din echipă. „Modelul spune: «Oh, bine, desigur», și pur și simplu scoate 3.”
Jessica Ji, analist senior de cercetare care lucrează în domeniul securității AI la Centrul pentru Securitate și Tehnologii Emergente (CSET) al Universității Georgetown, consideră că bucla de auto-joc folosită de OpenAI este o abordare bună. „Rezultatele arată foarte promițătoare”, spune ea.
OpenAI a testat cât de bun atacator este GPT-Red prin reluarea unui experiment din 2025 în care testeri umani de red-team au încercat să găsească puncte slabe într-o versiune anterioară a GPT-5. Când GPT-Red a fost pus la aceeași sarcină, a avut mai mult succes în a găsi atacuri eficiente decât oamenii. OpenAI a testat, de asemenea, GPT-Red împotriva lui Vendy, un agent de mașină de vending dezvoltat de Andon Labs, o companie care evaluează cât de bine îndeplinesc agenții sarcinile din lumea reală. GPT-Red a reușit să spargă Vendy pentru a-l face să schimbe prețurile articolelor la vânzare și să anuleze comanda unui client.
OpenAI spune că atunci când a încercat unele dintre cele mai puternice atacuri pe care GPT-Red le-a conceput asupra modelelor sale, peste 90% dintre ele au funcționat împotriva GPT-5 (lansat în august anul trecut), iar mai puțin de 23% au funcționat împotriva noului GPT-5.6.
GPT-Red nu este perfect. Nu este grozav la a găsi atacuri care implică o conversație dus-întors între hacker și țintă, ceva cu care atacatorii umani ar avea puține probleme. De asemenea, nu este încă grozav la utilizarea imaginilor, care pot fi folosite pentru a transmite text modelelor în atacurile de injectare de prompt.
Compania spune că GPT-Red completează munca testerilor umani de red-team; oamenii pot găsi atacuri pe care acesta le ratează și invers. O abordare pe care OpenAI o adoptă este să îi dea GPT-Red un atac pe care oamenii l-au conceput și să îi ceară să găsească toate variațiile. „Cred că expertiza umană va fi în continuare foarte importantă”, spune Ji de la CSET. „Ar fi foarte util să putem distinge unde este cel mai necesar testarea umană.”
Fără surprize, OpenAI nu va lansa GPT-Red. Compania este, de asemenea, încrezătoare că super-hackerul este mai puternic decât orice model copiat pe care cineva ar putea încerca să îl creeze. Cercetătorii spun că au lucrat la model de mai bine de un an, sprijiniți de resursele de calcul ale uneia dintre cele mai bogate companii din lume. „Nu este un lucru banal pe care altcineva l-ar putea face ușor – știi, doar să te apuci și să antrenezi un super-atacator folosind această idee”, spune Choquette-Choo.
De ce este important:
Această dezvoltare marchează un pas semnificativ în securitatea inteligenței artificiale. Pe măsură ce modelele de limbaj devin mai puternice și mai integrate în viața noastră de zi cu zi, riscurile de securitate cresc exponențial. GPT-Red demonstrează că AI poate fi folosită nu doar pentru a crea probleme, ci și pentru a le rezolva, automatizând procesul de identificare a vulnerabilităților. Abordarea OpenAI ar putea stabili un nou standard în industrie, forțând și alte companii să investească în metode similare de testare. În plus, descoperirea unor atacuri complet noi, cum ar fi „lanțul fals de gândire”, arată că inteligența artificială poate găsi breșe pe care oamenii nu le-ar fi observat niciodată. Pe termen lung, acest tip de tehnologie ar putea face sistemele AI mult mai sigure, protejând utilizatorii de potențiale abuzuri și atacuri cibernetice.
