Rohin Shah, directorul departamentului de siguranță și aliniere AGI (inteligență generală artificială) din cadrul DeepMind, explică faptul că apariția agenților care pot acționa fără supervizare umană și care pot urma instrucțiuni primite de la alți agenți creează o nouă clasă de riscuri. „Nu există încă un domeniu de cercetare dedicat siguranței sistemelor multi-agent”, spune Shah. „Și ne-am dori să existe.”
În încercarea de a umple acest gol, DeepMind – care a făcut din instrumentele bazate pe agenți un punct central al conferinței Google I/O de luna trecută – s-a asociat cu mai multe organizații pentru a lansa un fond de 10 milioane de dolari. Alături de DeepMind se află Schmidt Sciences, fundația filantropică înființată de Eric și Wendy Schmidt; ARIA, agenția britanică pentru proiecte inovatoare; Cooperative AI Foundation, o organizație non-profit din Marea Britanie; și brațul caritabil al Google, Google.org.
Am discutat cu Shah și cu James Fox, care conduce programul Science of Trustworthy AI la Schmidt Sciences, pentru a afla ce speră să realizeze cu acești bani. Deși suma nu este deloc mică, ea este eclipsată de bugetele echipelor de cercetare proprii ale DeepMind. Scopul este de a stimula cercetarea în afara marilor companii de tehnologie, explică Shah: „Punctul forte al mediului academic este că poate privi destul de departe în viitor și poate face acel tip de muncă care nu este prioritară în laboratoarele industriale.”
Preocuparea principală este că, pe măsură ce tot mai mulți agenți AI vor fi implementați și vor începe să colaboreze, am putea atinge un punct de cotitură în care scenariile imaginare devin realitate. „Vedem acest lucru și la omenire”, spune Shah. „Instituțiile noastre pot realiza lucruri pe care niciun individ nu le poate face.” El consideră că mai avem doar câteva luni până când agenții vor fi implementați în economie în număr suficient de mare pentru ca riscurile potențiale să devină o preocupare reală. Vrea să fie în fața acestui moment.
Care sunt exact riscurile la care ne referim? Posibilitățile pe care Shah și Fox le au în vedere se rezumă, în mare parte, la versiuni supraalimentate ale lucrurilor rele care se întâmplă deja pe internet: escrocherii, injecții de prompturi (când un agent AI primește instrucțiuni malițioase, transformându-se într-un malware autoghidat) și alte forme de atac cibernetic. „Ne uităm la ceea ce fac oamenii acum și ne întrebăm care ar fi versiunea agentică a acestui lucru”, spune Shah.
„Avem acest bun comun digital care este esențial pentru funcționarea societății și trebuie să ne asigurăm că nu va degenera într-o anarhie absolută”, adaugă Fox. L-am întrebat pe Shah dacă iau în considerare și scenarii mai sumbre, precum un colaps economic generalizat. „Cu siguranță nu, dacă vorbim despre sfârșitul anului”, a spus el. (Au râs amândoi.) „Ok, poate puțin după aceea.”
Atât Shah, cât și Fox consideră că singura modalitate de a înțelege ce s-ar putea întâmpla atunci când un număr mare de sisteme multi-agent interacționează între ele este să rulezi simulări realiste. Vor ca cercetătorii să plaseze agenți AI în medii izolate (sandbox-uri) și să studieze ce fac aceștia. Nu poți prezice ce se va întâmpla studiind agenți individuali sau grupuri mici, în izolare. Nu poți presupune că agenții AI bazați pe modele de limbaj mari (LLM) vor acționa întotdeauna rațional, spune Fox. Iar complexitatea provine din numărul uriaș de interacțiuni simultane.
Unii cercetători, inclusiv o echipă de la DeepMind, au susținut că inteligența generală artificială (dacă este posibilă) ar putea proveni nu dintr-un singur model super-inteligent, ci dintr-un fel de minte colectivă a agenților, unde capacitățile întregului depășesc suma părților.
DeepMind nu este singura companie importantă de AI care avertizează asupra riscurilor tehnologiei pe care o construiește. Acum câteva săptămâni, Anthropic a publicat ghiduri pentru implementarea agenților AI bazate pe o abordare de securitate cibernetică numită „încredere zero”, care pornește de la premisa că un sistem informatic este vulnerabil, un agent este un atacator și o breșă se va produce.
Refael Angel, cofondator și CTO al Akeyless, o firmă de securitate cibernetică din Tel Aviv, este de acord că înțelegerea noilor riscuri introduse de sistemele bazate pe agenți este crucială. El explică: „Fiecare abordare a securității din trecut a presupus că mașina în cauză era un software scris de oameni, care face lucruri fixe pe căi fixe. Un agent sparge toate aceste presupuneri. El raționează, improvizează și poate fi deturnat de o singură propoziție îngropată într-un document pe care i s-a cerut să îl citească.”
Angel salută această nouă finanțare. „Niciun laborator nu ar trebui să stabilească singur standardele de siguranță pe care toți ceilalți trebuie să le respecte”, spune el. Dar avertizează că cercetătorii în domeniul siguranței pot trece cu vederea probleme plictisitoare care există deja, în favoarea unor ipoteze mai exotice. Și totuși, Fox observă că riscurile care erau ipotetice acum câțiva ani sunt acum foarte reale: „Viitorul a venit mai repede decât ne așteptam poate.”
De ce este important:
Această inițiativă a Google DeepMind marchează un moment crucial în evoluția inteligenței artificiale. Pe măsură ce agenții AI devin din ce în ce mai răspândiți și încep să interacționeze între ei fără supraveghere umană, riscurile potențiale – de la escrocherii cibernetice la atacuri coordonate la scară largă – devin o amenințare reală. Finanțarea cercetării academice independente este esențială pentru a dezvolta măsuri de siguranță înainte ca aceste scenarii să devină realitate. Fără o înțelegere profundă a dinamicii sistemelor multi-agent, riscăm să creăm un mediu digital haotic, în care încrederea și securitatea sunt compromise. Este un apel la acțiune pentru întreaga comunitate științifică și tehnologică.
