În era digitală în care trăim, inteligența artificială a pătruns în aproape fiecare aspect al vieții cotidiene, de la asistenții virtuali care ne organizează agenda până la algoritmii care ne recomandă ce să urmărim pe platformele de streaming. Însă există un domeniu în care această tehnologie avansează cu o viteză alarmantă și cu consecințe potențial catastrofale: câmpul de luptă. Dezbaterea privind utilizarea armelor letale autonome bazate pe AI a captat atenția publicului, concentrându-se pe întrebarea cât de mult ar trebui să rămână omul „în buclă" – adică să supervizeze și să aprobe deciziile mașinărilor. Ghidurile Pentagonului susțin că supravegherea umană oferă responsabilitate, context și nuanță, reducând totodată riscul de hacking. Însă această abordare este fundamentată pe o presupunere periculoasă: că oamenii înțeleg cum funcționează sistemele de inteligență artificială.
Realitatea este că sistemele AI de ultimă generație sunt, în esență, „cutii negre". Cunoaștem datele de intrare și rezultatele, dar creierul artificial care le procesează rămâne opac. Chiar și creatorii acestor sisteme nu le pot interpreta pe deplin și nu înțeleg cum ajung la anumite concluzii. Această lipsă de transparență nu este doar o problemă tehnică abstractă – ea devine o amenințare existențială atunci când aceste sisteme sunt folosite pentru a lua decizii de viață și de moarte pe câmpul de luptă.
Imaginați-vă un scenariu ipotetic, dar complet plauzibil: o dronă autonomă primește misiunea de a distruge o fabrică de muniții inamice. Sistemul automatizat de comandă și control determină că ținta optimă este o clădire de depozitare a munițiilor. Raportează o probabilitate de 92% de succes al misiunii, deoarece exploziile secundare ale munițiilor din clădire vor distruge complet facilitatea. Un operator uman verifică obiectivul militar legitim, vede rata ridicată de succes și aprobă atacul. Însă ceea ce operatorul nu știe este că calculul sistemului AI a inclus un factor ascuns: dincolo de devastarea fabricii de muniții, exploziile secundare ar deteriora grav și un spital pentru copii din apropiere. Răspunsul de urgență s-ar concentra apoi pe spital, asigurându-se că fabrica arde până la pământ. Pentru AI, maximizarea perturbării în acest mod îndeplinește obiectivul stabilit. Dar pentru un om, acest lucru reprezintă potențial o crimă de război, încălcând regulile privind protecția vieții civile.
Acest „decalaj de intenție" dintre sistemele AI și operatorii umani este motivul pentru care ezităm să implementăm AI de frontieră în asistența medicală civilă sau în controlul traficului aerian și de ce integrarea sa în locul de muncă rămâne problematică. Și totuși, noi ne grăbim să îl implementăm pe câmpul de luptă. Pericolul imediat nu este că mașinile vor acționa fără supraveghere umană, ci că supraveghetorii umani nu au nicio idee ce „gândesc" de fapt mașinile.
Situația devine și mai gravă dacă luăm în considerare dinamica cursei înarmărilor. Dacă o parte într-un conflict desfășoară arme complet autonome, care operează la viteza și scala mașinii, presiunea de a rămâne competitiv ar împinge cealaltă parte să se bazeze și ea pe astfel de arme. Acest lucru înseamnă că utilizarea deciziei AI tot mai autonome – și opace – în război este probabil să crească exponențial.
În prezent, dezvoltarea AI avansate este alimentată de investiții record – prevăzute de Gartner să crească la aproximativ 2,5 trilioane de dolari doar în 2026. În contrast, investițiile în înțelegerea modului în care funcționează această tehnologie au fost minuscule. Trebuie să realizăm o schimbare de paradigmă masivă. Inginerii construiesc sisteme tot mai capabile, dar înțelegerea modului în care funcționează aceste sisteme nu este doar o problemă de inginerie – necesită un efort interdisciplinar.
Știința AI trebuie să cuprindă atât construirea unei tehnologii AI extrem de capabile, cât și înțelegerea modului în care funcționează această tehnologie. Trebuie să construim instrumente pentru a caracteriza, măsura și interveni în intențiile agenților AI înainte să acționeze. Trebuie să cartografiem căile interne ale rețelelor neuronale care îi animă, astfel încât să putem construi o înțelegere cauzală reală a procesului lor decizional, depășind simpla observare a intrărilor și ieșirilor.
O cale promițătoare este combinarea tehnicilor din interpretarea mecanicistă – descompunerea rețelelor neuronale în componente inteligibile pentru oameni – cu perspective, instrumente și modele din neuroștiința intențiilor. O altă idee este dezvoltarea unor „auditori" AI transparenți și interpretabili, concepuți să monitorizeze comportamentul și obiectivele emergente ale sistemelor mai capabile bazate pe cutia neagră în timp real.
Dezvoltarea unei înțelegeri mai bune a funcționării AI ne va permite să ne bazăm pe sistemele AI pentru aplicații critice pentru misiune. De asemenea, va face mai ușoară construirea unor sisteme mai eficiente, mai capabile și mai sigure. Cercetătorii explorează modul în care ideile din neuroștiință, știința cognitivă și filozofie – domenii care studiază cum apar intențiile în luarea deciziilor umane – ar putea să ne ajute să înțelegem intențiile sistemelor artificiale.
Trebuie să prioritizăm aceste tipuri de eforturi interdisciplinare, inclusiv colaborări între mediul academic, guvern și industrie. Cu toate acestea, avem nevoie de mai mult decât explorare academică. Industria tehnologică – și filantropii care finanțează alinierea AI, care se străduiește să codifice valorile și obiectivele umane în aceste modele – trebuie să direcționeze investiții substanțiale către cercetarea interdisciplinară a interpretării.
În plus, pe măsură ce Pentagonul urmărește sisteme tot mai autonome, Congresul trebuie să impună testarea riguroasă a intențiilor sistemelor AI, nu doar a performanței lor. Până când nu realizăm acest lucru, supravegherea umană asupra AI poate fi mai mult iluzie decât protecție.
Concluzia este că iluzia „omului în buclă" ne oferă un sentiment fals de securitate. Adevărata provocare nu este menținerea oamenilor implicați în procesul decizional, ci dezvoltarea capacității de a înțelege cu adevărat ce intenții au sistemele AI înainte să acționeze. Fără această înțelegere fundamentală, orice supraveghere umană este doar o fațadă – o perdea de fum care ne ascunde ochii de la realitatea că am delegat deja decizii critice unor entități ale căror raționamente ne rămân complet inaccesibile.
De ce iluzia „omului în buclă" în războiul condus de AI este mai periculoasă decât credem
