Pe 20 mai, Autoritatea pentru Dezvoltarea Infocomunicațiilor și Mass-Media din Singapore (IMDA) a publicat versiunea 1.5 a Cadrului său Model de Guvernanță AI pentru AI Agentic. Acest cadru oferă orientări pentru organizațiile care implementează agenți AI capabili să planifice, să ia decizii și să execute acțiuni în mai mulți pași pentru a îndeplini obiective definite de utilizator. Conform cadrului, agenții pot interacționa cu instrumente, sisteme externe și alți agenți, inclusiv sisteme care actualizează baze de date, scriu fișiere, controlează dispozitive sau efectuează tranzacții. Printre măsurile de guvernanță recomandate se numără controalele de acces, monitorizarea și aprobarea umană.
La un summit AI desfășurat săptămâna trecută în Singapore, discuțiile despre robotică și AI încorporată s-au concentrat pe probleme de siguranță operațională mai degrabă asociate cu aviația, sistemele industriale și supravegherea infrastructurii critice decât cu reglementarea software convențională. Participanții au dezbătut dacă sistemele autonome pot funcționa în siguranță și fiabil în medii reale imprevizibile pe perioade îndelungate. Dr. Ya-Qin Zhang, decan fondator al Institutului pentru Cercetare în Industria AI de la Universitatea Tsinghua, a subliniat că sistemele AI încorporate amplifică riscurile deja asociate cu software-ul autonom. „Orice risc din domeniul digital va fi amplificat în domeniul fizic, iar domeniul fizic va avea consecințe fizice”, a declarat Zhang pentru MLex în marja summitului. El a adăugat că vehiculele, dronele, rețelele inteligente și alte infrastructuri ar putea deveni vulnerabile pe măsură ce sistemele AI sunt integrate mai profund în operațiunile fizice.
Discuțiile au evidențiat fiabilitatea, monitorizarea operațională și asigurarea post-implementare ca preocupări de guvernanță. S-a conturat un model de guvernanță bazat pe implementare, construit în jurul simulării, telemetriei și testării iterative, mai degrabă decât pe o certificare unică. Cadrul IMDA recomandă, de asemenea, implementări graduale, monitorizare continuă și testări suplimentare după lansare. Agenții interacționează dinamic cu mediul lor, iar nu toate riscurile pot fi anticipate înainte de lansare.
Grab, care pilotează vehicule autonome și roboți de livrare în districtul Punggol din Singapore, a declarat că guvernanța implementării depinde în mare măsură de simulare, testare și monitorizare continuă. „Facem multe simulări, testăm pe trasee închise și deschise pentru a ne asigura că roboții noștri sunt fiabili”, a spus Suthen Thomas Paradatheth, directorul tehnic al Grab, în cadrul unui panel al summitului. „Înainte de a trece la sute de roboți, ne asigurăm că rezolvăm problemele mai întâi în simulare și cu câțiva roboți”, a adăugat el. Grab a menționat și sistemele de monitorizare concepute pentru a urmări performanța roboților și a detecta defecțiunile neașteptate după implementare.
Cadrul IMDA spune că organizațiile ar trebui să evalueze cazurile de utilizare a AI agentic pe baza accesului la date, accesului la sisteme externe, autonomiei și complexității sarcinilor. De asemenea, se referă la domeniul de aplicare și reversibilitatea acțiunilor agentului, implicarea terților și complexitatea generală a sistemului. Se recomandă limitarea accesului agenților la instrumente și sisteme, aplicarea permisiunilor cu privilegii minime și definirea procedurilor standard de operare pentru fluxurile de lucru ale agenților. Organizațiile ar trebui, de asemenea, să stabilească mecanisme pentru a scoate agenții din funcțiune atunci când aceștia funcționează defectuos.
MLex a raportat că sistemele AI încorporate pot implica mai multe părți pe parcursul dezvoltării, fabricării și implementării: dezvoltatori AI, producători de roboți, furnizori de semiconductori și operatori de infrastructură. Responsabilitatea poate fi mai greu de atribuit atunci când sistemele continuă să se adapteze după implementare prin actualizări software, telemetrie și date operaționale. IMDA subliniază că organizațiile și oamenii rămân responsabili pentru acțiunile agenților, chiar și atunci când aceștia operează autonom. Cadrul solicită o responsabilitate clară de-a lungul lanțului valoric al AI agentic, de la furnizorii de modele și platforme până la implementatori, furnizorii de instrumente și utilizatorii finali.
Applied Materials a declarat că implementarea la scară largă a roboticii este, de asemenea, legată de economia semiconductorilor și integrarea sistemelor. Om Nalamasu, directorul tehnic al companiei, a spus că sistemele robotice vor depinde de senzori mai buni, eficiență energetică, ambalare avansată și arhitecturi de calcul. Nalamasu a subliniat că sistemele robotice vor necesita proiectări specializate, adaptate ecosistemelor industriale specifice, nu o soluție unică pentru toate mediile.
Zhao Yuli, directorul de strategie al startup-ului chinez de robotică Galbot, a declarat că Beijingul prioritizează scara de implementare și comercializarea industrială prin intermediul unor platforme de testare susținute de guvern, parteneriate industriale și inițiative de finanțare pe termen lung. Galbot a implementat sisteme robotice umanoide în operațiuni de retail, depozitare și farmaceutice în China, inclusiv magazine autonome care funcționează non-stop. Zhao a spus că mediile industriale semi-structurate sunt probabil să devină o cale timpurie de comercializare, deoarece oferă condiții de operare mai controlabile.
Japonia pune mai mult accent pe stabilirea standardelor, seturile de date robotice și guvernanța siguranței. Profesorul Yutaka Matsuo de la Școala de Inginerie a Universității din Tokyo a menționat un proiect „AI Association” care vizează colectarea a 100.000 de ore de date robotice pentru a sprijini modelele fundamentale robotice. Matsuo s-a referit, de asemenea, la Institutul Japonez pentru Siguranța AI și la Procesul AI de la Hiroshima ca parte a eforturilor mai ample de a dezvolta standarde de guvernanță pentru sistemele AI încorporate, împreună cu Singapore și alte țări asiatice.
Cadrul Singapore stabilește patru domenii de guvernanță pentru AI agentic: evaluarea riscurilor preliminare, responsabilitatea umană, controalele tehnice și responsabilitatea utilizatorului final. Cadrul le descrie ca un proces iterativ, nu o evaluare unică. Supravegherea umană trebuie să fie adaptată nivelului de autonomie și risc, iar organizațiile trebuie să se asigure că oamenii pot interveni atunci când este necesar.
De ce este important:
Tranziția sistemelor AI din mediul digital în cel fizic reprezintă un punct de cotitură în dezvoltarea tehnologiei. Dacă până acum dezbaterile despre guvernanța AI s-au concentrat pe prejudicii precum părtinirea algoritmică sau dezinformarea, acum apar riscuri concrete pentru siguranța fizică a oamenilor și integritatea infrastructurii critice. Cadrele de guvernanță trebuie să evolueze rapid pentru a acoperi nu doar testarea în medii controlate, ci și monitorizarea continuă, adaptabilitatea și alocarea clară a responsabilității pe întreg lanțul valoric. Fără o reglementare adecvată, implementarea pe scară largă a roboților autonomi, vehiculelor fără șofer și sistemelor logistice inteligente ar putea duce la accidente grave sau la perturbări economice. De aceea, inițiative precum cea a Singapore-ului sunt esențiale pentru a stabili standarde globale care să protejeze atât inovația, cât și siguranța publică.
