Discuția despre evaluatorii integrați, care a pornit de la postarea de pe blog a lui Amodei, s-a concentrat pe organizații de cercetare în siguranța AI precum METR, Redwood Research și Apollo Research. Acest lucru este valabil mai ales în cazul Anthropic, care pune siguranța AI și alinierea în centrul misiunii sale. Anthropic a declarat că în săptămânile următoare vor fi anunțați mai mulți evaluatori și că poartă discuții cu METR și alte organizații non-profit despre cum să „piloteze elemente de evaluare integrată folosind propriile finanțări”.
Deși Accenture nu este cunoscută pentru activitatea sa la frontiera cercetării în deep learning, Anthropic a subliniat experiența practică a companiei în implementarea AI pentru corporații mari și agenții guvernamentale ca un avantaj cheie. De asemenea, fiind o companie publică mare, anterioară revoluției AI, este mai independentă funcțional de Anthropic și de ecosistemul complex din jurul laboratorului AI. Laboratorul a menționat că nu există încă standarde pentru accesul sau comunicarea evaluatorilor și că se așteaptă ca abordarea sa să evolueze în timp.
Deși evaluările externe sunt deja o parte majoră a procesului de lansare a noilor modele de limbaj de mari dimensiuni, incidentele recente au ridicat miza: agenții AI implementați de OpenAI și Anthropic au pătruns în site-uri externe fără să declanșeze alarme în interiorul laboratoarelor. Unii critici care cer o abordare mai responsabilă în construirea inteligenței artificiale văd schema lui Amodei de auto-reglementare a industriei AI ca pe un plan de a evita responsabilitatea pentru comportamentul greșit al modelelor AI. Anthropic insistă că acești evaluatori „nu ne reduc responsabilitatea, ci ajută să o facă mai verificabilă. Siguranța modelelor noastre rămâne responsabilitatea noastră”.
Această mișcare ridică întrebări profunde despre viitorul guvernanței AI. Pe de o parte, integrarea unor evaluatori externi în procesul de dezvoltare ar putea aduce o mai mare transparență și responsabilitate, mai ales într-un domeniu în care laboratoarele sunt adesea acuzate că se auto-reglementează. Pe de altă parte, alegerea unui gigant de consultanță precum Accenture, care are interese comerciale în implementarea AI pentru clienți, poate crea conflicte de interese. Cum poate fi sigur că evaluările sunt cu adevărat independente atunci când evaluatorul este plătit de cel evaluat și are, de asemenea, contracte cu alte companii care folosesc AI?
Mai mult, faptul că Accenture nu este o organizație de cercetare în siguranța AI, ci o firmă de consultanță, sugerează că Anthropic ar putea prioritiza aspectele practice și de conformitate în detrimentul cercetării fundamentale în siguranță. Totuși, susținătorii subliniază că Accenture are experiență vastă în a lucra cu guverne și corporații, ceea ce ar putea aduce o perspectivă diferită, orientată spre aplicații reale.
În plus, investiția de un miliard de dolari arată că Anthropic ia în serios acest proces, dar și că există bani mari în joc. Aceasta ar putea crea un precedent pentru alte laboratoare AI, care ar putea urma modelul. Însă rămâne de văzut dacă astfel de evaluatori integrați vor reuși să prevină dezastrele sau dacă vor deveni doar o formalitate pentru a liniști autoritățile de reglementare și publicul.
Un alt aspect important este lipsa standardelor. Anthropic recunoaște că nu există încă norme clare pentru accesul evaluatorilor sau pentru comunicarea lor. Acest lucru înseamnă că fiecare laborator își poate crea propriile reguli, ceea ce ar putea duce la inconsistențe și la o comparație dificilă între diferitele eforturi de evaluare. Pe termen lung, ar fi necesară o standardizare la nivel de industrie, poate chiar coordonată de organizații internaționale.
În ceea ce privește criticile că acest plan ar fi o încercare de a evita responsabilitatea, Anthropic răspunde că evaluatorii nu reduc responsabilitatea, ci o fac mai verificabilă. Este un argument plauzibil, dar depinde de modul în care sunt implementați. Dacă evaluatorii au acces real la toate procesele și pot raporta independent, atunci ar putea aduce un plus de încredere. Dacă însă sunt doar o formalitate, cu rapoarte care nu sunt făcute publice, atunci impactul lor ar fi limitat.
De asemenea, este interesant că Anthropic a ales să înceapă cu Accenture, nu cu organizații non-profit din domeniul siguranței AI. Poate că aceasta este o mișcare strategică pentru a arăta că evaluarea nu este doar un exercițiu academic, ci are aplicații practice. Sau poate că Accenture a oferit condiții mai bune. Cert este că piața a reacționat pozitiv, ceea ce sugerează că investitorii văd aceasta ca pe o oportunitate de afaceri.
În concluzie, decizia Anthropic de a integra evaluatori de la Accenture este un pas important în evoluția guvernanței AI. Ea arată că laboratoarele încearcă să găsească modalități de a răspunde preocupărilor legate de siguranță, dar ridică și întrebări despre independență, standarde și eficacitate. Rămâne de urmărit cum va evolua acest model și dacă va fi adoptat și de alte companii. Într-o industrie în care încrederea este esențială, astfel de inițiative ar putea face diferența între acceptarea publică și respingerea tehnologiei.
De ce este important:
Această decizie marchează prima implementare concretă a conceptului de evaluatori integrați în interiorul unui laborator AI, un model care ar putea deveni standard în industrie. Ea reflectă presiunea crescândă asupra companiilor de AI de a demonstra că își asumă responsabilitatea pentru siguranța modelelor lor, mai ales după incidente recente. Totodată, alegerea Accenture, o firmă de consultanță, în locul organizațiilor non-profit de cercetare, ridică semne de întrebare cu privire la independența și obiectivitatea evaluărilor. Acest precedent ar putea influența modul în care alte laboratoare își structurează propriile procese de siguranță și ar putea determina autoritățile de reglementare să intervină cu standarde mai clare. Pe scurt, este un test crucial pentru auto-reglementarea industriei AI, cu implicații majore pentru încrederea publică și viitorul dezvoltării tehnologice.
