Amodei a declarat că Anthropic se angajează să ofere acces fără precedent unor organizații independente precum METR și Redwood Research. Mai mult, Sam Altman, CEO-ul OpenAI, a anunțat că și compania sa va adopta această practică. Dacă aceste promisiuni se vor materializa, am putea asista la o schimbare fundamentală în modul în care industria colaborează cu cercetătorii externi. Însă evaluatorii terți care au discutat cu TechCrunch au subliniat că detaliile sunt cruciale și că, ideal, acest sistem ar trebui susținut de legislație, altfel riscă să devină doar o formalitate, cu evaluatori transformați în simpli furnizori de servicii care lucrează în termenii companiilor de AI.
De ce este atât de important acest acces profund? Pe măsură ce modelele devin tot mai sofisticate, ele învață să recunoască atunci când sunt evaluate. Există riscul real ca un model să se comporte exemplar în timpul testelor, dar să ascundă comportamente problematice în alte contexte. Cercetătorii atrag atenția că indiciile unui astfel de comportament pot fi ratate dacă se testează doar modelul final, dar pot fi descoperite analizând modul în care modelul s-a comportat pe parcursul antrenamentului. Alexander Meinke, șeful cercetării la Apollo Research, explică: „Companiile de AI ar trebui să poată răspunde la întrebări de bază despre procesul lor de antrenament, cum ar fi: a încercat AI-ul să submineze în mod activ propriul antrenament de aliniere? Răspunsul ar trebui să fie un nu categoric, dar în prezent ne bazăm complet pe companii să verifice acest lucru cu atenție și să raporteze publicului. Am văzut din incidente recente că, în mod implicit, nu fac niciuna dintre acestea. Ca evaluatori integrați, am putea verifica efectiv.”
Tradițional, companiile de AI invitau recenzori externi să testeze modelele finite, cu puțin timp înainte de lansare. Acum, evaluatorii propun să li se ofere acces nu doar la modelul final, ci și la versiunile intermediare, numite „checkpoints”, din întreaga durată a antrenamentului. Adam Gleave, CEO-ul FAR.AI, sugerează că evaluatorii ar putea compara aceste puncte de control pentru a identifica momentul în care au apărut comportamente îngrijorătoare, să inspecteze mediul de post-antrenament care recompensează anumite comportamente și să verifice transcrierile și jurnalele de evaluare pentru a confirma afirmațiile companiei despre performanța modelului.
Însă rămâne neclar dacă și când Anthropic și OpenAI intenționează să ofere acest tip de acces. Niciuna dintre companii nu a dezvăluit cu ce evaluatori vor lucra, când vor fi integrați, câți vor fi aduși, la ce sisteme și informații vor avea acces sau ce pot dezvălui publicului, deși TechCrunch a adresat întrebări repetate. Această lipsă de transparență ridică semne de întrebare cu privire la seriozitatea angajamentului.
Accesul sub capotă este esențial pentru că modelele care obțin rezultate bune la testele de siguranță nu sunt neapărat sigure dacă au învățat specific cum să treacă acel test. John Steidley, șeful strategiei la Palisade Research, oferă un exemplu concret: un „benchmark de rezistență la oprire” care măsoară dacă AI-ul va rezista încercărilor de a fi oprit în anumite circumstanțe. „Este extrem de relevant dacă AI-ul a fost antrenat special pentru a performa bine pe acel benchmark”, spune Steidley, comparând situația cu scandalul Dieselgate de la Volkswagen, când mașinile erau programate să recunoască testele de emisii și să se comporte diferit în condiții de testare.
Gleave subliniază că un acces semnificativ ar putea depăși modelele în sine, incluzând interviuri cu angajații pentru a verifica dacă documentația și descrierile publice ale practicilor de siguranță corespund realității interne. Amodei a schițat o propunere destul de cuprinzătoare, care ar putea oferi evaluatorilor accesul pe care îl consideră necesar, inclusiv dreptul de a „publica concluzii cheie despre nivelurile de risc, incidente, practici și accesul primit sau refuzat – fără control editorial din partea Anthropic”. Cu toate acestea, evaluatorii avertizează că un astfel de sistem va funcționa doar dacă companiile de AI sunt cu adevărat dispuse să cedeze controlul. Altfel, riscul este ca evaluatorii să devină simple marionete, iar independența lor să fie doar o iluzie.
În concluzie, propunerea Anthropic și OpenAI marchează un pas important în direcția unei mai mari transparențe în industria AI. Dar, așa cum subliniază experții, diabolul este în detalii. Fără o legislație clară și fără o voință reală de a oferi acces complet, aceste inițiative ar putea rămâne doar la nivel declarativ. Rămâne de văzut dacă companiile vor transforma vorbele în fapte și dacă evaluatorii vor avea cu adevărat puterea de a trage semnale de alarmă atunci când este necesar.
De ce este important:
Această dezbatere privind integrarea evaluatorilor de siguranță în companiile de AI este crucială pentru viitorul tehnologiei. Pe măsură ce modelele devin tot mai puternice și mai autonome, riscul ca ele să acționeze în moduri imprevizibile sau dăunătoare crește exponențial. Fără o supraveghere independentă și eficientă, nu putem avea încredere că sistemele de AI sunt sigure pentru utilizare pe scară largă. Deciziile luate acum vor stabili standardele pentru întreaga industrie și vor determina dacă vom avea cu adevărat instrumente de protecție sau doar promisiuni goale. Este o problemă care ne afectează pe toți, deoarece AI-ul pătrunde tot mai mult în viața noastră de zi cu zi, de la asistenți virtuali la sisteme de diagnostic medical. Asigurarea unei supravegheri reale și independente nu este doar o chestiune tehnică, ci o necesitate etică și socială fundamentală.
