Studiul, publicat în iulie la ICML în Seul, a simulat un joc de angajare în care au fost testate modele precum ChatGPT, Claude și Gemini. Fiecare model a fost pus în pielea unui consultant angajat de primarul unui oraș fictiv, cu sarcina de a selecta candidați pentru 20 de posturi diferite: medici, avocați, îngrijitori de copii și portari. Candidații proveneau din patru grupuri etnice fictive: Tufa, Aima, Reku și Weki. În fiecare rundă, modelul alegea un candidat dintr-un grup, iar apoi afla dacă acesta a avut succes în postul respectiv. Scopul era să facă cât mai multe angajări reușite în 40 de runde.
Ceea ce este alarmant este că, deși toți candidații aveau șanse egale de succes, modelele au început rapid să segregeze candidații pe baza primelor observații. De exemplu, dacă un model afla că un Aima a eșuat ca medic – o profesie considerată a necesita căldură și competență ridicate – evita să mai angajeze vreun Aima ca medic, preferând să îi plaseze pe posturi de portar, considerate mai puțin „calde” și competente. Acest comportament de stereotipizare a fost cu 65% mai pronunțat decât cel al participanților umani dintr-un studiu psihologic similar. Pe o scară de segregare de la 0 la 2, unde 2 înseamnă segregare totală, oamenii au obținut 0,84, în timp ce modelul o3 de la OpenAI a ajuns la 1,83, aproape de maxim.
Ryan Liu, doctorand la Princeton și coautor al studiului, explică: „Modelele sunt literalmente optimizate pentru a generaliza din date limitate. Aceasta este o trăsătură utilă în matematică sau programare, dar în contexte sociale duce la stereotipuri rapide și greu de corectat.” Dilema explorare-exploatare – alegerea între a repeta ce a funcționat și a încerca ceva nou – este gestionată diferit de LLM-uri. Fiind antrenate pe probleme de matematică și știință, ele tind să se fixeze pe o intuiție prea devreme. În experiment, modelele mai noi, cu capacități superioare de raționament (precum o3 de la OpenAI sau R1 de la DeepSeek), au arătat prejudecăți și mai puternice.
Angelina Wang, informaticiană la Universitatea Cornell, care nu a participat la studiu, subliniază relevanța descoperirii în contextul actual al chatbot-urilor cu memorie și personalizare îmbunătățite. „Când un chatbot își amintește conversațiile anterioare, poate pune un accent exagerat pe aceleași tipuri de comportamente și poate forma prejudecăți”, spune ea. Simpla reducere a memoriei nu este o soluție, deoarece utilizatorii doresc ca asistenții să își amintească preferințele. „Încercăm să găsim cantitatea potrivită de memorie – nici prea mult, nici prea puțin”, adaugă Wang.
O altă descoperire importantă: instruirea modelului să fie corect nu a schimbat semnificativ comportamentul. „Fie nu poate pune aceste valori în practică, fie tendința de a optimiza pentru obținerea cât mai multor angajări corecte subminează acest proces”, explică Liu. În schimb, promisiunea unui bonus suplimentar pentru angajări diverse a redus drastic prejudecățile. Cheia, spune Liu, este să proiectăm obiective care „încorporează valori sociale dezirabile pentru a face modelul să acționeze în moduri social acceptabile”.
Într-un alt experiment, modelele au fost rugate să relocheze membri ai diferitelor grupuri etnice în orașe canadiene. Când li s-au oferit informații personale relevante pentru adaptarea la un nou oraș (vârstă, educație), segregarea etnică a scăzut. Dar când informațiile erau irelevante (culoarea părului, forma tatuajelor), modelele au revenit la sortarea pe criterii etnice.
În lumea reală, impactul acestor prejudecăți asupra angajărilor este încă o întrebare deschisă. În experiment, modelele primeau feedback imediat după fiecare angajare, dar în realitate, companiile află abia după luni dacă un angajat este potrivit. Totuși, atunci când feedback-ul sosește, modelul poate trage concluzii pripite pentru angajări viitoare. Pe măsură ce companiile folosesc din ce în ce mai mult LLM-uri pentru a selecta CV-uri și chiar pentru a conduce interviuri, „aceasta este o implicație serioasă de care ar trebui să țină cont”, avertizează Wang.
Liu concluzionează: „Pe măsură ce LLM-urile învață din experiență să decidă cine primește un loc de muncă, un credit sau o eliberare condiționată, prejudecățile de care trebuie să ne îngrijorăm includ și pe cele pe care niciun om nu le-a învățat vreodată. Aceste prejudecăți noi sunt omniprezente.”
De ce este important:
Acest studiu arată că inteligența artificială nu doar reflectă, ci și creează stereotipuri, ceea ce poate duce la discriminare sistemică în procesele de angajare, creditare sau justiție. Pe măsură ce tot mai multe decizii sunt delegate algoritmilor, înțelegerea și corectarea acestor prejudecăți devine esențială pentru a asigura echitatea socială. Fără intervenții deliberate, riscul ca AI să amplifice inegalitățile existente este real și iminent.
