Conform unei postări detaliate pe X (fostul Twitter), Discord a explicat că sistemul său automat de siguranță funcționează prin compararea imaginilor încărcate cu baze de date de conținut cunoscut ca fiind dăunător. În teorie, aceasta este o metodă eficientă de a detecta materiale ilegale, cum ar fi conținutul de exploatare a copiilor (CSAM). În practică, însă, algoritmii de potrivire pot genera „falsuri pozitive” – imagini care seamănă structural cu materiale interzise, dar care sunt complet inofensive. De obicei, un moderator uman din echipa Trust & Safety revizuiește conținutul semnalat înainte de a lua măsuri. Dar, din cauza unui bug, sistemul a sărit peste această etapă și a aplicat automat interdicția permanentă.
„Sistemele noastre semnalează conținutul prin compararea cu materiale dăunătoare cunoscute. Acest tip de potrivire prin similaritate poate produce falsuri pozitive, motiv pentru care un membru al echipei noastre de Trust & Safety revizuiește întotdeauna conținutul semnalat înainte de a se lua măsuri. Comportamentul intenționat este să...”, a scris compania, lăsând fraza neterminată, dar subliniind că bug-ul a ocolit această verificare. Discord a confirmat că problema afecta conturi încă din luna mai, iar peste 200 de utilizatori au fost interziși în weekendul dinaintea remedierii. Toate conturile afectate sunt în curs de restaurare.
Pe platforme precum X și Reddit, utilizatorii au relatat că au fost suspendați permanent pentru că au încărcat imagini cu modele de tip grilă pătrată. Unii au speculat că AI-ul Discord a devenit hipersensibil la astfel de modele deoarece acestea au fost folosite în trecut pentru a ascunde sau a deghiza conținut NSFW și materiale de exploatare a copiilor, încercând să păcălească sistemele automate de detectare. „Am pierdut un cont pe care l-am avut de 7 ani, cu mii de mesaje și comunități, doar pentru că am postat o captură de ecran cu un spreadsheet de lucru”, a scris un utilizator pe Reddit. „Discord este esențial pentru munca mea ca dezvoltator de jocuri – fără el, nu pot comunica cu echipa.”
Frustrarea este cu atât mai mare cu cât interdicțiile au fost aplicate fără posibilitatea unui apel rapid. Un alt utilizator, care se identifică drept director de jocuri, a postat pe X: „Contul meu a fost interzis pe nedrept din cauza unui bug în AI-ul vostru care a identificat texturile mele de joc drept CSAM. Am nevoie de contul înapoi pentru că folosesc Discord pentru toată comunicarea.” Mesajul a fost însoțit de o imagine cu texturi de joc – modele geometrice inofensive.
Incidentul nu este izolat. Anul trecut, utilizatori ai Instagram și Facebook Groups au raportat suspendări masive și inexplicabile ale conturilor, pe care mulți le-au atribuit erorilor AI. Deși Meta nu a confirmat public cauza, Consiliul de Supraveghere al companiei a cerut mai multă transparență. De asemenea, Tumblr s-a confruntat cu plângeri similare după ce conturi au fost suspendate în bloc fără explicații clare. Aceste cazuri arată o tendință îngrijorătoare: platformele se bazează tot mai mult pe automatizare pentru a gestiona volumul imens de conținut, dar costul erorilor poate fi devastator pentru utilizatorii individuali.
Discord a promis că va implementa „măsuri de siguranță mai bune pentru ca acest lucru să nu se mai repete”. Între timp, utilizatorii afectați sunt sfătuiți să contacteze suportul pentru restaurarea conturilor. Rămâne de văzut dacă platforma va oferi compensații sau va îmbunătăți procesul de contestare a interdicțiilor automate.
De ce este important:
Acest incident subliniază fragilitatea sistemelor de moderare bazate pe AI și impactul disproporționat pe care erorile tehnice îl pot avea asupra utilizatorilor obișnuiți. Într-o eră în care platformele digitale devin infrastructură socială și profesională esențială, interdicțiile greșite pot rupe legături comunitare, pot afecta veniturile și pot cauza stres emoțional semnificativ. Cazul Discord demonstrează că, fără supraveghere umană adecvată și fără mecanisme de apel rapide, AI-ul poate face mai mult rău decât bine. Este un semnal de alarmă pentru toate companiile tech: automatizarea trebuie să fie însoțită de transparență, responsabilitate și căi de atac accesibile.
