Studiul s-a concentrat pe diagnosticarea bolilor dermatologice, un domeniu în care instrumentele AI sunt deja folosite de unii clinicieni și devin tot mai accesibile pacienților prin produse de căutare bazate pe inteligență artificială. Cercetătorii au testat mai multe tipuri de interfețe explicabile, de la hărți termice care evidențiază zonele dintr-o imagine medicală care au influențat decizia modelului, până la imagini similare care susțin predicția, și chiar explicații generate de modele de limbaj natural (LLM). Participanții au fost împărțiți în două categorii: non-experți (persoane fără pregătire medicală) și clinicieni (medici cu experiență).
Rezultatele au fost surprinzătoare. Pentru non-experți, toate metodele de explicabilitate au îmbunătățit acuratețea diagnosticării, dar într-un mod care ridică semne de întrebare. Îmbunătățirea a venit în principal din faptul că participanții au delegat decizia modelului AI, nu din înțelegerea reală a explicațiilor. Când modelul a greșit, performanța non-experților a scăzut mult mai mult decât a crescut atunci când modelul a avut dreptate. Practic, ei au devenit dependenți de recomandarea AI, iar explicațiile au servit mai degrabă ca o justificare a deciziei luate de algoritm, decât ca un instrument de verificare.
Un aspect deosebit de îngrijorător a fost efectul explicațiilor generate de LLM. Acestea au produs cel mai puternic efect de ancorare – participanții au avut încredere în ele indiferent dacă rezultatul modelului era corect sau nu. Mai mult, explicațiile vagi sau generice au fost considerate mai convingătoare decât cele detaliate. Utilizatorii care au primit asistență LLM au raportat o încredere mai mare în răspunsurile greșite. Roxana Daneshjou, profesor asistent de știința datelor biomedicale și dermatologie la Stanford, a subliniat că pacienții cu cunoștințe medicale limitate sunt cei mai expuși la erorile AI explicabile. „Aceste descoperiri sunt importante pe măsură ce pacienții apelează tot mai mult la AI pentru îngrijirea sănătății lor. Rezultatele noastre arată că cei cu cele mai puține cunoștințe medicale sunt cei mai predispuși să fie induși în eroare atunci când modelele AI explicabile dau un rezultat eronat”, a declarat ea.
În schimb, clinicienii au manifestat o rezistență remarcabilă la explicațiile greșite. Ei nu au urmat orbește recomandările AI, ci le-au verificat prin prisma propriei experiențe. Interesant este că performanța lor cea mai bună a fost obținută atunci când au primit doar predicția modelului, fără nicio explicație. Explicațiile LLM au produs cea mai mică îmbunătățire a acurateței pentru medici, dintre toate metodele testate. Acest lucru nu înseamnă că explicațiile nu au niciun rol în practica clinică, ci că formatul potrivit pentru un pacient sau un novice nu se potrivește unui utilizator instruit care efectuează un diagnostic diferențial.
Orson Xu, autorul principal al studiului și profesor asistent la Departamentul de Informatică Biomedicală de la Universitatea Columbia, a explicat diferența: „Totul se reduce la modul în care fiecare grup folosește explicația. Un clinician are deja un diagnostic în minte și verifică AI-ul prin prisma propriei pregătiri, astfel încât o explicație proastă este prinsă. Între timp, un non-expert poate folosi exact aceeași explicație pentru a-și forma o opinie de la zero, așa că o justificare plauzibilă și sigură pe sine îl poate trage spre răspunsul greșit. Același instrument devine un avantaj pentru un utilizator și o piedică pentru altul.”
Studiul argumentează împotriva tratării explicabilității ca pe o soluție universală. Marzyeh Ghassemi, profesor asociat în cadrul Departamentului de Inginerie Electrică și Informatică de la MIT, a atras atenția asupra necesității unui echilibru delicat: „Sistemele AI bune pot îmbunătăți performanța în anumite medii medicale, dar acest lucru trebuie echilibrat cu atenție cu deferența algoritmică care poate duce la mai multe erori. Știm că atât AI, cât și metodele de explicabilitate pot declanșa biasul de automatizare la oameni, iar acest efect de ancorare trebuie luat în calcul atunci când proiectăm sisteme AI.”
Cercetătorii au testat și un model constrâns de echitate, menit să abordeze biasul împotriva tonurilor mai închise de piele. Acest model a îmbunătățit acuratețea și a redus disparitățile de diagnostic bazate pe tonul pielii. Totuși, beneficiul a venit cu un risc: non-experții s-au bazat atât de mult pe recomandarea modelului, încât erorile au avut un impact disproporționat de mare.
Implicațiile acestui studiu depășesc dermatologia. Ele se aplică oricărui domeniu medical în care AI este folosită pentru diagnosticare, de la radiologie la analiza probelor de laborator. De asemenea, ele ridică întrebări serioase despre produsele de consum care oferă diagnostice AI direct pacienților. O explicație text plauzibilă poate părea autoritară chiar și atunci când modelul a greșit, iar pacienții cu cele mai puține cunoștințe sunt cei mai vulnerabili.
În loc să presupunem că explicațiile sunt întotdeauna benefice, proiectanții de interfețe AI trebuie să ia în considerare cine le va folosi. Pentru non-experți, ar putea fi necesar să se limiteze încrederea în AI sau să se ofere explicații care să încurajeze gândirea critică, nu doar acceptarea pasivă. Pentru clinicieni, explicațiile ar trebui să fie concise și să se concentreze pe informații care completează expertiza lor, nu să repete ceea ce știu deja. Studiul subliniază că o abordare „one-size-fits-all” în designul AI medical nu este doar ineficientă, ci potențial periculoasă.
Pe măsură ce AI devine tot mai prezentă în asistența medicală, este esențial să înțelegem că tehnologia nu este neutră. Modul în care este prezentată informația influențează deciziile, iar această influență variază în funcție de utilizator. Cercetarea de la MIT ne oferă o lecție valoroasă: trebuie să proiectăm sisteme AI care să se adapteze la expertiza utilizatorului, nu să ne așteptăm ca utilizatorii să se adapteze la sistem. Doar astfel putem valorifica potențialul AI în medicină, fără a sacrifica siguranța pacienților.
De ce este important:
Acest studiu demonstrează că instrumentele de explicabilitate AI nu sunt universal benefice în domeniul medical. Ele pot îmbunătăți performanța non-experților, dar îi pot face și mai dependenți de erorile modelului, în timp ce pentru clinicieni explicațiile pot fi chiar dăunătoare. Pe măsură ce AI devine tot mai accesibilă pacienților, înțelegerea acestor diferențe este crucială pentru a proiecta interfețe sigure și eficiente. Ignorarea acestor aspecte ar putea duce la diagnostice greșite, cu consecințe grave pentru sănătatea oamenilor.
