PRISM2 este construit pe un encoder bazat pe „perceiver” (un tip de arhitectură neuronală care procesează date de intrare mari, cum ar fi imagini gigapixeli). Acest encoder este antrenat simultan pe fragmente de țesut (tile-uri) și pe dialog clinic extras din rapoarte de patologie. Practic, modelul agregă mii de reprezentări ale acestor fragmente dintr-o singură lamă într-un vector unic, apoi generează text care răspunde la întrebări diagnostice, în loc să se limiteze la a clasifica pixelii.
Datele de antrenare sunt impresionante: 2,3 milioane de imagini de lame întregi. Dialogul clinic provine din 685.507 rapoarte de patologie colectate de la Memorial Sloan Kettering Cancer Center în timpul îngrijirii de rutină, convertite în perechi întrebare-răspuns de către GPT-4o. Arhitectura rulează în două faze distincte. Prima fază antrenează encoderul lamei, învățându-l să agrege caracteristici la nivel de fragment într-un vector la nivel de lamă care se corelează cu limbajul raportului. A doua fază îngheață complet encoderul și mută munca pe modelul de limbaj, fine-tuning pe dialog, astfel încât să învețe convențiile de raportare patologică, nu mecanica encoderului.
Un aspect interesant: antrenamentul folosește dialog pe un singur schimb (single-turn). Nu există istoric de conversație multi-turn, ceea ce limitează tipul de interacțiune pe care un sistem implementat l-ar putea suporta fără inginerie suplimentară. Dar această alegere simplifică antrenamentul și permite focalizarea pe esențial.
La centrul primei faze se află encoderul perceiver, care agregă embeddings-urile Virchow2 (un alt model de patologie) în reprezentarea la nivel de lamă. Două funcții de pierdere (loss functions) îl antrenează simultan. Embeddings-urile de text BioGPT conduc un obiectiv contrastiv, trăgând reprezentările lamei spre limbajul raportului corespunzător și împingându-le departe de perechi nepotrivite. Phi-3 Mini rulează un obiectiv autoregresiv în paralel, forțând ieșirea encoderului să susțină generarea directă de text, nu doar scoruri de similaritate. Antrenamentul contrastiv singur tinde să producă embeddings bune la recuperare, dar slabe la generare, iar antrenamentul autoregresiv singur poate supraînvăța modele superficiale de text fără a învăța caracteristici vizuale transferabile. Combinarea ambelor este miza arhitecturală a PRISM2.
PRISM2 expune două embeddings separate, nu una singură. Embeddings-urile de bază (base embeddings) vin direct de la encoderul lamei și se transferă la sarcini de predicție a biomarkerilor. Embeddings-urile de diagnostic (diagnostic embeddings) sunt extrase din starea ascunsă a modelului de limbaj de 4 miliarde de parametri, după ce acest model a procesat atât latențele lamei, cât și textul promptului împreună. Această distincție contează: antrenamentul ajustează embedding-ul de diagnostic special pentru detectarea cancerului și subtiparea acestuia. Autorii recomandă embedding-ul de bază pentru orice sarcină din afara distribuției centrate pe diagnostic. Sarcinile de supraviețuire primesc un al treilea embedding, fine-tunat separat, pe deasupra celorlalte două.
Performanțele sunt remarcabile. PRISM2 egalează sau depășește acuratețea echilibrată a produselor de uz clinic calibrate pentru detectarea cancerului de prostată și de sân, testate pe propriile seturi de evaluare ale acestor produse. Clasificarea ganglionilor limfatici în cancerul mamar se alătură comparației, iar PRISM2 depășește Paige BLN acolo fără niciun antrenament suplimentar pe acea sarcină specifică. Modelele de fundație anterioare (PRISM și TITAN) nu se mențin la fel de bine sub clasificarea contrastivă – ambele rămân sub nivelul produselor, iar diferența se lărgește pe testarea ganglionilor limfatici mamari.
Detectarea pancancer extinde și mai mult benchmark-ul. Embeddings-urile de diagnostic au atins 0,967 AUC, față de 0,956 pentru embedding-ul de bază pe aceeași sarcină. PRISM a obținut 0,947, iar TITAN 0,931. Detectarea cancerelor rare a scăzut scorul embedding-ului de diagnostic de la 0,967 la 0,957 AUC. Articolul atribuie această scădere exemplelor rare de antrenament pentru acele tipuri de țesut.
Sondarea liniară (linear probing) oferă o citire mai curată a calității reprezentării decât fine-tuning-ul end-to-end, deoarece menține encoderul fix și testează doar dacă un clasificator simplu poate extrage semnalul relevant. Sub această metodă, embeddings-urile PRISM2 nu au performat niciodată statistic sub modelele de fundație anterioare pe benchmark-urile de diagnostic testate, la P < 0,05. Rezultatele se îmbunătățesc cel mai mult acolo unde setul de antrenament pancancer conține puține mostre din tipurile de țesut comparate.
Sarcinile de supraviețuire și biomarkeri urmează un model similar sub aceeași metodă de sondare. Cercetătorii au adunat peste 225.000 de cazuri care urmăresc supraviețuirea globală la aproape 100.000 de pacienți, apoi au comparat un encoder PRISM2 fine-tunat direct cu un model specialist de supraviețuire antrenat de la zero pe același set de date. Embeddings-urile PRISM2 au câștigat acea comparație. Supraviețuirea fără recurență a cancerului colorectal MSK a produs cea mai mare diferență: un indice de concordanță de 0,809 față de 0,773 pentru modelul specialist. Embeddings-urile de bază se mențin bine și aici, fără niciun fine-tuning specific pentru supraviețuire.
Pe sarcinile de biomarkeri – care se află în afara distribuției de antrenament a dialogului din rapoarte – embeddings-urile de bază le bat de fapt pe cele de diagnostic, cu o medie de 0,854 AUC pe sarcinile MSK și 0,784 pe sarcinile TCGA. COBRA și TITAN sunt aproape de aceleași cifre.
Studiul de ablație izolează ce anume contribuie supervizarea prin dialog. Adăugarea șabloanelor de dialog la PRISM original a îmbunătățit semnificativ performanța, demonstrând că nu doar cantitatea de date contează, ci și modul în care sunt structurate.
De ce este important:
PRISM2 nu este doar un alt model AI care „vede” imagini medicale. Este un sistem care înțelege contextul clinic, care poate răspunde la întrebări precise despre o lamă de țesut, nu doar să ofere o etichetă. Aceasta deschide calea către o patologie asistată de AI mai naturală, mai apropiată de modul în care gândesc medicii. În loc să fie un instrument pasiv, devine un partener de dialog. Pentru pacienți, asta înseamnă diagnostice mai rapide și mai precise, mai ales în cazurile rare unde datele sunt puține. Pentru sistemul medical, înseamnă reducerea sarcinii asupra patologilor și standardizarea interpretării. Iar pentru cercetători, PRISM2 oferă o arhitectură care poate fi extinsă la alte domenii medicale unde imaginile și textul clinic coexistă. Este un pas mare spre o inteligență artificială care nu doar calculează, ci și comunică.
