Aria de sub curba ROC (AUC)

(categorie: statistică, epidemiologie)

Aria de sub curba ROC este măsura standard a discriminării unui model. Intuitiv, reprezintă probabilitatea ca, alegând la întâmplare un pacient care a făcut evenimentul și unul care nu l-a făcut, modelul să-i atribuie primului un risc mai mare.

Curba ROC însăși reprezintă grafic relația dintre proporția cazurilor detectate și proporția alarmelor false, pe toate pragurile posibile de decizie.

Cum funcționează

Pentru a construi curba, se iau toate pragurile posibile de risc, de la 0 la 1. Pentru fiecare prag se calculează câți dintre pacienții care s-au agravat sunt semnalați și câți dintre cei care nu s-au agravat sunt semnalați greșit. Fiecare prag dă un punct pe grafic.

Un model fără nicio capacitate de separare produce o diagonală, cu o arie de 0,5 — echivalentul aruncării unei monede. Un model perfect produce un unghi drept, cu o arie de 1. În practica clinică, valorile de peste 0,8 sunt considerate bune.

Avantajul măsurii este că nu depinde de un prag anume. Evaluează modelul pe întreaga plajă de riscuri, deci nu poate fi manipulată prin alegerea convenabilă a unui punct de tăiere.

Dezavantajul decurge din același lucru. Un model poate avea o arie sub curbă bună datorită performanței pe zone de risc care nu interesează clinic, în timp ce la pragul efectiv folosit performanța să fie mediocră. Exact aceasta s-a întâmplat în studiul din 2026.

Interpretare

Măsura discriminării

Independentă de prag, deci comparabilă între modele evaluate pe aceeași populație.

Nu spune nimic despre calibrare

Recalibrarea nu modifică aria sub curbă, pentru că nu schimbă ordinea pacienților. Cele două proprietăți sunt complet independente.

Nu spune nimic despre utilitate

Nu ia în calcul costul relativ al unui caz ratat față de o alarmă falsă, care diferă mult între boli.

Sensibilă la selecția pacienților

Valoarea depinde de populația evaluată. Excluderea formelor ușoare, ca în studiul din 2026, modifică rezultatul.

Relevanță clinică

Titlurile de presă despre inteligența artificială în medicină citează aproape întotdeauna această valoare, pentru că este o singură cifră, ușor de comparat. Studiul din 2026 arată de ce nu ajunge.

Modelul cu cea mai bună arie sub curbă a avut, înainte de recalibrare, cea mai slabă calibrare dintre toate instrumentele. La pragul de decizie de 20% a identificat doar 25 din 45 de pacienți care urmau să se agraveze. Iar selecția modelului, pragul și recalibrarea au fost făcute pe aceiași pacienți pe care a fost evaluat.

Mai instructiv este că XGBoost și BISAP au avut exact aceeași sensibilitate la acel prag, 0,556, deși ariile sub curbă diferă cu 0,085. Diferența de discriminare s-a manifestat pe alte zone ale plajei de riscuri, nu la punctul folosit în practică.

Intervalele de încredere sunt a doua precauție necesară. Pe 216 pacienți cu 45 de evenimente, intervalul pentru XGBoost a fost 0,771–0,902, iar cel pentru LightGBM 0,766–0,887. Suprapunerea lor înseamnă că ierarhia dintre modelele de vârf nu este demonstrată.

Pentru un cititor, întrebările utile dincolo de cifră sunt: pe ce populație a fost obținută, câte cazuri a ratat modelul la pragul folosit, și cum era calibrarea.

Ce trebuie verificat

Intervalul de încredere, nu doar valoarea punctuală.

Populația pe care a fost calculată și eventualele excluderi.

Dacă a fost obținută pe date de antrenament sau pe o cohortă externă.

Sensibilitatea și precizia la pragul destinat practicii.

Calibrarea și utilitatea clinică, raportate separat.

Factori care influențează valoarea ariei sub curbă

Capacitatea reală a variabilelor de a separa grupurile.

Algoritmul folosit și potrivirea lui cu datele.

Populația evaluată și criteriile de includere.

Frecvența evenimentului.

Gradul de supraajustare.

Dimensiunea cohortei de evaluare.

Definiția exactă a rezultatului prezis.

Aria de sub curba ROC în context Healthwise

Aria de sub curba ROC este cifra care a devenit sinonimă cu „cât de bun este modelul”, deși răspunde doar la una dintre cele trei întrebări relevante. O arie de 0,84 este începutul evaluării, nu concluzia ei.

Pe Healthwise, apare ca măsura standard a discriminării în studiile de predicție clinică și ca reper pentru citirea critică a titlurilor despre inteligența artificială.

Concluzie

Aria de sub curba ROC este probabilitatea ca modelul să atribuie un risc mai mare unui pacient care a făcut evenimentul decât unuia care nu l-a făcut. Valoarea 0,5 echivalează cu hazardul, 1 cu separarea perfectă.

Ce trebuie reținut: nu spune nimic despre corectitudinea probabilităților afișate, nici despre utilitatea la pragul folosit în practică; intervalul de încredere contează la fel de mult ca valoarea; iar o valoare obținută pe date proprii nu este comparabilă cu una obținută pe o cohortă externă.