Automation bias

(categorie: factor uman, siguranța pacientului)

Automation bias este tendința de a accepta rezultatul unui sistem automat chiar și când alte semne îl contrazic. Este un fenomen bine documentat în aviație, în industrie și, mai recent, în medicină.

Este unul dintre cele două riscuri opuse ale interacțiunii dintre medic și algoritm, alături de oboseala alarmelor — primul duce la încredere prea mare, al doilea la ignorare.

Cum funcționează

Mecanismul psihologic este economia de efort. Un sistem automat care funcționează corect în majoritatea cazurilor devine, treptat, o sursă de autoritate. Verificarea lui costă timp și atenție, iar experiența pozitivă repetată descurajează verificarea.

Se manifestă în două forme. Erori de omisiune: nu observi o problemă pe care sistemul nu a semnalat-o. Erori de comisiune: acționezi conform indicației sistemului, împotriva propriei observații.

În medicină, amândouă sunt periculoase. Un medic care vede un risc estimat de 12% poate fi tentat să se liniștească, deși pacientul respiră tot mai repede. La pragul ales în studiul din 2026, modelul a ratat 20 dintre cei 45 de pacienți care s-au agravat.

Factorii care amplifică fenomenul sunt oboseala, presiunea timpului, numărul mare de pacienți și lipsa de experiență cu instrumentul. Toți sunt prezenți într-o gardă de urgență.

Manifestări și contramăsuri

Erori de omisiune

Ratarea unei deteriorări pe care modelul nu a semnalat-o. Cu o sensibilitate de 0,556, aproape jumătate dintre cazurile severe nu sunt semnalate.

Erori de comisiune

Acțiune conformă cu indicația modelului, împotriva observației clinice directe.

Explicabilitatea ca antidot

Autorii studiului din 2026 au ales să afișeze nu doar o cifră, ci și explicația ei, tocmai pentru ca medicul să poată judeca predicția, nu doar să o accepte.

Avertismentele din interfață

Aplicația construită în studiu avertizează explicit că modelul a fost evaluat doar la pacienți fără pancreatită ușoară.

Relevanță clinică

Autorii studiului formulează întrebarea centrală: cea mai puțin studiată chestiune în inteligența artificială medicală nu este cât de bine prezice un model, ci ce face omul cu predicția.

Analiza sistematică din 2025 a găsit că 93% dintre studiile de învățare automată pentru pancreatita acută nu descriu deloc cum ar urma medicul să interacționeze cu modelul. Studiul din 2026 face un pas mai departe, dar recunoaște limita: patru clinicieni au testat aplicația informal, fără un studiu de utilizabilitate și fără măsurarea vreunei decizii clinice.

Cifra care contează pentru acest risc este sensibilitatea. La pragul de 20%, modelul a identificat 25 din 45 de pacienți care urmau să se agraveze. Un risc estimat scăzut nu este o garanție — este o probabilitate, calculată pe un model care ratează aproape jumătate din cazuri.

Ghidul TRIPOD+AI cere acum ca studiile să descrie explicit cum se integrează modelul în fluxul de lucru și cine ia decizia finală. Cerința recunoaște că performanța unui algoritm în practică depinde de oamenii care îl folosesc cel puțin la fel de mult cât depinde de matematica din spatele lui.

Pentru un pacient sau un aparținător, informația utilă este că un instrument de predicție nu înlocuiește observația clinică. Dacă starea se deteriorează — respirație mai grea, urină mai puțină, confuzie —, acest lucru trebuie semnalat, indiferent ce a estimat un algoritm.

Contramăsuri cunoscute

Afișarea explicației alături de cifră, pentru a permite judecarea predicției.

Avertismente explicite despre populația pe care modelul a fost validat.

Formarea utilizatorilor în privința limitelor instrumentului.

Menținerea explicită a responsabilității deciziei la medic.

Studii prospective care măsoară efectul instrumentului pe decizii reale.

Factori care influențează riscul de încredere excesivă

Oboseala și presiunea timpului.

Numărul de pacienți în îngrijire.

Experiența cu instrumentul.

Modul de prezentare a rezultatului în interfață.

Prezența sau absența unei explicații.

Istoricul de acuratețe perceput al sistemului.

Claritatea responsabilității deciziei finale.

Automation bias în context Healthwise

Automation bias este problema care mută discuția de la algoritm la om. Un model cu o sensibilitate de 0,556 nu este periculos în sine; devine periculos când cineva îl citește ca pe un verdict.

Pe Healthwise, apare ca unul dintre cele două riscuri ale interacțiunii dintre medic și algoritm și ca argument pentru investiția în explicabilitate.

Concluzie

Automation bias este tendința de a accepta rezultatul unui sistem automat chiar când alte semne îl contrazic, manifestată atât prin omisiuni, cât și prin acțiuni contrare observației directe.

Ce trebuie reținut: la pragul din studiul din 2026, modelul a ratat 20 din 45 de cazuri severe, deci un risc estimat scăzut nu este o garanție; afișarea explicației alături de cifră este contramăsura propusă, dar efectul ei nu a fost încă măsurat.