Analiză top-box

(categorie: metodologie științifică, psihometrie)

Analiza top-box numără doar respondenții care dau scorul maxim, în loc să calculeze o medie. Este soluția standard pentru scalele afectate de efectul de plafon.

Produce cifre mai mici decât media, dar recuperează capacitatea de a diferenția între niveluri reale de calitate.

Cum funcționează

Într-o scală de la zero la patru, media poate fi de 3,6 atât acolo unde majoritatea dau patru, cât și acolo unde majoritatea dau trei și câțiva dau patru. Cele două situații sunt diferite, dar media le confundă.

Numărarea doar a scorurilor maxime le separă. Proporția celor care dau patru descrie direct câte experiențe au fost excelente, nu doar acceptabile.

În chestionarele cu mai multe întrebări, definiția se poate înăspri suplimentar: se numără doar respondenții care dau scorul maxim la toate întrebările, nu la una singură.

Aceasta este definiția folosită pentru decizia partajată optimă într-un studiu recent: scorul maxim la toate trei întrebările, adică doisprezece din doisprezece.

Ce aduce

Recuperează diferențierea

Separă experiențele excelente de cele doar acceptabile.

Cifre mai mici, dar informative

Proporția scorurilor maxime descrie realitatea mai precis decât media.

Definiție înăsprită pe mai multe întrebări

Scorul maxim la toate, nu doar la una.

Comparabilitate între studii

Aplicarea consecventă permite compararea rezultatelor.

Relevanță clinică

Într-un studiu despre sănătatea reproductivă, doar aproximativ una din șase femei care au avut o discuție cu medicul a atins pragul maxim la toate trei întrebările.

Cifra nu arată că medicii au fost neatenți. Arată cât de rar se întrunesc simultan toate cele trei condiții ale unei decizii partajate într-o consultație scurtă.

Pentru interpretarea unui studiu, este util de verificat ce definiție a fost folosită pentru rezultatul pozitiv. O cifră mică poate reflecta o definiție strictă, nu o performanță slabă.

Inversul este la fel de important. O cifră impresionantă obținută cu o definiție permisivă spune mai puțin decât pare.

Pentru un cititor care compară servicii pe baza recenziilor, principiul se aplică direct: proporția de note maxime este mai informativă decât media, într-un domeniu în care aproape toată lumea dă note mari.

Cum se aplică

Se numără doar respondenții cu scorul maxim.

În chestionarele cu mai multe întrebări, maximul la toate.

Definiția folosită se raportează explicit.

Cifra rezultată se compară cu alte studii care folosesc aceeași definiție.

O cifră mică poate reflecta strictețea definiției, nu performanța.

Factori care influențează rezultatul unei analize top-box

Strictețea definiției alese.

Numărul de întrebări incluse în criteriu.

Numărul de trepte al scalei.

Distribuția reală a răspunsurilor.

Contextul în care se aplică chestionarul.

De ce contează

Analiza top-box este motivul pentru care un studiu serios raportează „una din șase” acolo unde un comunicat de presă ar raporta „nouăzeci la sută mulțumiți” — despre aceleași date.

Pe Healthwise, apare în interpretarea studiilor despre calitatea îngrijirii și în evaluarea sondajelor.

Concluzie

Analiza top-box numără doar respondenții care dau scorul maxim, în loc să calculeze o medie afectată de efectul de plafon.

Ce trebuie reținut: produce cifre mai mici, dar recuperează capacitatea de diferențiere; iar la interpretarea unui studiu, verificarea definiției folosite explică adesea de ce rezultatul pare slab.