Criza replicării

(categorie: metodologie științifică)

Criza replicării este constatarea că o proporție importantă din rezultatele publicate în unele domenii științifice — în special în psihologia socială, dar și în alte discipline — nu se confirmă atunci când studiile sunt repetate cu protocoale identice și eșantioane mai mari.

Nu este un scandal de fraudă, ci o problemă structurală de metodologie și de incentive: felul în care cercetarea era finanțată, analizată și publicată producea sistematic rezultate care nu existau.

Cum funcționează

Prima cauză este distorsiunea de publicare. Studiile cu rezultat pozitiv se publică, cele fără rezultat rămân nepublicate. Consecința este că literatura disponibilă supraestimează sistematic mărimea efectelor, iar un efect inexistent poate părea bine documentat.

A doua este eșantionul mic. Studiile cu puțini participanți au putere statistică redusă și produc estimări instabile. Paradoxal, un efect detectat într-un eșantion mic este mai probabil supraestimat decât unul detectat într-un eșantion mare.

A treia este flexibilitatea în analiză. Fără un plan stabilit dinainte, cercetătorul poate alege între mai multe metode de analiză, mai multe variabile și mai multe puncte de oprire a colectării — iar oricare dintre aceste alegeri, făcută după ce datele au fost văzute, crește șansa unui rezultat aparent semnificativ.

Soluțiile adoptate sunt directe: preînregistrarea protocoalelor, eșantioane mai mari, replicări coordonate în laboratoare multiple, publicarea rezultatelor nule și disponibilitatea datelor și a codului de analiză.

Cauze și soluții

Distorsiunea de publicare

Rezultatele pozitive se publică, cele nule nu. Literatura supraestimează sistematic efectele.

Eșantioane mici

Putere statistică redusă și estimări instabile; un efect detectat astfel este probabil supraestimat.

Flexibilitatea în analiză

Alegeri făcute după vizualizarea datelor cresc șansa unui rezultat aparent semnificativ.

Soluțiile

Preînregistrare, eșantioane mari, replicări coordonate, publicarea rezultatelor nule, date și cod disponibile.

Relevanță clinică

Cazul cel mai relevant pentru literatura de dezvoltare personală este epuizarea eului. Ideea că voința funcționează ca o resursă care se epuizează pe parcursul zilei a fost testată în 2016 într-o replicare coordonată, desfășurată simultan în 23 de laboratoare, pe 2.141 de participanți, care nu a găsit efectul.

O parte din literatura de psihologie a autocontrolului pe care se sprijină cărțile din această categorie a fost pusă sub semnul întrebării în ultimul deceniu. Concluziile practice pot rămâne valabile, dar argumentele teoretice care le însoțeau sunt mai fragile decât apăreau.

Pentru un cititor, consecința este o întrebare utilă în fața oricărei afirmații psihologice citate frecvent: a fost replicată într-un studiu mare, preînregistrat, cu protocol comun? Pentru multe dintre afirmațiile populare, răspunsul este nu.

Este important de reținut și ce nu spune criza. Nu că psihologia ar fi lipsită de valoare, ci că unele rezultate specifice nu au rezistat verificării. Domeniile care au reacționat prin preînregistrare și replicare au devenit, paradoxal, mai fiabile decât cele care nu au trecut prin acest proces.

Aceleași mecanisme afectează și literatura medicală. Distorsiunea de publicare, eșantioanele mici și flexibilitatea în analiză nu sunt specifice psihologiei — motiv pentru care preînregistrarea studiilor clinice a devenit standard.

Ce trebuie verificat

Dacă rezultatul a fost replicat într-un studiu mare, independent.

Dacă protocolul a fost preînregistrat.

Dimensiunea eșantionului și puterea statistică.

Dacă datele și codul de analiză sunt disponibile.

Dacă rezultatele nule din același domeniu au fost publicate.

Factori care influențează probabilitatea ca un rezultat să se replice

Dimensiunea eșantionului original.

Mărimea efectului raportat — valorile foarte mari sunt suspecte.

Preînregistrarea protocolului.

Existența unor replicări independente.

Disponibilitatea datelor și a codului.

Plauzibilitatea mecanismului propus.

Numărul de analize efectuate înainte de raportare.

De ce contează

Criza replicării este cel mai important lucru care s-a întâmplat în psihologia ultimului deceniu — nu pentru că a demolat domeniul, ci pentru că a schimbat standardele. Consecința pentru un cititor este că data publicării unui rezultat contează.

Pe Healthwise, apare ca principiu de evaluare critică a afirmațiilor psihologice și a literaturii de dezvoltare personală.

Concluzie

Criza replicării este constatarea că o proporție importantă din rezultatele publicate nu se confirmă la repetare, din cauza distorsiunii de publicare, a eșantioanelor mici și a flexibilității în analiză.

Ce trebuie reținut: soluțiile adoptate — preînregistrare, eșantioane mari, replicări coordonate, publicarea rezultatelor nule — au făcut cercetarea recentă mai fiabilă; iar întrebarea utilă în fața unei afirmații populare este dacă a fost replicată într-un studiu mare, preînregistrat.