„Criza de replicare” stimulează reformele în modul în care se fac studiile științifice

Ceea ce a început acum câțiva ani ca o criză de încredere în rezultatele științifice a evoluat într-o oportunitate de îmbunătățire. Cercetătorii și editorii de reviste expun modul în care se fac studiile și încurajează refacerea independentă a rapoartelor publicate. Și nu există nimic ca șirul de replici eșuate pentru a stimula practica științifică îmbunătățită.

Aceasta este concluzia unei echipe de cercetare, condusă de economistul Caltech Colin Camerer, care a examinat 21 de lucrări de științe sociale publicate în două reviste științifice majore, Natură și Ştiinţădin 2010 până în 2015. Cinci echipe de replicare conduse de coautorii noului studiu au reprodus cu succes efectele raportate pentru 13 dintre aceste investigații, au raportat cercetătorii online pe 27 august în Natura Comportamentul uman. Rezultatele raportate în opt lucrări nu au putut fi replicate.

Noul studiu este o îmbunătățire față de o încercare anterioară de a reproduce descoperirile psihologiei (SN: 4/2/16, str. 8). Însă cele mai recente rezultate subliniază necesitatea de a privi orice studiu cu prudență, o lecție pe care mulți cercetători și ținerii din jurnale au luat-o la inimă în ultimii câțiva ani, spune echipa Camerer. Există acum o oportunitate de a crea o cultură științifică a replicării care să ofere o verificare a ceea ce ajunge să fie publicat și mediatizat, susțin cercetătorii.

Totuși, noul studiu dezvăluie un aspect îngrijorător al refacerilor experimentale de succes. Echipa lui Camerer a descoperit că, pentru studiile repetate care au rezultat, care au inclus de patru până la cinci ori mai mulți participanți decât cei studiati inițial, puterea statistică de a detecta efectele reale a fost mai slabă decât cea raportată pentru investigațiile inițiale. Cu alte cuvinte, cele mai bune replici – care au depășit studiile inițiale în capacitatea lor de a detecta efectele reale – au avut doar parțial succes.

Un motiv pentru această tendință este că revistele științifice au avut tendința de a nu publica studii care confirmă descoperirile anterioare, lăsând descoperirile inițiale necontestate până acum, spune coautorul studiului și psihologul Brian Nosek de la Universitatea Virginia din Charlottesville. Chiar și cele mai prestigioase reviste au publicat adesea rezultate care atrag multă atenție științifică și media, dar care s-ar fi putut întâmpla cu ușurință la întâmplare, spune el.

În plus, noul raport pare că astfel de practici se schimbă. „Științele sociale și comportamentale se află în mijlocul unei reforme a practicilor științifice”, spune Nosek.

În ultimii cinci ani, de exemplu, 19 din 33 de reviste în psihologia socială și a personalității au stabilit politici care cer investigatorilor să-și trimită proiectele de cercetare pentru evaluarea de către colegi înainte de a trimite lucrările de cercetare pentru revizuire. În acest fel, evaluatorii colegi pot verifica dacă experimentatorii și-au modificat procedurile pentru a scoate efecte pozitive. Aceleași reviste colectează și date experimentale de la cercetători, astfel încât să poată fi efectuate replicări.

În mod intrigant, când grupul lui Camerer a cerut unui grup de aproape 400 de cercetători, majoritatea psihologi și economiști, să examineze datele din cele 21 de experimente și să prezică dacă fiecare ar putea fi reprodus, prognozele oamenilor de știință au fost de obicei corecte. Predicțiile de la colegi pot fi o modalitate de a susține evaluările de la colegi și de a ajuta la eliminarea studiilor slabe, spune Nosek.

Un alt semn pozitiv este că oamenii de știință ale căror lucrări au fost verificate din nou în noul studiu au cooperat în general la efort, chiar dacă descoperirile lor nu au reușit să se repete. De exemplu, un nou studiu de replicare pe care Camerer și colegii l-au examinat nu a susținut un studiu din 2012 Ştiinţă raportați că vizualizarea imaginilor cu faimoasa statuie a lui Auguste Rodin Gânditorul reduce credința religioasă auto-raportată a voluntarilor. Această constatare a făcut parte dintr-un proiect care examinează modul în care reflecția mentală afectează credința religioasă.

Psihologul Will Gervais de la Universitatea Kentucky din Lexington, coautor al lucrării din 2012, salută noile dovezi. „În retrospectivă, am supravândut un studiu cu un efect care a fost abia semnificativ statistic”, spune Gervais. „Îmi place să cred că studiul nostru nu va fi publicat astăzi.”

Eforturile actuale de replicare reprezintă „o oportunitate de a ne ascuți practicile științifice”, adaugă el.

Chiar dacă are dreptate, problema studiilor în științe sociale, precum și a disciplinelor inclusiv neuroștiința și cercetarea medicală (SN: 18.2.17, str. 10), merge mai adânc decât reproductibilitatea, spune psihologul Gerd Gigerenzer de la Institutul Max Planck pentru Dezvoltare Umană din Berlin.

Cercetătorii din aceste domenii se bazează în mare măsură pe o tehnică statistică care evaluează dacă un rezultat – să zicem, o scădere aparentă a credinței religioase după vizionarea The Thinker – ar avea loc dacă nu ar exista o diferență adevărată. Oamenii de știință numesc asta o ipoteză nulă. O limită arbitrară este utilizată pentru a determina dacă o diferență raportată față de o ipoteză nulă este „semnificativă statistic”. Dar asta nu stabilește existența unui efect adevărat, deși de obicei se presupune că face exact asta. Și de obicei, cercetătorii nu încearcă să testeze predicții alternative care încearcă să explice cum, de exemplu, contemplația ar putea afecta convingerile spirituale, spune Gigerenzer.

Mai rău, mulți cercetători presupun în mod greșit că atingerea semnificației statistice într-un studiu face ca replicarea rezultatelor acestuia să fie inutilă.

Asta a descoperit Gigerenzer într-o analiză a studiilor care au chestionat 839 de psihologi academicieni și 991 de studenți de licență și absolvenți la psihologie. Dintre aceștia, 20% din statistici de predare a facultății, 39% dintre profesori și lectori și 66% dintre studenți au considerat că semnificația statistică înseamnă că un rezultat nu necesită replicare, raportează Gigerenzer în iunie. Progrese în metode și practici în știința psihologică.

Astfel de rezultate se potrivesc unui scenariu în care cercetătorii recurg de obicei la testarea ipotezei nule ca ritual pentru a publica studiile, fără a fi nevoiți să dezvolte teorii reale, susține Gigerenzer. Departamentele de psihologie trebuie să învețe studenții despre diverse metode statistice care pot fi folosite pentru a testa predicțiile experimentale, sugerează el. Editorii de reviste nu ar trebui să mai accepte studii bazate exclusiv pe semnificația statistică, adaugă el.

„Trebuie să aruncăm în aer sistemul actual și să promovăm gândirea și judecata statistică reală”, argumentează Gigerenzer.

Deși nu este un susținător al schimbării radicale, Nosek vede revizuiri mai mari la orizont. „Voi fi optimist și voi prezice că în cinci ani vom vedea științele sociale și comportamentale trecând dincolo de studierea ipotezelor nule”, spune el.