Un efort masiv de 8 ani descoperă că multe cercetări privind cancerul nu pot fi replicate

După opt ani, un proiect care a încercat să reproducă rezultatele unor studii cheie de biologie a cancerului s-a încheiat în sfârșit. Iar descoperirile sale sugerează că, la fel ca cercetarea în științele sociale, cercetarea cancerului are o problemă de replicare.

Cercetătorii din Proiectul Reproductibilitate: Biologia Cancerului și-au propus să reproducă 193 de experimente din 53 de lucrări de top despre cancer publicate din 2010 până în 2012. Dar doar un sfert din aceste experimente au putut fi reproduse, relatează echipa în două lucrări publicate pe 7 decembrie în eLife.

Cercetătorii nu au putut finaliza majoritatea experimentelor, deoarece echipa nu a putut strânge suficiente informații din lucrările originale sau din autorii lor despre metodele utilizate sau să obțină materialele necesare pentru a încerca replicarea.

Mai mult decât atât, dintre cele 50 de experimente din 23 de lucrări care au fost reproduse, dimensiunile efectului au fost, în medie, cu 85 la sută mai mici decât cele raportate în experimentele originale. Dimensiunile efectului indică cât de mare este efectul găsit într-un studiu. De exemplu, două studii ar putea descoperi că o anumită substanță chimică ucide celulele canceroase, dar substanța chimică ucide 30% din celule într-un experiment și 80% din celule într-un experiment diferit. Primul experiment are mai puțin de jumătate din mărimea efectului observată în al doilea.

Echipa a măsurat, de asemenea, dacă o replicare a avut succes folosind cinci criterii. Patru s-au concentrat pe mărimea efectului, iar al cincilea a analizat dacă atât experimentele originale, cât și cele replicate au avut rezultate la fel de pozitive sau negative și dacă ambele seturi de rezultate au fost semnificative statistic. Cercetătorii au reușit să aplice acele criterii la 112 efecte testate din experimentele pe care le-ar putea reproduce. În cele din urmă, doar 46%, sau 51, au îndeplinit mai multe criterii decât au eșuat, raportează cercetătorii.

„Raportul ne spune multe despre cultura și realitățile modului în care funcționează biologia cancerului și nu este deloc o imagine măgulitoare”, spune Jonathan Kimmelman, bioetician la Universitatea McGill din Montreal. El a fost coautor al unui comentariu asupra proiectului care explorează aspectele etice ale constatărilor.

Este îngrijorător dacă experimentele care nu pot fi reproduse sunt folosite pentru a lansa studii clinice sau eforturi de dezvoltare a medicamentelor, spune Kimmelman. Dacă se dovedește că știința pe care se bazează un medicament nu este de încredere, „înseamnă că pacienții sunt expuși inutil la medicamente care sunt nesigure și care chiar nu au nicio șansă să aibă un impact asupra cancerului”, spune el. .

În același timp, Kimmelman avertizează împotriva suprainterpretării rezultatelor ca sugerând că sistemul actual de cercetare a cancerului este stricat. „De fapt, nu știm cât de bine funcționează sistemul”, spune el. Una dintre multele întrebări rămase nerezolvate de proiect este ce rată adecvată de replicare este în cercetarea cancerului, deoarece reproducerea perfectă a tuturor studiilor nu este posibilă. „Aceasta este o întrebare morală”, spune el. „Aceasta este o întrebare de politică. Asta nu este chiar o întrebare științifică.”

Lecțiile generale ale proiectului sugerează că ineficiența substanțială a cercetării preclinice poate împiedica dezvoltarea de medicamente mai târziu, spune Tim Errington, care a condus proiectul. El este director de cercetare la Centrul pentru Științe Deschise din Charlottesville, Virginia, care a cosponsorizat cercetarea.

Aproximativ 14 din 15 medicamente pentru cancer care intră în studii clinice nu primesc niciodată aprobarea de la Administrația pentru Alimente și Medicamente din SUA. Uneori, acest lucru se datorează faptului că medicamentele nu au potențial comercial, dar mai des este pentru că nu arată nivelul de siguranță și eficacitate necesar pentru licență.

imagine la microscop a unui carcinom cu celule scuamoase la un șoarece
Eșecul de a replica experimentele cheie de biologie a cancerului (un carcinom cu celule scuamoase de șoarece prezentat) ridică întrebări cu privire la fiabilitatea științei folosite pentru a dezvolta medicamente, susțin cercetătorii în reproductibilitate.Markus Schober, Ph.D. și Elaine Fuchs, Ph.D., Universitatea Rockefeller/Flickr (CC BY-NC-SA 2.0)

O mare parte din acest eșec este de așteptat. „Suntem oameni care încearcă să înțeleagă o boală complexă, nu o vom reuși niciodată”, spune Errington. Dar, având în vedere descoperirile proiectului de reproductibilitate a cancerului, poate „ar fi trebuit să știm că eșuam mai devreme sau poate că nu înțelegem de fapt ce cauzează. [an] descoperire interesantă”, spune el.

Totuși, nu este că eșecul de a replica înseamnă că un studiu a fost greșit sau că replicarea acestuia înseamnă că constatările sunt corecte, spune Shirley Wang, epidemiolog la Spitalul Brigham and Women’s din Boston și Harvard Medical School. „Înseamnă doar că ești capabil să te reproduci”, spune ea, un punct pe care proiectul de reproductibilitate îl subliniază și el.

Oamenii de știință trebuie încă să evalueze dacă metodele unui studiu sunt imparțial și riguroase, spune Wang, care nu a fost implicat în proiect, dar a revizuit concluziile acestuia. Și dacă rezultatele experimentelor originale și replicările lor diferă, este o oportunitate de învățare pentru a afla de ce și implicațiile, adaugă ea.

Errington și colegii săi au raportat înainte despre subseturi de descoperiri ale proiectului de reproductibilitate a cancerului, dar aceasta este prima dată când întreaga analiză a efortului a fost publicată (SN: 1/18/17).

În timpul proiectului, cercetătorii s-au confruntat cu o serie de obstacole, în special că niciunul dintre experimentele originale nu a inclus suficiente detalii în studiile lor publicate despre metodele de a încerca reproducerea. Așa că cercetătorii de reproductibilitate au contactat autorii studiilor pentru informații suplimentare.

În timp ce autorii pentru 41% dintre experimente au fost extrem de sau foarte utile, autorii pentru o altă treime din experimente nu au răspuns la solicitările de mai multe informații sau nu au fost de ajutor în alt mod, a constatat proiectul. De exemplu, unul dintre experimentele pe care grupul nu a putut să le reproducă a necesitat utilizarea unui model de șoarece creat special pentru experimentul original. Errington spune că oamenii de știință care au efectuat această lucrare au refuzat să împărtășească unii dintre acești șoareci cu proiectul de reproductibilitate și, fără acele rozătoare, replicarea era imposibilă.

imaginea unei mâini cu mănuși albastre ținând un șoarece de laborator
O mare parte din cercetările științifice de bază legate de cancer se bazează pe șoareci (un șoarece de laborator prezentat). Dar dacă șoarecii utilizați într-un experiment nu sunt disponibili pentru toată lumea, este dificil sau imposibil pentru cercetătorii independenți să încerce să reproducă rezultatele unui studiu folosind acești șoareci.Leidos Biomedical Research, Inc./Institutul Național al Cancerului

Unii cercetători au fost de-a dreptul ostili ideii că oamenii de știință independenți ar fi vrut să încerce să-și reproducă munca, spune Brian Nosek, director executiv la Centrul pentru Știință Deschisă și coautor al ambelor studii. Această atitudine este un produs al unei culturi de cercetare care prețuiește inovația în detrimentul replicării și care prețuiește sistemul academic de publicare sau pierdere în detrimentul cooperării și partajării datelor, spune Nosek.

Unii oameni de știință se pot simți amenințați de replicare, deoarece este mai puțin frecventă. „Dacă replicarea este normală și de rutină, oamenii nu ar vedea-o ca pe o amenințare”, spune Nosek. Dar replicarea poate fi, de asemenea, intimidantă, deoarece mijloacele de trai și chiar identitățile oamenilor de știință sunt adesea atât de adânc înrădăcinate în descoperirile lor, spune el. „Publicația este moneda de avansare, o recompensă cheie care se transformă în șanse de finanțare, șanse pentru un loc de muncă și șanse de a păstra acel loc de muncă”, spune Nosek. „Replicarea nu se încadrează perfect în acel sistem de recompense.”

Chiar și autorii care au dorit să ajute nu și-au putut partaja întotdeauna datele din diverse motive, inclusiv pierderea hard disk-urilor sau restricțiile de proprietate intelectuală sau date pe care le aveau doar foștii studenți absolvenți.

Apelurile unor experți cu privire la „criza de reproductibilitate” a științei au crescut de ani de zile, poate mai ales în psihologie (SN: 27/08/18). Apoi, în 2011 și 2012, companiile farmaceutice Bayer și Amgen au raportat dificultăți în replicarea rezultatelor cercetării biomedicale preclinice.

Dar nu toată lumea este de acord cu soluțiile, inclusiv dacă replicarea experimentelor cheie este de fapt utilă sau posibilă, sau chiar ce este în neregulă cu modul în care se face știința sau ce trebuie îmbunătățit (SN: 1/13/15).

Cel puțin o concluzie clară și acționabilă a rezultat din noile descoperiri, spune Yvette Seger, director de politici științifice la Federația Societăților Americane pentru Biologie Experimentală. Aceasta este necesitatea de a oferi oamenilor de știință cât mai multe oportunități posibil de a explica exact cum și-au condus cercetările.

„Oamenii de știință ar trebui să aspire să includă cât mai multe informații despre metodele lor experimentale, pentru a asigura înțelegerea rezultatelor pe cealaltă parte”, spune Seger, care nu a fost implicat în proiectul de reproductibilitate.

În cele din urmă, dacă știința trebuie să fie o disciplină care se auto-corectă, trebuie să existe o mulțime de oportunități nu numai pentru a face greșeli, ci și pentru a descoperi aceste greșeli, inclusiv prin replicarea experimentelor, spun cercetătorii proiectului.

„În general, publicul înțelege că știința este grea și cred că publicul înțelege, de asemenea, că știința va face erori”, spune Nosek. „Preocuparea este și ar trebui să fie, este știința eficientă în a-și identifica erorile?” Descoperirile proiectului de cancer nu răspund neapărat la această întrebare, dar evidențiază provocările încercării de a afla.