Riprodurre gli studi di psicologia: quant’è difficile

Ricetta per “Psicologia e metodo scientifico”:

•Prendete 100 studi di psicologia

Provate a replicarli. Si, lo so che sembra difficile ma non temete: secondo il metodo scientifico ognuno dovrebbe essere in grado di farlo seguendo le stesse procedure con le quali è stato condotto lo studio originale

•Mettete tutto in forno e attendete l’analisi dei nuovi risultati

Bene! Ora i vostri nuovi dati dovrebbero avvicinarsi di molto a quelli originali. Non è così? Beh tranquilli, siete in buona compagnia stando a una ricerca pubblicata qualche mese fa sulla rivista Science e condotta dal Center for Open Science (COS). Guidati da Brian Nosek, professore di psicologia all’University of Virginia, 269 ricercatori hanno dato il via al Reproducibility Project: Psychology allo scopo di riprodurre i risultati di 100 studi di psicologia cognitiva e sociale pubblicati nel 2008 su tre autorevoli riviste: Psychological Science, Journal of Personality and Social Psychology e Journal of Experimental Psychology: Learning, Memory and Cognition. Si tratta di ricerche che spaziavano dal capire se l’esprimere le insicurezze abbia l’effetto di prolungarle, alle differenze nel modo in cui bambini e adulti rispondono agli stimoli di paura, all’individuazione di metodi efficaci per insegnare l’aritmetica.

Il risultato?

Solo in 47 studi le conclusioni erano compatibili con gli originali e complessivamente solo il 36% riportava risultati statisticamente significativi (contro il 97% sostenuto dai paper già pubblicati). Nonostante siano pochissimi gli studi che hanno contraddetto i dati originali, è risultato che in 82 di essi l’entità dei risultati, sebbene andassero nella stessa direzione delle loro “copie”, appariva ridimensionata.

Un duro colpo per l’immagine della psicologia perché come ha affermato Gilbert Chin, redattore di Science, “per il metodo scientifico è essenziale che gli esperimenti siano riproducibili”. Ma aspettiamo un attimo prima di gettarla nel bidone della non scientificità, perché di studi come questi se ne ha bisogno come dell’ossigeno, e non solo in psicologia ma anche in altre scienze più solide e facilmente oggettivabili. Non a caso Center for Open Science è un’associazione senza scopo di lucro fondata da scienziati di diverse discipline proprio allo scopo di aumentare l’affidabilità della ricerca scientifica cercando di replicare studi già pubblicati, e il Reproducibility Project: Psychology potrà aprire indagini anche in altri campi (è già in corso un progetto per riprodurre gli studi di biologia oncologica).

Cerchiamo quindi di capire quali importanti riflessioni vengono sollevate da questo studio.

La prima riguarda non solo la psicologia ma le scienze in generale e trova terreno fertile nella società di oggi, angosciata dalla continua ricerca del nuovo: il nuovo ipad, la nuova reflex, il nuovo paio di scarpe, e i nuovi studi da pubblicare su riviste prestigiose. E proprio quest’ultime, secondo Nosek, sarebbero più inclini a pubblicare ricerche che offrano risultati nuovi e sensazionali rispetto a quelle che non riescono a dimostrare alcuna correlazione o effetto significativo. Lui stesso sostiene che, nonostante la maggior parte delle risorse debbano essere direzionate verso nuovi studi, anche solo il 3% del finanziamento scientifico dedicato alla ripetizione di studi già esistenti potrebbe fare una grande differenza (mentre l’impegno attuale rasenta lo zero).

La seconda riflessione è collegata alla prima: nel mondo della ricerca vige la legge del “publish or perish” ovvero o pubblichi o muori. Un modo carino per dire che se un ricercatore non riesce a farsi pubblicare un certo numero di articoli nelle riviste più prestigiose avrà vita breve nel mondo della ricerca: “Per avere successo, i miei collaboratori e io abbiamo bisogno di pubblicare regolarmente, e su riviste il più prestigiose possibile” ha confermato Nosek, secondo il quale questa pressione può spingere qualcuno a interpretare i propri risultati enfatizzandoli più del dovuto.

Non sono mancate poi le critiche a questo studio. Lisa Feldman Barrett, docente di psicologia alla Northeastern University, sottolinea come “la riproducibilità sia importante, ma gli esperimenti non possono essere “imbottigliati” per poi riaprirli in ogni contesto, scegliendo a piacere un gruppo di partecipanti e pretendendo di ottenere gli stessi risultati”. Un’affermazione che coglie un aspetto di debolezza e al tempo stesso di unicità della psicologia, ovvero il fatto che il suo oggetto di studio è di per sé mutevole e non sempre facilmente standardizzabile.

Sulla stessa linea di pensiero si è espresso anche Alan Kraut, direttore esecutivo della Association for Psychological Science e membro del consiglio del COS: “Le inevitabili differenze fra i partecipanti allo studio, i tempi, il luogo, le competenze del gruppo di ricerca e molti altri fattori influenzeranno sempre i risultati. L’unico risultato che sarà replicato il 100 per cento delle volte è quello che rischia di essere banale e noioso”.

Ma per più di qualcuno questi risultati potrebbero rappresentare una medicina (anche se amara) per la psicologia, la quale potrebbe uscirne rinvigorita.

E’ allora il caso di riprendere le parole di John Ioannidis, un epidemiologo presso la Stanford University in California, che afferma: “possiamo utilizzare questi risultati per migliorare la situazione piuttosto che lamentarci”, evidenziando come il fatto che questo studio sia stato promosso dagli stessi psicologi e che si sia assistito a una forte collaborazione da parte degli autori delle ricerche originali ci suggerisce che gli scienziati si stanno muovendo nella giusta direzione.

E’ infatti molto importante, e per nulla scontato, che questo nuovo movimento di ricerca sia partito proprio dalla psicologia, da sempre considerata poco scientifica. Perché, come ci insegna qualsiasi psicoterapeuta, il primo passo per risolvere un problema è riconoscere di avere un problema.

Dalla psicologia ad altre scienze la strada è breve. Ora non ci resta che aspettare.

Riferimenti: Open Science Collaboration. PSYCHOLOGY. Estimating the reproducibility of psychological science. Science. 2015;349(6251):aac4716. DOI: 10.1126/science.aac4716