Il y a environ vingt ans, une opinion à l’échelle de la communauté a émergé quant à la crédibilité de la littérature publiée dans les sciences sociales et comportementales, en particulier en psychologie. Plusieurs études à grande échelle ont tenté de reproduire des résultats déjà publiés, sans succès ou à une échelle beaucoup plus réduite, remettant en question la crédibilité des résultats – et des études futures en sciences sociales du comportement.
Cependant, une poignée d’experts de haut niveau dans le domaine ont voulu montrer qu’une reproductibilité élevée est possible grâce à l’utilisation des meilleures pratiques. Sur une période de six ans, des chercheurs des laboratoires de l’UC Santa Barbara, de l’UC Berkeley, de l’Université de Stanford et de l’Université de Virginie ont découvert et reproduit 16 nouveaux résultats en utilisant ce qu’ils ont qualifié de meilleures pratiques éprouvées, notamment le pré-enregistrement, les échantillons de grande taille et la réplication. précision. Leurs résultats, publiés dans Comportement humain naturelsuggèrent en fait qu’une reproductibilité élevée peut être obtenue avec les meilleures pratiques.
« C’est une preuve d’existence que nous pouvons partir à la recherche de nouvelles connaissances et les reproduire à un niveau très élevé », a déclaré Jonathan Schooler, professeur émérite de l’UC Santa Barbara, directeur du laboratoire META de l’UCSB et du Center for Mindfulness and Human Potential et auteur principal. du papier. « Ce qu’il faut retenir, c’est que des taux de réplication élevés et généralement stables peuvent être obtenus en suivant les meilleures pratiques actuelles en matière de conduite et de reproduction d’études sur le comportement social en ligne. »
Les résultats de réplication de leur étude représentaient, en moyenne, 97 % de la taille des résultats originaux. En comparaison, les projets de réplication précédents ont produit des résultats de réplication d’environ 50 %.
Les principaux chercheurs de l’article étaient John Protzko du META Lab de l’UCSB et de la Central Connecticut State University (CCSU), Jon Krosnick du groupe de recherche en psychologie politique de Stanford, Leif Nelson de la Haas School of Business de l’UC Berkeley et Brian Nosek, le L’Université de Virginie est affiliée et directrice générale du Center for Open Science indépendant.
« Il y a eu de nombreuses inquiétudes quant à la reproductibilité d’une grande partie de la science ces dernières années, mais la psychologie a été parmi les premiers domaines à commencer à étudier systématiquement le problème », a déclaré l’auteur principal Protzko, chercheur associé au laboratoire de Schooler où il travaille. ses études. Il est maintenant professeur adjoint de psychologie au CCSU. « La question était de savoir si les échecs de réplication précédents et la diminution de l’ampleur des effets étaient intrinsèquement enracinés dans les différents domaines scientifiques qui les ont observés. Certains ont émis l’hypothèse, par exemple, que le fait que les connaissances nouvellement découvertes puissent devenir moins reproductibles ou réduites au fil du temps est un aspect inhérent à l’entreprise scientifique.
Le groupe a décidé de mener de nouvelles études en utilisant les nouvelles meilleures pratiques de la science ouverte, puis de les reproduire en utilisant une conception innovante dans laquelle les chercheurs se sont engagés à reproduire les premières études de confirmation, quel que soit le résultat. Pendant six ans, les équipes de recherche de chaque laboratoire ont développé des études qui ont ensuite été répliquées par tous les autres laboratoires.
Au total, la coalition a découvert 16 nouveaux phénomènes et les a reproduits chacun quatre fois avec 120 000 participants. « Si vous appliquez les meilleures pratiques pour les grands échantillons, le pré-enregistrement et les documents ouverts lors de la découverte de nouvelles sciences, et effectuez des réplications avec la plus grande fidélité possible au processus d’origine, vous obtenez une science très reproductible », a déclaré Protzko à propos des résultats.
Une innovation importante de l’étude était que tous les laboratoires participants ont accepté de répéter les études de confirmation initiales quels que soient leurs résultats. Cela a éliminé le biais courant dans la communauté scientifique consistant à publier et à reproduire uniquement des résultats positifs, ce qui aurait pu contribuer à gonfler les estimations initiales de l’ampleur des effets dans le passé. De plus, cette approche a permis aux chercheurs d’observer plusieurs cas dans lesquels des modèles d’étude qui n’avaient pas produit de résultats significatifs lors de la confirmation initiale ont ensuite produit des résultats fiables lorsqu’ils ont été reproduits dans d’autres laboratoires.
Dans l’ensemble, le projet a trouvé des taux de reproductibilité extrêmement élevés de leurs résultats comportementaux sociaux et aucune preuve statistiquement significative de déclin avec des réplications répétées. Compte tenu de la taille des échantillons et de l’ampleur des effets, le taux de reproductibilité observé de 86 % sur la base de la signification statistique n’aurait pas pu être plus élevé, ont souligné les chercheurs.
Pour tester la nouveauté de leurs découvertes, ils ont mené des tests indépendants sur les prédictions des gens concernant l’orientation des nouvelles découvertes et leur probabilité de reproductibilité. Plusieurs enquêtes de suivi dans lesquelles des participants naïfs ont évalué les descriptions des nouvelles études et celles associées à des projets de réplication précédents n’ont trouvé aucune différence dans leur prévisibilité respective. Le succès de la réplication de ces études n’est donc pas dû au fait qu’elles ont découvert des résultats évidents dont on s’attendrait nécessairement à une réplication. En fait, bon nombre des découvertes récemment découvertes ont déjà été publiées de manière indépendante dans des revues de grande qualité.
« Il ne serait pas particulièrement intéressant de découvrir qu’il est facile de reproduire des résultats tout à fait évidents », a déclaré Schooler. « Mais nos études étaient comparables dans leur facteur de surprise à des études difficiles à reproduire dans le passé. Des juges non formés qui ont reçu des résumés des deux conditions dans chacune de nos études et un ensemble comparable d’études à deux conditions issues d’une réplication précédente. » L’effort a trouvé qu’il était tout aussi difficile de prédire l’orientation de nos résultats par rapport aux précédents.
Chaque laboratoire de recherche développant ses propres études, celles-ci provenaient de divers domaines sociaux, comportementaux et psychologiques tels que le marketing, la psychologie politique, les préjugés et la prise de décision. Ils impliquaient tous des sujets humains et respectaient certaines restrictions, comme s’abstenir de toute tromperie. « Nous avons vraiment intégré le processus selon lequel les laboratoires individuels fonctionnent de manière indépendante », a déclaré Protzko. « Ils ont poursuivi leurs sujets habituels qui les intéressaient et la façon dont ils structureraient leurs études. »
Dans l’ensemble, leur enquête métascientifique fournit la preuve qu’une faible reproductibilité et des effets décroissants ne sont pas inévitables. Les pratiques qui améliorent la rigueur peuvent entraîner des taux de réplication très élevés, mais des recherches supplémentaires sont nécessaires pour déterminer exactement quelles pratiques fonctionnent le mieux. L’approche « évier de cuisine » de cette étude – utilisant plusieurs exercices simultanément pour améliorer la condition physique – n’a pas réussi à isoler les effets des exercices individuels.