Le Hollandais Yvo Smulders a publié un article à paraitre dans le prochain numéro du Journal of Clinical Epidemiology. Il propose de modifier le processus de sélection des revues qui se fonde sur l'évaluation par les pairs (ou peer review) pour contrer le biais de publication.

Un biais de publication désigne le fait que les chercheurs et les revues scientifiques ont bien plus tendance à publier des expériences ayant obtenu un résultat positif (statistiquement significatif) que des expériences ayant obtenu un résultat négatif (soutenant l'hypothèse nulle). Ce biais de publication donne aux lecteurs une perception biaisée (vers le positif) de l'état de la recherche.

La psychologie serait fortement touchée par ce biais et ce depuis ses premières publications scientifiques. Smulders cite une étude de Sterling en 1959 dans laquelle le taux de publications ayant un résultat positif était déjà évalué à plus de 97% !

Les causes de ce phénomène sont nombreuses et apparaissent à différentes phases du processus de publication : découragement des auteurs face à des résultats négatifs ou des statistiques non significatives, environnement de la recherche de plus en plus compétitif, pression des financiers qui soutiennent la recherche, etc. Les pairs, eux-mêmes, jouent un rôle dans le biais de publication en évaluant différemment les articles. Smulders cite une recherche parue en 2010 : pour une méthodologie pourtant strictement identique, les pairs ont pourtant tendance à évaluer différemment celle-ci selon le type de résultat, positif ou non.

Pour changer les choses, l'auteur pense qu'il faut s'attaquer à trois problèmes : l'accompagnement des chercheurs qui obtiennent des résultats négatifs, la neutralité des éditeurs et celle des pairs. L'évaluation en deux temps lui apparait comme une solution crédible.

Tout d'abord... le peer review de base, c'est quoi ?

Avant d'être rendue publique, toute parution scientifique doit avoir fait l'objet d'une analyse de sa crédibilité. Le chercheur a-t-il tiré des conclusions défendables des données disponibles, issues d'autres études scientifiques sérieuses ? Le processus d'évaluation par les pairs est une forme de contrôle qualité scientifique où les chercheurs donnent accès à leurs travaux et les soumettent à l'analyse d'autres experts du domaine (les fameux pairs).

Lorsque des études sont soumises pour publication à une revue, celle-ci demande à plusieurs experts indépendants d'évaluer la crédibilité des recherches. Ces experts examinent les méthodes, les résultats et les conclusions présentées par les auteurs, en se demandant si la démarche scientifique est techniquement valable, si l'interprétation est compatible avec les données et si elle est nouvelle, majeure ou innovante. Les réviseurs restent habituellement anonymes, ils ne sont pas rétribués pour leur travail et ne doivent pas être en situation de conflit d'intérêts vis-à-vis de l'étude.

Si un article ne remplit pas les critères requis, d'après les conclusions du comité de lecture, le comité de rédaction peut soit rejeter l'article, soit le juger acceptable sous réserve que les modifications nécessaires y soient apportées, ce qui permet aux auteurs de réagir et de réviser leur article.

Le peer review 2.0

Ce que propose Yvo Smulders, c'est de couper en deux le processus de sélection en ne faisant parvenir à la revue que l'introduction et la méthodologie dans un premier temps. Les auteurs pourraient inclure des informations sur la population mais sans plus de données.

Pour Smulders, ces informations sont suffisantes pour répondre à la question fondamentale de la publication scientifique : "Est ce que la question est pertinente et est-elle abordée de manière appropriée ?"

Dans un second temps, les auteurs communiqueraient leurs résultats et conclusions. Rejeter un article qui pose une bonne question et utilise une bonne méthodologie rendraient le rejet plus complexe à justifier pour les pairs.

Un avantage de ce mode de fonctionnement serait également d’alléger la charge de travail initial des pairs qui ne seraient pas submergées par des données trop nombreuses, de longs articles.

Pour aller plus loin..

Je vous propose la lecture d'un article vraiment intéressant si la question de la significativité en psychologie vous taraude un peu :

"L’observateur extérieur pourrait donc croire que le test de signification est un outil parfaitement adapté à la méthodologie de la recherche expérimentale. Nous pensons qu’il n’en est rien et que l’apparente adaptation de la pratique du test de signification est illusoire, ce qui aboutit à une situation de fait pour le moins étrange, voire paradoxale. La recherche expérimentale peut en effet être rapprochée d'un jeu dans lequel seuls les résultats significatifs sont gagnants, alors que les résultats non significatifs sont en principe des constats d'ignorance, donc des échecs.

Mais les règles de ce jeu sont inadaptées et par suite constamment transgressées, ce qui se traduit par d'innombrables abus d'interprétation et entraînent des distorsions considérables, notamment dans la conduite des expériences, dans la sélection des résultats publiés et dans la présentation de ceux-ci..."

Poitevineau - 2004 - L'usage des tests statistiques par les chercheurs en psychologie aspects normatif, descriptif et prescriptif.pdf