« Ajoute moi cette référence, et celle-ci... » Comment le système de revue par les pairs est dévoyé, et quelques pistes pour y remédier.

Un problème que j’ai déjà rencontré lors du processus de revue par les pairs, et pour lequel je ne suis pas le seul concerné, est la demande d’ajout abusif de références par les relecteurs (i.e., reviewers).

Il est normal qu’un relecteur demande de justifier certains propos ou qu’il demande d’ajouter des explications qui pourraient paraître claires pour l’auteur de l’article, mais pas pour un lecteur moins spécialisé. Dans ce cas, le relecteur peut demander d’ajouter des phrases ou des paragraphes et donc de citer des articles (et, par conséquent, les auteurs de ces articles) pour justifier un propos. Cela fait parti du processus normal et permet d'améliorer la qualité des papiers scientifiques qui sont publiés. Ça participe également au débat scientifique et permet dans certains cas d'avoir plusieurs points de vu exprimé au sein d'un même article, reflétant ainsi mieux les connaissances actuelles et les controverses. 

Cependant, ce processus de révision par les pairs peut être dévoyé par un relecteur qui demanderait d’ajouter beaucoup de ses propres articles, sans que cela ne soit justifié scientifiquement.

​Mais pourquoi ferait‑il cela ?

Il faut comprendre que les chercheurs sont évalués par leur institution, par les financeurs ou encore pour trouver un travail. Pour évaluer un chercheur, certaines métriques vont être utilisées, dont le nombre de citations de leurs articles, mais aussi le H-index.

Lorsque l’on écrit un article, nous devons nous baser sur des connaissances antérieures et donc justifier nos propos. Cela permet de s’assurer que l’on n’invente rien. Nous allons donc citer des articles qui ont déjà réalisé un travail précédent sur un sujet en particulier et qui ont déjà montré des phénomènes. Si demain j’écris un article qui est pertinent pour mon champ de recherche, il sera sûrement réutilisé par la suite par d’autres chercheurs pour justifier des choix méthodologiques ou théoriques. Ainsi, théoriquement, plus mon article est intéressant pour les autres chercheurs de mon domaine, plus ils vont le citer.

On se rend bien compte ici que plus un article est cité dans d’autres articles, plus celui-ci est « important ». En tout cas, il sera vu comme important par les personnes qui utilisent cette métrique.

Le H-index est une métrique qui indique pour un auteur donné combien de fois X article sont cités X fois. Par exemple, un H-index de 5 indique que 5 articles ont été cités au moins 5 fois pour un auteur donné.

Ces deux métriques, ainsi que le nombre de publications, sont de bons exemples de la loi de Goodhart qui stipule que « quand une mesure devient un objectif, elle cesse d’être une bonne mesure ». (https://pmc.ncbi.nlm.nih.gov/articles/PMC7901608/)

Ainsi, ce qui était censé être à la base des indices de la pertinence d’un article, ou de la qualité de la recherche d’un chercheur, devient un objectif en lui-même, perdant son intérêt et étant dévoyé.

À partir des paragraphes précédents, on se rend compte qu’augmenter le nombre de citations d’un article peut être important pour un chercheur. De ce fait, certains relecteurs profitent de leur position de décision sur un article qu’ils évaluent afin de demander d’ajouter en références leurs propres articles, même lorsque ceux-ci ne sont pas pertinents. Cette dérive amène à des articles publiés qui peuvent contenir des informations non pertinentes ou hors propos, juste parce qu’un relecteur a fait pression pour que ces informations apparaissent afin que ses propres articles soient cités.

Exemple dans un article qui est maintenant rétracté (i.e., qui n'est plus considérer comme valide). A la deuxième page de l'article, il est possible de voir qu'il a été demandé aux auteurs d'ajouter une douzaine de références : https://www.sciencedirect.com/science/article/pii/S0360319924043957

Il est également à noter que dans un preprint récent (lien vers le preprint) Adrian Barnett, met en évidence que l'acceptation d'un article dans un journal suite à la revue par les pairs est très largement influencé par le fait que les auteurs citent ou non les relecteurs. Si les auteurs ont cité le relecteur lors de la première version, alors le papier à plus de chance d'être accepté pour publication (1,16 fois plus de chance). Mais cela va même plus loin. Lorsqu'un relecteur demande à être cité (donc à la lecture de la première version du papier), il a moins de chance d'accepter le papier (rapport de chance = 0,15, ce qui veut dire qu'il 6,7 fois moins de chance d'accepter le papier (1/0,15) que s'il ne demande pas à être cité). Lors de la lecture de la deuxième version, si les auteurs ont répondu positivement à la demande d'ajout d'auto-citation, alors ils ont beaucoup plus de chance que leur papier soit accepté pour publication (3,5 fois plus de chance).

On se rend alors compte qu’il devient important de limiter ce problème. Certaines maisons d’édition ont déjà observé le problème et proposent des solutions pour y remédier. Par exemple, "Frontiers in" a un algorithme qui détecte déjà si un auteur est beaucoup ajouté lors du processus de revue par les pairs et propose de retirer tout ou une partie des citations qui ont été faites une fois que l’article est accepté. Cette solution est intéressante, mais ne règle que partiellement le problème puisque rien n’empêche le relecteur frauduleux de recommencer la fois suivante. De plus, il est possible de questionner la relecture qu’il a faite puisque celle-ci a potentiellement été biaisée afin que l'article soit tout de même publié pour augmenter son nombre de citations, même si l'article n'est pas très bon.

Après y avoir réfléchi, voici quelques pistes de réflexion sur la manière de limiter ce phénomène. (Édit du 8 aout, après avoir vu et lu le preprint d'Adrian Barnett, et après avoir discuté avec lui sur bluesky (lien vers le post) j'ai rajouté une section à la fin, avant la conclusion avec les pistes qu'il propose dans son article et dans notre discussion).

I) Ajout d’une section

​ ​1. Ajout d’une section “citations ajoutées lors de la revue par les pairs” après les références dans chaque article publié

La solution qui permettrait d’être le plus transparent tout en étant le plus vue par les lecteurs d’un article serait une section spéciale dédiée après les références pour ajouter toutes les requêtes de citations de la part des relecteurs. Ainsi, il serait possible de voir les références qui ont été ajoutées après la soumission de la première version de l’article. Les lecteurs pourraient alors juger si les articles sont bien pertinents à la construction de l’article final ou s’ils sont hors sujet et ont été mis là suite à la pression d’un des relecteurs. Il sera également possible de voir rapidement si un auteur en particulier est beaucoup plus cité que les autres. Si cela se produit, cela peut être parce qu’il est très pertinent pour ce champ de recherche, ou parce que c’est l’un des relecteurs.

Le problème de cette section à ajouter à la fin de l’article, c’est qu’il faut que les journaux l’acceptent. Pour l’instant, ce n’est pas dans leur format actuel de création des articles, et cela pourra donc prendre du temps avant que cette méthode ne se mette en place.

​ ​2. Ajout d’une section “citations ajoutées lors de la revue par les pairs” dans le pre-print ou post-print

S’il n’est pas possible d’ajouter cette section directement dans le journal dans lequel l’article est publié, alors il est possible de le faire dans la dernière version du pre-print ou dans un post-print (si vous ne savez pas ce qu'est un preprint, vous pouvez regarder cette vidéo, je l'explique dans le début de la vidéo : lien vers la vidéo). 

Le problème de cette méthode est que le lecteur qui lit l’article dans le journal ne verra pas cette section. Cependant, elle sera tout de même facilement accessible pour toutes les personnes intéressées, et les auteurs pourront la mettre en avant sans trop de difficulté. De plus, puisque cette version est plus malléable, il est possible de mettre les références ajoutées en rouge plutôt que d’ajouter une section entière. Cela rendra les références plus digestes et demandera moins de place. Cependant, il m’apparaît que la section supplémentaire est tout de même supérieure à une simple modification de couleur puisque tous les articles ajoutés sont réunis au même endroit, ce qui facilitera la lecture et la possibilité de trouver des informations.

Cependant cette méthode exige que la version qui est déposée sur le site d’archivage du pre-print ne soit pas la même que la version publiée dans le journal. Je ne sais pas à quel point cela peut être problématique, d’un point de vue du droit d’auteur.

​ ​3. Ajout des citations ajoutées sur un site externe

S’il n’est pas possible de faire un pre-print qui soit différent de l’article publié dans un journal, alors une autre solution que je vois consiste à mettre les références ajoutées lors du processus de révision sur un site externe.

​ ​ ​a. PubPeer : permet d’avoir un endroit centralisé

PubPeer (https://pubpeer.com) est un site qui existe déjà sur lequel il est possible de mettre des commentaires sur des articles. Cela permet à des chercheurs d’identifier des failles ou des problèmes qui seraient passés au travers des mailles du filet lors du processus de révision par les pairs. Il existe d’ailleurs des plugins que l’on peut ajouter à son navigateur internet pour qu’il affiche les commentaires PubPeer sur les articles que l’on visite en ligne.

Cette solution permettrait aux auteurs d’un article d’ajouter l’ensemble des références ajoutées à la demande d’un relecteur sous forme de commentaire sur ce site afin de le rendre visible au plus grand nombre. Si tous les chercheurs écrivent sur PubPeer les citations ajoutées, alors cela permet d'avoir un endroit qui centralise la démarche. Ainsi, l'habitude pourra être prise par les lecteurs d'aller vérifier, toujours sur le même site, comment a été faite la relecture.

​ ​ ​b. Site personnel

Une autre solution possible consiste à écrire sur un site personnel les références ajoutées. Cette solution a l’avantage de permettre de rentrer dans le détail. On peut donc écrire et détailler de manière exhaustive comment s’est passé le processus de révision, ainsi que les demandes plus ou moins aberrantes qui ont été faites aux auteurs par les relecteurs.

Cependant, le plus gros inconvénient de cette méthode est qu’il sera très peu lu, et donc ne met que peu de pression sur les relecteurs pour faire des relectures de qualité ou tout du moins de ne pas faire de demandes abusives concernant l’ajout de références.

II) Rendre disponible l’ensemble des commentaires faits par les relecteurs et les réponses des auteurs à chaque commentaire.

Le problème de cette méthode est que ça rend les articles très lourds. Nous aurions donc un article principal, suivi de nombreuses pages avec tous les commentaires et réponses des auteurs. Cela semble possible sur des articles en ligne, mais plus compliqué pour des articles papier puisque cela prend une place considérable et donc utilise beaucoup plus de papier.

Si cela était mis uniquement en ligne, sur une page internet dédiée, comme le matériel supplémentaire, alors les ajouts abusifs ne seraient pas vus et pas lus, ce qui ne réglerait pas le problème. En effet, dans ce cas, les relecteurs ne se sentiraient que faiblement exposés s’ils demandaient des ajouts abusifs. Cette solution ne me semble donc pas être optimale. Cependant, elle n’est pas incompatible avec les autres solutions proposées.

III) Solutions proposées par Adrian Barnett

​ ​1. Des lignes directrices plus claires

La première solution qui est proposé dans le preprint consiste à ce que les journaux indiquent clairement ce qu'est une demande d'auto-citation, dans quel contexte cela est justifié et dans quel cas cela ne l'est pas. Cependant, les consignent de relecture sont rarement lu par les relecteurs, notamment car le temps disponible par les chercheurs pour faire les relectures est souvent limité. 

​ ​2. Déclaration des auto-citations

Les relecteurs devraient déclarer à l'éditeur lorsqu'ils font des demande d'auto-citations. De cette manière l'éditeur du journal peut aller vérifier ci la demande est justifier. Cela va avec une autre proposition qui consiste à ce que le relecteur justifie clairement pourquoi il demande d'ajouter une auto-citation. Cette proposition peut également aller avec le blocage de la relecture s'il y a plus de 3 demande d'auto-citation de la part d'un relecteur, et que cela soit vérifier par l'éditeur avant d'accepter la relecture.

​ ​3. Masquage initiale des références de l'article

Cette proposition consiste à faire une première lecture d'un article soumis sans avoir accès aux références. De cette manière les relecteurs ne savent pas, théoriquement, s'ils sont cités. Cela permet d'avoir une première lecture qui est plus authentique, avec un premier prés rapport. Puis dans un second temps, les relecteurs aurait accès à l'article complet, comprenant les références, et peu amendé son prés rapport s'il y a des erreurs manifestes dans les citations effectuées. 

Le problème de cette méthode est qu'elle est beaucoup plus lourde puisque les relecteurs doivent lire deux fois l'article au début et produire un pré rapport puis le compléter. N'oublions pas que la relecture est une démarche demandant beaucoup de temps et qui est faite gratuitement par les chercheurs. 

​ ​4. Laisser les références ajouté, mais ne pas les indexés

Cette proposition n'est pas dans l'article mais vient de la discussion que nous avons eu sur Bluesky (lien ici). L'idée serait de laisser toutes les citations demandé par les relecteurs, mais de ne pas les indexer. De cette manière, elles seront visibles pour les lecteurs qui seraient intéressés par ces articles, mais sans que cela ne contribue à augmenter le nombre de citation et le H-index des relecteurs, évitant ainsi trop de demandes abusives.

Le premier problème de cette méthode concerne sa faisabilité. Je ne suis pas sûr que les journaux puissent mettre en place une méthode sélective des articles à indexer, d'autant plus que cela est probablement fait par des robots informatiques. Le deuxième problème est qu'il arrive souvent qu'un article soit cité de façon justifié, parfois avant même que le relecteur ne fasse la relecture. En bloquant l'indexation a priori des articles des relecteurs, cela les "punis" de faire la relecture. Pour éviter cette "punition", il faudrait que l'éditeur marque chaque référence qui a été auto-cité avec une forte insistance ou un manque de justification, ce qui alourdi le processus de révision, mais qui semble tout de même une solution intéressante. 

Conclusion

L’utilisation abusive de l’évaluation par les pairs pour gonfler artificiellement les métriques reliées aux chercheurs est un vrai problème. Bien que certains journaux aient commencé à s’attaquer au problème, des mesures de transparence supplémentaires semble nécessaires pour protéger le processus de publication scientifique. Que ce soit par des modifications de la part des journaux et des éditeurs, des plateformes communautaires comme PubPeer, ou des initiatives individuelles des auteurs, accroître la transparence autour des citations demandées par les relecteurs est une étape essentielle pour limiter cette pratique non éthique.