On pourrait croire que tous les sujets ont été abordés dans La souris truquée de Broad et Wade (1987) sur la fraude scientifique et les dérives de la recherche dont elle rend compte. Mais trente ans après, Nicolas Chevassus-au-Louis (docteur en biologie, historien, journaliste) en rajoute une couche actualisée dans un volume délicieux, Malscience – De la fraude dans les labos (Seuil, 2016).
Il sera intéressant de comparer les deux époques, et, non sans humour, Chevassus-au-Louis entame son avant-propos en filant comme ses prédécesseurs, la métaphore de la pathologie qu’il reprend d’un article de A. Casadevall et F.C. Fang, publié dans Microbe : où l’on voit des malheureux mystérieusement atteints d’amnesia originosa (incapacité à rendre compte de la paternité réelle d’une idée), de nobélite (« trouble rare mais invalidant, qui ne frappe que les scientifiques les plus reconnus (…) par des hallucinations auditives en cas d’appel téléphonique de personnes ayant un accent suédois », p.7-8), pathologie pouvant être accompagnée de maux non moins inquiétants, à savoir l’hyperpromotionnite, l’areproductibilité, ou encore l’impactite.
Or, à pratiquer les laboratoires en observateur depuis une quinzaine d’années, après les avoir fréquentés en qualité d’apprenti chercheur le temps d’une thèse, nous constatons que cet habitus est bien mal en point. A vrai dire, nous ne reconnaissons plus guère ces lieux que nous avons aimés. On y parle certes (encore) de science, mais bien moins que de stratégies de publication, de financements, de recrutement, de compétition, de visibilité, de reconnaissance, et, pour reprendre les termes locaux, de « principal investigator« , de « leading project » et de « first deliverables« . (p.9)
D’après l’auteur, le milieu scientifique est toujours tenu par cette ancienne devise, publish or perish, et gangrené par une « explosion de la fraude scientifique » (p.10). Oh certes, il y a de très nombreux résistants, des scientifiques intègres, qui tentent de gripper la machine effroyable à broyer. Mais le mal est là, et Chevassus-au-Louis entend le décrire sans complaisance.
Certains relecteurs de ce manuscrit nous ont fait grief de trop noircir le tableau, de brosser un portrait accablant d’un mont scientifique qui, s’il compte un nombre croissant de tricheurs et de fraudeurs, n’en reste pas moins attaché collectivement aux valeurs de probité et d’honnêteté intellectuelle. Nous entendons ce reproche, mais ne pouvons y souscrire. Qui aime bien, châtie bien, dit-on: mais il n’est pas question ici de châtier, seulement de décrire ; et en tout cas, malgré tout, d’aimer. (p.10)
- Fraudeurs en série
Ce chapitre évoque quelques cas de fraudes, réels ou suspectés. Le premier concerne la très célèbre affaire initiée par une jeune chercheuse coréenne, Haruko Obokata, qui publie en 2014 dans Nature une méthode révolutionnaire sensée transformer un lymphocyte en cellule-source pluripotente (ce qui en matière de thérapie équivaut à rien de moins que le Graal) ; hélas il s’agit d’une fraude et le superviseur de la chercheuse, Yoshiki Sasai, qui a cosigné l’article sans vraiment le superviser de près, finit par se suicider. Le second cas concerne un sujet connexe intéressant le clonage thérapeutique humain, survenu plus tôt et dans le même pays : un chercheur nommé Wook-Suk Hwang publie deux articles dans Science (2004) où il prétend avoir réussi à cloner un embryon humain « pour en obtenir des lignées de souches indispensables (…) à la médecine régénérative » (p.13). Fraude là-encore, car certains résultats ont été inventés, et des images, retouchées. Troisième affaire évoquée, celle Diederik Stapel, concerne des travaux de psychologie ; parmi les différentes publications, l’une surprenait par un résultat trop net, trop tranché, en un mot trop « beau », selon lequel « les préjugés raciaux deviennent plus fréquents lorsque la précarité économique s’accroît » (p.15). L’idéologie, on le voit, n’est pas loin de la science, mais l’individu est rattrapé par les faits en 2011, et doit rétracter 55 de ses 130 articles. Le quatrième cas provient d’une discipline qu’on pourrait croire davantage à l’abri, la physique. Jan Hendrik Schön, spécialiste de la matière condensée, prétend en effet que le silicium des semi-conducteurs pourrait être remplacé par des matériaux cristallins organiques. Les applications industrielles sont potentiellement vertigineuses, et ses « innombrables articles (jusqu’à sept par mois !) » (p.17) paraissent tant dans Nature que dans Science. Le chercheur finit cependant par être démasqué, est déchu de son doctorat, et 17 de ses articles sont rétractés : « il recourait à des fonctions mathématiques générant des résultats plausibles pour des expériences qu’il ne menait jamais » (ibid.). Le cinquième cas concerne les travaux d’Igor et Grichka Bogdanoff. Chevassus-au-Louis soutient qu’il s’agit d’inepties témoignant d’une faille dans le processus de relecture par les pairs. Mais il ne s’attarde pas sur les minutes de l’affaire, qui selon moi sont scandaleuses à bien des niveaux (surtout en termes d’opacité des processus d’évaluation). L’auteur semble regretter que les articles des deux jumeaux fassent encore « partie de la littérature scientifique », et qu’il serait vain de les réfuter (« perdr[e] son temps [de] réfuter de telles inepties », p.20). Belle illustration de l’esprit scientifique, qui me force à émettre la plus vive réserve : les articles n’ont pas été rétractés, ni les doctorats déchus. Serait-ce la crainte du procès que brandit l’auteur ? Il s’agirait alors d’un cas bien particulier, illustrant une autre faille du milieu : l’incapacité à démasquer clairement des imposteurs… Mais jusqu’à preuve du contraire, il faut suspendre son jugement. Et je vois ces deux-là, comme Harpoutian avec plus de sympathie que d’aigreur (voir l’ouvrage L’énigme Bogdanov de Luis Gonzales-Mestres ou celui de Lubos Motl, L’équation Bogdanov, pour un « procès » plus équitable).
Les deux cas suivants concernent des « recordmen internationaux » qui « ont fait entrer l’art de la fraude à l’âge industriel » (p.21) : les protagonistes en sont le japonais Yoshitaka Fujii (183 articles rétractés) et l’allemand Joachim Boldt (88 articles rétractés), tous deux médecins anesthésistes, dont le tort est, encore une fois, l’invention de résultats d’essais cliniques n’ayant jamais eu lieu.
2. Grands fraudeurs, petits menteurs
D’autres cas sont évoqués (Summerlin, Burt, Spector, Darsee). Mais le chapitre se consacre plus particulièrement à la définition de la fraude ou du manquement à l’intégrité scientifique, en évoquant les différents essais de définition qui ont été proposés. La définition européenne spécialement élargit le concept à des pratiques critiquables assez larges :
conflits d’intérêts, choix sélectif et biaisé des données présentées dans les articles, auteurs fantômes ajoutés sur une publication à laquelle ils n’ont pas participé, non-communication des données expérimentales brutes aux collègues en faisant la demande, exploitation du personnel technique dont la contribution n’est parfois pas reconnue dans les publications, harcèlement moral des étudiants ou des subordonnés, ou encore non-respect des réglementations sur l’expérimentation animale ou sur les essais cliniques. (p.30-31)
Avec ce type de définition, il y a de quoi faire en effet, et selon l’auteur, ces manquements sont de plus en plus fréquents. Un milieu particulièrement infecté paraît être celui de… la biologie. Marginale avant les années 80, la rétraction d’articles a depuis explosé, et a été multipliée par 11 entre 2001 et 2010 (p.34 ; chiffre excluant les serial fraudeurs !). Certes vu la gigantesque littérature scientifique, ces rétractations restent minimes en proportion (par ex. 0,05% des articles publiés dans Nature). Mais c’est inquiétant tout de même, d’autant que le milieu médical est particulièrement touché : « les publications dans ce domaine représentent 40% du corpus étudié, mais 52% des rétractations » (ibid.). Dans les eaux troubles de la littérature biomédicale (et sur ce sujet, voir le décapant Even 2010), il n’est pas toujours aisé de distinguer l’erreur scientifique de la fraude parmi les articles rétractés, le motif de rétractation n’étant pas toujours révélé. Une étude portant sur 2047 articles rétractés établit la proportion suivante : 21% erreur de bonne foi, 43% fraude, 14% article « dupliqué », 9% plagiat, et 13% des conflits entre auteurs. (p.37) Pire, il existe une corrélation entre le facteur d’impact d’une revue (entendre par-la, son prestige) et son taux de rétractation pour fraude ou erreur.
Et la France ? Elle n’apparaît même pas dans l’article, signe, peut-être, que sa contribution à la recherche en biomédecine est devenue négligeable à l’échelle internationale. A moins (…) que la culture nationale ne rende les chercheurs français plus réticents à reconnaître leurs torts ? (p.37 ; pour supprimer le « peut-être », cf. là-encore, Even 2010).
C’est ici qu’est citée une étude assez connue, qu’il vaut la peine de détailler. Il s’agit de celle d’un sociolgue des sciences, Daniele Fanelli, qui a synthétisé des enquêtes menées auprès de milliers de chercheurs entre 1986 et 2005.
Ses conclusions ? De l’ordre de 2% des scientifiques admettent avoir une fois dans leur carrière fabriqué ou falsifié des résultats… soit cent fois plus que le taux de rétractation d’articles pour fraude. (…) De fait, 14% des scientifiques déclarent avoir connaissance de collègues fraudeurs… soit sept fois plus que ceux qui reconnaissent avoir un jour fraudé. [Et si l’on s’intéressait moins à la fraude proprement dite qu’à l’accommodation du résultat ou de la méthode], le taux d’admission s’envole à 34%. (p.38)
Autrement dit, là où la mesure bibliométrique fait état d’une proportion de fraude à 0,02%, les enquêtes sociologiques concluent à un taux cent fois plus important : 2%.
3. Raconter, frauder ?
Ce chapitre ressemble un peu au septième chapitre de Broad & Wade 1987, « Le mythe de la logique ». Il s’agirait pour un chercheur de résoudre une énigme en formulant une hypothèse, puis en concevant un test capable d’en mesurer la validité. La présentation « archétypale » répond au schéma suivant : introduction (pourquoi il y a un problème) > matériel et méthode (comment y répondre) > résultats (contenu des expériences) > discussion (interprétation des résultats). La mécanique est belle… trop peut-être.
Ce plan est, peu ou prou, celui des millions d’articles scientifiques publiés chaque année dans le monde. Il a le mérite de la clarté, la solidité de sa logique. Il semble transparent exempt de tout présupposé. Dans le réel, rien ne s’est produit comme le décrit l’article scientifique. (…) D’une certaine manière, un article repose donc sur une mystification. (p.39)
Pour étayer son propos, Chevassus (que l’on m’excuse d’abréger son nom à rallonge) cite quelques auteurs scientifiques illustrant l’artificialité de ce schéma (voire sa dangerosité), et évoque en passant les travaux de Mendel. Ce chercheur ignoré de son temps avait raison. Mais les expériences qu’il a menées ne lui permettait matériellement pas (ou alors, avec 7 chances sur 100 000) d’atteindre le chiffre qu’il avançait. C’est donc un cas probable d’arrangement des résultats, conscient ou non, par lui ou un collaborateur. Cet arrangement procédait d’une intuition, qu’il a eu la chance d’avoir bonne… ce qui n’est pas le cas, moralité, de tous les chercheurs (par ex. Millikan, cf. p.43-44).
D’autres petits bricolages plus ou moins fautifs sont indiqués, notamment la retouche d’image, ou la valorisation de certains résultats. Généralement sans grande incidence, certains cas néanmoins induisent en erreur et conduisent à l’annulation pure et simple d’une étude (cf. p.47).
4. La recherche qui trouve
S’il n’est pas de bon ton de publier un article pour décrire une impasse, il ne l’est pas davantage de formuler une hypothèse de travail qui ne serait pas pleinement confirmée. Mais qu’entend par « pleinement » ? Rien de moins (et c’est déjà pas mal) qu’elle fasse état d’un phénomène non dû au hasard. Soit. Mais où commence le hasard ? Ici entre en jeu une probabilité statistique notée ρ, et fixée arbitrairement à ρ < 0,05, c’est-à-dire 1 chance sur 20. On ne discutera pas de la nécessité conventionnelle d’un seuil (ce qui signifie pourtant que des études « dans les clous » décrivent des phénomènes inexistants). Ce qui est plus intriguant, c’est la manière subtile par laquelle ce type de seuil peut être vicieusement contourné.
Deux psychologues nord-américains ont eu l’astucieuse idée d’étudier les valeurs de ρ rapportées dans les expériences décrites dans quelque 3557 publications parues en 2008 dans trois revues respectées de psychologie expérimentale. Ils ont observé que les valeurs de ρ comprises entre 0,045 et 0,050 soit juste sous le seuil retenu pour faire d’une expérience une observation digne d’être publiée, sont surreprésentées. Avec un pic particulièrement net entre 0,04875 et 0,05000, qui incite fortement à penser que les données ont été arrangées pour passer juste sous le seuil fatidique, à la manière de ces candidats au baccalauréat repêchés par un jury charitable qui obtiennent si souvent la note moyenne de 10,01. (p.52)
L’informatique moderne permet de trafiquer cette valeur, au besoin, de manière très aisée, ce qui explique peut-être pourquoi on observe un taux d’étude statistiquement significative de plus en plus important, qui fait dire à Chevassus (cf. graphique p.55) : « Les chercheurs de 2005 semblent étonnamment plus performants que leurs aînés ». Le taux de confirmation d’une hypothèse de départ est lui aussi en croissance constante, voire douteuse (cf. p.56-57).
Les chercheurs modernes seraient-ils meilleurs que ceux des générations précédentes ? Il faut plutôt souligner plusieurs faits : les recherches sont de nos jours de bien plus grande ampleur qu’auparavant, ce qui peut consolider la pertinence statistique des résultats ; on ne publie de surcroît que ce qui marche, et l’on se garde bien d’indiquer aux concurrents les impasses. En fait il n’y a que les « belles histoires », les hypothèses élégantes qui ont le bon goût d’être confirmées, qui sont publiées. Les résultats dits négatifs deviennent alors invisibles, les revues s’étant risqué à la manœuvre n’ayant pas connu l’intérêt escompté. Plus subtile, ou tortueux, l’hypothèse peut être formulée après connaissance des résultats : dans ce cas il s’agit de la réécriture d’une démarche – ce que les anglo-saxons appellent joliment le HARKing (Hypothesing After the Results Are Known, cf. p.58).
5. Cuisine industrielle
Par nature, l’expérimentation scientifique se doit d’être reproductible. Mais comme on l’a vu, il n’y a pas toujours intérêt à le faire, et même ce peut être carrément impossible (ex. s’il faut mobiliser un accélérateur de particules qui n’existe qu’en un seul exemplaire). Ceci étant dit, Chevassus alerte sur une véritable crise de reproductibilité, spécialement dans le milieu biomédical.
En 2011 par exemple, des chercheurs de la firme pharmaceutique Bayer ont examiné 67 projets de recherche internes, fondés sur des articles de la littérature scientifique. Leurs investigations leur ont permis de constater que seulement 21% des articles à l’origine des projets contenaient des données entièrement reproductibles, 7% reproductibles « dans les grandes lignes », et 4% partiellement. Autrement dit, « les deux tiers des études étaient impossibles à reproduire » (p.63). Autre étude, autre firme, avec un résultat de 11% d’études reproductibles.
Une variété de raisons expliquant cette crise sont avancées. Dans la recherche biomédicale, tout y passe : l’areproductibilité peut s’expliquer par des conditions de pics d’ozone, de saison, de gants manipulateurs… Quand une renommée prestigieuse est attachée à une expérience non reproductible, les choses se gâtent, ce qui est qui arrivé dans un laboratoire de neurosciences marseillais, où deux camps s’opposaient.
S’ensuit une détérioration de l’ambiance au sein de l’institut, chaque camp étant enclin à accuser l’autre de fraudes ou de tricheries. Faute de s’en remettre au verdict de l’expérience, qui ne peut être rendu, on s’en remet aux réputations des uns et des autres : si tel chercheur a été formé par tel maître réputé pour sa rigueur, il n’a pu manquer à l’intégrité scientifique. L’argument est utilisé dans le deux camps [où des intérêts commerciaux importants sont par ailleurs en jeu ; p.65]
Au-delà de la difficulté technique à reproduire des expériences, une pratique courante consiste à taire les menus détails pouvant aider la concurrence.
L’industrie, qui répond à des logiques bien différentes, exige évidemment une reproductibilité parfaitement fiable, avant d’engager des sommes colossales dans la production d’un médicament par exemple. Mais elle peut aussi se jouer finement du système, notamment quand des études alertent sur la dangerosité potentielle d’une technologie rentable (ex. OGM) ; dans ce cas il ne sera pas rare de voir une étude scientifique, financée par l’industrie, se désoler de son incapacité à reproduire une expérience… dérangeante (cf. p.69-70).
6. Concurrence libre et très faussée
Comment expliquer la dégradation des pratiques ? Une hypothèse optimiste (Fanelli 2013) avance que la vigilance à l’égard des manquements est de plus en plus grande. Ce à quoi Chevassus ne peut souscrire :
Rien n’incite à penser que les relecteurs des revues soient devenus de plus en plus critiques. Sinon, comment expliquer que les revues qui ont les taux de rejet des manuscrits soumis les plus élevés, ce qui laisse à penser qu’elles sont les plus exigeantes, soient aussi celles qui ont les taux de rétractations d’articles pour fraude les plus élevés ? (p.74)
Il faut chercher ailleurs l’origine des « malversations » : sans doute plutôt du côté de la « compétition internationale » et de « l’évaluation des chercheurs selon le seul critère du prestige de leurs publications » (p.75).
The winners takes all, le vainqueur prend tout. Il faut donc arriver le premier, l’enjeu n’étant rien moins que la gloire présente, et le passage à la postérité. C’est d’autant plus difficile qu’on ne dialogue plus dans un sérail de quelques pays : Brésil, Afrique du Sud, Inde, et Chine bien sûr, entrent dans la danse et produisent des chercheurs en nombre. Pour se faire une idée, Chevassus indique que « les articles d’auteurs chinois (dans les revues indexées par Web of Science) étaient au nombre de 41 417 en 2002 et de 193 733 en 2013 » (p.76). La Chine est ainsi passée de la cinquième puissance scientifique (nombre d’articles publiés), à la seconde, après les Etats-Unis. Elle pourrait passer à la première place d’ici à 2022. Pour l’instant cette progression est plus quantitative que qualitative (ce que l’on mesure au taux de citation). La donne pourrait cependant changer. Dans ce contexte, on le comprend, la pression est forte, la concurrence est rude.
Le nombre de publications, et parfois le facteur d’impact, détermine directement la niveau de rémunérations ou le recrutement dans des institutions prestigieuses. Voilà encore « un puissant facteur fraudogène » (p.79). Pour ne rien arranger, les plus grands financeurs (comme le NIH aux Etats-Unis) rejettent de plus en plus de demandes de subventions, dotant toujours plus… les chercheurs les plus dotés (le fameux « effet Matthieu »).
La France ne fait pas exception. (…) Pour lancer une expérience, tester une hypothèse, voire, de plus en plus souvent, recruter le personnel nécessaire, un chercheur français doit aujourd’hui passer sous les fourches caudines de l’Agence nationale de la recherche (ANR), qui lui accordera, ou non, un financement. Avec un taux de succès, là encore, qui ne cesse de décroître : 26% à la création de l’ANR en 2005, 9% en 2014. (p.80 ; nous y reviendrons avec Ségalat 2009)
Pour être financé au fond, il faut publier. Plus la liste des publications d’un chercheur s’allonge, plus ses chances d’obtenir un financement augmentent. C’est cette « hyperproductivité » malsaine qui explique pourquoi les chercheurs d’aujourd’hui, sur le papier, cherchent mieux et trouvent plus que leurs aînés. En la matière – c’est même un sport – certains chercheurs surclassent de loin les autres : parmi les exemples cités, deux plutôt amusants sont fournis : R. Katritzky (qui a cosigné 2215 articles entre 1953 et 2010, soit un tous les dix jours) et D. Raoult (1252 articles entre 1996 et 2011, et 800 de plus depuis).
Comment croire qu’un scientifique puisse participer réellement à des recherches débouchant sur quasiment une publication par semaine ? De deux choses l’une. Soit, mandarinat aidant, il ajoute son nom à tout travail issu du laboratoire qu’il dirige, une pratique hélas banale. Soit ses articles peuvent être légitimement suspectés d’être bâclés. L’un n’exclut du reste pas l’autre. Dans les deux cas, on ne peut que s’inquiéter de cette inflation du nombre de publications par chercheur, dont le cas Didier Raoult, qui reconnaît du reste ne pas relire les manuscrits comportant sa signature avant soumission, n’est que l’exemple le plus énorme. (p.82-83)
7. Comment publier sans chercher
La course à la publication est ainsi encouragée, pour ainsi dire, par un système complaisant et passablement absurde. Chevassus décrit alors quatre manières pour un chercheur d’allonger la liste de ses publications : « plagier, voler, sous-traiter et mécaniser » (p.85).
Pour le plagiat les rouages sont subtils, et il peut même arriver qu’un auteur s’auto-plagie, par exemple en republiant ses résultats légèrement modifiés, ou dans une autre langue, ou en plusieurs morceaux. D’autres se lancent dans des « méta-analyses » (synthèse d’un grand nombre d’études) potentiellement parasitée par de multiples biais méthodologiques, dans lesquelles les résultats d’une étude particulière peuvent potentiellement être comptés plusieurs fois dans les « nouveaux » résultats.
Pour la période comprise entre 1979 et 2012 (secteur biomédical), une étude citée montre que ce sont principalement la Chine, l’Inde, le Japon et la Corée du Sud qui sont responsables de la moitié des rétractations pour plagiat (cf. graphique p.89), ce qui trahit sans doute la pression exercée sur les chercheurs de ces pays pour exister à tout-prix sur la scène scientifique internationale (et rajoute une pression supplémentaire aux chercheurs des autres pays).
Pour les affaires de vol ou appropriation de paternité, quatre cas féminins sont évoqués (Franklin, Bell, Gautier, Kaplan cf. p.90).
Tout aussi immorale, la pratique de la sous-traitance consiste à monnayer le traitement de résultats – quelle que soit leur qualité – ou pire, d’acheter carrément sa signature dans un article à paraître en bonne et due forme ! Mais quid du processus de relecture ?
Nombre de revues, un rien paresseuses et rechignant à trouver un spécialiste disposé à expertiser le manuscrit soumis, demandent en effet aux auteurs de suggérer quelques noms de relecteurs possibles. Pourquoi ne pas se recommander soi-même, sous un quelconque pseudonyme assorti d’une adresse électronique créée pour la cause ? Plus de 200 articles ont été rétractés depuis 2012, après découverte qu’ils avaient été expertisés par leurs propres auteurs, presque tous chinois ou sud-coréens. (p.94)
Officiellement ce type de corruption a été mis sur la sellette. Qu’il ait pu exister, ou existe encore, a de quoi laisser pantois.
Enfin la mécanisation de la production d’articles élève un peu plus le niveau d’audace : il s’agit de confier la génération d’un texte à un logiciel, qui s’acquittera de la tâche en n’oubliant ni graphique, ni schéma, ni charabia jargonnant visant à endormir le referee. Impubliable ? Même pas. Des articles générés par le logiciel SCIGen ont été acceptés dans des revues à comité de lecture, et dans des conférences (p.95)…
8. Qui paye décide
En matière de financement, il ne faut point se leurrer : la contribution du secteur public est très insuffisante. Le recours au privé est donc impératif, et la situation est telle qu’une pratique admise consiste à surfacturer auprès des industriels pour pouvoir mener des recherches sur des projets plus personnels (p.100).
Le recours au privé est légitime. Mais il a un revers, nommé funding effect. En étudiant les conflits d’intérêts, surtout dans le secteur des médicaments, on s’est ainsi rendu compte qu’un laboratoire non financé par une firme avait tendance à trouver des résultats plutôt négatifs, ceux financés par une firme des résultats plutôt positifs… et ce – là le bas blesse ! – à qualité méthodologique équivalente.
Le prestige d’un article paru dans une revue à comité de lecture n’en continue pas moins d’exercer une fascination que les industriels ont bien cernée. On s’en est rendu compte avec acuité dans le secteur du tabac lorsque le Council for Tabacco Research a rendu publiques ses archives. Les millions de documents montraient une stratégie qui fait passablement froid dans le dos. La firme Philip Moris par exemple a d’abord 1. financé des études contestant le lien entre tabagisme et cancer ; mais quand la thèse s’est vue désavouée de toutes parts, elle a changé son fusil d’épaule et financé 2. des études niant les effets néfastes du tabagisme passif ; en vain, là encore ; elle s’est donc attaché à soutenir financièrement 3. les études visant à démontrer les effets potentiellement bénéfiques de la nicotine… (p.103)
Ce qui s’illustre dans le secteur du tabac fonctionne aussi pour appuyer parfois des thèses complotistes (p.105-106), ou des sujets brûlants d’actualité comme les OGM (p.107-108). Moralité, la science quand elle est financé par des intérêts particuliers peut répondre… à des intérêts particuliers, nonobstant les processus de vérification par les pairs.
9. Plaire au chef
Ce chapitre repend la thématique du chapitre huit de Broad & Wade 1987, « Maîtres et apprentis », en y adjoignant des exemples complémentaires. Les différents profils ou situations fraudogènes sont évoqués.
En passant, Chevassus mentionne (p.113) l’affaire Benvéniste sur la « mémoire de l’eau« . A mon avis, ce chercheur est à la limite de ce dont on peut raisonnablement juger. Il était réputé, et s’est plié aux règles de l’art pour la publication du fameux article qui a mis le feu au poudre. Des atermoiements multiples avaient retardé la publication dans Nature, et des exigences non ordinaires lui avaient été imposées (notamment de tester et re-tester la reproductibilité avant publication – ce qui fut fait auprès de trois laboratoires dans le monde). Le directeur de la publication aurait pu tout bonnement refuser l’article. Mais le processus de référé ne repoussa pas son travail (ironie de l’histoire, parmi bien d’autres dérives, un des referees se muerait en détracteur opiniâtre). Devant la levée de boucliers générale, on s’offusqua bientôt de voir son travail financé par des intérêts privés (et là, mauvais coup pour lui, il s’agissait des laboratoires Boiron, producteurs d’homéopathie). On a dit « à la limite » car c’était de notoriété publique, et de surcroît une pratique courante dans l’institut où il travaillait (INSERM). Encore de nos jours, faudrait-il frapper d’ostracisme tous les chercheurs financés par le privé ? Comme on l’a dit, c’est inconcevable. Le trublion, au verbe haut, s’est finalement fait… excommunier (oui c’est le terme, voir ici) de la communauté scientifique. A mon humble avis d’observateur, je ne pense pas que Benvéniste ait été un imposteur. Mais il s’est fait griller (obstination ou persévérance ?) pour n’avoir pas tenu compte du fait… que cela sentait quand même bien le soufre autour de lui (et son expérience délicate difficile à reproduire, et le changement ou l’évolution paradigmatique potentiellement induits) ! Sur ce cas passionnant, cf. Benvéniste 2005, Schiff 1994, Lance 2005 ; de Pracontal 2005 et 1990.
10. Littérature toxique
Bien entendu la fraude a un coût non négligeable : d’abord parce qu’elle fait suite à des financements publics ou privés qui ne produisent donc pas de connaissances. Ensuite parce qu’il faut aussi pour la débusquer mobiliser des experts, qui peuvent y passer des mois, et si la fraude est avérée, une suspicion plus ou moins légitime peut alors s’abattre sur une revue, une équipe, voire un pan entier de la recherche. Enfin, ce qui n’est pas démasqué peut ralentir le progrès, sous forme d’assise théorique bancale.
Interrogez n’importe quel chercheur et il vous citera dans son domaine de nombreux exemples d’articles que d’aucuns tiennent pour un faux. Au mieux, bâclés, entachés d’erreurs grossières. Au pire, frauduleux. Sans même évoquer les articles, plus nombreux encore, qui ne présentent strictement aucun intérêt scientifique, rédigés pour obtenir une promotion, justifier auprès des bailleurs de fonds une collaboration entre laboratoires, ou tout simplement parce que leurs auteurs manquaient d’inspiration, ne faisant que répéter des choses connues de longue date. (p.118)
Insipides, inutiles ou frauduleux, de nombreux articles polluent donc la littérature. Aujourd’hui la plupart des documents étant disponibles numériquement, on ne peut que regretter le fait que certaines bases de données ne référencent pas toujours les articles rétractés – la rétractation pouvant ne paraître que dans la version papier, des mois ou des années après… (p.119). Par exemple une étude montre que sur les 5500 citations de 180 articles rétractés entre 2000 et 2010 (secteur biomédical toujours), seulement 7% semblaient informés de leur rétractation ! (ibid.) Les autres bâtissaient donc sur du sable…
Chevassus détaille ensuite le « flou sur les rétractations » : non seulement il n’est pas aisé, et long, de procéder à une rétractation, mais dans l’immense majorité des cas la démarche n’aboutit qu’à une « sérieuse suspicion » (p.121), ce qui témoigne, une fois de plus, de la fragilité du sacro-saint concept de reproductibilité, qu’on peut opposer à certains, mais pas à d’autres. Quand l’article est bel et bien rétracté, on ne saura pas toujours pourquoi, les revues n’étant pas friandes sur la publicité des motifs (fraude, plagiat ou erreur), question de prestige oblige.
Il arrive même que (…) certains articles disparaissent du site de la revue (…) sans pour autant avoir fait l’objet d’une rétractation officielle. (p.122)
Opacité quand tu nous tiens…
11. Frauder tue
Mais le plus grave est que la fraude scientifique, du fait qu’elle s’exerce de manière particulièrement marquée dans le domaine biomédical, a des conséquences concrètes sur la santé. Pour le dire crûment, elle peut tuer. Et a parfois tué. (p.125)
Parmi plusieurs exemples atterrants, mentionnons une étude publiée, au Royaume-Uni, autour des dangers du vaccin Rougeole Oreillons Rubéole (ROR), dont les conséquences furent une chute drastique des vaccinés dans ce pays, avec pour corollaire une envolée des cas de rubéoles, et des cas de rougeoles mortelles (p.129). En enquêtant sur le sujet, on découvrit que les patients enrôlés dans l’étude avaient été manœuvrés, massivement, par des groupes de pression antivaccination… Le mal étant fait, la « suspicion envers la vaccination ROR n’est jamais retombée » (p.130).
12. Dans la jungle de l’édition scientifique
Ce chapitre tout particulièrement intéressant s’intéresse à l’économie des revues éditrices. Jusque récemment, leur modèle consistait à financer le système par l’abonnement des bibliothèques ou la contribution des laboratoires. Avec l’apparition de l’accès libre et gratuit, les choses ont changé : une bonne chose pour la diffusion du savoir assurément, un peu moins bonne cependant pour la qualité générale des contenus.
Il a fallu inverser la machine : ce n’est plus au lecteur de payer, mais à l’auteur… Il est ainsi commun de demander à un chercheur désirant publier un article de payer sa place dans les colonnes d’une revue (cela peut coûter 3000$, cf. p.133) Des fonds sont d’ailleurs prévus dans les financements publics à cette fin.
On l’imagine sans difficulté : avec un tel système, les dérives sont nombreuses. D’abord l’affaire est extrêmement rentable, et les revues ont donc tout intérêt à publier un maximum d’articles. Ensuite, le chercheur en mal de publication peut y voir, à bon droit, une aubaine, pour peu que la revue ait un petit vernis de respectabilité. Enfin, plus grave encore, les fonds publics sont doublement siphonnés : d’un côté pour financer le chercheur (sa recherche et l’achat de sa publication), de l’autre pour acheter la revue onéreuse et la mettre à disposition en bibliothèque (pour de rares lecteurs initiés).
Le secteur de l’édition scientifique affiche une santé insolente avec un taux de profit de l’ordre de 30% par an ! Il est vrai que rarissimes sont les industries qui ne payent ni leur matière première (les articles scientifiques) ni une partie de leur main-d’oeuvre (les rédacteurs qui expertisent les manuscrits soumis) p.135-136.
Dans ce contexte on assiste à une l’émergence de nombreuses sociétés d’édition scientifique multipliant à tous crins les revues en libre-accès. Une estimation faite en 2015 a dénombré 11 000 revues prédatrices de ce genre (400 000 articles publiés en 2014).
Un canular monté par un journaliste de Science illustre la gravité de la situation : il rédigea un faux article, sous le pseudonyme Ocorrafoo Cobange, et prétendit travailler au Wassee Institute of Medicine d’Asmara (Érythrée). Le nom ne correspond à aucun chercheur, et l’institut est factice. De surcroît le journaliste parsema son article d’erreurs flagrantes (« détectables par n’importe quel étudiant en biologie » p.139).
Pourtant, 157 des 304 revues en accès libre auxquelles ce pseudo-article a été soumis ont accepté de le publier. Y compris certaines éditées par des éditeurs ayant pignon sur rue, en particulier Reeds-Elsevier. (p.137)
Un autre canular a poussé le concept un peu plus loin…
13. Après le déni
Chevassus fait référence explicite au travail de Broad & Wade 1987 dans ce chapitre, indiquant :
Ce livre était le premier, et à ce jour encore l’un des rares, à s’intéresser à la fraude scientifique. S’y replonger aide à prendre la mesure du chemin parcouru en trois décennies. Pour le résumer, la fraude n’est plus niée comme elle l’était alors, mais la communauté scientifique reste impuissante à trouver les moyens d’en enrayer la progression. Le corps du livre, la description solidement documentée de plusieurs cas de fraude scientifique survenus aux Etats-Unis dans la décennie 1970 (voir chapitre 2), n’a pas pris une ride. (p.143)
C’est avec moins de surprise, explique Chevassus, qu’on découvre les développements de Broad et Wade sur la nature pas toujours rationnelle de l’activité scientifique : entre-temps de nombreuses études sociologiques n’ont fait que la confirmer. Puis Chevassus résume certains points de l’ouvrage et informe des évolutions, notamment la création d’instances indépendantes, au sein des grandes structures, chargées d’évaluer l’intégrité scientifique des chercheurs (ex. l’Office for Reasearch Integrity, ORI, pour le National Institutes of Health américain, NIH). Leur efficacité, ou du moins leur pouvoir de nuisance pour la carrière d’un scientifique, a de quoi dissuader la fraude (cf. p.147), car après « mise à l’index », souvent un chercheur ne peut plus guère publier, et quitte le monde scientifique. Côté européen, on s’est aussi doté de structures idoines, quoiqu’en ordre tellement dispersé qu’il a fallu organiser des conférences de mises au point, dont une, à Singapour, a permis de mettre en place une charte de référence (reproduite par Chevassus en annexe, p.189-191).
Mais si efficace que puisse être leur action, encore faut-il saisir ces instances, et leur bilan semble assez dérisoire au regard du phénomène qu’elles sont sensées endiguer. Il sera bien entendu extrêmement facile à un mandarin d’écarter un fraudeur soupçonné, qu’à un thésard, ou post-doc, de faire état de manquements à l’intégrité si ces manquements visent un chercheur réputé… Les interlocuteurs ne sont pas toujours clairement identifiés, et la pratique est assez risquée (il faudra le prouver, et être capable de se protéger ; p.148-152).
Devant les risques individuels encourus, certains chercheurs tentent de se faire justice eux-mêmes, en se regroupant par exemple en collectif anonyme ; mais la démarche anonyme n’aboutit que rarement auprès des revues. Plus efficace, la création de portails dédiés à la discussion des travaux scientifiques douteux, connaît un franc succès. Par exemple le site PubPeer publie des commentaires critiques qui plus d’une fois ont permis de lancer l’alerte sur des résultats ou des pratiques suspicieuses (p.152-153).
14. Omerta française ?
Il faut une affaire retentissante de fraude en France (p.155-156) pour que certains instituts se dotent d’organes de surveillance (ex. INSERM / Délégation à l’intégrité scientifique ; Pasteur / Comité de veille déontologique ; CNRS / médiateur, comité d’éthique ; INRA / délégué à la déontologie).
Le déni semble donc appartenir au passé, mais les affaires instruites sont marginales en nombre ; intéressant toutefois, certaines structures ont un périmètre assez étendu, spécialement sur le problème des conflits d’intérêts et des cosignatures.
Exception française oblige, certains tabous subsistent et l’on préfère sanctionner durement un contrevenant et/ou étouffer une affaire plutôt que faire de la prévention.
Un rapport commandé par le ministère de la Recherche en 2007, et remis en 2010, semble avoir émis des réserves assez sérieuses sur l’efficacité des méthodes françaises, et suggéré des pistes d’améliorations. Mais le rapport n’a pas été rendu public, et Chevassus n’a pu en obtenir la communication (p.159). Le rapporteur est connu et a indiqué que « rien » n’avait changé « du point de vue de l’action ministérielle » suite aux recommandations dudit rapport. On peut ainsi douter, à bon droit, « des efforts français de lutte contre la fraude » (ibid.)
Chevassus illustre les doutes par le cas de deux académiciens, dont les travaux ont été mis remis en question pour importantes anomalies, voire résultats impossibles. Les instances chargées du contrôle se révèlent alors bien incapables de trancher les affaires, et, de manière très scandaleuse, se réfugient à l’envi derrière des prétextes de confidentialité ou des subtilités juridiques (p.162-166). Il ressort qu’en France on préférera sanctionner lourdement après une procédure opaque plutôt que procéder en toute transparence et sanctionner en proportion (cf. p.166).
15. Délinquance scientifique ?
Une fausse bonne idée consisterait à pénaliser la fraude, en portant systématiquement les affaires en justice. Compte-tenu de la nature des débats scientifiques, l’expérience montre toutefois que cela peut virer au fiasco : dans les cas graves cités par Chevassus, les chercheurs incriminés soit sont acquittés, soit le tribunal se déclare incompétent pour en juger. Dans tous les cas, l’acquittement ou le non-lieu sont difficilement synonymes de réhabilitation réelle.
16. Pour une science lente
On ne saurait aborder le problème de la fraude sous l’angle juridique, en y voyant qu’une délinquance en col blanc.
(…) il est illustoire de croire que des solutions techniques (logiciels de détection de plagiats, de retouches d’images, contrôle statistique accru…) ou institutionnelles (voir chapitres 13 et 14) permettront de réduire l’ampleur de la fraude. Ce sont bel et bien les structures sociales de la science qu’il faut modifier si l’on veut attaquer le problème à sa racine. Ces structures sociales fraudogènes sont de deux types: celles qui sont internes à la communauté scientifique, notamment le fonctionnement du système de publication ; et celles qui sont (en partie) externes, en particulier l’évaluation de l’activité des chercheurs académiques menée par leurs employeurs, universités ou instituts de recherche. (p.177)
Mais comment améliorer les « structures sociales » ? Plusieurs approches sont possibles. La première concerne ce que Chevassus (après Merton) nomme le communalisme, qui consiste au partage des données. Certaines branches de la recherche l’ont fait de longue date ; mais les intérêts financiers colossaux ralentissent le processus. Pour autant, ce partage de données brutes, inhérent du point de vue théorique à une pratique sensée de la science, permettrait à tout chercheur de vérifier la validité d’expériences publiées, ce qui bénéficierait à l’ensemble du secteur.
Les problèmes de propriété intellectuelle (42%), ou la crainte de se faire voler les résultats (26%) sont allégués en premier lieu. Mais parmi les motifs allégués, entre les deux, figure le fait que l’institution scientifique dont dépend un chercheur « ne l’exige pas » (36%). Voilà qui est bien surprenant et devrait changer bien vite ! (cf. p.179) C’est d’autant plus impératif que des fonds publics étant engagés, les résultats devraient être publics.
L’article, cette belle histoire (…) n’a plus d’avenir s’il n’est pas appuyé sur une mise en ligne des données ayant servi à l’obtenir. (p.180)
Une autre approche consiste à réformer profondément l’évaluation des chercheurs, spécialement en écartant un système défectueux, la « facteur d’impact » (i.e. « la moyenne sur les deux dernières années du nombre de citations des articles parus dans une revue » p.182). Chevassus cite cinq raisons pour lesquelles ce facteur n’est pas un bon indicateur (p.183). Les « mesures » concernant le prestige d’une revue ou d’une institut de recherche souffrent, elles aussi, de biais passablement absurdes (p.184).
En fait on perçoit avec acuité à quel point sévit une dictature des indicateurs, qui profite surtout à l’industrie de l’édition, extrêmement rentable. Publier moins, mais mieux, permettrait assurément d’endiguer la progression de la fraude ; partager les données brutes, d’améliorer les contenus ; évaluer plus équitablement, de prévenir tentations et dérives.
Impressions
L’ouvrage de Chevassus actualise les données de Broad & Wade et se lit plus facilement ; il témoigne d’une expérience « de l’intérieur », et s’il s’intéresse moins à la structure de la science dans son ensemble, il émet des suggestions fort utiles, notamment pour ce qui touche à la « littérature toxique » et au fléau des « revues prédatrices ». Les sujets abordés sont parfois techniques, mais on consultera avec profit ce volume pour se faire une idée de l’état actuel de la science et de la malscience.