Adrien Fillon

^{Crédit : STEPHAN SCHMITZ/FOLIO ART}

Pourquoi les critiques de la méta-science doivent faire mieux ?

Qu’est-ce que la méta-science ? Difficile de répondre à cette question. Cependant, on peut partir d’un postulat très simple. La méta-science, si tant est qu’elle existe, s’intéresse à comment la science fonctionne, alors que l’épistémologie s’intéresse à pourquoi ¹ fait-on de la science ? Je dis si tant est qu’elle existe, parce que comme vous allez le voir, c’est beaucoup plus compliqué que ça.

Tout commence par un très mauvais papier

J’ai lu récemment l’article « Metascience as a Scientific Social Movement » par David Peterson et Aaron Panofsky. Je trouve que cet article cristallise une grande partie des critiques faites à la méta-science et que je vais essayer de résumer :

• La méta-science est un mouvement social scientifique cherchant à une modification des politiques et des pratiques scientifiques pour combler ce qu’ils perçoivent comme étant une crise de reproductibilité.
• La crise de reproductibilité est la croyance que la science fait face à des problèmes de réplication répandus provenant d’un mix de compétitions accrues, d’incitations qui récompensent des résultats improbables et un manque de régulation des sciences mauvaises ou frauduleuses.
• Grâce à l’accent mis sur la crise de reproductibilité avec un appel à la peur, la méta-science a gagné beaucoup de financements qui n’a pas été attribué à d’autres domaines scientifiques.
• D’un autre côté, la méta-science ne s’intéresse pas à l’épistémologie ni au statut épistémique de n’importe quel fait ou théorie. Toutes ces critiques sur la crise de reproductibilité et les réformes proposées sont liées à un niveau macroscopique. Les méta-scientifiques sont donc intéressés par une forme générale de science, comment la science est pratiquée, enregistrée, stockée et partagée.
• De ce fait, la méta-science souhaite devenir l’organisateur d’une discipline des disciplines, ayant une forme d’autorité disciplinaire particulière permettant de créer des systèmes qui combinent la vérification, la collection, l’évaluation, la prescription, la proscription et le lobbying d’intérêts scientifiques.
• Au contraire, les critiques de la méta-science partent du principe que LA science n’existe pas et que donc on ne peut pas faire une méta-science qui ne soit pas liée à chaque discipline scientifique, qu’il n’y a pas de méthode singulière pour les sciences et que l’efficience en sciences n’est pas un concept qui a du sens.
• La méta-science est seulement rationnelle dans un monde où la science peut être unifiée par des règles et des procédures universelles, et donc elle n’est pas rationnelle dans un domaine où LA science n’est pas un domaine cohérent.
• De ce fait, la conclusion de l’article est que la crise de réplicabilité a été cristallisée pour devenir une force majeure des réformes scientifiques qui passe par un effort scientifique, institutionnel et culturel d’un groupe d’activistes scientifiques que l’on appellera les méta-scientifiques.

Je vais tenter d’expliquer pourquoi tout ceci me paraît tout simplement faux.

La méta-science s’intéresse principalement à la crise de reproductibilité

L’histoire de la méta-science démarre pour certains à la crise de reproductibilité, soit en 2015, lorsque l’on découvre qu’en psychologie, les études ne répliquent majoritairement pas dans une étude. Cependant, il y a déjà des articles de méta-sciences publiés avant, notamment un de John Ioannidis en 2004 sur pourquoi les études dans le domaine biomédical sont probablement en partie fausses. Étude qui a été longuement été discutée et critiquée par le domaine de la méta-science, mais aussi par l’article de Daniele Fanelli en 2009 sur la fabrication et la falsification de recherche par les scientifiques. Ces articles ont été publiés bien avant la crise de productibilité et ne concernent pas la reproductibilité. Ils sont loin d’être les seuls.

La première mention de la méta-analyse, que je crois être au centre de nombreuses préoccupations des méta-scientifiques, date de 1967. Au-delà de ça, il y a de très nombreux chercheurs différents dans la méta-science, de très nombreuses méthodes dans la méta-science, et de très nombreux domaines investigués par la méta-science.

On a par exemple, des chercheurs qui s’intéressent à l’utilisation de l’IA dans la méta-science. On a des chercheurs qui s’intéressent au préenregistrement, on a des chercheurs qui s’intéressent aux analyses de puissance, on a des chercheurs qui s’intéressent aux méta-analyses et aux revues systématiques, on a des chercheurs qui s’intéressent à la transparence dans les analyses qualitatives, on a des chercheurs qui s’intéressent à la fiabilité des échelles de mesure, on a des chercheurs qui vont s’intéresser à la conception expérimentale et à l’amélioration des conceptions expérimentales. Et puis on a des chercheurs qui ne proviennent même pas de milieux quantitativistes, comme par exemple des libraires, des historiens, des philosophes ou des statisticiens.

Donc oui, la crise de reproductibilité a fait partie intégrante de l’histoire de la méta-science. Elle a accéléré l’importance que peut avoir la méta-science dans le milieu scientifique et elle a posé des questions auxquelles des chercheurs, en faisant de la méta-science, ont tenté de répondre. Et de ce fait, ces réponses ont amélioré notre compréhension du fonctionnement de nos sciences.

Mais la reproductibilité n’est pas un horizon indépassable et c’est absolument faux de dire que la méta-science s’intéresse principalement à la crise de reproductibilité. D’ailleurs, de moins en moins de chercheurs parlent de crise de reproductibilité. De nombreux chercheurs vont parler de « crise de confiance », mais aussi de nombreux méta-scientifiques ont compris que le terme « crise » pose des problèmes, à la fois dans sa définition et dans sa communication, et ne l’utilisent plus.

Le financement de la méta-science

Jusqu’à très récemment, il n’y avait aucun financement de méta-science. En fait, le financement de la méta-science provient très essentiellement d’une association appelée Arnold Fondation, fait par un directeur de recherche appelé Stuart Bucks. Stuart Bucks a financé à plus de 60 millions d’euros des initiatives scientifiques. On n’imagine pas à quel point cet individu est au centre de la méta-science.

Il a, par exemple, financé le Center for Open Science. Il a financé l’étude amenant à la crise de reproductibilité en 2015. Il a financé énormément d’outils liés à la transparence des données biomédicales, notamment Declare Designs, TrialsTracker, OpenTrials, le projet RIAT, le projet REPEAT, les Peer Community In et des dizaines d’autres initiatives. Il a financé Metrics qui est le premier centre de méta-science à Stanford. Il a financé également l’Institut Berkeley pour la méta-science. Et jusqu’à très récemment, il était le seul financeur.

On peut même dire que la méta-science a, dans son immense majorité, fonctionné grâce au bénévolat des chercheurs.

En Europe, le plus gros centre de méta-science s’appelle META-REP, en Allemagne, et a aujourd’hui financé 15 projets. Et d’un rapide coup d’œil à leur page, chaque projet a coûté environ 200 à 250 000 euros (c’est la fourchette que j’ai vue), ce qui donne un total de 3 millions d’euros, c’est-à-dire largement moins que ce qu’a financé Stuart Bucks. Et c’est le plus gros financement européen.

La plupart des autres initiatives fonctionnent sur fonds propres, c’est-à-dire financées par des membres des organisations scientifiques, ou par les scientifiques eux-mêmes. C’est le cas, par exemple, du SIPS, la Société pour l’amélioration de la psychologie sociale, et de même que PsyArxiv qui fonctionne globalement avec quelques donateurs associatifs, mais l’immense majorité des donateurs sont des individus qui l’autofinancent. Croire que la méta-science attire de l’argent est un fantasme. À l’heure actuelle, non seulement la méta-science n’attire pas d’argent, mais en plus, a brisé beaucoup de carrières de personnes s’intéressant à l’amélioration de leur champ de recherche et n’ayant pas réussi à sécuriser un poste parce que pas assez performant dans leur domaine spécifique. 

À noter que META-REP n’est pas un financement pérenne ² mais sur projet, comme l’immense majorité des projets de méta-science. Les chercheurs ayant un poste permanent en méta-science, dans le monde, doivent se compter sur les doigts des mains.

La méta-science ne s’intéresse pas à l’épistémologie

Aux Pays-Bas, un centre à Eindhoven s’appelle le Paul Meehl Graduate School et propose des Meta Research Symposium dans lequel va se trouver des réflexions de méta-sciences. Et ce n’est pas pour rien, Paul Meehl est considéré comme le premier méta-scientifique par les chercheurs de ce groupe, Paul Meehl étant à la fois un psychologue, psychanalyste, épistémologue et méta-scientiste.

Il a travaillé entre autres avec Lakatos, un philosophe critique de Karl Popper. Le centre s’appelle Paul Meehl évidemment en référence à ces critiques épistémologiques. C’est donc assez malhonnête de dire, par exemple, que ce groupe ne s’intéresse pas à l’épistémologie.

De manière plus générale, il est indéniable que de nombreux chercheurs se sont posés des questions « Pourquoi je fais ce que je fais ? » et « Comment je fais ce que je fais ? » et de critiquer « Pourquoi on fait ce qu’on fait ? » et de critiquer « Comment on fait ce qu’on fait ? ».

Et de ce fait, dire que la métascience ne s’intéresse pas à l’épistémologie, ça ne veut rien dire, les deux sont des questions que se posent les chercheurs. La question est, quelles questions se posent les chercheurs concernant leur pratique ? Et de temps en temps, ces chercheurs vont se poser des questions relatives au pourquoi, et vont poser des questions relatives au comment. Dans un cas, ils vont faire de l’épistémologie, dans l’autre cas de la méta-science.

Croire que la méta-science est indépendante de l’épistémologie, c’est n’avoir ni compris ce qu’était la méta-science, ni compris ce que c’était que l’épistémologie.

La méta-science n’est pas scientifique, car elle est trop macroscopique

L’idée derrière cet argument est que LA méta-science existe. Or, je ne crois pas que la méta-science existe. Je pense qu’il existe des méta-sciences qui sont relatives à des champs de recherche, mais que l’on peut créer des ponts entre ces champs de recherche. C’est le cas d’ailleurs dans tous les champs de recherche. La psychologie n’existe pas. Il y a la psychologie cognitive, la psychologie sociale, la psychologie clinique, mais il existe évidemment des ponts entre ces types de psychologie, que ce soit par exemple la cognition incarnée entre la cognitive et la sociale.

De manière générale, on adore scinder en petits morceaux des concepts qui sont similaires. Moi, je crois qu’il n’existe qu’une seule manière de faire de la science, comme disait Karl Popper, par conjecture et réfutation. Mais je pense que toutes les sciences, si elles partagent ce fond commun, ont des méthodes, des pratiques, des questions différentes, mais qui assez souvent se rejoignent dans leur objectif de dresser des théories expliquant le monde.

De ce fait, la méta-science est parfois macroscopique, mais la plupart du temps est liée à une discipline spécifique. La crise de reproductibilité, par exemple, est assez fortement discutée en psychologie, Parce qu’en psychologie on s’intéresse beaucoup à ce qu’on appelle les low hanging fruits, c’est-à-dire des petits effets pas très intéressants, pas très généralisables, qui ne dressent pas de grosses théories et qui, à cause de leurs caractéristiques, sont très sensibles à un manque de réplication.

À l’inverse, savoir que des études sur les médicaments ne répliquent pas n’est pas hyper intéressant. On laisse tomber ce médicament et on en teste un nouveau. Ce qui est important ici, c’est de savoir à quel point un médicament pourrait être efficace, à quel point il peut avoir des effets secondaires et donc s’il peut être utilisable en pratique.

Ainsi, les questions méta-scientifiques autour des médicaments s’intéressent essentiellement à des questions de conception méthodologique. Est-ce que l’étude a été vraiment randomisée ? Est-ce qu’il y a eu vraiment du double blind et des biais amenant à une surestimation de l’efficacité et sous-estimation des risques ? Comme par exemple, y a-t-il eu des conflits d’intérêts ? Ou à quel point les laboratoires pharmaceutiques ont été impliqués dans ce type de recherche ? En informatique, les questions métascientifiques s’intéressent principalement à la reproductibilité computationnelle. Comment peux-tu me prouver que ton code permet bien de produire les résultats que tu dis avoir produits ? On voit bien ici que LA  méta-science n’est pas macroscopique.

Elle s’intéresse à des questions spécifiques, mais évidemment que les questions que se pose un champ de recherche vont intéresser aussi les autres champs de recherche qui peuvent se dire, tiens, le problème que tu as soulevé, on l’a peut-être aussi, étudions-le.

La méta-science est un groupe et/ou un mouvement

Parce que la méta-science n’existe pas, mais qu’il existe des méta-sciences relatives à des champs de recherche qui parfois se rejoignent et parfois non, il n’y a pas un groupe de méta-sciences et il n’y a pas un mouvement de méta-sciences. Il n’y a que des chercheurs qui se posent des questions sur leur fonctionnement et sur leur manière de faire de la recherche, et qui parfois créent des groupes quand ils se posent les mêmes questions, et parfois pas. Il n’y a aucune homogénéité là-dedans. On observe de très nombreuses questions différentes posées par de très nombreux groupes de chercheurs différents, des réponses apportées qui sont souvent très différentes entre les chercheurs, mais aussi un nombre de plus en plus important de critiques de ce qui est dit par d’autres chercheurs faisant de la méta-science. Le fait même qu’il existe ce type d’article critiquant la méta-science prouve qu’il y a des critiques de la méta-science et que donc il n’y a pas un groupe homogène de méta-scientifiques.

La méta-science est composé d’activistes

Parce que la méta-science n’est pas un groupe ou un mouvement, la méta-science n’est pas composée essentiellement d’activistes. Ici, je visualise ça plutôt comme une loi normale, où il y a des personnes parmi ceux qui font de la méta-science qui disent que pour améliorer leur champ de recherche, il faudrait des changements massifs, des chercheurs qui, parce qu’ils font de la méta-science, disent qu’il ne faut pas de changement du tout. Et, loi normale oblige, un nombre plus important de chercheurs qui vont proposer des petits changements, parfois systémiques, parfois non systémiques, pour améliorer progressivement la science vers un idéal de fonctionnement qu’il faudrait déterminer (j’en parle dans la partie des critiques légitimes). On peut considérer raisonnablement que ceux qui sont aux deux extrémités sont des activistes, comme dans toute activité humaine. Activistes pour un plus fort changement du système scientifique et activistes pour le moins de changements possible du milieu scientifique. Et d’ailleurs, il commence à y avoir un nom pour ces chercheurs-là. Daniël Lakens les appelle les « Corporate Meta-scientists », soit les méta-scientifiques qui sont là pour défendre les droits des corporations faisant du bénéfice sur le fonctionnement actuel de la recherche.

D’un autre côté, la majorité des méta-scientifiques proposent des changements, et les corporate meta-scientistes sont une minorité. Cependant, comme montré auparavant, il y a loin, très loin, d’avoir un consensus des méta-scientifiques sur ce qu’il faut faire, et encore moins d’avoir un consensus demandant des changements drastiques du fonctionnement scientifique actuel comme ce que l’on pourrait s’attendre d’activisme.

Le problème principal de cet article, c’est qu’il part d’une mauvaise définition de ce qu’est la méta-science, et qu’il en dresse un portrait d’homme de paille, et en tire des conclusions forcément fausses. Si les prémices sont fausses, les conclusions sont fausses. Le problème ici, c’est qu’il n’utilise aucune source fiable pour définir la méta-science et pour définir ses conclusions vis-à-vis de la méta-science et que cet article n’est donc qu’une interprétation de ce qu’il peut avoir compris de la méta-science. Et on retrouve ici une critique qui est faite aux méta-scientifiques qui est, pourquoi n’êtes-vous pas aussi critique envers vous-même qu’envers les sciences que vous critiquez ?

Des critiques raisonnables.

Je pense quand même qu’il existe des critiques raisonnables de la méta-science, et effectivement cette critique-là, que les méta-scientifiques ne sont pas assez critiques d’eux-mêmes, est raisonnable. J’entends par exemple, l’argument que la reproductibilité pose la question de « à quel seuil attendons-nous une reproductibilité ». Si les chercheurs ont été choqués qu’en 2015 les études qui ont été testées dans une réplication de masse n’a eu que 50% qui ont été répliquées, une question essentielle est, mais en fait quel pourcentage attendrions-nous de réplicabilité ?

Et de manière plus générale, une critique qui est de plus en plus importante en science doit être aussi faite de la méta-science qui est quel formalisme utilisons-nous vis-à-vis de la science. C’est-à-dire, lorsque l’on s’intéresse à un effet, et en méta-science, cet effet peut être l’effet de changement dans les processus de sélection d’articles par les éditeurs, ça peut être un effet sur le changement de lignes éditoriales dans des journaux scientifiques, ou ça peut être le changement lié à l’accès aux données ou un changement qui peut être lié à une modification dans le processus d’embauche des chercheurs, ou encore dans le processus de méta-analyse. La question à se poser est, qu’est-ce qu’on attend comme effet ? Et donc, comment peut-on créer un formalisme liant notre théorie méta-scientifique à des observations ou des prédictions que l’on pourra tester dans des études scientifiques ?

En somme, si on pense que la méta-science est une science, elle ne doit pas être purement descriptive puis prescriptive, il doit y avoir une théorisation entre les deux. J’observe une réplicabilité de 50 %. Cependant, si on augmente la standardisation des procédures, la puissance statistique, le préenregistrement, etc., on devrait s’attendre à 80 %. Je teste ça grâce à une réplication et je regarde si ma théorie est vérifiée. Et si elle ne l’est pas, ça va m’apprendre des choses sur le fonctionnement de la réplicabilité dans notre domaine, tout en ayant un lien intrinsèque avec l’épistémologie qui postule le fait qu’il y a une différence entre réplication à l’identique, réplication conceptuelle et capacité de théorisation à partir de réplication.

Une autre critique de la méta-science qui apparaît assez souvent est le manque de diversité de la méta-science. L’immense majorité de la méta-science est hautement statistique, ne s’intéresse que très peu aux méthodes qualitatives et ne s’intéresse pas non plus aux différences de méthodes de recherche en fonction des pays et de l’impossibilité de certains pays de suivre le mouvement de la méta-science. Je crois que cette critique est assez raisonnable.

Par exemple, le centre de Berkeley pour la méta-science propose de nombreuses formations à l’open science et à la méta-science, mais pour ça il faut aller à Berkeley et beaucoup de chercheurs n’ont juste pas les moyens d’y aller. D’un autre côté, de nombreux méta-scientifiques ont mis en ligne gratuitement leurs diapositives, ont leurs articles en accès libre, voire ont créé des cours, comme par exemple Daniël Lakens, disponibles gratuitement, précisément parce qu’ils sont sensibles à ce genre de questions.

Même si je comprends cette critique, c’est une critique qui est faite d’absolument tous les domaines de la recherche. Ces domaines sont plus ou moins liés à des questionnements individuels, et donc si beaucoup de chercheurs s’intéressant à la méta-science sont des chercheurs quantitativistes portés sur les statistiques, alors l’immense majorité des développements se feront dans ce domaine-là. Néanmoins, il tient à chacun de s’intéresser à comment ils font de la science indépendamment de leur historique de départ.

Souvent cette critique du manque de généralisabilité est une critique de type argument d’homme de paille. C’est-à-dire que oui, c’est une critique légitime, mais en même temps elle permet de décrédibiliser ce que dit la méta-science alors qu’elle peut apporter de vraies solutions sur les problèmes scientifiques auxquels elle s’intéresse déjà. Finalement, c’est comme dire qu’on rejette tout ce que tu dis parce que ce que tu dis ne s’intéresse pas à autre chose que ce que tu t’intéresses.

Enfin, la critique principale qui consiste à dire que les méta-scientifiques sont plus critiques des autres champs de recherche que de la méta-science doit aussi être vérifiée : quelles sont les preuves que les méta-scientifiques sont moins critiques d’eux-même que des autres champs de recherche ?

Vous voyez donc ici que les critiques raisonnables, du moins celles que j’ai trouvées, restent très limitées. Et je crois que les critiques de la métascience ont fait un travail relativement mauvais de critique de la métascience, et ne se sont pas suffisamment intéressées à la métascience pour la critiquer de manière correcte. De plus, on observe de nombreux chercheurs critiques de la méta-science ne plus être de simples critiques, mais être aussi des harceleurs des méta-scientifiques. Si je pense qu’il est positif de voir des critiques de la méta-science apparaître, parce que ça signifie qu’elle devient plus mainstream, elle est plus acceptée comme champ disciplinaire, je pense qu’ils peuvent faire mieux. Et je pense qu’en faisant mieux, ils deviendront eux aussi des méta-scientifiques, parce qu’ils proposeront eux aussi des changements politiques. Sur le fonctionnement de ceux qui s’intéressent au fonctionnement du système. En attendant, force est de constater qu’il y a plus d’activistes chez les critiques de la méta-science que chez les méta-scientifiques eux-mêmes.

Ps : j’ai quelques arguments et commentaires en vrac que je n’ai pas su ajouter au dessus.

La fausse différence méta-science/épistémologie

Il y a de nombreux méta-scientifiques qui ne s’intéressent pas à l’épistémologie. Mais il y a aussi de nombreux épistémologues qui ne s’intéressent pas à la méta-science. J’ai donc du mal à comprendre cet argument. Il y aura toujours des guerres de chapelles entre des gens, car la science, comme toute initiative humaine, a des enjeux de pouvoirs, et les gens aiment le pouvoir. Croire que les méta-scientifiques sont plus désintéressés que les autres chercheurs relèvent de l’utopie. D’un autre côté, il y a des philosophes qui font de la méta-sciences, et des chercheurs qui font de la méta-science et de la philosophie.

La méta-science est trop politique

Sur les enjeux politiques, je ne comprends pas l’argument. Toutes les sciences le font. N’attendons-nous pas des chercheurs en médecines de donner leurs recommandations sur la prescription médicale ? N’attendons-nous pas des chercheurs en psychologie de donner leurs recommandations sur l’expertise judiciaire, la manière d’éduquer les enfants, les outils pour prendre soin de leur santé mentale ? N’attendons-nous pas des économistes de donner leurs recommandations sur la taxation, l’inflation, les inégalités économiques, le chômage ? Alors pourquoi ne pourrions-nous pas attendre des méta-scientifiques des recommandations sur le fonctionnement de la recherche ?

La crise de réplication est le cadet de mes soucis

Sur l’argument que la critique principale de la méta-science est la crise de reproductibilité, j’ai donné des contre-arguments historiques et actuels. Je voudrais ajouter que faisant partie d’une association de chercheurs sur la « méta-science forensique », notre principale préoccupation est, comme le dit Nick Brown, de nous assurer que les chercheurs font ce qu’ils disent avoir fait dans leurs études, et ne font pas ce qu’ils ne disent pas avoir fait. Et c’est un domaine de recherche qui précède, de loin, les questions de réplications.

Il en est de même pour les méta-scientifiques qui s’intéressent au p-hacking, au harking, au file-drawer problem, aux biais de publications… tous s’intéressent, d’une manière ou d’une autre, à trouver des solutions pour que la science ressemble à ce qu’elle prétend être. La crise de reproductibilité était un symptôme que le noyau central de nos sciences est pourri par les mensonges, les omissions, les compromis avec la réalité. Je crois que les méta-scientifiques tentent d’assainir ce noyau du mieux qu’ils peuvent.

---

1. Nathanaël Larigaldie nuance : « une énorme part de l’épistémologie s’intéresse à « comment on est censés former des connaissances ». Je crois la distinction pourquoi/comment facile à comprendre mais la réalité est plus compliquée. ↩︎
2. Aussi bizarre que cela soit, on dit un truc pérenne et pas péren ou périn. ↩︎