Skip to main content

3 | Metascience, science of science : l’émergence et la (re)structuration de communautés scientifiques

Récits fondateurs, thématiques et critiques associées | Les approches communautaires pour réformer les pratiques scientifiques | La «science de la science» fondée sur des méthodes computationnelles en SHS | Démocratisation des données et «nouvelle garde» à la croisée des STS

Published onMay 16, 2022
3 | Metascience, science of science : l’émergence et la (re)structuration de communautés scientifiques
·

Suite à une crise de réplicabilité1 en sciences et au constat de certains dysfonctionnements récurrents et systémiques dansla recherche scientifique (grand nombre de rétractions d’articles, p-hacking, etc.2), le récit d’une science « cassée » a fait son apparition ces dernières années au sein de plusieurs communautés de recherche notamment bio-médicales. Comme le mentionne Vincent Larivière, de par le nombre de travaux qu’ils représentent et les financements qui y sont apportées3, les sciences de la santé ont fait l’objet d’une attention toute particulière sur le manque de transparence, de reproductibilité et réplicabilité des travaux, dans un contexte de pression et de compétition importante entre équipes et de course à la publication. Afin de remédier à ces « mauvaises pratiques »4, de nouvelles communautés se sont constituées avec plus ou moins de considération (au départ) pour les courants et disciplines préalablement présentés dans ce rapport .

Ces nouvelles communautés naissent de la convergence de deux facteurs. Tout d’abord en lien avec l’argumentaire de la science ouverte, celle de vouloir faire une meilleure science ou proposer un meilleur système de recherche fondésur la transparence et l’accessibilité des ressources. Ensuite, elles prennent leur appui sur les opportunités offertes par lanumérisation de la recherche et la mise à disposition d’une grande quantité de données dont l’accès ne dépend plus des acteurs traditionnels de l’édition. En effet c’est un ensemble de nouvelles infrastructures et de nouveaux outils qui se sont développés pour structurer, repérer, découvrir les connaissances, désormais rendus accessibles au-delà d’un public de scientomètres experts, comme cette citation le décrit :

« Pour des nouveaux acteurs on voit bien comment on part d’une situation où des laboratoires sont très liés à des politiques publiques pour en arriver à une “moulinette à la maison” où chacun a accès à son H-Index. Le thème est devenu à la mode et les politiques publiques ont de vrais enjeux […]. Il y a un mouvement qui va de scientomètres experts vers de nouveaux acteurs non-orientés par les mêmes expertises. Certains ne se rendent pas compte de ce qu’ils développent. Articulé à des politiques publiques, cela change d’échelle et cela change de prescription. » – David Pontille

Outre l’aspect observationnel et de conseils, ces communautés ont en effet une volonté prescriptive très marquée et souhaitent améliorer le système de recherche scientifique. Il s’agit pour ces communautés de mener une réformescientifique (a scientific reform) pour faire évoluer les pratiques scientifiques afin de les rendre plus efficaces, de meilleure qualité, mais aussi de changer la culture et finalement le système de recherche scientifique (cf.encadré « Les récits fondateurs »). Concernant les démarches méthodologiques celles-ci mobilisent majoritairement des méthodesquantitatives provenant des domaines des sciences et techniques médicales, avec notamment des approches fondées sur les preuves (evidence-based). Ces méthodes ont pour objectif de valider empiriquement des résultats pour les rendreactionnables à plusieurs niveaux : au niveau des pratiques de recherche, au niveau des outils et des infrastructures, et au niveau des politiques publiques.

Ces communautés se distinguent néanmoins par le vocabulaire et les méthodes employés ainsi que par les secteurs d’activité et les modèles organisationnels les soutenant. Nous avons distingué différentes approches5 qui font l’objet des deux chapitres suivants :

  • Les approches communautaires de la metascience et meta-research (meta*) pour réformer la science, impulsées au départ dans le domaine biomédical  ;

  • La « science de la science » (SciSci) fondée sur des méthodes computationnelles en sciences sociales  ;

  • La « nouvelle garde », à la croisée des STS et de la scientométrie, engagée dans la science ouverte, promouvant l’intégrité, la diversité et l’inclusivité en recherche, et développant les dynamiques de réappropriation d’outils d’évaluation de la recherche par et pour les communautés grâce à la démocratisation des données ;

  • La « recherche sur la recherche » pour la mise en œuvre de politiques publiques fondées sur des preuves (cf. la partie du chapitre 4) donnant lieu à de nouvelles alliances entre centres de recherches, décideurs politiques, organismes financeurs et fournisseurs de données (cf. la partie du chapitre 4). Quelques distinctions seront faites entre ces approches, qui n’ont pas toutes comme sujet d’étude la science ouverte (cf. la partie du chapitre 4).

L’émergence d’une nouvelle discipline ? Récits fondateurs, thématiques et critiques associées

Pour se familiariser avec ces communautés, le nuage de mots ci-dessous tirés des conférences metascience 2019 et 2021 offre un aperçu des thématiques clefs abordées au sein de ces communautés et des enjeux qui les préoccupent. La notion d’évaluation fondée sur des preuves est majeure afin d’amener à la défense de valeurs telles que l’ouverture, la responsabilité (accountability), la transparence et la robustesse en recherche. Il s’agit de cibler des problèmes tels que la reproductibilité et d’allouer des ressources et des financements pour les trouver des solutions. Le champ de recherche de la psychologie préalablement mentionné y est bien visible.

Les approches fondées sur les preuves font néanmoins l’objet de critiques apportées par les sciences humaines et sociales,qui soulèvent des points de vigilance quant au discours de l’efficacité dans le cadre de l’amélioration de la recherche, comme le notent D. Peterson et A. Panofsky6.


Les récits fondateurs
  • « metascience »

« Le domaine des metasciences élargit ces champs d’investigation grâce à des méthodes modernes, des approches à forte intensité de données, la participation directe des chercheurs du domaine et des intérêts de recherche à la fois descriptifs et prescriptifs pour comprendre, changer et améliorer le processus et la culture de recherche. »

— Center for Open Science, « NSF 21-519 - HDR Institute - Institute for Metascience » (OSF, 22 avril 2020), https://osf.io/8km72/.

  • « science of science »

« La science de la science (SciSci) repose sur une approche transdisciplinaire qui utilise de vastes ensembles de données pour étudier les mécanismes qui sous-tendent la pratique de la science – du choix d’un problème de recherche aux trajectoires de carrière et aux progrès dans un domaine. Dans ce compte rendu, Fortunato et al. expliquent que le raisonnement sous-jacent est qu’avec une meilleure compréhension des précurseurs de la science d’impact, il sera possible de développer des systèmes et des politiques qui améliorent la capacité de chaque scientifique et réussir à améliorer les perspectives de la science dans son ensemble. »

—Santo Fortunato et al., « Science of Science », Science 359, no 6379 (2 mars 2018), https://doi.org/10.1126/science.aao0185.

  • « meta-research »

« L’entreprise scientifique ayant gagné en taille et en diversité, nous avons besoin de données empiriques sur le processus de recherche pour tester et appliquer des interventions qui rendent la science plus efficace et ses résultats plus fiables. La métarecherche est une discipline scientifique en pleine évolution qui vise à évaluer et à améliorer les pratiques de recherche. Elle comprend des domaines thématiques tels que les méthodes, les rapports, la reproductibilité, l’évaluation et les incitations (comment faire, communiquer, vérifier, corriger et récompenser la science). De nombreux travaux ont déjà été réalisés dans ce domaine en pleine expansion, mais les efforts déployés à ce jour sont fragmentés. Nous fournissons une carte des efforts en cours et discutons des plans pour connecter les multiples efforts de méta-recherche à travers la science dans le monde entier. »

—John P. A. Ioannidis et al., « Meta-Research: Evaluation and Improvement of Research Methods and Practices », PLoS Biology 13, no 10 (octobre 2015): e1002264, https://doi.org/10.1371/journal.pbio.1002264.

« La méta-recherche est l’étude de la recherche elle-même : ses méthodes, ses rapports, sa reproductibilité, son évaluation et ses incitations. La science étant le principal moteur du progrès humain, l’amélioration de l’efficacité de l’investigation scientifique et la production de résultats de recherche plus crédibles et plus utiles peuvent se traduire par des avantages majeurs. L’entreprise de recherche se développe très rapidement. De nouvelles possibilités de connaissance et d’innovation, mais aussi de nouvelles menaces pour la validité et l’intégrité scientifique apparaissent. Les vieux préjugés abondent, et de nouveaux apparaissent continuellement à mesure que de nouvelles disciplines émergent avec des normes et des défis différents. La métarecherche utilise une approche interdisciplinaire pour étudier, promouvoir et défendre une science robuste. Des bouleversements majeurs sont susceptibles de se produire dans la manière dont nous menons les enquêtes scientifiques, et il est important de veiller à ce que ces bouleversements soient fondés sur des preuves. »

—John P. A. Ioannidis, « Meta-Research: Why Research on Research Matters », PLoS Biology 16, no 3 (mars 2018): e2005468, https://doi.org/10.1371/journal.pbio.2005468.


Les entretiens menés pour cette étude ont aussi fait remonter des observations critiques quant aux nouvelles communautésqui « réinventeraient la roue ». Ces communautés auraient en effet pour ambition de créer de nouvelles normes pour pallier à de mauvaises pratiques et mésusages. Or ces recherches ne s’appuieraient pas sur les enseignements des disciplines telles que les STS, la sociologie et l’histoire des sciences qui apportent une prise de recul quant aux mécanismes de production de normes et de leurs évolutions. Les tensions soulevées proviennent aussi – tout au moins au départ – d’un discours annonciateur de l’émergence d’une nouvelle discipline en faisant fi des travaux existants (cf.Descriptifs des conférences Metascience : l’évolution du discours). Cela a suscité quelques réactions vives de la part de chercheurs au sein des études des sciences et technologies (STS) vis-à-vis de la metascience considérée comme un mouvement social scientifique7. Plus récemment, les évènements organisés et les discours associés à la metascienceréintègrent plus amplement des travaux déjà menés notamment par le champ des études des sciences et technologies (STS). Le symposium « A critical analysis of the scientific reform movement 8» organisé par le Center for Open Science ou encore les tables rondes intitulées « What is metascience ? »9 lors de la conférence metascience 2021, montrent lavolonté d’une prise de recul sur les acteurs impliqués tout autant que les enjeux de visibilité et de financement associés. Ces derniers créent aussi des tensions, comme le souligne Jason Chin.

« Maybe a lot of this is a branding thing. It creates friction because a lot of the really critical pieces about metascience come from people in STS who are understandably frustrated because they have been talking about it for a long time and now it's suddenly getting a lot more attention because people have labeled it “metascience”. » // « C’est peut-être en grande partie une question d’étiquetage. Cela crée des frictions parce que beaucoup d’articles vraiment critiques sur la metascience proviennent de personnes de la STS qui sont frustrées, ce qui est compréhensible, parce qu’elles parlent de ces sujets depuis longtemps, maisqu’ils reçoivent soudain beaucoup plus d’attention parce que des gens les ont étiquetés “metascience”. » Jason Chin


Descriptifs des conférences Metascience : l’évolution du discours
  • Metascience Symposium (2019)

« During this decade, we have witnessed the emergence of a new discipline called metascience, metaresearch, or the science of science. Most exciting was the fact that this is emerging as a truly interdisciplinary enterprise with contributors from every domain of research. This symposium served as a formative meeting for metascience as a discipline. » // « Au cours de cette décennie, nous avons assisté à l’émergence d’une nouvelle discipline appelée metascience, métarecherche, ou science de la science. Ce qui est le plus excitant, c’est que cette discipline est en train de devenir une entreprise véritablement interdisciplinaire, avec des participants de tous les domaines de recherche. Ce symposium a servi de réunion formatrice pour la metascience en tant que discipline. » https://www.metascience2019.org

  • Metascience Conference (2021)

« There is a long history of research about the scientific process, particularly with fields such as philosophy of science, sociology of science, and science-technology studies contributing unique insights about how science operates. There is also a growing cadre of researchers deploying modem methodologies and big data to investigate the scientific process. Together, these communities of researchers and stakeholders are the research and development pipeline for improving research practices. The Metascience 2021 meeting is a point of convergence to share knowledge, foster community, and define a roadmap of research and intervention priorities to accelerate science. » // « Il existe une longue histoire de recherche sur le processus scientifique, en particulier dans des domaines tels que la philosophie des sciences, la sociologie des sciences et les études scientifiques et technologiques, qui apportent un éclairage unique sur le fonctionnement de la science. Il existe également un cadre croissant de chercheurs qui déploient des méthodologies modernes et des big data pour étudier le processus scientifique. Ensemble, ces communautés de chercheurs et de parties prenantes constituent le pipeline de recherche et de développement pour l’amélioration des pratiques de recherche. La réunion metascience 2021 est un point de convergence pour partager les connaissances, favoriser la communauté et définir une feuille de route des priorités de recherche et d’intervention pour accélérer la science. » https://metascience2021.org

« If you look at the previous metascience meeting (2019), it was framed as the emergence of a new discipline […]. This time it's much more about including the historical background from discplinary communities. » // « Si vous regardez la précédente réunion metascience (2019), elle était cadrée comme l’émergence d’une nouvelle discipline […]. Cette fois, il s’agit beaucoup plus d’inclure le contexte historique des communautés disciplinaires. » – James Wilsdon


Les approches communautaires pour réformer les pratiques scientifiques

3.1 Un mouvement impulsé dans le domaine bio-médical

Les travaux de metascience ou de meta-research se sont originellement développés dans le domaine bio-médical – notamment en sciences de la vie, en médecine et en psychologie – par des chercheurs et chercheuses provenant de ces disciplines et souhaitant faire évoluer les pratiques. Impulsées suite aux mésusages constatés dans ces domaines, lesapproches méta*10 ont la volonté de réformer le fonctionnement du système de recherche tout entier (a scientific reform movement). Malgré une spécificité disciplinaire initiale, les approches s’ancrent dans une démarche à visée agnostique et universelle11.

« metascience has been focused on psychology and the life sciences, but that doesn't mean that there's not a need to constantly continue to grow because metascience is agnostic to discipline, but it's very important to make sure that you're not pretending there aren’t differences [between disciplines]. » // « La metascience s’est concentrée sur la psychologie et les sciences de la vie, mais cela ne signifie pas qu’il n’est pas nécessaire de continuer à se développer constamment, car la metascience est agnostique par rapport aux disciplines, mais il est très important de s’assurer que l’on ne prétend pas qu’il n’y a pas de différences [entre les disciplines] ». Tim Errington

3.2 Une démarche systématique et interventionnelle

Concernant les méthodologies employées, celles-ci s’appuient sur une démarche qui se veut méthodique et systématique pour investiguer et comprendre ce qui ne fonctionne pas, puis trouver des solutions concrètes à tester (cf. visuel « Méthodes Méta* »).

Le but est de s’appuyer sur des protocoles expérimentaux pour vérifier que des changements apportés (utilisation de nouveaux outils, mise en place de formations, etc.) ont un impact sur les pratiques et leurs améliorations. D’où, la nécessité de tester et prouver que les changements apportés fonctionnent.

Cela implique des recherches interventionnelles avec, comme le précise Tim Errington, des protocoles s’inspirant des essais cliniques.

« It's like in clinical trials, to suggest this vaccine is great we want to empirically test it, but we also […] want to do observational studies to [assess whether] we are still seeing the benefit as the use increases, so Iactually see [ongoing tests as] necessary in the process of a large policy system approach. » // « C’est comme dans les essais cliniques, pour suggérer que ce vaccin est excellent, nous voulons le tester de manière empirique, mais nous voulons aussi […] faire des études observationnelles pour [évaluer] si nous constatons toujours les avantages au fur et à mesure que l’utilisation augmente, donc je vois en fait [les tests continus comme] nécessaires dans le processus d’une approche systémique de politique à grande échelle. » Tim Errington

S’appuyant sur les approches fondées sur les preuves (evidence based practices), on y retrouve la mise en œuvre de cas pilotes, d’essais randomisés (randomized trials) pour tester la pertinence de pratiques interventionnelles avant leur mise en œuvre plus formelle dans un système de recherche.

« [Thanks to] randomized control trials, you can actually test interventions before they become ingrained within the system. » // « [Grâce aux] essais contrôlés aléatoires, il est possible de tester les interventions avant qu’elles ne soient intégrées dans le système. » Tim Errington


Quelques objectifs à visée systémique des recherches menées
  • Améliorer la réplication et l’auto-correction pour ainsi accroître la fiabilité des résultats publiés

  • Renforcer la relecture par les pairs avant et après publication

  • Développer l’utilisation du pré-enregistrement d’études pour réduire les biais de déclaration

  • Réduire les conflits d’intérêts

  • Faire progresser l’utilisation de nouveaux critères de promotion et de financement des subventions

  • Créer de nouvelles mesures qui reflètent la qualité de la recherche, telles que la transparence des rapports, le partage des données, la reproductibilité et la valeur scientifique des résultats de recherche

Exemples de projets

Plusieurs objets d’études sont explorés allant de l’évaluation du niveau de réplication et de reproductibilité d’études, à l’utilisation des pre-print et de pré-enregistrement d’essais cliniques jusqu’à l’impact des nouvelles incitations et récompenses pour transformer les comportements et pratiques. Ces derniers se basent sur des protocoles systématiques et différents cas d’étude et/ou cas pilotes afin de comparer et tester l’efficacité. Ils se construisent aussi avec d’autres acteurs (éditeurs, financeurs, etc.) pour transformer les normes éditoriales par exemple ou encore mieux communiquer les résultats de recherche pour une meilleure exploitation par les décideurs (reporting).

  • repliCATS

« L’objectif du projet est d’évaluer la crédibilité des recherches publiées dans huit domaines des sciences sociales : la recherche commerciale, la criminologie, l’économie, l’éducation, les sciences politiques, la psychologie, l’administration publique et la sociologie. »

https://replicats.research.unimelb.edu.au/

  • Systematizing Confidence in Open Research and Evidence (SCORE)

« un projet financé par la Defense Advanced Research Projects Agency (DARPA) du département de la Défense des États-Unis pour évaluer la confiance dans les articles de recherche en développant des outils automatisés. Ce projet est toujours en cours et son application est encore hypothétique. »

https://www.darpa.mil/program/systematizing-confidence-in-open-research-and-evidence

  • TOP Guidelines

« Publiées dans Science en 2015, les directives de promotion de la transparence et de l’ouverture comprennent huit normes modulaires, chacune comportant trois niveaux de rigueur croissante. Les revues sélectionnent les huit normes de transparence qu’elles souhaitent mettre en œuvre et choisissent un niveau de mise en œuvre pour chacune d’elles. Ces caractéristiques offrent une certaine souplesse d’adoption en fonction des variations disciplinaires, mais établissent simultanément des normes communautaires. Les lignes directrices TOP ont été créées par des revues, des bailleurs de fonds et des sociétés pour aligner les idéaux scientifiques sur les pratiques. TOP fournit une série d’outils pour guider la mise en œuvre d’une recherche meilleure et plus transparente. » https://www.cos.io/initiatives/top-guidelines

  • Brazilian Reproducibility Initiative

Les activités de l’Initiative se concentrent actuellement autour d’un projet de réplication de grande envergure, pour évaluer la reproductibilité des résultats publiés dans 60 articles scientifiques brésiliens depuis une vingtaine d’années. Les premiers retours sur cette expérience, dont la finalisation est prévue pour 2022, ont récemment été publiés et argumentent en faveur d’une réforme du système de publication scientifique, et d’une réorganisation du travail scientifique pour favoriser les collaborations12. https://www.reprodutibilidade.bio.br/home


Ces recherches sont souvent associées à de nouveaux centres, laboratoire ou réseaux savants.

3.3 Exemples de centres et réseaux dédiés : COS et AIMOS

Le Center for Open Science (COS)

Le Center for Open Science (COS) est un exemple d’organisme qui combine à la fois recherche-conseil et développement d’infrastructures. Ainsi il structure ses activités autour de trois piliers : la recherche sur la recherche, un travail de conseil auprès de politiques publiques en interaction avec un écosystème d’acteurs (financeurs, journaux) et une activité de développement logiciel afin notamment de mettre en application les études qu’ils mettent en place autour de nouveaux objets (pre-print et pre-registration) (cf. encadré « Center for Open Science »).

« [COS looks at] how research is conducted and disseminated but also investigates different incentives, structures, policies and changes to that incentive landscape to see if they increase efficiency or research openness, but also looking at the risks that come along with it. » // « [Le COS examine] la manière dont la recherche est menée et diffusée, mais étudie également les différentes mesures d’incitation, les structures, les politiques et les changements apportés à ce paysage d’incitations pour voir s’ils augmentent l’efficacité ou l’ouverture de la recherche, tout en examinant également les risques qui en découlent. » – Tim Errington

« We [at COS] also do some policy work that coordinates with funders, institutions, journals, trying to look at how to test out and shift that policy landscape. » // « Nous [au COS] effectuons également un travail politique en coordination avec les bailleurs de fonds, les institutions, les revues, en essayant de voir comment tester et modifier ce paysage politique. » – Tim Errington

Le COS a notamment développé l’Open Science Framework13 une plateforme pour inciter à la traçabilité et la transparence des mécanismes de la recherche via des procédés de pré-enregistrement (pre-registration) des protocoles14. Des productions de tout type (protocoles de recherche, réponses d’appel à projets, pre-prints15, etc.) sont ainsi archivées de manière pérenne et sont des ressources pour les travaux de meta-research.

« We [COS] are also a software development company so we develop free tools […] and the flagship product is Open Science Framework, a platform to allow for sharing the research process, not just the data, but we have other service products that help too like pre-prints and pre-registration and building registries. » // « Nous [COS] sommes aussi une société de développement de logiciels et nous développons donc des outils gratuits […] et le produit phare est l’Open Science Framework, une plateforme permettant de partager le processus de recherche, pas seulement les données, mais nous avons d’autres produits de service qui aident aussi, comme les pré-publications et le pré-enregistrement et la construction de registres. » – Tim Errington


Center for Open Science (COS), États-Unis

« Notre mission est d’accroître l’ouverture, l’intégrité et la reproductibilité de la recherche. Pour que le COS puisse accomplir sa mission, nous devons faire évoluer la culture et les incitations qui régissent le comportement des chercheurs, l’infrastructure qui soutient leur recherche et les modèles commerciaux qui dominent la communication savante. Ce changement de culture nécessite un mouvement simultané des bailleurs de fonds, des institutions, des chercheurs et des fournisseurs de services au-delà des frontières nationales et disciplinaires. Notre vision est réalisable car l’ouverture, l’intégrité et la reproductibilité sont des valeurs partagées, la capacité technologique est disponible et il existe d’autres modèles économiques durables. » https://www.cos.io/about/mission


Association for Interdisciplinary Meta-Research and Open Science (AIMOS)

Comme le souligne Jason Chin en paraphrasant Brian Nosek, co-fondateur du COS, la metasience serait l’évolution des études des sciences et technologies (STS) grâce à deux éléents 1/les méthodes de traitement de données massives et 2/ un engagement fort des communautés de recherche. L’AIMOS (Association for Interdisciplinary Meta-Research and Open Science) en partenariat avec le COS et d’autres centres représente clairement l’aspect communautaire et bottom up de ces mouvements formant de nouveaux réseaux et se mobilisant autour d’événements et de pratiques communes.


Association for Interdisciplinary Meta-Research and Open Science (AIMOS), Australie

« AIMOS cherche à faire progresser le domaine interdisciplinaire de la méta-recherche en rassemblant et en soutenant les chercheurs dans ce domaine. La science a pour objectif de produire des connaissances solides et le concept d’expériences reproductibles est essentiel à cet égard. Cependant, la dernière décennie a été marquée par une « crise de la reproductibilité » dans le domaine scientifique. Dans un certain nombre de domaines scientifiques, tels que la psychologie et la médecine préclinique, les projets de réplication à grande échelle n’ont pas réussi à produire des preuves étayant les conclusions de nombreuses études originales. La méta-recherche s’attaque de front à ce défi. » https://aimos.community/


L’AIMOS se considère comme un réseau d’acteurs revendiquant les intérêts de la metascience en tant que nouveau champ de recherche AIMOS participe ainsi à la structuration du champ et à son intégration et visibilité. Par exemple la création d’un numéro d’attribution propre pour le champ de recherche de la metascience est une action souhaitée pour faciliter des demandes de financements auprès d’organismes financeurs.

« AIMOS has kind of operated like a professional society but for meta-research and open science. […] One thing AIMOS is considering doing is advocating for [a funder-issued research code for metascience to facilitate applying for funding] because right now it's kind of hard for [metascience] researchers to know where to slot [themselves]. » // « L’AIMOS a en quelque sorte fonctionné comme une société professionnelle, mais pour la métarecherche et la science ouverte. […] L’AIMOS envisage notamment de plaider en faveur [d’un code de recherche pour les metasciences émis par les bailleurs de fonds afin de faciliter les demandes de financement], car il est actuellement difficile pour les chercheurs [en metasciences] de savoir où se placer. » Jason Chin

En tant qu’association de professionnelle, un autre projet présenté par Jason Chin est la création d’une revue scientifique dédié à la metascience qui a l’ambition de structurer les connaissances produites par sa communauté (en plus de collections déjà existantes à ces sujets.)

3.4 Le rôle des fondations privées et la structuration d’un réseau de laboratoire et centres à l’international

L’étude des différents centres et laboratoires dédiés à la metascience fait apparaître que plusieurs sont financés aujourd’hui en partie par des fonds privés, notamment la Laura and John Arnold Foundation, qui joue un rôle important d’irrigation des travaux de metascience, comme l’a souligné en entretien Florian Naudet, ancien chercheur postdoctorant au METRICS (2015-2017)16. Au Brésil, le Brazilian Reproducibility Initiative (BRI) est financée par l’Institut Serrapilheira, une institution privée à but non lucratif destinée à promouvoir la science au Brésil.

Financé par les fondations Einstein et la Charité de Berlin, le laboratoire METRIC-B en Allemagne a été créé en 2019 et est hébergé par le QUEST Center for Responsible Research du Berlin Institute of Health (BIH). Ce centre est issu d’un des premiers laboratoires dédié à la metascience aux USA, dénommé METRICS. En entretien, il a été rappelé que les nouvelles communautés méta* collaborent régulièrement, par exemple sur la création d’indicateurs harmonisés.

« These interactions are mostly on joint projects, like for the dashboards for example. In this case QUEST works with other centers who do similar things because if everyone has different metrics then it gets a bit tricky to create a core set of metrics. » // « Ces interactions portent principalement sur des projets communs, comme les tableaux de bord par exemple. Dans ce cas, QUEST travaille avec d’autres centres qui font des choses similaires, car si chacun a des mesures différentes, il devient un peu difficile de créer un ensemble de mesures de base. » Ulrich Dirnagl


  • Meta-Research Innovation Center at Stanford (METRICS), États-Unis

« Lancé en avril 2014 grâce à une subvention fondatrice de la Fondation Laura et John Arnold, le Meta-Research Innovation Center at Stanford (METRICS) est un centre de recherche-action axé sur la transformation des pratiques de recherche afin d’améliorer la qualité des études scientifiques en biomédecine et au-delà. METRICS, un centre au sein de SPECTRUM, encourage les collaborations de recherche multidisciplinaires pour aider à produire des solutions qui augmentent l’efficacité et la valeur de la recherche scientifique. En servant de lentille qui concentre et amplifie l’impact des chercheurs, des décideurs et des autres personnes travaillant sur les questions de métarecherche, nous espérons améliorer le discours public et faire progresser le développement de politiques et de pratiques qui maximisent l’utilisation des meilleures pratiques de recherche. » https://metrics.stanford.edu/about-us


En résumé, ce mouvement communautaire meta* est largement impulsé par des chercheurs et chercheuses de ces disciplines avec la volonté de changer les pratiques et la culture de la recherche. Ces derniers s’appuient sur les cadres épistémologiques et méthodologiques familiers (approche hypothético-déductive, protocoles expérimentaux, essais randomisés) qu’ils appliquent à l’étude de la recherche. Une autre approche, quant à elle, puise dans le courant des sciences humaines et sociales computationnelles et de l’analyse de Big Data où les données issues de la recherche représentent un « laboratoire géant » à analyser. C’est ce que nous allons voir avec la présentation de quelques travaux et acteurs associés aux approches « science of science ».

La « science de la science » fondée sur des méthodes computationnelles en SHS

Les travaux regroupés sous le terme de « science de la science » (SciSci) s’attachent à analyser les relations structurelles qui sous-tendent la production scientifique. Le plus souvent regroupés au sein d’universités aussi bien aux États-Unis qu’en Europe (cf. « Exemples de centres et laboratoires »), les communautés de recherche associées mettent en œuvre des méthodes de sciences sociales computationnelles, parmi lesquelles figurent les techniques de modélisation de causalité, d’analyse de systèmes complexes, et d’analyse de réseaux. Un récent ouvrage the Science of Science publié par D. Wanget A-L. Barabasi explicite cette démarche et présente plusieurs travaux :

« SciSci offers a deep quantitative understanding of the relational structure between scientists, institutions, and ideas because it facilitates the identification of fundamental mechanisms responsible for scientific discovery. » // « SciSci offre une compréhension quantitative approfondie de la structure relationnelle entre les scientifiques, les institutions et les idées, car elle facilite l’identification des mécanismes fondamentaux responsables de la découverte scientifique. »17


Exemples de centres et laboratoires

  • Barabási Lab, Northeastern University, États-Unis

« Le Center for Complex Network Research (CCNR), dirigé par le professeur Albert-László Barabási, a un objectif simple : penser les réseaux. Les recherches du centre se concentrent sur la manière dont les réseaux émergent, sur leur aspect et leur évolution, et sur l’impact des réseaux sur la compréhension des systèmes complexes. » https://www.barabasilab.com/

  • Center for the Science of Science and Innovation, Northwestern University, États-Unis

« Le Center for Science of Science & Innovation (CSSI) est une communauté multidisciplinaire pour les leaders d’opinion dans des domaines tels que les sciences sociales computationnelles, la science des réseaux, l’intelligence artificielle et les systèmes complexes. Plus que jamais, la science moderne joue un rôle essentiel dans la croissance et l’innovation des entreprises et des économies du monde entier. Notre équipe utilise cette prolifération de données pour comprendre les succès en matière d’innovation et de travail en équipe, tout en prédisant l’impact scientifique et la production de connaissances. » https://www.kellogg.northwestern.edu/research/science-of-science.aspx

  • Science of Science and Computational Discovery Lab (SOS+CD), Syracuse University, États-Unis

« Le laboratoire SOS+CD s’efforce de comprendre les pratiques actuelles en science et de développer des méthodes semi-automatiques pour extraire des connaissances scientifiques à partir de vastes ensembles de données non structurées de publications en texte intégral, de citations et d’images. Nous utilisons diverses techniques informatiques, notamment l’apprentissage profond, le traitement du langage naturel, l’analyse des graphes, le traitement des images et l’inférence causale. » https://scienceofscience.org/

  • NEtwoRks, Data, and Society (NERDS), université IT de Copenhagen, Danemark

« Le groupe NEtwoRks, Data, and Society (NERDS), fondé en avril 2019, recherche des applications de la science des réseaux et des données aux systèmes sociaux. NERDS est composé de chercheurs interdisciplinaires qui se concentrent sur des projets quantitatifs à la frontière de la science des réseaux, de la science des données et des sciences sociales computationnelles, y compris la science de la science, les réseaux sociaux et la dynamique, les réseaux multiplex, la science du succès, la durabilité urbaine, la mobilité humaine, la visualisation des données et les questions fondamentales dans les systèmes complexes. » https://nerds.itu.dk/research/


Décrites ci-dessous par le RoRI, ces méthodes de traitement et d’analyse de méga-données sont considérées robustes et fiables pour évaluer la performance du système de recherche et mesurer l’impact de la recherche sur la société.

« At its heart, research on research is about ensuring that we have the evidence we need to realise the full potential of research. It’s about using robust methods to test interventions, and to generate and analyse data about the inner workings of the research system, and the impacts that research has in and on society ». // « La recherche sur la recherche consiste essentiellement à s’assurer que nous disposons des preuves dont nous avons besoin pour exploiter pleinement le potentiel de la recherche. Il s’agit d’utiliser des méthodes robustes pour tester les interventions et pour générer et analyser des données sur le fonctionnement interne du système de recherche et sur l’impact de la recherche dans et sur la société. »18

Néanmoins, plusieurs critiques ont été adressées suite à la sortie de l’ouvrage The Science of Science notamment de la part de chercheurs et chercheuses issues des STS et de la scientométrie incluant dans leurs travaux une approche réflexive sur la science ouverte, l’inclusivité et la diversité des pratiques de recherche.


Exemples des thématiques abordées en science de la science
  • l’amélioration fondée sur des preuves du système des politiques publiques et de la recherche

  • l’optimisation du système de relecture par les pairs

  • l’intégrité de la recherche computationnelle

  • les systèmes de recommandation pour la science

  • la détection de biais en intelligence artificielle


Démocratisation des données et « nouvelle garde » à la croisée des STS et de la scientométrie

3.1 Une nouvelle garde en STS et scientométrie : science ouverte, inclusivité, diversité comme objets d’étude et moteurs d’engagement

Le compte-rendu  Scientific success by numbers19  publié dans la revue Nature de l’ouvrage Science of Science apporte un regard critique sur la démarche mise en avant par les sciences sociales computationnelles. Ainsi, les pratiques décrites sont perçues comme réductrices, anachroniques et contre-productives malgré leur dimension quantitative car elles n’intègrent pas de références aux disciplines ayant historiquement étudié la science, ni les préoccupations d’inclusivité et de diversité des pratiques de recherche, portées des chercheurs et chercheuses à la croisée des études des sciences et technologies et de la scientométrie.

« Decades of empirical evidence from sociology and scientometrics show the strong influence of social and demographic factors on scientific performance. To ignore this is to enjoin administrators, funders and hiring committees to look to past success as a chief indicator of future success, without considering systemic barriers. » // « Des décennies de preuves empiriques issues de la sociologie et de la scientométrie montrent la forte influence des facteurs sociaux et démographiques sur les performances scientifiques. Ignorer cela revient à enjoindre les administrateurs, les bailleurs de fonds et les comités d’embauche à considérer les succès passés comme un indicateur principal des succès futurs, sans tenir compte des obstacles systémiques. »20

Qualifiée de « nouvelle garde » lors d’entretiens, cette communauté apporte un regard réflexif sur ses propres pratiques de recherche, mais aussi sur le système de recherche et son fonctionnement. Des études sur le genre ou bien sur le rôle de l’open access lors de la crise de la covid-19 sont ainsi au cœur de ses travaux (cf, encadré ci-dessous). Les publications et les débats suscités sont autant de gages médiatiques du « manque d’alignement des valeurs » entre communautés effectuant des recherches sur la recherche, comme le faisait remarquer Vincent Larivière en entretien, et d’une volonté de démarcation des communautés sur fond de tensions systémiques comme le disait James Wilsdon :

« In any disciplinary endeavor people are also fighting for resources, funding and status so that also inflects the narrative that they create around what they’re doing. » // « Dans toute discipline, les gens se battent également pour obtenir des ressources, des fonds et un statut, ce qui influe sur le récit qu’ils créent autour de ce qu’ils font. » James Wilsdon


Exemple de projet
  • Covid-19 pre-print tracker

« Ce site web présente les liens Preprint-Publication pour un corpus de 737 preprints relatifs à COVID-19 curés par le Centre de recherche en épidémiologie et statistique et Cochrane France. Le logiciel est développé dans le cadre du projet COVID-NMA. Récolte et consolidation des données à partir de ces API : bioRxiv, Crossref, Dimensions, PubPeer » https://www.irit.fr/~Guillaume. Cabanac/covid19-preprint-tracker

Exemple d’article et d’ouvrage

Extrait du résumé : « Cet article examine les pratiques sexuées en matière de communication sur la paternité, de désaccord et d’équité. Nos résultats montrent que les femmes sont plus susceptibles d’être confrontées à des désaccords sur la paternité d’un article et qu’elles y sont confrontées plus souvent. […] Cette dévalorisation du travail des femmes dans les sciences crée des désavantages cumulatifs dans les carrières scientifiques. Une discussion ouverte sur les dynamiques de pouvoir liées au genre est nécessaire pour développer une distribution plus équitable du crédit pour le travail scientifique. »

La sortie récente de l’ouvrage collectif Open Knowlegde Institutions (2021) est un exemple des réflexions menées par la « nouvelle garde » sur le système de la recherche. L’objectif est d’inciter les universités à adopter des protocoles transparents pour la création, l’utilisation et la gouvernance de ressources dans l’objectif de créer des connaissances partagées pour le bien commun.


Ces personnes adoptent également un regard critique quant aux modèles éditoriaux et à l’appropriation des données de la recherche par les éditeurs scientifiques qui se transforment en nouveaux fournisseurs de données. Par exemple, comme le raconte Guillaume Cabanac, cette tension a causé la démission d’une partie du comité éditorial du Journal of Infometrics,une revue sous abonnement, qui s’est reconstituée par la suite en comité éditorial de la revue Quantitative Science Studiescréée au MIT Presse et fortement impliquée en faveur de l’accès ouvert.

Le regard critique se porte aussi sur le volet scientométrique des travaux de recherche menés. La mise en place d’indicateurs et de métriques et leurs impacts sur le système de la recherche et les professionnels de la recherche sont des problématiques soulevées. Le Centre for Science and Technology Studies (CWTS) de l’université de Leiden aux Pays-Bas, très impliqué sur les sujets de la communauté « nouvelle garde », a créé son propre classement, le Leiden ranking, qui prend en compte des facteurs comme celui du genre pour un calcul plus fin de la production scientifique à l’échelle des universités.

« The Leiden ranking that [CWTS] produces yearly details journalistic performance, but also covers open access statistics and gender statistics over productivity in a thousand different domains. » // « Le classement de Leyden que [CWTS] produit chaque année détaille les performances journalistiques, mais couvre également les statistiques d’accès libre et les statistiques de genre sur la productivité dans un millier de domaines différents. » Vincent Traag

Dans le sillage du Leiden Manifesto21, qui appelle à la mise en place de bonnes pratiques en matière d’évaluation de la recherche basée sur les indicateurs, le CWTS travaille à la fois avec les grands groupes éditoriaux et les universités pour réformer le système d’évaluation de la recherche.

« [The CWTS has] another website on journal indicators [that] has been developed in the context of Elsevier for developing the SNIP (source normalized impact per paper) indicator22. It has also been made available outside of the Scopus environment. » // « [Le CWTS dispose d’un autre site web sur les indicateurs de revues [qui] a été développé dans le cadre d’Elsevier pour le développement de l’indicateur SNIP (source normalized impact per paper)1. Il a également été mis à disposition en dehors de l’environnement Scopus. » Vincent Traag

L’existence d’indicateurs n’est pas perçu comme problématique en soi, mais il s’agit de pouvoir les affiner, former à leur utilisation, sensibiliser quant aux possibles erreurs d’interprétation, et surtout ne pas les considérer comme une fin, mais plutôt comme un moyen parmi d’autres.

« Il est essentiel de développer des indicateurs relatifs aux biens communs, plutôt que des classements liés à des objectifs néo-libéraux. » // « It is essential to develop indicators related to the commons, rather than rankings linked to neo-liberal objectives. » Vincent Traag

Les centres de recherche associés à la « nouvelle garde » jouent un rôle important à l’échelle des politiques institutionnelles grâce à leurs travaux sur les indicateurs, mais aussi par les activités de conseil qu’ils développent. Par exemple, comme le précise Vincent Traag, le CWTS est un centre de recherche qui exerce aussi une activité rémunérée de conseil et s’associe à la mouvance institutionnelle à l’échelle des politiques publiques de recherche sur la recherche23.

« CWTS is a research institute on the one hand but it’s also a company. Indeed there’s consultancy being done which increases broader perspectives. » // « Le CWTS est un institut de recherche d’une part, mais c’est aussi une entreprise. Il y a en effet des activités de conseil qui permettent d’élargir les perspectives. » Vincent Traag


Exemple de centres et de laboratoires

  • Center for Science and Technology Studies (CWTS), Université de Leiden, Pays-Bas

« Le Centre for Science and Technology Studies (CWTS) étudie la recherche scientifique et ses liens avec la technologie, l’innovation et la société. Nos recherches, nos outils bibliométriques et scientométriques et notre expertise en matière d’évaluation constituent une base solide pour soutenir l’évaluation de la recherche et la prise de décision stratégique et pour élaborer une politique scientifique. » https://www.cwts.nl/

  • School of Public Policy, Georgia Institute of Technology, États-Unis

« Nos recherches et nos programmes d’études visent à comprendre l’impact global de la science, de la technologie et de l’innovation sur la société, et à former des leaders transdisciplinaires capables d’analyser et de prendre des décisions éclairées sur le plan éthique dans l’intérêt public. Reconnaissant la diversité vitale des perspectives dans une société culturellement et technologiquement en évolution, nous nous efforçons d’avoir un impact positif sur les questions humaines les plus difficiles de notre époque. » https://spp.gatech.edu/

  • Chaire de recherche du Canada sur les Transformations de la Communication Savante (CRCTCS)

« Le programme de recherche de la Chaire de recherche du Canada sur les transformations de la communication savante s’intéresse : aux modes de production des connaissances ainsi qu’à leurs déterminants socio-démographiques, aux modes de diffusion et à l’usage des nouvelles connaissances et, à l’attribution du capital scientifique et aux valeurs qui y sont associées. Il vise à mieux comprendre l’évolution des pratiques de recherche et de diffusion à l’ère numérique et leurs effets sur la structure de la communauté scientifique, ce qui permettra d’éclairer l’élaboration des politiques publiques en matière de recherche scientifique et technologique. » https://crc.ebsi.umontreal.ca/a-propos/description/


Mais avant d’aborder ce point, une dernière dynamique reste à décrire, celle de la construction d’outils par et pour des communautés de recherche afin de se réapproprier les données et l’évaluation de la recherche.

3.2 Démocratisation des données et réappropriation des outils d’évaluation de la recherche

Aujourd’hui, les données de la recherche sont rendues davantage accessibles et réutilisables grâce aux développements de l’open access mais aussi l’application des principes FAIR (Findable, Accessible, Interoperable, Reusable) facilitant l’ouverture, la structuration et l’interopérabilité des données. Depuis une vingtaine d’années, des initiatives issues de l’édition scientifique comme Crossref et I40C aident à l’identification des objets numériques et à la standardisation des métadonnées des publications scientifiques, contribuant ainsi à une « démocratisation des données » de la recherche comme le nomme Vincent Larivière.


Exemples d’initiatives menées dans le champ de l’édition scientifique :
  • I40C

« L’initiative pour les citations ouvertes (I4OC) est une collaboration entre des éditeurs, des chercheurs et d’autres parties intéressées pour promouvoir la disponibilité sans restriction des données de citation. L’initative fait partie d’un mouvement plus large visant à promouvoir l’ouverture des métadonnées bibliographiques. En particulier, I4OC a une relation étroite avec l’Initiative for Open Abstracts (I4OA), une initiative sœur. » https://i4oc.org/

  • Crossref

« Crossref permet de trouver, citer, lier, évaluer et réutiliser facilement les résultats de la recherche. Nous sommes une organisation à but non lucratif dont la raison d’être est d’améliorer les communications scientifiques. Nous rassemblons la communauté, marquons et partageons les métadonnées, gérons une infrastructure ouverte, jouons avec la technologie et créons des outils et des services – tout cela pour aider à mettre le contenu scientifique en contexte. » https://www.crossref.org/about/


Les infrastructures ainsi créées sont le socle sur lequel s’appuient aujourd’hui de nouveaux projets portés par des communautés de recherche au sein de structures publiques ou privées, pour se réapproprier les données liées auxproductions scientifiques et les mécanismes d’évaluation de la recherche. Open Knowledge Maps et Our Research présentées ci-dessous sont des projets qui se sont récemment structurées pour la découvrabilité des connaissances et leurs analyses.


Exemples de projets pour la découvrabilité des connaissances
  • Open Knowledge Maps : organisation à but non-lucratif soutenu par des dons d’organismes publics et privés, spin-off du KNOW Center, centre recherche public basé en Autriche.

« Nous construisons une interface visuelle qui augmente considérablement la visibilité des résultats de la recherche pour la science et la société. Nous sommes une organisation caritative à but non lucratif et nous pensons qu’une meilleure façon d’explorer et de découvrir les connaissances scientifiques sera bénéfique pour tous. » https://openknowledgemaps.org/about

  • Our Research : organisation à but non-lucratif soutenu par des fonds publics et privés, lancée par des chercheur·e·s développant des outils pour leur communauté aux États-Unis.

« Nous créons des outils qui rendent la recherche plus ouverte. Nos outils gratuits et libres sont utilisés par des millions de personnes chaque jour, dans les universités, les entreprises et les bibliothèques du monde entier, pour découvrir, connecter et analyser les produits de la recherche. » https://ourresearch.org/

Exemples d’outils  développés par Our Research:

  • Unpaywall : une base de données ouverte d’articles scientifiques gratuits. https://unpaywall.org/

  • Unsub : tableau de bord de désabonnement qui aide à les institutions à réévaluer la valeur de leurs contrat avec les éditeurs scientifiques et à comprendre leurs options d’annulation. https://unsub.org/

  • ImpactStory : A researcher impact profile that highlights the impact of Open Science activities. https://profiles.impactstory.org/

  • Get The Research : An academic search engine for people outside academia. https://gettheresearch.org/


Pour ces communautés, il est question de s’allier avec d’autres types d’acteurs et d’agir à différentes échelles contre les mésusages des indicateurs d’impact et pour le rééquilibrage de l’hégémonie exercée sur les données de la recherche notamment par des acteurs privés à but commercial.

« Les acteurs établis comme Scopus et Web of Science n’ont aucun intérêt à ce que de nouveaux acteurs comme Dimensions ou Lens proposent gratuitement des notices bibliométriques et des dashboards personnalisés. Il y a donc des tensions fortes entre les acteurs de l’ancienne garde et de la nouvelle garde qui vont par exemple tirer partie des données de Crossref (abstracts, citations…). » Guillaume Cabanac

Les enjeux de démocratisation des données, de science ouverte, d’éthique et de transparence donnent lieu aujourd’hui également à de nouvelles alliances entre centres de recherche, fournisseurs de données, organismes de financement et décideurs politiques qui voient par le biais de cette dynamique d’outillage de la recherche sur la recherche une manière de mieux orienter les politiques publiques et de les fonder sur des preuves. Aujourd’hui, de telles démarches s’associent à la notion de recherche sur la recherche dont l’objectif est d’améliorer l’efficacité des mesures prises par les politiques publiques de la recherche. Quelques instituts clefs et inspirants (RoRI et QUEST) serviront d’illustration au prochain chapitre.

Comments
0
comment
No comments here
Why not start the discussion?