Skip to main content

4 | La « recherche sur la recherche » comme outil de conduite des politiques publiques

Des politiques publiques fondées sur des preuves | De nouvelles alliances : centre de recherche, décideurs politiques et organismes de financement | Les enjeux de la « recherche sur la recherche » pour la science ouverte

Published onMay 16, 2022
4 | La « recherche sur la recherche » comme outil de conduite des politiques publiques
·

Des politiques publiques fondées sur des preuves

La volonté d’amélioration de la science passe par un glissement des recherches portant sur les pratiques de recherche et leurs évaluations à l’échelle de disciplines ou de laboratoires vers des travaux portant sur l’efficacité, la transparence des systèmes de recherche. Les démarches s’inspirent des approches détaillées précédemment notamment en bio-médecine avec des pratiques fondées sur les preuves (evidence based practices) et le changement de culture (sur la base de nouvelles incitations et récompenses, etc.) mais cette fois-ci appliquées à l’échelle d’instituts de recherche, d’université ou de pays.

Pour les politiques publiques de recherche, il s’agit de développer des études prenant comme base les données du système de recherche et des productions scientifiques, de s’équiper d’outils d’aide à la découvrabilité de ces informations, de mettre en place des tableaux de bords pour mesurer l’impact de mesures prises (par exemple en faveur de la science ouverte) sur le temps ou de les comparer avec d’autres pays (cas d’étude et pilote). Pour les acteurs impliqués, la « recherche sur la recherche » offre la possibilité d’aider au changement de culture en apportant des preuves qui rendent les prises de décision en matière de politique publique plus fiables, transparentes et convaincantess’appuyant le moins possible sur l’intuition subjective des individus.

«  Modeling helps people think through things with a bit more rigor, and in the long term, to try to make policies. Sometimes there’s confusion betwween correlation and causation. This can be addressed in the policy, though it’s not often done. » // « La modélisation aide les gens à réfléchir aux choses avec un peu plus de rigueur et, à long terme, à essayer d’élaborer des politiques. Il y a parfois confusion entre corrélation et causalité. Cela peut être pris en compte dans les politiques, bien que cela ne soit pas souvent le cas. » Vincent Traag

Un des axes important est celui du financement de la recherche : comment mieux allouer les financements de recherche en évitant des biais ? Faut-il développer une approche par loterie de l’allocation de fonds (cf. Research on Research Institute) ? La question du gâchis généré par le financement de recherches non-reproductibles se pose. Par exemple, la revue The Lancet publiait déjà en 2014 une série d’articles sur le gâchis dans le domaine de la recherche biomédicale, faisant part d’une perte chiffrée en centaine de millions de dollars du fait de recherches qui ne sont pas reproductibles1.Pour Marin Dacos, ces travaux apportent un chiffrage financier compréhensible à l’échelle politique et transformable en politique publique.

Les enjeux d’équité, de diversité, et d’inclusion en recherche2 (equity, diversity, inclusion) associés en Europe à la notion de recherche et d’innovation responsable (RRI)3 sont aussi au cœur des problématiques abordées. Cela implique de mieux comprendre l’évaluation des chercheurs, les enjeux de carrière, afin de former les nouvelles générations (early career researcher) pour impulser un changement de pratiques et de cultures.

Pour mener à bien ces recherches, de nouvelles alliances voient le jour dans plusieurs pays entre décideurs politiques, organismes de financement, centres de recherche universitaires, éditeurs et fournisseurs de données de rechercheafin de faciliter la mise en œuvre de projets à des échelles nationales voir internationales.

De nouvelles alliances : centre de recherche, décideurs politiques et organismes de financement

L’apparition de ces nouvelles structures répond aussi aux besoins grandissants de contact, de dialogue et de médiation entre politiques publiques de la recherche et communautés de recherche dans les laboratoires ou centres universitaires, dans un contexte de changement systémique impulsé par la science ouverte. Deux centres ont fait l’objet d’une étude plus détaillée dans l’enquête sur la base de deux entretiens avec leurs responsables respectifs : le QUEST et le RoRI.

QUEST Center for Responsible Research

En Allemagne, le centre QUEST (QUality-Ethics-openScience-Translation) pour une Recherche Responsable (QUEST Center for Responsible Research) allie l’Institut de Santé de Berlin (Berlin Health Institute4), l’hôpital de la Charité de Berlin, et le ministère de l’Éducation et de la Recherche allemand pour accomplir des missions d’évaluation de la recherche en santé, dans une visée d’amélioration des pratiques et de la culture scientifiques en interne comme en externe avec leurs propres données de recherche. Le centre est financé en partie par l’Institut de Santé de Berlin, mais aussi par d’autres parties prenantes en fonction des projets et partenariats.

« We [at QUEST] have a very specific research evidence-driven agenda. Most of what we are doing fits into a framework which is in principle a large-scale behavior intervention with the goal to change culture. » // « Nous [à QUEST] avons un programme de recherche très spécifique, fondé sur des preuves. La plupart de nos activités s’inscrivent dans un cadre qui est en principe une intervention comportementale à grande échelle visant à changer la culture. » Ulrich Dirnagl

L’équipe du centre regroupe une soixantaine de personnes provenant de disciplines variées, par exemple de neurosciences, médecine, psychologie, sociologie ou encore d’histoire des sciences. Pour, Ulrich Dirnagl la collaboration est facilitée en interne par une vision commune et partagée des objectifs et des valeurs du centre.

Le centre QUEST développe en parallèle une activité de conseil auprès d’organismes internationaux tels le National Institute of Health (NIH) aux États-Unis ou la European Molecular Biology Organization, et au niveau national auprès dedécideurs en faveur de politiques publiques de la santé plus transparentes. Le centre est membre co-fondateur du German Reproducibility Network, un consortium trans-disciplinaire qui œuvre pour une meilleure transparence et fiabilité de la recherche scientifique fondé sur le modèle du UK Reproducibility Network, et qui vient s’ajouter aux structures européennes dédiées à la « recherche sur la recherche ».


QUEST Center for Responsible Research, Allemagne

« Le centre QUEST s’efforce d’accroître la valeur de la recherche biomédicale au BIH et au-delà. De surmonter les obstacles à la médecine translationnelle : augmenter la fiabilité, l’utilité et l’éthique de la recherche biomédicale en maximisant la qualité, la reproductibilité, la généralisation et la validité de la recherche BIH. Faire prendre conscience de la nécessité de repenser la recherche biomédicale et d’initier un changement de culture dans la biomédecine universitaire. » https://www.bihealth.org/en/translation/innovation-enabler/quest-center/mission-approaches

Un article synthétique du QUEST résumant la démarche et les projets menées :

Dans l’article « Improving the Trustworthiness, Usefulness, and Ethics of Biomedical Research through an Innovative and Comprehensive Institutional Initiative »15 les membres du QUEST partagent leurs expériences, approches et recommandations issues de l’activité du centre à l’égard des responsables administratifs et stratégiques des universités, laboratoires (faculty) aussi bien qu’aux chercheurs désireux d’améliorer leurs pratiques scientifiques. Un schéma (Fig1.) décrit notamment le cadre institutionnel du centre pour un changement culturel ou la méta-recherche et la bioéthqiue viennent nourrir l’ensemble de la structuration du QUEST, de la définition des principes clefs, aux processus mis en œuvre jusqu’aux services offerts.

Fig 1. The QUEST Center framework for institutional “culture change”. Issu de l’article de Strech et al. (2020). Image mise à disposition en CC-BY

Plusieurs recommandations sont aussi indiquées dans l’article, par exemple :

  • changer les récompenses et incitations

  • mettre en avant les recommandations officielles

  • fournir des états des lieux des performances institutionnelles et nationales

  • associer des approches top-down à un engagement bottom-up


Research on Research Institute

Au Royaume-Uni, l’Institut de Recherche sur la Recherche (Research on Research Institute) est un partenariat international entre le fonds caritatif britannique Wellcome Trust, l’entreprise privée Digital Science & Research Solutions, l’université de Sheffield et le Center for Science and Technology Studies à l’université de Leiden aux Pays-Bas. Vincent Larivière indique qu’il s’agit« [d’]un institut sans précédent car un organisme subventionnaire devient partie-prenante. » À travers un modèle de consortium, le RoRI souhaite produire des analyses indépendantes pour contribuer à l’amélioration du cycle de vie du système de la recherche depuis le financement jusqu’à l’évaluation en passant par le pilotage et la réalisation, au niveau international avec une dimension comparative :

« We [at RoRI] believe more effort is needed to develop theoretical frameworks, standardize methods, strengthen networks, and test the transferability of approaches from one context to others. We are committed to translating ideas and evidence into practical ‘real world’ solutions to improve research culture and systems. » // « Nous [au RoRI] pensons qu’il faut davantage d’effort pour développer des cadres théoriques, normaliser les méthodes, renforcer les réseaux et tester la transférabilité des approches d’un contexte à l’autre. Nous nous engageons à traduire les idées et les preuves en solutions pratiques du « monde réel » pour améliorer la culture et les systèmes de recherche. » James Wilsdon

Depuis 2019, le RoRI a mis en place cinq projets pilote autour de l’évaluation par les pairs, la carrière des jeunes chercheur·e·s, la « FAIRisation »6 des données de la recherche, l’attribution des financements en recherche, en particulier les systèmes de loterie, et les critères d’excellence en recherche. James Wilsdon considère que la présence de l’entreprise privée Digital Science, qui donne au RoRI accès à la base de données Dimensions concurrente de Scopus ou Web of Science7, offre à l’entreprise les bénéfices réputationnels de s’associer à une initiative non-commerciale de bien public.

Dès sa création, l’Institut est organisé sur un modèle de consortium à visée européenne et internationale avec des partenaires effectuant des recherches sur la recherche dans plusieurs pays au niveau local.

« The group is constituted of a lot of actors from different European countries (though not from France) with a mix of foundations such as the Volkswagen foundation, the Sloan foundation, the Chan Zuckerberg initiative in San Francisco, but also public funding agencies like Der Wissenschaftsfonds (FWF) from Austria, the Swiss National Science Foundation (SNSF), a funding agency in Norway, and UK Research and Innovation (UKRI). The idea was to try to unlock more of the potential to share data and do larger scale analysis across those organizations. It's a very co-productive model because the primary contribution is not money but actual participation in the projects. » // « Le groupe est constitué d’un grand nombre d’acteurs de différents pays européens (mais pas de la France), avec un mélange de fondations telles que la fondation Volkswagen, la fondation Sloan, l’initiative Chan Zuckerberg à San Francisco, mais aussi des agences de financement public comme Der Wissenschaftsfonds (FWF) d’Autriche, le Fonds national suisse de la recherche scientifique (FNS), une agence de financement en Norvège, et UK Research and Innovation (UKRI). L’idée était d’essayer d’exploiter davantage le potentiel de partage des données et d’analyse à plus grande échelle au sein de ces organisations. Il s’agit d’un modèle très co-productif, car la contribution principale n’est pas financière, mais consiste en une participation effective aux projets. » James Wilsdon

Afin de faciliter les actions transverses et le partage de données de la recherche entre pays, il est question pour l’Institut de changer de statut administratif pour devenir une entité indépendante, et d’ouvrir la gouvernance à d’autres institutions membres, qui passeraient de 4 à 8 dans les mois à venir.

« One option that [RoRI is] discussing with a number of its current partners is the creation of sort of network of different national labs. » // « Une option que [le RoRI] examine avec un certain nombre de ses partenaires actuels est la création d’une sorte de réseau de différents laboratoires nationaux. » James Wilsdon

« RoRI is also trying to […] broaden the scope of its partnerships, as detailed in RoRI’s Invitation to partnership propsectus. Instead of being four founding partners, they hope a bigger group of maybe eight or ten core partners could be co-owners of RoRI. They also want to set RoRI’s legal status to be as a social enterprise, a community interest company in British law. One of the conclusions from the first pilot phase was that it would be helpful to have some kind of legally independent entity. It would make it easier to set up legal agreements. » // « RoRI essaie également […] d’élargir la portée de ses partenariats, comme le précise le propsectus Invitation au partenariat de RoRI. Au lieu de quatre partenaires fondateurs, ils espèrent qu’un groupe plus important de huit ou dix partenaires principaux pourrait être copropriétaire de RoRI. Ils souhaitent également que le statut juridique de RoRI soit celui d’une entreprise sociale, une société d’intérêt communautaire en droit britannique. L’une des conclusions de la première phase pilote était qu’il serait utile d’avoir une sorte d’entité juridiquement indépendante. Cela faciliterait la mise en place d’accords juridiques. » James Wilsdon


Research on Research Institute (RoRI), Royaume-Uni

« We can't unlock the full potential of investment in research systems, or fix problems in research cultures, unless we have the evidence and tools to understand them. » // « Nous ne pouvons pas libérer tout le potentiel des investissements dans les systèmes de recherche, ni résoudre les problèmes des cultures de recherche, si nous ne disposons pas des preuves et des outils nécessaires pour les comprendre. » (extrait site web RoRI)

« Au cours de la dernière décennie, l’engagement dans la recherche sur la recherche (RoR) s’est intensifié. Les décideurs politiques veulent utiliser ces méthodes pour garantir la conception et le fonctionnement efficaces des systèmes de R&D. Les bailleurs de fonds souhaitent mieux comprendre les impacts de leurs investissements et expérimenter de nouvelles approches en matière d’allocation et d’évaluation. Les éditeurs cherchent à anticiper et à influencer l’évolution de la communication scientifique et des modèles d’évaluation par les pairs. Les chercheurs eux-mêmes produisent et utilisent de plus en plus de données de RoR pour informer et influencer les améliorations au sein des institutions et des cultures dans lesquelles ils travaillent. Le RoRI traduit les idées et les preuves en solutions pratiques et concrètes pour améliorer la culture et les systèmes de recherche. Pour ce faire, nous réunissons des personnes et des organisations qui s’intéressent à la recherche, recueillons des informations et développons des outils pour informer et améliorer la manière dont la recherche est financée, pratiquée, communiquée et évaluée. » https://researchonresearch.org/about

Exemples de projets menés par le RoRI :

PATHWAYS : « Ce projet étudie la manière dont les données sont recueillies sur les carrières dans la recherche, afin de déterminer la meilleure façon de recueillir ces informations à l’avenir. Nous examinons les parcours de carrière dans la recherche dans six pays : Autriche, Canada, Danemark, Allemagne, Royaume-Uni et États-Unis. » https://researchonresearch.org/projects#!/tab/273951116-4

RANDOMISATION : « Ce projet mène une série d’expériences pour tester le fonctionnement du financement de la recherche par loterie, afin de comprendre les avantages et les inconvénients de ces approches et la meilleure façon de les utiliser. »

https://researchonresearch.org/projects#!/tab/273951116-6


En résumé, les études sur la science aujourd’hui sont diverses et couvrent un grand nombre d’enjeux à différents niveaux. La diversité des courants et approches décrites montrent que certaines se centrent essentiellement sur des problématiques de communautés disciplinaires et adoptent une dynamique plus ascendante (bottom-up) sachant que d’autres s’intéressent à l’échelle des systèmes de recherche et s’impliquent au niveau des politiques de recherche. Les démarches sont aussi variées, avec des approches plus descriptives et observationnelles qui font partie de la longue tradition d’études des sciences et de l’évaluation de la recherche, et une dynamique interventionnelle et prescriptive plus récente qui amène un changement de culture et de réforme au sein du monde de la recherche.

Les outils tout autant que les infrastructures utilisés ont un double enjeux. D’une part, en tant que nouveaux dispositifs de communication savante, il s’agit de comprendre leurs impact et effets sur les pratiques à l’œuvre (pre-print, pré-enregistrement, identifiant unique, open profile, etc.). D’autre part, puisque ces dispositifs et infrastructures produisent eux-mêmes des données qui servent de base à la recherche sur la recherche, une des problématiques est de savoir à qui elles appartiennent et quels modèles économiques et de gouvernance y sont associés. Ce dernier élément vient questionner notamment la place dans la science ouverte de l’ouverture des données et des infrastructures de recherche.

Les enjeux de la « recherche sur la recherche » pour la science ouverte

La recherche sur la recherche et la science ouverte se développent en parallèle et partent d’un engagement normatif commun : celui d’ améliorer le système de recherche actuel. Dans les deux cas, il s’agit d’observer la manière dont se pratique la recherche scientifique et la production de connaissances afin d’identifier les changements nécessaires à apporter pour une meilleure qualité des travaux de recherche. Souvent, les axes d’amélioration identifiés par la recherche sur la recherche recoupent les champs d’intervention de la science ouverte, comme lorsqu’il s’agit des questions sur l’accessibilité et la transparence des données et des résultats de recherche.

« If you have a good open science/open research ecosystem and infrastructure then that is a very important enabling tool for good metascience. […] there’s a strong mutually reinforcing dynamic. » // « Si vous disposez d’un bon écosystème et d’une bonne infrastructure de science et de recherche ouvertes, il s’agit d’un outil très important pour une bonne metascience. […] il existe une forte dynamique de renforcement mutuel. » James Wilsdon

« It would be positive to have everything available on a public domain […] where all data are always shared publicly including all improvements that are made over any source data, with public funding for it. » // « Il serait positif que tout soit disponible sur un domaine public […] où toutes les données sont toujours partagées publiquement, y compris toutes les améliorations apportées aux données sources, avec un financement public. » Vincent Traag

Exemples d’objets de recherche communs entre la science ouverte et les études sur la science et la recherche (STS, SciSi, metascience, RoR, etc.)

D’autres thématiques abordées, qui sont davantage associées à la recherche et l’innovation responsable (Responsible Research and Innovation), ne sont pas au cœur des politiques de la science ouverte, comme l’éthique, la diversité, et l’inclusion en recherche. Par ailleurs, science ouverte et recherche sur la recherche ne se recoupent pas forcément sur les choix faits autour des données de la recherche et des infrastructures composant le système de la recherche.

« Il est important de comprendre que la science ouverte et la science de la science sont deux notions distinctes. Il n’y a pas beaucoup de gens aux interstices de ces deux champs. » Vincent Larivière

Même si l’open access semble une pratique commune, la question se pose des positionnements par rapport à l’accès aux données servant de base à ces travaux de recherche S’agit-il de se fonder sur des données et outils issus d’éditeurs et de fournisseurs privés ? De s’associer à de nouveaux entrants à l’instar du RoRI avec Digital Science ? Ou encore favoriser le développement d’infrastructures et de données ouvertes pour une réappropriation de la production scientifique mais aussi de son évaluation ?
Les mouvements décrits tout au long de ce rapport montrent différents avis, opinions et stratégies allant d’une vision pragmatique comme celle de Vincent Traag pour avoir accès à une exhaustivité des travaux scientifiques, à un engagement plus fort dans le soutien d’initiatives prônant des infrastructures ouvertes.

« It might be worth at least using traditional databases in some capacity in order to serve as a comparison basis. Then, if you have access to these databases, at least you can start building on something that compare new tools or new infrastructures to what was done before, and show how the new initative is actually doing a better job. It’s very useful to still have at least those databases on board in order to try to work your way around them. So I would be pragmatic with all of these choices about the level of openness and exclusivity. These databases might still be useful even though that they are not open access or they are not open. They can still have a value in this regard at least for getting things started. » // « Il pourrait être intéressant d’utiliser au moins les bases de données traditionnelles dans une certaine mesure afin de servir de base de comparaison. Ensuite, si vous avez accès à ces bases de données, vous pouvez au moins commencer à construire sur quelque chose qui compare les nouveaux outils ou les nouvelles infrastructures à ce qui était fait auparavant, et montrer comment la nouvelle initiative fait réellement un meilleur travail. Il est très utile d’avoir au moins ces bases de données à bord afin d’essayer de les contourner. Je serais donc pragmatique avec tous ces choix concernant le niveau d’ouverture et d’exclusivité. Ces bases de données peuvent toujours être utiles même si elles ne sont pas en accès libre ou si elles ne sont pas ouvertes. Elles peuvent encore avoir une valeur à cet égard, au moins pour démarrer les choses. » Vincent Traag

Ces enjeux ont fait l’objet d’échanges et de discussion en toile de fond des entretiens dans le cadre des questions posées visant à recueillir de la part des personnes interrogées des conseils sur la mise en œuvre du LabSO.

Comments
0
comment

No comments here

Why not start the discussion?