Skip to main content

5 | Recommandations pour la préfiguration du Lab de la science ouverte

Considérations géopolitiques et économiques dans un contexte international | Organisation et mise en œuvre de l’activité du LabSO

Published onMay 16, 2022
5 | Recommandations pour la préfiguration du Lab de la science ouverte
·

Les entretiens ont été l’occasion de recueillir différentes recommandations quant à la mise en œuvre d’un Lab de la science ouverte. La diversité de profils interrogés venant de contextes géographiques (Royaume-Uni, Canada, États-Unis, Allemagne, Brésil, France) et d’institutions variés (centres de recherche dédié à la recherche sur la recherche, centre et chaire de recherche en sociologie, communication, scientométrie, laboratoires d’autres disciplines telles que l’informatique, le biomédical, etc.) ont permis de couvrir un certain nombre d’enjeux. Ces derniers se situent à deux niveaux :

  • à une échelle macro/meso : positionnement stratégique (articulation avec d’autres acteurs/centres dédiés à l’international sur ces sujets, rapport aux fournisseurs de données), regard critique et réflexif sur les métriques et la mise en œuvre d’indicateurs.

  • à une échelle micro et interne au Lab : mode d’organisation des membres du Lab, thématiques choisies et impact des travaux réalisés et de leur communication.

Éléments de positionnement stratégique

5.1 Porter une attention sur la « fabrique » des indicateurs et sur l’usage des métriques

Une thématique clef revenant dans l’ensemble des entretiens concerne la construction de politiques publiques sur la base de travaux quantitatifs et de construction d’indicateurs et de métriques. Outre des risques et points de vigilance énoncés, des pistes de solutions ont aussi été formulées.

La fabrique des indicateurs et métriques

Il a été rappelé tout d’abord qu’une prise de recul est nécessaire sur la fabrique d’indicateurs et la constitution de « tableaux de bords » afin de suivre la production scientifique (niveau national et institutionnel) et guider les décisions de politiques publiques. Un indicateur, comme le note David Pontille, est une représentation du réel toujours partielle, qui observe simplement une partie d’un phénomène. Les indicateurs sont le reflet de choix et de production définitionnelles de ce qui serait une « meilleure science », une « science ouverte », une « donnée ouverte », etc. Par exemple, une des personnes interrogées note qu’aujourd’hui ce qu’on appelle open access tend à survaloriser l’open access gold1. Quid des autres productions scientifiques ? Est-ce qu’un article sans licence ne sera pas compté comme de la science ouverte ? Les infrastructures et les outils de mesure incorporent en effet des normes, la plupart non-questionnées, qui ont un impact majeur sur les pratiques en recherche mais aussi les modèles économiques de la science ouverte (édition scientifique, etc.).

Il est important de se questionner sur cette fabrique des indicateurs et quelles sont les normes et les modèles que ça favorise (gommage d’une diversité). une personne interviewée

Outre cet aspect relatif à la construction des indicateurs, un autre point soulevé lors des entretiens concerne l’impact même des métriques sur les communautés et la production scientifiques. Les effets de mésusages et de « gaming » amplifiés par une évaluation quantitative de la recherche sont connus (H-Index, impact factor) et s’illustrent par des contournements, tout autant que des cercles vicieux dans les pratiques. On peut citer par exemple, la course à la publication (plutôt que la recherche de qualité scientifique) ou encore un « forcage technique » imposant l’usage d’un outil plutôt qu’un autre. En ce sens, il ne faut pas que l’engouement de la mesure de la science mène à des indicateurs plus nocifs que ceux existants aujourd’hui . Les chercheurs et chercheuses·impliquées dans la construction d’indicateurs ou participant à leurs mises en œuvre sont souvent sensibilisées à ces enjeux et les considèrent avec précaution. Mais comme le remarquent Vincent Larivière et Guillaume Cabanac, ce n’est pas autant le cas du public de chercheur·e·s, décideur·e·s politiques, responsables stratégiques qui les reçoivent sous forme de représentation visuelle (graphique, carte dynamique, etc.). Ainsi, ces chercheurs sont souvent amenés à apporter une perspective critique quant à ces métriques auprès de leur institution. Ulrich Dirnagl précise également qu’il ne s’agit pas de « croire aveuglement » à ces mesures même si celles-ci intègrent des principes FAIR2. Concernant la science ouverte plus spécifiquement, Vincent Larivière apporte également un bémol en rappelant qu’à l’heure actuelle, outre des mesures concernant les publications scientifiques, les métriques sur les données ouvertes ne sont que faibles. Concernant la science ouverte plus spécifiquement, Vincent Larivière apporte également un bémol en rappelant qu’à l’heure actuelle, outre des mesures concernant les publications scientifiques, les métriques sur les données ouvertes ne sont que faibles.

Solutions et principes à mettre en œuvre

Les critiques et points de vigilance de la part de ceux qui réfléchissent à ce sujet s’accompagnent de propositions de principes à mettre en œuvre pour encadrer l’usage de ces métriques résumés ci-dessous. Il s’agirait ainsi de rendre les métriques et indicateurs discutables et révisables afin faciliter la compréhension de leur construction et de leur gouvernance, notamment en rendant plus transparents les codes source et les algorithmes. Un autre point serait de sensibiliser et de former les professionnel·le·s de la recherche aux usages des métriques et des indicateurs (vigilance quant au pouvoir de conviction des graphiques, part du qualitatif dans la construction et la révision de tableaux de bords multidimensionnels). Enfin, il s’agirait d’être prudent quant à la construction d’indicateurs à l’échelle individuelle afin d’éviter le renforcement du gaming et de la compétition possible.

Concernant les données produites par les chercheur·e·s à la base même de services d’analyse et de suivi de la production scientifique, une question soulevée lors des entretiens portait sur les organisations et entreprises qui détiennent ces données et qui ont la capacité de proposer des services et outils à destination des organismes de recherche.

5.2 Se positionner par rapport aux fournisseurs de données

La démocratisation des données de recherche par le biais d’organisations et d’outils/plateformes facilitant l’accès aux publications et données de la recherche et leur structuration (dans la mouvance des principes FAIR) participe au développement de la recherche sur la recherche. Comme illustré précédemment (cf. 3.2), plusieurs outils ont été développés par des acteurs de la recherche publique acec des initiatives telles qu’Our Research ou encore l’organisation à but non lucratif OpenKnowledgeMaps3).

La « recherche sur la recherche » implique également la constitution de bases de données communes. C’est le cas avec le funder data platform4 du RoRI. Cette plateforme est créée et gérée par une équipe de data scientists du Wellcome Trust. L’objectif est de proposer au consortium d’acteurs du RoRi une plateforme sécurisée pour partager des données et développer également des analyses quantitatives communes. Ces projets impliquent des alliances entre centres de recherche et laboratoire, financeurs et décideurs politiques et également de nouveaux acteurs se positionnant dans le champ des fournisseurs et analystes de données. Par exemple, l’entreprise Digital Science est un des membres co-fondateurs du consortium Research on Research Institute (RoRI) avec le Wellcome Trust et les universités de Sheffield et de Leiden du Research on Research Institute (RoRI) Ces « nouveaux entrants » proposent des alternatives en termes de données fournies et services d’analyse produits (développement de tableaux de bords, IA). Ils diversifient la palette d’offres détenues jusqu’à présent par des éditeurs privés tels que Clarivate ou Elsevier, qui se sont repositionnés ces dernières années comme fournisseurs et analystes incontournables de la recherche scientifique et académique. Un enjeu est de connaître les parties prenantes qui se positionnent sur l’analyse des données et veiller à un pluralisme de données et à des mécanismes d’accès ouvert et non propriétaire.. Comme le mentionne une personne interrogée « la construction d’infrastructures publiques partagées suivant des bonnes normes est cruciale afin d’éviter la reproduction d’erreurs déjà connues avec le facteur d’impact il y a 40 ans ». Néanmoins, pour un scientomètre comme Vincent Traag, il ne s’agit pas d’exclure des analyses faites avec certaines bases de données sur le principe qu’elles soient non-ouvertes, car ce serait prendre le risque de perdre en exhaustivité et en pertinence (cf. la partie du chapitre 4 ).

5.3 Dialoguer avec différentes approches et mouvements

Loin d’être un tout unifié, les recherches sur la recherche regroupent des acteurs, initiatives, approches, et objets d’étude distincts. Si certains projets concernent une communauté disciplinaire bien précise avec des pratiques spécifiques (réplication des études en psychologie, prise en considération de principes éthiques dans le champ biomédical) d’autres initiatives portent sur le système de recherche dans son ensemble (évaluation de la carrière, modes de financement des projets et évaluation). De plus, les paradigmes de recherche associés varient dans leur dimension épistémique et méthodologique. Ainsi, certaines approches de metascience s’effectuent dans une démarche de recherche interventionnelle et s’ancrent dans des protocoles expérimentaux randomisés et l’étude de cas pilotes. D’autres études scientométriques explorent de manière quantitative des réseaux de citations scientifiques. Enfin, certaines études se fondent sur une analyse qualitative dans une démarche d’anthropologie de laboratoires. Un des défis des travaux actuels sur la recherche est de réussir à faire dialoguer ces différentes approches méthodologiques pour créer de la transversalité dans le partage des connaissances afin d’éviter la création de silos.

Comme cela est souligné dans le sous-chapitre , le discours enthousiaste autour de l’émergence d’une nouvelle discipline de la metascience ou encore la mise en avant de l’efficacité de la recherche dans la perspective d’une « scientific reform » ont fait l’objet de critiques au sein des disciplines travaillant sur ces objets depuis de nombreuses décennies. Une crainte serait que les nouvelles initiatives ne s’appuient pas assez sur un important volume de connaissances notamment qualitatives issues de courant tel que la philosophie, l’histoire, la sociologie des sciences, les STS. Ces dernières disciplines donnent en effet une prise de recul sur les mécanismes de construction de normes, la structuration de communautés scientifiques, les enjeux économiques et politiques des savoirs. Ces points d’attention s’accompagnent néanmoins d’éléments encourageants par l’enrichissement méthodologique qu’apportent des démarches fondées sur les preuves issues du domaine biomédical ou des compétences liées au traitement et à l’analyse de données massives. Ainsi pour tirer le meilleur parti de cette diversité de démarches, il s’agit également d’éviter des bulles éditoriales séparées sans échange entre communautés, chacune ayant ses propres revues et conférences.

Un autre aspect soulevé en entretien porte sur la place des sciences humaines (Humanities) dans le cadre des projets de recherche étudiés. Les domaines des sciences et techniques médicales (STM) font l’objet d’une attention plus spécifique de par les budgets de recherche conséquents qui leur sont attribués. Les sciences humaines ayant des cultures et pratiques de recherche différentes, il s’agit de les prendre en compte pour mieux les comprendre et ainsi éviter l’application de normes et pratiques inadaptées dans ces champs.

« Le risque majeur dans ce genre d’étude est d’être trop généraliste. […] On transpose souvent des paradigmes mais cela ne fonctionne pas forcément. » Marin Dacos

Ainsi tout l’enjeu est d’une part d’identifier et mettre en avant les valeurs et les normes qui rapprochent différents domaines de recherche sans gommer la diversité des pratiques.

Les conseils et retours énoncés ci-dessus restent à un niveau général sur la structuration des champs de recherche et leurs articulations avec les politiques publiques de recherche et leur impact. D’autres avis formulés lors des entretiens ont abordé le niveau « micro » de l’organisation interne d’un futur Lab et de la communication des connaissances futures qui y seraient produites.

Organisation et mise en œuvre de l’activité du LabSO

La création d’un Lab de la science ouverte a suscité de l’enthousiasme et de la curiosité de la part des personnes interrogées quant à sa forme organisationnelle, mais aussi quant aux thématiques qui y seront traitées. Plusieurs suggestions ont été recueillies sur les thématiques possibles de travail du Lab de la science ouverte, le mode d’organisation et de communication du Lab.

5.1 Soutenir les approches thématiques et transversales de « recherche sur la recherche »

Les travaux de metascience et de meta-research ont initalement pris comme objet de recherche les élémentsdéfaillantsdans les pratiques scientifiques et le système de recherche en science (p-hacking, crise de la reproductibilité, manque de réplication possible des études). Ensuite, la focale a été dirigée sur les pistes d’amélioration pour remédier à ces pratiques en se basant sur de nouveaux dispositifs, par exemple les pre-prints, le pré-enregistrement des essais cliniques, ou les nouvelles formations. Aujourd’hui pour Ulrich Dirnagl, à l’échelle des instituts et des politiques publiques de recherche, il est plus opportun de se concentrer sur l’évaluation de ces nouveaux dispositifs pour changer la culture de recherche. Selon lui, il manque encore des études pour vérifier l’impact et l’efficacité des actions menées (incitations, récompenses, nouveaux outils, etc.) sur différentes communautés et la manière dont elles sont perçues et intégrées. Plus que de travailler sur des thématiques spécifiques à des communautés disciplinaires, un des axes soulignés lors des entretiens serait de développer une approche transversale. Le RoRI est à ce sujet une source d’inspiration dans les thématiques abordées et la construction des projets de recherche. Ces derniers associent différents centres de recherche et pays pour avoir une vision générale et des sources de comparaison internationales.

5.2 Favoriser la collaboration par un mode d’organisation en réseau et penser les publics cibles

Un mode d’organisation en réseau a été plébiscité pour faciliter les échanges avec d’autres réseaux en cours de structuration. C’est le cas par exemple du RoRI qui aujourd’hui regroupe 8 instituts et souhaite se développer. Un autre projet en structuration concerne également celui d’un institut for metascience porté par le Center for Open Science (COS) pour un appel à projet de la National Science Foundation (non financé) qui a identifié dans sa proposition initiale 29 institutions (centres, laboratoires, départements) dans l’optique d’un projet interdisciplinaire, interinstitutionnel, orienté vers les données (data-intensive) et méthodologiquement diversifié5. Plusieurs retours précisent en ce sens le besoin de faciliter au sein même des membres du LabSO le croisement de différentes approches aux méthodologies, théories et démarches distinctes. Comme le souligne Marin Dacos, le but n’est pas qu’un paradigme l’emporte sur l’autre. À l’image du QUEST, la définition d’objectifs communs est clef pour faciliter un travail interdisciplinaire en prenant en considération les étapes de définition et de traduction nécessaires à la pleine participation de toutes les parties prenantes. Par exemple, si les notions de p-value et donc de p-hacking peuvent sembler triviaux pour des chercheur·e·s dans le domaine bio-médical, ces notions sont souvent nouvelles pour des chercheur·e·s en philosophie des sciences, qui doivent se les approprier. Un autre point souligné est l’importance de préparer et soigner les dispositifs d’interaction notamment à distance pour faciliter la communication mais également des processus collaboratifs entre participant·e·s.

Un dernier aspect qui ressort des remarques faites en entretien porte sur les connaissances produites par le Lab et leur diffusion. Les enjeux de pédagogie et de sensibilisation ont été soulevés avec l’importance de développer un travail d’éditorialisaiton des contenus pour différents publics (journalistes, directeurs de recherche, politiques). Pour Marin Dacos le GIEC représente un modèle de capitalisation des connaissances et d’explicitation de concepts, inspirant pour le LabSO.

« Le Lab doit être une force de proposition pour les politiques publiques. Il a une énorme vocation de pédagogie. Il doit se doter d’une feuille de route de recherche mais également d’un référencement des enseignements d’études existantes ou qui seraient à construire. » Marin Dacos

Comments
0
comment

No comments here

Why not start the discussion?