Nous avons en France un Haut Conseil pour l’Évaluation de la Recherche et de l’Enseignement Supérieur, le HCERES, autorité administrative indépendante, dont le rôle est, entre autres, d’évaluer les laboratoires de recherche publique.

Dans mon précédent billet « Évaluation, Indicateurs…« , je me suis intéressé à l’hétérogénéité des structures de recherche dans notre pays avec pour objectif d’essayer de comprendre comment l’hétérogénéité de nos structures de recherche pouvait avoir des impacts sur l’efficacité et l’équité de ce processus. Dans ce billet, mon objectif est d’utiliser les données du HCERES pour regarder un peu le paysage global de nos structures de recherche. Pour ce faire, puisqu’il n’y a pas de données synthétiques, j’ai récupéré individuellement chacun des rapports de synthèse publiés par le HCERES sur son site, et concernant les laboratoires de recherche stricto sensu. J’en ai extrait et consolidé ensuite un certain nombre de données. Et l’une d’entre elles est véritablement surprenante (teaser insoutenable…)

L’évaluation des laboratoires se déroule sur un cycle de cinq ans, avec cinq « vagues » annuelles plus ou mois régionales, appelées A, B, C, D et E. Les données publiées par le HCERES et que j’ai traitées couvrent ces cinq vagues et donc, en principe, l’ensemble du paysage de recherche publique français.

Le paysage disciplinaire

Pour les lecteurs intéressés, je détaille plus bas la « cuisine » pour récupérer et commencer à analyser les données du HCERES, ce qui n’a pas été une mince affaire. En tout, mon analyse couvre 2158 laboratoires, dans toutes les disciplines, mixtes ou non avec les organismes nationaux de recherche (CNRS, INSERM, CEA, INRA, INRIA…).

Les données que j’ai extraites dans cette première analyse sont les suivantes :

• La nature de la structure – universitaire ou mixte avec les organismes nationaux
• La vague d’évaluation
• La langue du rapport
• Le champ disciplinaire.

Ça peut paraître limité, mais vous allez voir qu’on apprend déjà des choses surprenantes juste avec ces données. La vague d’évaluation donne à la fois une information géographique et temporelle. A chaque vague correspond en effet une année différente, et en remontant dans les vagues, on peut essayer de voir si il y a des évolutions temporelles dans le processus d’évaluation (spoiler : il n’y en a pas dans la période récente)

Distribution des laboratoires par champ disciplinaire

Le HCERES utilise une nomenclature disciplinaire avec un peu moins de vingt grandes catégories réparties dans trois grands secteurs : Sciences humaines et sociales, Sciences et Techniques et Sciences de la Vie et Environnement. Le tableau suivant résume cette classification :

Je me suis d’abord posé la question de combien de structures de recherche on trouve dans chaque grand secteur et combien d’entre elles sont des unités mixtes avec les grands organismes nationaux (UMR : unité mixte de recherche) vs. des unités purement universitaires (EA : équipe d’accueil et bientôt UR : unité de recherche). Le résultat est montré sur la figure suivante :

Environ 57% de tous nos laboratoires de recherche publique sont des UMR avec les organismes nationaux (1235/2158). Mais on voit que le constat est contrasté selon les disciplines, avec seulement 37% d’unités mixtes en SHS, contre ~70% en Sciences et techniques, comme en Sciences de la Vie et environnement. Ce n’est pas vraiment une surprise, on sait que les organismes de recherche sont peu présents dans certains domaines des Humanités, des Sciences de l’éducation ou encore du Droit.

Autre observation, le secteur SHS représente plus de 37% des structures de recherche, mais seulement ~27% de nos ~82 000 enseignants-chercheurs et chercheurs permanents (source des données sur les effectifs dans le billet précédent). Ceci implique donc que, en moyenne, les structures de recherche en SHS sont plus petites que celles des deux autres secteurs.

Une analyse plus fine de la distribution du nombre de laboratoires dans chacune des sous-catégories est indiquée dans le schéma ci-dessous. La surface des secteurs et des anneaux est proportionnelle au nombre de structures.

Ces données constituent donc une photographie de notre paysage d’unités de recherche sur les cinq dernières années. On voit ainsi par exemple qu’il y a environ 133 laboratoires de chimie en France. Même si c’est une indication, ces données ne préjugent pas directement de la taille précise des domaines scientifiques, puisqu’on a vu dans le billet précédent qu’il existait une grande variabilité dans la taille des labos de recherche.

Quelques remarques : un laboratoire peut se revendiquer de plusieurs disciplines (c’est même assez souvent le cas). Je n’ai utilisé que la discipline indiquée en premier par le labo, considérant que c’était leur champ principal. Il peut donc y avoir quelques corrections à la marge avec les labos très interdisciplinaires. Il y a aussi des rapports d’évaluation qui ne précisent pas le domaine spécifique à l’intérieur d’un grand secteur. C’est assez fréquent en sciences humaines et sociales, où il y a pas mal de structures pour lesquelles est juste indiqué « SHS », sans autre précision (~170 labos en tout). Je ne sais pas si il s’agit d’une manifestation de la diversité interne des laboratoires SHS ou d’une forme de réticence de mes collègues de ces disciplines à se voir enfermés dans une nomenclature rigide.

Répartition par vague d’évaluation

La question suivante que j’ai voulu traiter était celle de la répartition des laboratoires dans les cinq différentes vagues d’évaluation. Le graphe suivant indique le nombre de laboratoires par grand secteur disciplinaire dans chaque vague.

Il y a une moyenne de 440 labos par vague, avec une « petite » vague B à 335 et une « grosse » vague C à 493. C’est un très gros grain géographique (je projette de faire une analyse plus fine dans un prochain billet), mais on voit quand même des effets significatifs :

• Le poids global très important de l’Île-de-France dans le paysage national (vagues D et vague E)
• La plus forte présence des SHS à Paris intra-muros (vague D)
• Le poids important des sciences dures en Île-de-France hors Paris dans la vague E (certainement un effet « Saclay »), et aussi dans les grands pôles de la vague A (Toulouse, Montpellier, Lyon, Grenoble…)

La plupart de ces effets sont attendus, mais c’est une manifestation objective de la carte scientifique du pays.

Le caractère international de l’évaluation : une surprise…

Je me suis intéressé au caractère international de l’évaluation pratiquée par le HCERES, ce dernier revendiquant s’aligner sur les meilleurs standards dans ce domaine. Recourir à des experts étrangers est important, parce que c’est un moyen d’avoir un regard très indépendant et aussi une vision plus large leur permettant de positionner la recherche de nos laboratoires par rapport à ce qui se fait à l’international. Pour aborder cette question, j’ai utilisé un proxy assez facile à extraire des données, qui est la langue du rapport. La majorité des rapports d’évaluation est en français, mais une fraction non-négligeable est en anglais (485 sur 2158 en tout, soit un peu moins d’un quart).

Lorsque le rapport est en anglais, c’est systématiquement parce que le comité comporte un ou plusieurs experts étrangers non-francophones. Dans les comités correspondant aux rapports en français, il peut certes y avoir aussi des experts étrangers, mais en nombre en général plus limité (souvent un seul par comité) et fréquemment issus de pays francophones ou français expatriés, ce qui limite le vivier d’experts.

Dans mes préjugés initiaux, un des facteurs pouvant avoir un effet sur le caractère international du comité était la labellisation par un organisme national (CNRS, INSERM). Autrement dit, je m’attendais à trouver proportionnellement plus de rapports en anglais pour l’évaluation des UMR que pour celle des équipes purement universitaires. Et c’est en effet assez nettement le cas (presque trois fois plus) :

• 31 % des rapports des 1235 UMR sont en anglais
• 12 % des rapports des 923 EA sont en anglais

Ensuite, j’ai voulu voir comment ça se distribuait de manière disciplinaire et c’est là que j’ai eu une très grosse surprise, parce que les résultats sont incroyablement hétérogènes, comme le montre le schéma ci-dessous :

La proportion de rapports d’évaluation en anglais est très faible en SHS, mais aussi en Sciences dures

Je m’attendais à ce que le secteur SHS ait moins de rapports en anglais, parce que certaines des disciplines correspondantes sont très liées à l’usage de la langue française, par exemple en Droit ou dans les Humanités. Mais j’ai été très surpris par la faible proportion en Sciences dures, où ça suggère que les comités d’évaluation sont nettement moins internationaux qu’en Sciences du vivant.

Alors j’ai voulu en avoir le cœur net et j’ai fait un sondage sur une discipline pas trop volumineuse : j’ai regardé à la main les rapports des 60 labos de maths du pays, un par un. Sur les 60 rapports, 4 sont en anglais (soit ~6%) avec un comité international et les 56 autres sont en français. Parmi ces derniers :

• La moitié (28) correspond à des comités franco-français.
• Un quart (15) a un comité avec un seul « étranger », souvent un francophone ou un français expatrié.
• 13 ont un vrai comité international avec deux experts étrangers ou plus.

Quand on regarde de près, c’est donc un bilan plus nuancé, mais la différence reste réelle et assez nette.

J’ai enfin regardé si ça avait évolué en fonction des différentes vagues et donc en fonction des années, avec l’idée que par exemple, le HCERES aurait pu vouloir réduire son budget de missions internationales pour des raisons financières, ce qui aurait pu l’amener à vouloir diminuer le nombre d’experts internationaux dans les années récentes. On ne voit rien de tel, et les disparités décrites plus haut se voient sur toutes les vagues d’évaluation, depuis 2015-2016.

Des différences de standard d’évaluation ?

Cette observation à laquelle je ne m’attendais pas pose la question de la disparité de standards d’évaluation d’un domaine ou d’une discipline à l’autre. Je reviendrai probablement dessus plus en détail plus tard, mais il y a aussi des disparités entre disciplines à l’intérieur d’un même grand domaine. Selon mon critère indirect (rapport en anglais), l’évaluation des labos de physique (24% de rapports en anglais) est bien plus internationale que celle des labos de sciences pour l’ingénieur (aucun rapport en anglais).

Encore une fois, il faudra probablement regarder plus en détail et nuancer comme je l’ai fait plus haut avec les maths, mais ça suggère quand même que les pratiques d’évaluation sont inhomogènes et peuvent poser des problèmes d’équité et d’inégalité de niveau d’exigence scientifique. Voire parfois un véritable risque d’endogamie quand on a à la fois une discipline à petit effectif et un recours insuffisant à des experts étrangers, indépendants et extérieurs à la communauté française. Et lorsque les évaluations sont utilisées pour faire des grands arbitrages en termes de financements ou de postes, ces disparités disciplinaires peuvent avoir des conséquences très dommageables…

Je chausse pour finir ma casquette de biologiste pour remarquer que c’est dans ma discipline que les pratiques d’évaluation sont de très loin les plus vertueuses, ce qui n’a pas nécessairement été à notre avantage sur tous les plans. Notamment sur la perception que pourrait donner aux puissants qui nous gouvernent, les retours d’une évaluation plus internationale et possiblement parfois plus « sévère » de notre recherche en biologie (je sais que je vais me faire taxer de parti pris, mais après tout ce boulot, je m’autorise une petite remarque partiale…).

Il serait nécessaire que le HCERES applique des standards d’évaluation vraiment homogènes à toutes les disciplines.

La méthodologie de l’analyse

Il y a plein d’infos factuelles dans les synthèses des évaluations des unités de recherche publiées sur le site du HCERES (voir ici). Le seul souci, c’est que c’est éparpillé dans des centaines de documents PDF individuels et qu’il n’y a pas de données consolidées. Pour les reconstruire, j’ai donc été obligé de bricoler, et le boulot est pour l’instant très partiel par rapport au contenu total potentiellement extractible.

La première étape a été de moissonner le site du HCERES, pour récupérer tous ces documents d’évaluation que le Haut Conseil publie, unité de recherche par unité de recherche. Ça m’a occupé les vacances de Noël. Je ne l’ai pas fait à la main, j’ai écrit un script qui utilisait Puppeteer et Node.js, deux bibliothèques javascript permettant d’automatiser le processus. Et j’ai ainsi téléchargé les 2595 rapports synthétiques des unités de recherche disponibles sur le site du HCERES à la mi-janvier 2021 et correspondant aux cinq vagues d’évaluation A, B, C, D et E du cycle quinquennal. Ensuite, il a fallu faire un peu de ménage. Il y avait des doublons sur la vague A, entre des vieilles évaluations d’il y a cinq ans et les nouvelles de cette année. Après ce travail, il m’est resté 2158 rapports non-redondants. C’est un peu moins que ce qu’annonce le HCERES, qui parle de 2500 structures, mais je n’ai pas inclus dans mon extraction les structures de type fédératif ou les centres d’investigation clinique, seulement les labos de recherche « pur sucre ».

Ensuite, j’ai utilisé un des nombreux convertisseurs qui extraient le texte brut contenu dans un PDF, pour générer autant de fichiers .txt. Ces derniers sont directement analysables de manière plus ou moins automatisée, mais souvent un peu bordéliques, parce que les convertisseurs ne savent pas toujours gérer proprement les retours à la ligne, surtout quand on a des tableaux dans le PDF initial (et il y en a dans ceux du HCERES). Sans parler du format de leurs fichiers et de leur structure qui évolue d’une vague annuelle d’évaluation à la suivante. J’ai essayé une palanquée de ces convertisseurs, mais aucun n’est parfait.

Dernière étape, écrire des scripts pour extraire le plus possible de données de ces documents texte : expressions régulières pour nettoyer, rechercher, exporter. Et finalement consolider dans un grand tableau. Je n’ai pas encore terminé ce travail, je voudrais extraire les données concernant les effectifs, mais c’est vraiment ardu, car très inhomogène. Ce sera probablement pour un prochain billet.

L’évaluation des laboratoires et équipes de recherche. Un sujet de débat souvent passionnel et une source inépuisable d’irritation dans notre communauté. Je vous propose de regarder ensemble quelques données objectives (comme d’habitude) et aussi de vous faire part de réflexions et propositions personnelles subjectives que j’en tire.

Le HCERES (Haut Conseil à l’Évaluation de la Recherche et de l’Enseignement Supérieur) vient de se voir doté d’un nouveau président dont on peut imaginer qu’il voudra imprimer son style et ses idées sur le processus d’évaluation (je ne porterai pas de jugement sur la personne ou le processus de sa nomination dans ce billet, ce n’est pas l’objet). C’est donc un moment opportun pour mettre son nez dans le sujet compliqué et souvent pas complètement consensuel qu’est l’évaluation des laboratoires de recherche (litote…).

Ma carrière académique étant plutôt derrière moi que devant, je pense bénéficier d’un certain recul sur ce sujet, ayant été tour à tour évalué et évaluateur à de nombreuses reprises, dans des contextes différents : HCERES, AERES, et pré-AERES (si, si ! il y avait déjà des évaluations de laboratoire avant l’AERES, au moins dans les UMR…)

Je développe dans ce billet l’argumentation suivante : l’évaluation de la recherche est indispensable, mais à mon avis pas nécessairement bien faite dans notre pays. Elle souffre notamment de défauts qui ne sont pas du fait ni des évalués, ni des évaluateurs, mais qui sont en partie une conséquence structurelle de l’organisation de la recherche française et de ses structures (UMR, EA, organismes, structures d’évaluation multiples…).

L’évaluation a mauvaise presse

Nous passons notre temps a faire des dossiers d’évaluation. C’est épuisant. On est évalué en permanence, pour tout : projets, équipes, personnes, laboratoires, diplômes, institutions…

Commentaire typique, fréquemment répété et entendu

C’est un leitmotiv traditionnel dans notre communauté. On est évalué tout le temps et pour tout, c’est chronophage et redondant. Ce commentaire est à mon avis la fois en partie vrai et en partie de mauvaise foi. Oui, nous sommes évalués très souvent (trop), et ça prend du temps, mais c’est aussi dans des dimensions très différentes et pour des objectifs variés. Les évaluations d’un manuscrit soumis pour publication, d’une demande de financement, d’un dossier de promotion individuel ou de la stratégie d’un laboratoire examinent des aspects très différents, avec des critères spécifiques à chacun : raisonnement scientifique, faisabilité, originalité, cohérence, encadrement, vision… Améliorer la cohérence et l’articulation de ces évaluations et réduire leur redondance est un vrai enjeu, mais je ne vois pas comment on pourra échapper à cette multiplicité. D’autant plus que l’évaluation par les pairs est vraiment consubstantielle à la démarche scientifique et que c’est une pratique quasi-universelle dans la communauté académique internationale.

Un autre sujet de friction sont les suites qui sont données à ces évaluations et leurs conséquences. Pour certains, elles sont intrusives, nuisibles à notre chère liberté académique, et en conséquence illégitimes. Pour d’autres, les conséquences sont au contraire quasi-inexistantes, sur le mode « pourquoi tant d’efforts, si à l’arrivée je n’ai pas plus de moyens pour ma recherche ». Je me rangerais plutôt dans cette deuxième catégorie. Et dans les deux cas, ça génère du mécontentement, même si c’est pour des raisons en partie opposées.

L’évaluation est pourtant utile et même indispensable

L’évaluation est selon moi utile a plusieurs niveaux :

Pour les évalués d’abord, c’est un moment rare d’introspection, de remise en cause, de réflexion sur l’avenir et de redéfinition de ses projets. J’ai toujours trouvé cette partie utile, même si elle est chronophage (c’est un peu comme corriger des copies : c’est souvent long et fastidieux, mais c’est un retour direct et précieux sur ce que les étudiants ont assimilé de notre enseignement). Pas mal de laboratoires organisent des « retraites » ou des séminaires internes/brainstorming pour préparer ces évaluations et réfléchir à leurs projets futurs. C’est un exercice qui s’avère souvent très riche.

C’est aussi un moment privilégié d’interaction directe avec des pairs, à savoir les membres du comité d’évaluation avec lesquels il est possible d’échanger de manière assez approfondie. Par construction, ce comité est constitué de collègues de la même discipline qui partagent les mêmes intérêts scientifiques. Ils sont là pour juste nous, ont en principe étudié le dossier, écoutent nos présentations, et sont de facto réceptifs à nos travaux. J’ai également trouvé que leur regard extérieur sur notre recherche et nos projets et les échanges qui s’ensuivent sont en général aussi très intéressants (pourvu que le comité soit raisonnablement bienveillant… mais ça a souvent été le cas dans mon expérience). Et ceci est vrai aussi quand on se retrouve à son tour dans la position symétrique de l’évaluateur, membre d’un comité d’évaluation.

L’évaluation est/devrait aussi être utile pour les responsables scientifiques en charge du laboratoire, à différents niveaux : le directeur du laboratoire lui-même, le VP recherche et la commission recherche de l’université, les directions scientifiques des instituts et d’organismes tutelles et leur instances d’évaluation internes. En principe, ils devraient s’en saisir pour faire de la prospective et de la veille scientifique, et aussi… pour leur politique d’allocation des moyens (un autre sujet qui fâche souvent). Mais cet aspect là marche beaucoup moins bien. La première raison perçue est qu’il n’y a pas véritablement de schéma incitatif en raison entre autres d’une vraie pénurie de moyens, ce qui est malheureusement le cas ces dernières années. Mais il y en a une autre : l’évaluation est à mon avis structurellement biaisée par l’organisation de notre système et ne permet de toute façon pas de donner aux parties prenantes une information fiable dont elles auraient besoin pour prendre des décisions. J’explique en dessous pourquoi.

Les structures de recherche en France

L’évaluation de la recherche par le HCERES s’appuie sur la structure de notre recherche et son organisation. Le HCERES applique l’évaluation à l’échelle de ces structures.

La « brique de base » de la recherche académique en France, c’est le laboratoire ou unité de recherche. L’unité de recherche peut être mixte entre plusieurs partenaires, en général entre une université et un organisme de recherche (CNRS, INSERM, INRAE…). Il y a aussi des unités de recherche propres des organismes comme des universités (non-mixtes, avec une seule tutelle). Le HCERES organise donc l’évaluation de chacune de ces briques élémentaires que sont les unités de recherche. D’après le dernier rapport du HCERES (disponible ici), il y a environ 2500 unités de recherche dans le système de recherche français.

Dans ces 2500 laboratoires, on trouve 55 000 enseignants-chercheurs relevant du ministère chargé de l’enseignement supérieur et 27 000 chercheurs des EPST : CNRS, INSERM, INRAE, INRIA, IRD… (données du ministère, ici et ici). Ça veut donc dire qu’une unité de recherche, ça regroupe en moyenne 30-35 chercheurs et enseignants-chercheurs permanents. A ceux-ci, il faut bien sûr aussi ajouter des techniciens et ingénieurs, et des contractuels (doctorants, post-doctorants…).

Mais cette donnée moyenne est très trompeuse. Car sous ce vocable « unité de recherche » se cachent des réalités très différentes, à la fois d’une discipline à l’autre, mais aussi à l’intérieur d’une même discipline. Une unité de recherche, ça peut en effet être un très grand institut, regroupant plusieurs centaines de personnes, ou une tout petite équipe, focalisée sur une thématique unique.

Dans les laboratoires de taille importante, il y a souvent une structuration interne en équipes (en particulier dans les disciplines expérimentales comme la mienne), voire un regroupement des équipes en plusieurs départements dans les plus grosses unités de recherche. Le LAAS, (laboratoire d’analyse et d’architecture des systèmes à Toulouse), par exemple, est l’un des plus gros laboratoires du CNRS et regroupe environ 600 personnes. Celles-ci sont réparties dans une trentaine d’équipes organisées en six départements. A l’autre extrémité du spectre, il y a de nombreux laboratoires mono-équipe : l’unité de recherche INSERM sur les arthrites auto-immunes de Marseille, par exemple, ne comporte que 11 personnes en tout, doctorants compris (source ici). La difficulté que je veux pointer, c’est que peu ou prou, notre système d’évaluation applique la même méthode générale pour l’évaluation d’entités extrêmement diverses et je pense que ça induit des distorsions et des inégalités de traitement.

Des laboratoires gros et petits…

Je me suis ensuite posé la question de la distribution de la taille des ces laboratoires : Est-ce que les très grosses unités de recherches sont des cas exceptionnels ? Y-a-t-il des spécificités disciplinaires, avec par exemple plutôt des gros labos en physique et plutôt des petits en SHS ? Ou des différences par type d’institution, avec des plus gros labos quand c’est mixte avec les organismes de recherche et des plus petits quand il s’agit d’équipes purement universitaires ?

J’ai eu du mal à aborder cette question, parce que je n’ai pas trouvé de données facilement et directement utilisables. Il y a bien le référentiel (liste) de toutes les unités de recherche en France sur le site data.gouv.fr, mais il n’y a pas les effectifs. Alors on les trouve sur le site du HCERES, dans le rapport d’évaluation publié pour chaque labo (un exemple dans la figure ci-dessus). Ça veut dire qu’il faut télécharger le rapport en PDF de chaque unité sur le site du HCERES, aller à la page « Effectifs » et extraire le nombre de statutaires et de contractuels pour chacun d’eux. J’ai bien pensé faire un petit script pour automatiser, mais la présentation de ces données n’est pas toujours homogène d’un rapport à l’autre et j’ai renoncé. J’ai opté pour la solution bête et méchante, se les palucher un par un (ça occupe, pendant les soirées de confinement…). Du coup, j’ai craqué et je n’ai pas fait tous les 2500 labos français, mais seulement deux sous-échantillons :

• Toutes les unités de recherche de l’INSERM, il y en a environ 270 (ça varie un peu d’une année sur l’autre). Ça m’intéresse parce que c’est ma discipline et que ça permet de voir la globalement la diversité au sein de l’ensemble d’un organisme (le CNRS, c’était trop gros pour une approche à la main).
• Toutes les unités de recherche d’une grande université de province, refusionnée, couvrant toutes les disciplines. Ça faisait un peu plus de 70 unités de recherche (une poignée étaient dans la première liste, puisque mixtes avec l’INSERM). Ça me permettait de couvrir toutes les disciplines cette fois-ci et aussi d’avoir des unités purement universitaires, non-mixtes.

Au total, ces deux échantillons représentent environ 330 unités de recherche distinctes, soit ~13% de tous les labos de notre pays, ce qui est tout de même conséquent.

Le graphe ci-dessous montre la distribution des tailles des laboratoires de recherche pour ces deux échantillons. En abscisse, l’effectif total du labo, et en ordonnée, le nombre de laboratoires dans chaque tranche d’effectif.

Je fais plusieurs observations sur ces deux distributions :

• Elles sont remarquablement similaires, ce qui suggère que c’est quelque chose de représentatif de l’ensemble du dispositif national ;
• Dans les deux cas, il y a un pic de distribution autour des labos de 20-40 personnes (tout compris) qui sont nombreux, mais aussi une grande « queue-de-distribution » vers la droite avec un nombre significatif de gros instituts (>100 personnes). En effectifs consolidés, cette queue de distribution représente du monde, justement parce qu’il s’agit de gros labos (en effectif, un labo de 600 personnes = vingt labos de 30 personnes) ;
• Dans l’université étudiée, les gros laboratoires (effectifs>100 personnes) sont tous des unités mixtes avec les organismes de recherche. Probablement parce que le statut d’UMR est attractif et que les universités cherchent à y caser le plus possible de leurs ouailles auxquelles s’additionnent de surcroit les personnels CNRS, INSERM… ;
• Il n’y a pas d’effet disciplinaire net, il y a des gros et des petits laboratoires dans toutes les disciplines (avec la limite que l’échantillon universitaire que j’ai utilisé n’est pas très grand).

La distribution des tailles ressemble un peu à une distribution log-normale, mais avec une queue de distribution plus importante.

Les problèmes de l’évaluation « one-size-fits-all »

Le HCERES applique la même procédure d’évaluation à toutes les unités de recherche quelle que soit leur taille : un comité d’expert avec un président, effectuant une visite sur site, donnant lieu à un rapport d’évaluation. Certes, quand l’unité est de taille importante, le comité est en général plus étoffé et le rapport plus épais, mais on reste dans le même principe général. C’est une application sans fioritures du 2° de l’article L114-3-1 du code de la recherche (pour faire court, cet article dit que, entre autres, le HCERES est chargé d’organiser l’évaluation des unités de recherche).

Comme il y a ~2500 unités de recherche dans notre pays qui sont évaluées sur un cycle de cinq ans, ça signifie que le HCERES doit organiser chaque année au moins 500 évaluations, ce qui est une énorme machine. On peut s’interroger sur l’efficacité de cette grosse usine, du fait de l’asymétrie de la distribution de taille des laboratoires évoquée plus haut.

La médiane de taille des unités de recherche sur mes deux échantillons est située autour d’un effectif total de 42 personnes (tout compris). Ça veut dire que la moitié des comités d’évaluation organisés concerne des unités de 42 personnes ou moins et l’autre moitié des unités de plus de 42 personnes. Mais si on raisonne en termes d’effectifs consolidés, la seconde catégorie représente environ cinq fois plus de personnes. Parce que justement, les unités de recherche qui la composent sont plus grosses et même parfois beaucoup plus grosses.

Dit autrement, le HCERES consacre une moitié des comités qu’il organise à évaluer seulement 16 % des scientifiques de notre pays, et l’autre moitié à évaluer les 84 % restants.

On pourrait se dire que ça n’est pas si grave et que c’est un modeste prix à payer en contrepartie d’une certaine « biodiversité » de notre écosystème de recherche. Mais je soutiens la thèse que ça a d’autres conséquences problématiques :

• Ça a un coût financier. Ce n’est pas le problème le plus critique à mon sens, mais à argent public constant, on peut se demander si une approche différente ne pourrait pas donner quelque chose de meilleure qualité et de plus utile pour tout les acteurs (évalués, direction du labo, tutelles, instances d’évaluation).
• Sous une apparence d’équité, les standards d’évaluation des grandes unités et des petites unités peuvent en réalité être assez différents. Il sont potentiellement plus exigeants pour les grands instituts que pour les petites structures. C’est un point un peu polémique que je développe plus bas
• L’évaluation est en partie émiettée sur une flopée de petites unités, avec chacune leur comité individuel travaillant en silo, ça empêche d’avoir une vision globale de la recherche dans un domaine donné sur un site précis. Ce qui serait pourtant très utile pour définir des stratégies et des politiques scientifiques.

Je reviens sur la question du standard d’évaluation. Lorsqu’on regarde la composition des comités d’évaluation des grands instituts, on constate fréquemment qu’ils comportent une proportion significative de collègues étrangers, issus d’institutions ou de laboratoires prestigieux. Cette proportion est en général plus faible, voire parfois inexistante dans les comités d’évaluation des petites équipes.

Mon interprétation est la suivante : il est plus facile de faire venir des collègues étrangers de haut-niveau pour évaluer un grand laboratoire français très connu que pour une petite structure moins visible à l’international. Et c’est probablement aussi une affaire de coût pour le HCERES, notamment de frais de mission quand les experts viennent de loin. Alors certainement la taille n’est pas tout, et il existe probablement des contre-exemples avec des petits labos très réputés à l’international et des gros moins performants. Mais les grands instituts ont fréquemment un historique, une identité, une renommée qui contribue à permettre de mobiliser des comités d’évaluation de très haut niveau. Et, pour l’avoir vécu de l’intérieur comme évaluateur, ces comités de haut niveau appliquent un standard d’évaluation sensiblement plus exigeant. C’est à mon avis positif pour ces grands instituts, parce que ça les incite à progresser et à se mesurer aux standards de nos grands voisins scientifiques. Par contre, si on regarde l’ensemble de ce que réalise le HCERES, il résulte de cette diversité des unités de recherche une hétérogénéité importante dans le standard d’évaluation appliqué. Ceci est préjudiciable au processus qu’il décrédibilise en partie, et rend hasardeux toute consolidation des expertises des différents labos à l’échelle d’une université, d’un site ou d’une discipline.

Quelle granularité pour l’évaluation de la recherche ?

Le grain de l’évaluation est aussi un sujet de débat inépuisable dans la communauté. Le problème que j’évoquais plus haut, c’est que « l’unité de recherche », c’est un grain très très variable (entre les extrêmes, ça varie de 1 à 50 en taille…). Une solution ne serait-elle pas d’essayer de réduire cette hétérogénéité de grain ? Comme chez beaucoup de nos voisins où la recherche est souvent évaluée à l’échelle des departments des universités. Globalement. Par discipline. Un objectif similaire chez nous pourrait être faire des comités d’évaluation communs à un ensemble de petits labos de la même discipline, quand c’est possible (je sais, il y a des sites/disciplines où ça sera compliqué, mais on peut certainement faire mieux qu’aujourd’hui).

Petite simulation sur un coin de table : imaginons qu’on se fixe un seuil cible à minimum ~50-100 chercheurs, enseignants-chercheurs et ingénieurs de recherche pour un comité (éventuellement commun à plusieurs unités de recherche pour atteindre le seuil). Première conséquence, on réduit le nombre de comités, donc la logistique : ~200 par an au lieu de 500 (et aussi le nombre de rapports et le temps passé). Deuxième conséquence, avec les moyens financiers dégagés, on peut faire des comités plus étoffés, de bon niveau, avec davantage d’experts étrangers. Troisième conséquence, ces comités étant plus standardisés, on pourrait espérer avoir des évaluations plus homogènes entre elles. Je suis sûr que des universités, des organismes et leurs propres instances d’évaluation seraient preneuses. Et ça éviterait que certaines institutions refassent tout le boulot d’évaluation en double derrière le HCERES, parce qu’elles estiment que le résultat global ne leur convient pas.

Je vois bien les critiques possibles : « À l’université Machin, en pataphysique moléculaire, il n’y a qu’un seul labo, impossible de regrouper avec d’autres » ou « Avoir le même comité pour le labo Tartemuche et le labo Macheprot ! mais vous n’y pensez pas, ils se détestent et ne se sont pas parlé depuis 10 ans… ». Mais je persiste à penser que ça vaudrait la peine de regarder ce qui est faisable et d’expérimenter sur certains sites, ce que les textes régissant l’évaluation et le HCERES permettent.

Quelques réflexions sur l’enseignement à distance, numérique et hybride…

Retours d’expérience sur l’enseignement pendant le COVID

Avec la crise sanitaire, nous sortons de plusieurs mois de privation de liens physiques avec nos étudiants. Nous avons dû nous adapter pour continuer à enseigner, à les encourager, les accompagner, les évaluer. Eux et nous avons dû nous approprier de nouveaux outils de communication à distance. Souvent dans l’urgence, et plus ou moins dans l’improvisation.

Dans un contexte de grande incertitude sur la situation sanitaire à la rentrée, beaucoup se posent des questions sur les conséquences de cet épisode. Je pense que ça laissera une empreinte forte et perenne sur notre manière d’enseigner. Même après la crise. Encore une fois, on ne pourra plus faire rentrer le dentifrice dans le tube après qu’il en soit sorti.

On peut penser que c’est un mal, ou essayer de voir comment s’approprier ces nouvelles pratiques pour améliorer ce que nous transmettons à nos étudiants.

C’est aussi l’occasion de réfléchir sur les transformations de notre métier d’enseignant, ses contraintes actuelles et ses obligations (192h…)

Après trois billets sur l’ANR et sur la recherche, pour changer, je me propose de partager avec vous mon expérience d’enseignement à distance et comment j’espère pouvoir la valoriser pour les futures générations d’étudiants et les effets plus globaux que ça pourrait avoir.

Le numérique, un bien ou un mal ?

L’expérience que nous venons de vivre s’est imposée à nous, elle nous a obligé à faire avec. Avec des cotés négatifs et des cotés positifs. Je vous propose de partager mon analyse personnelle.

Beaucoup pensent que le numérique et le distanciel ne sont pas la panacée de l’enseignement. Je partage ce point de vue. Certains pensent même que « hybridation » et « numérique » sont des gros mots derrière lesquels se cache une volonté de marchandiser, déshumaniser et faire de la formation à bon marché, sans enseignants. Je pense le contraire.

Je ne crois pas que ce soient les outils qui définissent une politique de formation, mais c’est l’usage qu’on en fait. Ces outils existent désormais, ils se sont installés dans le paysage dans le contexte particulier que nous venons d’évoquer.

Retour d’expérience

Pendant ce dernier semestre en confinement, j’avais trois enseignements (UE, unité d’enseignement), tous en licence.

• Un cours de tronc commun de deuxième année de licence (L2), avec effectif d’environ 240 étudiants. Du classique, très old school : essentiellement des cours en amphi. J’ai fait mon dernier cours le dernier jour d’ouverture de l’université, juste avant le confinement. Par contre révisions, soutien des étudiants et contrôle des connaissance se sont faits en mode confiné et à distance.
• Un enseignement à choix de la même L2, avec un peu plus de 40 étudiants (une UE à choix est un module que les étudiants choisissent parmi une offre de 3 à 4 possibles, la promo est donc segmentée en plus petits groupes). C’est un mélange cours/TD, beaucoup plus interactif, parce que l’effectif est plus réduit, et parce que les étudiants ont fait un choix pour cette option, il y a donc un niveau de motivation plus important que je peux vérifier année après année. Il me restait deux cours/TD à faire quand on a confiné. Plus les révisions et le contrôle des connaissances final.
• Un enseignement interdisciplinaire dans la troisième année de licence (L3) d’une autre discipline. C’est un enseignement fait en binôme à deux voix/quatre mains avec un collègue d’une autre faculté. Nous avons 25 étudiants en fin de licence et tout est fait en mode cours/TD interactif et en mode projet. On donne des trucs à faire individuellement aux étudiants, et ils peuvent choisir le thème du projet parmi une offre qu’on leur propose. Ils sont prévenus longtemps à l’avance et on les accompagne lorsqu’ils en ont besoin.

Les problématiques détaillées posées par ces trois situations étaient différentes et m’ont amené à adapter la réponse. Mais la question transversale et essentielle est restée :

Comment garder le lien et les aider à se motiver dans une situation si particulière ?

Le sujet de l’évaluation des étudiants est aussi une question importante et délicate dans ce contexte compliqué. J’en parle plus bas.

Les outils d’enseignement

Pour aider mes étudiants pendant le confinement, comme beaucoup de mes collègues, j’ai utilisé une panoplie d’outils sur lesquels je vous livre mon feedback personnel. Je n’ai pas de prétention à l’universalité de mon expérience, mais je pense que ça peut quand même aider à réfléchir.

Les cours en visioconférence

Comme beaucoup de confinés, je me suis mis aux logiciels de visioconférence. On peut aussi les utiliser pour faire des cours à distance, ce que j’ai fait avec Zoom, pour ne pas le nommer. Je ne l’ai utilisé qu’une fois. Pour un petit groupe. En principe, l’intérêt c’est de faire un enseignement en mode synchrone : tout le monde est connecté en même temps à un horaire convenu, ce qui crée une forme d’incitation pour les étudiants et devrait en principe permettre de maintenir un lien avec eux.

En fait, je n’ai pas aimé. Le lien ne passe pas.

Les étudiants étaient tous en mode webcam éteinte. Pour eux, je pense que la webcam est une forme d’intrusion dans leur intimité, leurs lieux et conditions de vie, qu’ils ne veulent pas forcément partager avec l’enseignant ou avec les autres étudiants. Ce que je comprends. Du coup, il y a très peu (voire pas du tout) de participation. On parle à une rangée de rectangles noirs, micros et caméras coupés, c’est très frustrant. Aucun ressenti de si « ça passe » ou même de si il y a quelqu’un à l’autre bout. Impossible d’adapter ce qu’on raconte en fonction de la compréhension qu’en a l’auditoire. Ça enlève une grande partie de l’intérêt d’un cours en live…

Les vidéos de cours ou de TD enregistrées

C’est une forme d’enseignement asynchrone que les étudiants peuvent visionner quand ils le souhaitent. Je capture en vidéo à la fois l’écran de mon ordinateur sur lequel j’ai une présentation, ainsi que ma bobine en train de commenter/faire le cours que je met en incrustation sur les diapos. Je suis en effet un geek : j’aime avoir les mains dans le cambouis, je me suis équipé chez moi depuis plusieurs années : caméra, micro-cravate, logiciels pro… J’enregistre puis je monte les vidéos, à la manière d’un youtubeur (mon université a aussi plusieurs installations de type studio d’enregistrement où on peut faire ça sans investir soi-même, mais j’aime bien le fait de contrôler le process entièrement).

C’est un truc très chronophage, surtout si on veut le faire bien : il faut penser le contenu de ces vidéos de manière différente de ce qu’on raconte en présentiel. Ça doit être court (20 min. max) et focalisé. Pour les étudiants, rien n’est plus indigeste et rébarbatif qu’une vidéo d’un cours de 1h30 filmé du fond de l’amphi. Pour les TD, il faut aussi s’adapter au fait qu’on n’a pas de tableau où on peut écrire et donc prévoir des diapos adaptées où les corrections / calculs apparaissent à un rythme qu’ils ou elles peuvent suivre.

Ça fait maintenant trois ou quatre ans que je mets progressivement l’ensemble de mes enseignements sous forme de vidéos, publiées en ligne sur le site de l’université. J’en ai aujourd’hui plusieurs dizaines. Le confinement m’a obligé à mettre les bouchées doubles, voire triples, pour tout achever en temps et en heure. Du coup, les dernières ne sont pas tout à fait aussi « léchées » que celles que j’avais faites avant le confinement. J’en referais certainement une ou deux qui me semblent « perfectibles ».

Faire une vidéo de 15 minutes, c’est quasiment une journée de boulot

Il faut en effet :

• Définir un segment de contenu de la longueur adéquate et adapter le support pédagogique ;
• Faire l’enregistrement audio/vidéo ;
• Monter la vidéo pour couper les savonnages, bafouillages, lapsus, bruits de fond intempestifs… ;
• Faire un peu de post-processing (titrages, arrêts sur image, fondus…) ;
• Transférer le tout et mettre en ligne sur la plateforme de l’université

Quelques commentaires sur ces vidéos, indépendamment de la question du confinement :

Pour un contenu pédagogique donné, par exemple un cours en amphi de 1h30, l’équivalent tient en trois vidéos de 15 min., soit à peu près la moitié de la durée totale. Le contenu est le même, mais les vidéos sont un « extrait sec » du cours, sans redites, que les étudiants peuvent télécharger, visionner, arrêter et revisionner autant de fois qu’ils le veulent. En amphi, on répète les points importants, on prend le temps de faire un schéma au tableau pour expliquer, on raconte une anecdote, on fait le lien avec un exercice, on interpelle l’auditoire, c’est d’une nature différente et c’est donc logiquement plus long.

En conséquence, pour moi, ces vidéos ne sont pas un substitut des enseignements en présentiel que je fais toujours intégralement. C’est un complément, un appui, un outil de révision ou de préparation en amont. Les étudiants peuvent venir en cours ET regarder les vidéos (ou pas…). Pour certains qui ont des contraintes extérieures (étudiants salariés, sportifs de haut-niveau, étudiants en situation de handicap, doubles-formations…) c’est aussi un moyen de rattraper certains cours auxquels ils ne peuvent pas assister.

Contrairement aux craintes exprimées en amont par certains de mes collègues, je n’ai pas constaté d’effondrement de la présence physique des étudiants en cours, du fait de leur diffusion en vidéo en parallèle. À la marge probablement un peu, mais rien de spectaculaire.

Les outils de la plateforme de l’université (Moodle, pour les initiés) permettent d’avoir des stats de consultation des vidéos : combien de fois elles ont été visionnées, par qui, combien de minutes ont été vues. C’est un outil vraiment intéressant pour l’enseignant : on peut savoir les vidéos qui fonctionnent et celles qui font un four (on voit que les étudiants décrochent au bout de quelques minutes de visionnage). On peut aussi savoir quels sont les étudiants qui les ont téléchargées. Qui les regarde ? Malheureusement, seulement une partie des étudiants, et souvent les plus motivés/intéressés de la promo.

C’est un problème, les étudiants en difficulté ne sont pas ceux qui regardent les vidéos qui pourraient les aider à réussir…

L’un des intérêts majeurs de cette approche, c’est son coté pérenne. Une vidéo bien faite peut servir plusieurs fois, pendant plusieurs années. C’est un investissement pour l’enseignant, mais qui sera utile longtemps, à beaucoup d’étudiants, dans des situations très variées.

Les auto-tests en ligne

Les outils de formation à distance comme la plateforme Moodle existant dans la plupart des universités offrent des possibilités de mettre en place des tests en ligne. Ça peut bien sûr servir pour l’évaluation mais c’est aussi un outil de formation si on les met à disposition des étudiants pour s’entrainer et tester leur compréhension.

C’est compliqué de faire des bons tests en ligne. Et comme les vidéos, c’est très chronophage. C’est compliqué parce qu’il faut trouver des questions qui ne soient pas triviales et dont les réponses puissent être analysées directement par le système : par exemple des QCM ou des questions dont la réponse est une valeur numérique issue d’un calcul. Et dans les QCM, ce qui est compliqué à trouver, ce n’est pas la bonne réponse, mais des mauvaises réponses suffisamment plausibles, ce que les spécialistes appellent des « distracteurs » qui font hésiter l’étudiant et qui devraient le faire réfléchir.

Et il ne faut pas oublier que les étudiants font ça chez eux, avec les documents du cours sous la main. Ça ne sert pas à grand chose de poser des questions de cours, puisqu’ils peuvent ouvrir leur poly. Et trouver des questions de QCM favorisant la compréhension et mobilisant la réflexion, ça n’a rien d’évident, mais…

L’expérience du confinement m’a donné des pistes pour faire de bien meilleurs tests en ligne. J’explique ça plus bas…

Pour que ces auto-tests en ligne soient vraiment utiles, il faut aussi expliquer à l’étudiant qui a fait une mauvaise réponse à une question, pourquoi et sur quoi il s’est trompé. Le système le permet : pour chaque mauvaise réponse de QCM, on peut mettre un feedback qui explique pourquoi c’est faux.

Enfin, ces tests sont aussi très utiles pour l’enseignant, car le système permet d’avoir des statistiques sur les différentes questions des tests et de voir celles qui posent des problèmes aux étudiants. On peut ainsi voir les points du cours qui ne passent pas, pour adapter, développer, ré-expliquer.

Et comme pour les vidéos, c’est un investissement, mais c’est durable. J’ai fait des dizaines de questions de tests pendant le confinement, pour aider mes étudiants à réviser. Je vais bien évidemment les réutiliser et les améliorer pour les prochaines promos.

Le poly

Alors le poly papier, ça peut avoir l’air totalement has been. Pourtant, je fais un sondage tous les ans auprès des étudiants et c’est ce qu’ils utilisent le plus et ce qu’ils plébiscitent de facto. Le PDF du poly est d’ailleurs ce qui donne lieu au plus de « clics » sur le site de mes différents enseignements (alors même que la repro de l’université leur fournit à tous une version papier).

Ce sont de vrais cours avec un texte rédigé, pas juste des copies de mes planches powerpoint. Ils m’ont demandé plusieurs années de travail progressif pour atteindre une forme aboutie. Ils ont tous un index détaillé, des fiches-résumé à la fin de chaque chapitre, des exercices avec des corrigés. Les étudiants les trimbalent et les annotent en amphi, c’est un vrai outil de travail pour eux. Même à l’heure du numérique, le papier n’est pas mort, loin de là. J’ai aussi fait une version e-book de mes polys (c’est pas plus cher) au format EPUB pensant que ce serait utile pour eux de pouvoir les lire facilement sur un support smartphone ou tablette. Mais ce n’est pas le cas, ces e-books sont deux à trois fois moins téléchargés que les versions PDF imprimables. Je suis persuadé qu’avoir un vrai cours écrit est un complément essentiel et que dans leur processus d’apprentissage, c’est important. Et ça l’est probablement d’autant plus quand une partie de leur formation ne peut se faire en présentiel.

L’évaluation des étudiants

La contrainte essentielle induite par le confinement et plus généralement par le fait de faire une évaluation à distance, c’est qu’on ne peut pas éviter que les étudiants aient accès à toute l’information imprimée et/ou en ligne : poly du cours, manuels d’enseignement, wikipedia, google…

Il faut imaginer des nouvelles modalités d’évaluation sachant que les étudiants peuvent avoir accès à toute l’information en ligne au cours des épreuves.

Sur le fond, je pense que c’est bien, parce que c’est plus proche de la « vraie vie » et des conditions de leur futur environnement professionnel, quel qu’il soit. Apprendre à trouver, trier et utiliser une information pléthorique dans notre monde numérique est une compétence qui deviendra de plus en plus importante.

L’évaluation des étudiants a donc été un sujet vraiment compliqué cette année. Comme j’avais trois types d’enseignements avec une grande diversité d’effectifs (voir plus haut), j’ai fait le choix d’utiliser des modalités différentes, que je pensais adaptées à chacun des trois cas.

Le projet personnel avec présentation orale

Pour la vingtaine d’étudiants d’option de fin de licence, nous leur avons donné à chacun un article scientifique, en rapport avec le cours, à étudier et à présenter. Pour chaque article, ils avaient une fiche de lecture avec les points importants et leurs liens avec les concepts du cours, une liste de questions à traiter sur laquelle ils étaient prévenus qu’on allait les cuisiner, ainsi qu’un certain nombre de tâches complémentaires à effectuer (recherches en ligne, utilisation de ressources et/ou analyses dans des bases de données publiques). Chaque étudiant avait un sujet individuel qu’il a choisi dans une liste deux mois avant la soutenance. On a échangé avec eux sur le forum du cours pour les accompagner.

On leur a demandé de nous envoyer par mail une petite présentation de leur travail (8 planches max) quelques jours avant la soutenance. Puis on les a tous fait plancher en visioconférence 15 minutes chaque. Ça a été une longue journée pour nous. Mais, avec leurs présentations en visio c’était vraiment satisfaisant. Bien sûr le niveau des étudiants était variable, mais tous sauf un avaient joué le jeu et rempli le contrat. Le coté personnalisé, concret et créatif de leur projet est certainement plus stimulant qu’une question académique stéréotypée.

Malgré le confinement, leur engagement a été réel. Alors bien sûr, c’est aussi un investissement important de la part des enseignants, pour préparer les sujets, accompagner les projets et passer une demi-douzaine d’heures de visio à les faire plancher.

Mais je ne regrette pas et je le referai.

Le contrôle en ligne

Pour la grande promo de tronc commun (240 étudiants), pas question de faire un oral en ligne et autant de projets individuels, j’y aurais passé un mois entier en Zoom… J’ai pris le parti de faire une épreuve relativement classique, mais en ligne, un problème avec des questions ouvertes auxquelles les étudiants tapaient leur réponse en texte libre dans une case de l’interface. Puisqu’ils ont le poly sous les yeux, il faut concevoir un problème qui fasse appel à la réflexion et pas à des questions de cours. Dans ma discipline, c’est assez jouable, par exemple en leur faisant analyser des études expérimentales (en général un peu simplifiées, surtout en L2). L’épreuve est mise en ligne pendant une fenêtre de temps limitée au cours de laquelle ils se connectent simultanément. En cas de problème, il y avait une hotline téléphonique. Mais ça à marché sans souci.

Alors il y a deux inconvénients à cette méthode :

• Comme les questions sont ouvertes (et pas des QCM) et les réponses rédigées, pas de correction automatique possible. Il faut se palucher toutes les corrections à la main sur la plateforme de l’université, comme pour des copies papier. Mais comme pour les copies papier, ça permet d’avoir un feedback direct sur ce qu’ils ont compris (ou pas…) de ce qu’on leur a enseigné.
• Les étudiants peuvent assez facilement essayer de tricher. Par exemple en se mettant à trois ou quatre dans la même pièce pour partager en direct les réponses aux différentes questions, côte-à-côte, chacun sur son ordinateur.

Mais ça se repère… Comme les réponses sont ouvertes (c’est du texte qu’ils rédigent), elles sont par nature extrêmement variables dans leur expression. Et quand ils pompent les uns sur les autres, on voit rapidement des ressemblances de formulation improbables (la même ânerie, les mêmes mots, la même construction de phrase…). C’est d’autant plus facile que comme tout est numérisé (on peut exporter leurs réponses sous forme d’un fichier CSV, Excel ou texte), un simple recours à la fonction « rechercher » permet d’identifier très vite les « petits malins » de manière automatisée, ce qui est beaucoup plus facile que quand c’est dispersé dans 240 copies papier dans lesquelles il faut farfouiller à la main…

J’en ai gaulé une demi-douzaine qui se sont livrés à ça. Mais globalement l’épreuve s’est bien passée et pense que j’utiliserai cette modalité à nouveau, par exemple pour faire du contrôle continu. J’y vois aussi un autre intérêt majeur que je discute plus bas (les leçons de l’expérience).

Le QCM d’évaluation

Dans la troisième évaluation à laquelle j’ai participé, nous avons mis en place un système d’évaluation par QCM en mode synchrone : Tous les étudiants se connectent simultanément dans un créneau temporel imposé pendant lequel le QCM est ouvert. Nous avons fait comme ça parce que l’enseignement était partagé entre plusieurs enseignants et que c’était un moyen simple d’harmoniser nos modalités d’évaluation dans une épreuve unique. On était aussi pris par le temps : il a fallu tout faire dans un délai très court et je dois admettre que c’était aussi une solution de facilité.

L’avantage de cette méthode est double, la correction est automatique (c’est la plateforme qui comptabilise les notes de chaque étudiant) et le QCM peut être réutilisé ensuite pour faire des auto-tests en ligne pour les promos suivantes. Mais je lui trouve plusieurs gros inconvénients : le format des questions est réducteur et on n’a aucun moyen de dépister directement une éventuelle « triche » collective que j’évoquais plus haut (et qui se produit, on le voit).

Je ne referai pas d’évaluation finale par QCM si je peux faire autrement.

Les leçons de l’expérience

La déformation professionnelle de mon esprit fait que j’ai envie d’appliquer la méthode scientifique à mes observations sur cette période particulière, avec un regard à la fois critique et constructif :

Les limites de l’enseignement à distance et les pistes pour les dépasser

L’enseignement à distance nécessite un véritable engagement des étudiants et trouver la motivation suffisante est difficile pour eux. On le voit par exemple dans les statistiques de consultation des ressources en ligne. Le train-train d’un emploi du temps « à la fac » et le rythme qu’impose la présence aux cours et aux TD créent un cadre qu’il est difficile de reproduire quand on est tout seul chez soi. Et pour certains étudiants, le travail en groupe est aussi un moyen de socialisation et de motivation qui disparaît quand on est à distance.

Il existe des pistes pour essayer de reconstruire à distance un cadre et pour aider les étudiants à structurer leur apprentissage : exercices et tâches à valider (visionnage de vidéos, QCM, devoirs) avec des itinéraires pédagogiques, mais ça demande une véritable scénarisation construite. À ma connaissance, peu d’équipes enseignantes ont été en capacité de mettre en place ce type d’outils élaborés dans le contexte d’urgence dans lequel nous avons travaillé. Ce qui ne veut pas dire que c’est impossible, surtout maintenant que pas mal de « briques de base » ont été construites et qu’une partie des enseignants a du se frotter à ces nouveaux outils, même si ça a parfois été sous la contrainte.

Il sera important d’expérimenter et de tester ces stratégies. En particulier pour ce qui concerne les étudiants les plus en difficulté pour qui la barrière numérique est probablement aussi la plus grande.

Valoriser les acquis et les données

Ainsi qu’évoqué à plusieurs reprises plus haut, une grande partie des ressources qui ont été produites (QCM, vidéos, polys en ligne, e-books) seront réutilisables et/ou améliorables. C’est un investissement qui est perenne. Un matériau qui sera là dans les années qui viennent, bien après le COVID, qu’on pourra continuer à utiliser et à développer.

Les compétences aussi ont considérablement progressé. Il y a à peine un an, dans mon université, les enseignants qui exploitaient réellement les possibilités de l’enseignement numérique et/ou à distance de manière très active étaient une petite minorité : des geeks comme moi, des passionnés, des militants. Aujourd’hui, toute mon université s’est mise à l’heure des cours en visio, tous les cours du dernier semestre ont donné lieu à plus ou moins de numérique et tout (sauf la PACES) été évalué à distance, distanciation oblige. Il y a bien sûr des résistances, mais la connaissance et l’appropriation de ces outils dépasse désormais le cadre d’un petit cercle d’initiés.

Enfin, il y a les données que produit l’enseignement numérique. Je l’ai évoqué plus haut en parlant des auto-tests en ligne ou des statistiques de consultation des vidéos. Grâce à ces données, on peut se rendre compte de la difficulté, de la qualité et de l’efficacité des différentes ressources pour les faire évoluer et les améliorer. Dans certains cas, on peut aussi s’en servir pour créer de nouvelles ressources de meilleure qualité.

J’ai par exemple le projet d’utiliser cet été la matière très riche que sont les réponses au contrôle en ligne que j’ai proposé à mes 240 étudiants de tronc commun de licence. Ainsi qu’évoqué plus haut, on peut en effet exporter l’ensemble des réponses ouvertes dans un format numérique de type Excel ou CSV (comma separated values). Je l’ai fait. Pour chaque question, j’ai donc un échantillon des mauvaises réponses qui traduisent les confusions et incompréhensions qui persistent dans l’esprit de mes étudiants à l’issue de mon cours. J’en vois deux utilisations possibles pour les prochaines générations d’étudiants :

• Sur un plan général : modifier mon enseignement et les ressources associées (poly, diapos, vidéos) pour insister sur les points difficiles que j’ai ainsi identifiés.
• Spécifiquement : Transformer ce contrôle en ligne en auto-test d’entrainement sur un mode QCM. Les « distracteurs » (mauvaises réponses crédibles) sont tous trouvés : ce sont les incompréhensions/confusions repérées chez mes étudiants de cette année. En expliquant pourquoi ces réponses sont erronées dans le feedback du QCM interactif, ça devrait améliorer la maîtrise des concepts importants dans l’avenir.

L’efficacité d’un tel QCM « adapté aux étudiants » devrait être bien meilleure en termes de formation.

Favoriser les apprentissages projet, constructif et créatifs

C’est considérablement plus chronophage, mais chaque fois que c’est possible (effectifs plus petits, fin de cycle le licence), on voit que les modes d’apprentissage actif et d’évaluation qui favorisent l’engagement des étudiants (par exemple, un projet individuel) donnent de meilleurs résultats, y compris dans l’enseignement à distance.

D’autre part, ça fait pratiquer et développer d’autres compétences aux étudiants : expression orale, analyse critique, mise en forme des idées, qui leur seront toutes utiles dans leur vie professionnelle, quelle qu’elle soit. J’ai bien conscience d’enfoncer une porte ouverte sur cette question, mais la crise COVID est une manière de se rappeler combien l’Université en général a de vraies marges de progression sur la formation de ses étudiantes et de ses étudiants dans ces domaines.

Repenser le métier d’enseignant et son évaluation

Tout ça m’amène à mon dernier point. Un point essentiel et qui n’est pas totalement dans les mains des universitaires, mais est aussi lié à notre statut. C’est la question de  » qu’est ce que le métier d’enseignant et comment sont définies les obligations associées ?  »

La plupart des activités « chronophages » que j’ai mentionnées dans ce billet : production de ressources en ligne, d’outils d’auto-évaluation… est aujourd’hui quasiment bénévole. Je m’explique : elles comptent en principe pour des prunes dans notre obligation de service statutaire de 192h équivalent TD .

Petit aparté explicatif pour les non-universitaires, le service statutaire, c’est le nombre minimum d’heures d’enseignement présentiel devant les étudiants qu’on doit faire. Ce chiffre est de 192h/an pour un enseignant-chercheur, ce qui correspond en théorie à 768h de travail (on considère qu’il faut 3h de préparation, réunions pédagogiques, corrections, jury… pour 1h de cours), le reste étant consacré à la recherche. C’est d’ailleurs un truc qui m’a toujours laissé pantois :

Nous avons une obligation de moyens, pas une obligation de résultat…

En d’autres termes, si je caricature, le système se contrefiche de savoir si les cours sont bien faits, utiles aux étudiants, formateurs, pédagogiques… Tout ce qu’on nous demande, c’est 192h de présence en amphi/salle de TD.

Pourtant, produire toutes ces nouvelles formes de ressources numériques et pédagogiques, c’est un gros investissement, très utile aux étudiants, indispensable même pour quelques uns d’entre eux qui pour diverses raisons ne peuvent suivre tous les cours (régimes spéciaux d’études…). À mon avis, c’est en partie pour cette raison que seule une minorité d’enseignants s’était investie de manière importante dans ces outils, par faute d’une reconnaissance substantielle de ce travail pourtant réel et très utile. Le COVID et le confinement ont changé ça en partie, par la contrainte.

Aujourd’hui il me semble y avoir deux trajectoires possibles : Soit on revient à l’état antérieur, on oublie l’enseignement à distance et les outils numériques. On refait du bon vieux amphis+TD à l’ancienne, à la dose de 192h minimum par enseignant, avec un bon vieux partiel à la fin. Soit on s’approprie ces nouveaux outils et on essaie de faire bouger les lignes pour faire reconnaître ces nouvelles modalités d’enseignement, à coté et en complément des modalités classiques dont je ne méconnais pas l’importance, au contraire. Ça veut dire accepter de discuter de ce que signifie un « service d’enseignement » et des sacro-saintes 192h…

Pour moi, la première solution est intenable, comme je l’ai dit au début, on ne fera pas rentrer le dentifrice dans le tube. Les mentalités bougent, les étudiants vont pousser pour obtenir des évolutions durables. Sinon, les plus aisés parmi eux, les plus favorisés, les plus informés risquent de voter avec leurs pieds et rejoindront des établissements sélectifs, publics et privés, souvent beaucoup plus chers qui leur offriront ces outils et cette qualité de formation.

Alors le sujet est sur la table…

Au delà du financement des projets, ces sommes permettraient-elles une véritable redistribution permettant de donner des moyens de recherche aux laboratoires et aux établissements ?

C’est la question que j’ai voulu essayer de traiter dans ce dernier billet sur le financement de la recherche et l’ANR.

Préciput : du Lat. praecipuum, de prae, d’avance, et capere, prendre.

Littré

Dans le projet de loi pluriannuelle de programmation de la recherche (LPPR), il est prévu d’augmenter très substantiellement le budget de l’ANR, avec une progression étalée sur plusieurs années (l’article 2 du projet annonce une augmentation de 1000 M€ à la cible en 2027, soit 1600 M€ consolidés, avec les 600 M€ de son budget actuel). Dans ce billet, je me place dans l’hypothèse de l’atteinte de cet objectif d’augmentation des moyens de l’ANR. Cet accroissement prévu du financement est à double-détente :

• Il y a d’une part une augmentation du budget des appels à projet (AAP) pour porter le taux de succès à 30 % (au lieu des ~15% actuels) ;
• Il y a aussi une augmentation du taux des overheads versés aux établissements hébergeurs et employeurs des acteurs de ces projets.

J’ai expliqué dans un précédent billet pourquoi je pensais que le premier effet pouvait être réellement transformant sur l’équilibre du financement de notre système de recherche. Dans le présent billet, mon objectif est d’examiner l’impact potentiel du deuxième effet (augmentation des overheads), si cette réforme du financement par l’ANR aboutissait complètement. Pour ça, je vais m’appuyer sur l’analyse de Où va l’argent de l’ANR ? publiée ici-même il y a quelques semaines.

Les overheads…

Les overheads, aussi appelés préciput ou abondement sont un financement additionnel versé aux établissements tutelles, en plus du coût direct du projet. Au départ, l’objectif était de compenser les coûts indirects induits par la mise en œuvre du projet, sous forme d’un forfait. Actuellement, le taux de préciput de l’ANR est de 11%. Ça signifie que pour un projet subventionné à hauteur de 100 000 €, 11 000 € supplémentaires sont versés aux tutelles de l’équipe bénéficiaire (warning : dans les laboratoires mixtes, il y a un petit sujet sur quelle tutelle touche cette manne, on en parle plus bas…).

Dans le projet de LPPR, on parle de passer ce taux d’overhead à 40%. Notez bien que cette somme vient en plus du financement du projet. Et là, dans l’hypothèse d’augmentation du budget de l’ANR, c’est un changement majeur. Parce qu’il y a un « double effet Kiss Cool » : d’une part le budget des AAP augmente d’au moins un facteur 2 (pour remonter le taux de succès à 30%) et d’autre part le taux d’overhead est multiplié par 3,6. Comme les overheads s’appliquent sur le budget distribué aux équipes, ça signifie une augmentation d’un facteur au moins sept à huit des retours vers les établissements. D’une « cerise sur le gateau » plutôt anecdotique, le préciput deviendrait ainsi un outil majeur de financement des institutions.

Ça ferait combien ?

Si on raisonne en termes macro, aujourd’hui, l’ANR distribue environ 500 M€ dans le cadre de ses divers AAP (voir mon billet précédent). Augmenter ce budget d’un peu plus d’un facteur deux nous amène à environ 1000-1200 M€ sur les projets de recherche. Si on rajoute à ça 40% d’overheads, ça veut dire que le montant total de ces overheads serait autour de 400 à 500 M€ redistribués sur les institutions et leurs laboratoires chaque année (c’est à dire autant que le budget actuel que l’ANR met dans les projets).

C’est énorme par rapport à aujourd’hui.

Qui va toucher ce pactole ?

C’est la question à un demi-milliard… L’article 11 alinéa 3 du projet de LPPR dit :

Pour tout projet de recherche financé par l’Agence nationale de la recherche dans le cadre d’une procédure d’appel à projets, l’Agence attribue un abondement financier.

Cet abondement est réparti entre les établissements participant au service public de la recherche qui sont parties prenantes au projet de recherche. La répartition inclut une part minimale attribuée aux établissements dans les locaux desquels est réalisé le projet et une part minimale attribuée aux établissements employeurs des personnels ayant déposé le projet.

(c’est moi qui souligne la phrase, abondement=préciput=overhead)

Donc, dans le cas d’une unité mixte avec plusieurs tutelles, il y aura un partage entre celle qui fournit les locaux (souvent, l’université) et les employeurs (l’université et les organismes de recherche). Le texte mentionne des parts minimales, je pense pour donner un cadrage général et éviter une foire d’empoigne (un décret de cadrage est prévu dans l’alinéa suivant du texte). Les parties (Universités, CNRS, INSERM…) pourront aussi conclure des conventions pour définir localement des principes de répartition de gré à gré. C’est un bon sujet dont je prédis qu’il sera un peu chaud…

Simulation de répartition

L’une des lignes importantes de ce blog est d’essayer de s’appuyer le plus possible sur les données disponibles pour analyser ce qui se passe dans l’ESR (voir le billet show me the data). Ici, je vais faire une légère entorse à ce principe et essayer de faire une projection à partir de données et de quelques hypothèses. C’est du « un peu à la louche », mais l’idée est d’avoir des ordres de grandeur, pour savoir de quoi on parle.

Voici mes hypothèses de départ :

• Je pars d’une enveloppe totale de 400 M€ de préciput à répartir entre les institutions de l’ESR. C’est la fourchette basse de l’estimation ci-dessus, mais l’ANR finance aussi quelques autres acteurs hors des universités et des organismes (fondations, entreprises…). On ne doit donc pas être trop loin du compte.
• Sur le partage du pactole évoqué plus haut, je suis parti sur une répartition de ces 400 M€ en 250 M€ pour les universités (au sens large) et 150 M€ pour les organismes de recherche nationaux. Dans une majorité des cas, les universités hébergent les UMR, même si les chercheurs/ingénieurs des organismes constituent une part importante des forces vives de ces projets (dans ma discipline, au moins). Cette hypothèse est la plus fragile, mais le lecteur pourra corriger, si in fine on aboutissait à 200/200 ou 300/100. Encore une fois, l’idée est d’avoir un ordre de grandeur global, pas davantage.
• Je fais aussi l’hypothèse qu’entre universités, ou entre organismes, la répartition future sera semblable à ce qu’on observe dans les données rétrospectives de l’ANR (voir le billet précédent, où va l’argent de l’ANR ?).

Les organismes de recherche

Avec 150 M€ de préciput global et la clé de répartition entre organismes vue dans le billet précédent, cela donnerait :

Les autres organismes (IFREMER, CIRAD, BRGM, IRSTEA, IFFSTAR…) obtiendraient autour de 1 à 2 M€ annuels.

Ces chiffres ne sont pas négligeables. Pour le CNRS et l’INSERM que je connais le mieux, ils correspondent à peu près à la moitié de la subvention de base annuelle à toutes leurs unités de recherche. Si cette dotation était réinvestie dans leur unités de recherche par ces organismes, cela induirait donc une augmentation moyenne de 50% des moyens distribués.

Les universités

Pour les universités, j’ai agrégé l’ensemble des établissements d’enseignement supérieur (universités, grands établissements…) et divisé l’enveloppe globale de 250 M€ au prorata de leurs taux de financement antérieurs par l’ANR. J’obtiens ainsi une estimation de ce que serait le préciput annuel qui leur serait reversé.

J’ai aussi voulu normaliser ce chiffre par la taille et la nature des thématiques de recherche menées par ces différentes universités (un projet en topologie algébrique n’implique pas les mêmes coûts qu’un projet de génomique humaine…). C’est compliqué à estimer alors je me suis basé sur un proxy que j’ai trouvé intéressant : la dotation de fonctionnement que leur verse le ministère chaque année. Cette dotation de fonctionnement était précisément calculée sur le nombre d’enseignants-chercheurs avec une pondération par groupe de discipline, censée prendre en compte les différences de coûts entre sciences expérimentales, SHS, santé… (c’était le fameux « modèle SYMPA », mythique clé de répartition magique du ministère, aujourd’hui mort et enterré…). Ces données de dotations de fonctionnement des universités sont présentées chaque année au CNESER et donc publiques. J’ai pris celles de 2017 que l’on peut trouver par exemple ici.

Le graphe ci-dessous présente ces données comparées : à gauche les dotations annuelles, à droite le préciput annuel estimé dans le cadre de la LPPR (une version de meilleure résolution est disponible via ce lien)

Plusieurs commentaires sur le résultat de cette simulation :

• Les montants de préciputs estimés sont très importants. Pour beaucoup d’universités, ils représentent l’équivalent d’une fraction substantielle de leur dotation de fonctionnement, laquelle ne sert pas qu’à doter ses laboratoires, mais aussi à payer tous ses coûts fixes (fluides, infrastructures, gardiennage…) et ses coûts de formation. Dans mon université, ce montant serait un peu supérieur à la totalité du budget actuel « recherche », ce qui signifie que s’il était réinvesti dans les labos sous différentes formes (soutien de base, équipements de recherche, « BQR »…), l’enveloppe recherche ferait plus que doubler.
• Il y a une corrélation visible entre le préciput estimé et le budget de fonctionnement actuel de l’université. Ce qui veut dire que les écarts entre universités sur l’histogramme de droite sont pour partie au moins une conséquence de leurs différences de taille et de nature d’activité de recherche.
• Une majorité d’universités vont avoir des retours substantiels, pas seulement les plus importantes. Plus des deux tiers des universités devraient avoir un abondement annuel supérieur à 1 M€ (aujourd’hui, quasiment aucune n’atteint ce score, sauf peut-être Sorbonne université, et tout juste).

Que représentera le préciput dans le budget des universités ?

Une autre manière d’analyser cette question, pour essayer de comparer les choses de manière normalisée, c’est de regarder ce que ces estimations de préciput représentent en pourcentage de la dotation de fonctionnement de chaque université (autrement dit, le ratio des deux barres du graphe précédents).

C’est une manière de voir si cet abondement sera en capacité de changer les grands équilibres de financement par les universités de leur équipes de recherche.

Le résultat est indiqué sur l’histogramme ci-dessous.

Je trouve ce graphe très intéressant, parce qu’il bat en brèche quelques idées reçues :

• Globalement les taux sont élevés avec pour une majorité d’universités, un montant de préciput compris entre l’équivalent de 10% à 35% de la subvention totale de fonctionnement. C’est une autre manière de voir le caractère substantiel et potentiellement transformant de ces retours financiers. Ces taux sont très élevés, quand on sait que le budget de fonctionnement général des universités est largement gagé sur des dépenses incompressibles.
• Une fois normalisés, les écarts entre établissements ne sont pas si importants. C’est une confirmation de ce que je disais dans le billet précédent, à savoir que l’ANR finance relativement large, plus large que le discours ambiant ne le laisse entendre. Il reste la situation de quelques universités spécifiquement SHS qui occupent la queue du classement, sur lesquelles je reviendrai plus bas.
• Beaucoup plus contre-intuitif, il n’y a pas que les « grosses cylindrées » qui tirent leur épingle du jeu, il y a beaucoup d’universités de taille moyenne en haut de ce classement du préciput normalisé. Sorbonne Université se fait coiffer au poteau par… Marne-la-Vallée, et dans les universités qui feraient un score de préciput supérieur à 20% de leur budget de fonctionnement total, on trouve aussi : La Rochelle, Limoges, Pau, Bretagne-sud, Haute-Alsace, Brest, Maine, avec Chambéry et Valenciennes juste derrière. Les équipes de ces universités sont donc performantes à l’ANR, en proportion des effectifs de l’université et des disciplines représentées.

Quelques remarques de conclusion

La conclusion essentielle de cette petite simulation, avec toutes ses limites, c’est que cette augmentation taux d’overhead/préciput est un mécanisme majeur de redistribution de moyens vers les établissements.

La question qui vient immédiatement derrière, c’est : « qu’est-ce vont faire les établissements de ce préciput ? » Si ces moyens sont principalement redistribués sur les activités de recherche, on obtiendrait un cercle vertueux et un système qui répondrait en partie à la demande de la communauté de « davantage de financements hors appels à projets ». Ce serait aussi une opportunité pour les universités de disposer des moyens d’une politique scientifique. Globalement, pour moi, un possible changement de paradigme.

Je ne sais pas si la LPPR, le ministère ou l’ANR mettront en place un schéma incitatif ou des contraintes sur l’utilisation de ces moyens importants. Je pense qu’il serait essentiel que ça revienne vers la recherche au sens large (y compris ses coûts indirects), plutôt que dans le budget général de l’établissement. Et je préfère toujours le mode incitatif au mode coercitif.

Dernier point, il reste la faiblesse des retours vers les universités à dominante SHS : Montpellier 3, Nanterre, Paris 8, Rennes 2, Lyon 2, Paris 3, Toulouse 2… C’est difficile pour moi d’identifier la ou les raisons de ce déficit structurel qui pose véritablement question et devrait à mon sens être traité. Je vois quelques raisons possibles :

• Une faible appétence d’un certain nombre de collègues de ces disciplines pour le principe des appels à projet. Certaines autres institutions purement SHS (EHESS, EPHE, SciencesPo…) ont des niveaux de préciput dans la moyenne des universités pluridisciplinaires, ce qui suggère que cette explication pourrait être en partie vraie.
• Un sous-financement de ce champ disciplinaire par l’ANR (je pense aussi que c’est en partie le cas, j’en reparlerai peut-être dans un prochain billet).
• Une inadaptation du modèle actuel des projets ANR aux problématiques des SHS. La plupart des appels sont pour des projets collaboratifs multi-équipes, et il y a beaucoup de disciplines SHS où la recherche est très individuelle.

Je pense que l’augmentation projetée du budget de l’ANR serait une opportunité à ne pas rater pour :

• Réexaminer les modalités des appels en fonction des spécificités des disciplines : calendrier des appels/durée des projets/mono ou multi-équipes.
• Réfléchir à l’équilibre entre les secteurs disciplinaires. A budget constant, c’est très difficile d’augmenter par exemple la part des SHS (ou des sciences du vivant, si je prêche pour ma chapelle ). C’est difficile, parce qu’il faut déshabiller Pierre pour habiller Paul : Si on pique des sous aux physiciens pour les donner par exemple aux sociologues et aux historiens, les premiers vont râler, vous aurez les sociétés savantes, les académiciens, les prix Nobel qui vont se lever comme un seul homme pour défendre la patrie des physiciens en danger. En revanche si on augmente le budget de l’ANR, c’est plus facile de jouer sur des taux d’augmentation différenciés. Et c’est une fenêtre de tir qui risque de ne pas se représenter.

Ce billet présente une analyse (imparfaite) des informations publiques pour essayer de faire la lumière sur cette question particulièrement sensible en cette période de discussion autour de la LPPR. Avec des choses attendues… et d’autres beaucoup moins.

L’ANR finance toujours les mêmes, les appels à projet sont un moyen de financement de la recherche très inégalitaire.

Lu sous diverses formes sur les réseaux sociaux

On entend souvent cette affirmation ces derniers temps, dans les couloirs des labos ou sur les réseaux sociaux. Qu’en est-il vraiment ?

Pour reprendre la philosophie spécifique de ce blog (voir ici : show me the data !), j’ai voulu partir des données réelles pour dresser un tableau le plus objectif possible de où va l’argent distribué dans les appels à projet financés par l’Agence Nationale pour la Recherche (ANR).

Spoiler : On trouve des choses attendues, 
mais aussi des surprises…

Les données

Il y a des données publiques de l’ANR disponibles via le site open data de l’État (data.gouv.fr). Plusieurs jeux de données sont disponibles, mais ça ne s’est pas avéré aussi facile que prévu.

Pour les besoins de l’analyse que je souhaitais faire, je suis parti de celui qui est accessible par le lien suivant. C’est le seul qui comporte à la fois des données financières et d’identification des institutions bénéficiaires. C’est donc le seul qui permette d’aborder la question  » où va l’argent ? « . Il récapitule tous les projets financés par l’ANR entre 2006 et 2017 (hors investissements d’avenir). J’ai du fortement pré-traiter ces données avant de pouvoir en sortir quelque chose (voir plus bas Contrôle et nettoyage des données).

Financement par l’ANR : analyse macroscopique

Les données analysées correspondent à 12 698 projets financés sur 11 appels entre 2006 et 2017. Il n’y a pas eu d’appel en 2009 (décalage du calendrier, effet post-crise 2008 ?). 39 473 équipes partenaires ont été financées, ce qui fait une moyenne d’environ 3,1 équipes par projet, chiffre très stable quelle que soit l’année.

Le budget total distribué a été de 5 219 M€, soit un budget moyen de 474 M€ par an, avec les variations connues représentées sur le graphe ci-dessus (chute 2012-2015, remontée partielle ensuite). Le budget moyen d’un projet est de 411 K€. Il a varié un peu dans le temps, avec un pic à 460 K€ en 2008 et un creux à 374 K€ en 2016.

J’ai aussi analysé quelle était la distribution de ces budgets de projets pour voir si cette moyenne de 411 K€ par projet cachait des disparités importantes. La distribution est indiquée dans le schéma ci-dessus. On constate qu’il y a une queue à droite, avec quelques projets financés à largement plus d’un million d’euros (le graphe est tronqué, avec quelques projets encore plus dotés).

Entre 2006 et 2017, 57 projets ont bénéficié d’un financement dépassant les 1,5 M€. On les trouve essentiellement dans les appels thématiques de l’ANR (seuls 2 projets sur les 57 sont dans les programmes blancs ou assimilés). L’appel qui a bénéficié le plus de ces « gros projets » est le programme PAN-H (Plan d’Action National sur l’Hydrogène et les piles à combustible). Le record toute catégorie est détenu par un projet porté par Peugeot-Citroën en partenariat avec le CEA et l’université de technologie de Belfort-Montbéliard, qui a frisé les 3 M€ en 2006. Ce sont des projets qui mobilisent systématiquement des grands consortium de 6 à 8 partenaires (le maximum est 17 partenaires).

Où va l’argent ? (par type d’institution)

Qui tire le mieux son épingle du jeu de l’appel à projet ANR ?

Le CNRS, les autres organismes de recherche, les universités ou bien les grands établissements (ENS, Polytechnique…) ? Quid des grandes fondations (Institut Pasteur, Institut Curie) ? des hôpitaux ? et le reste ?

Pour répondre à cette question, j’ai pris le parti de me focaliser sur une année représentative pour laquelle les données sont relativement propres (voir Contrôle et nettoyage des données), l’année 2011. En 2011, il y a eu 1218 projets financés par l’ANR pour un montant total de 526,6 M€. Sur ces 1218 projets, près des trois quart (899) ont un organisme de recherche pour partenaire (CNRS, INSERM, CEA, INRA, INRIA, IRD…) et près de la moitié associent (571) un établissement d’enseignement supérieur (université ou école). Il y a bien évidemment des recouvrements et près de 30% des projets associent les deux (organisme+université). Le CNRS est présent dans plus de la moitié de tous les projets financés cette année-la (667 sur 1218).

Quelques commentaires sur cette analyse à grain moyen :

• Les établissements publics d’enseignement supérieur ou de recherche sont présents dans plus de 90% des projets financés par l’ANR (et même peut-être un peu plus, j’ai pu en rater quelques uns dans le processus de pré-traitement des données). L’ANR finance donc bien principalement la recherche publique (pour ceux qui en doutaient).
• Il y a probablement une sous-estimation des collaborations université/organisme. Ceci est dû au fait que les données ne référencent souvent qu’une tutelle par équipe partenaire. Dans le cas d’une UMR, l’ANR recense l’organisme gestionnaire des crédits. (Gut feeling personnel : ceci doit plutôt jouer pour une sous-représentation des universités que des organismes, voir plus bas).

Quelques mots complémentaires sur les autres types d’acteurs :

• Les grandes fondations sont très efficaces en termes de succès à l’ANR (y compris les fondations de coopération scientifiques et assimilées). En 2011, elles sont partenaires de 66 projets (5% du total). Avec deux champions : l’Institut Pasteur (32 projets lauréats en 2011) et l’Institut Curie (17 projets). Ceci place cette année là l’Institut Pasteur au même niveau que l’université d’Aix-Marseille (avec son périmètre fusionné actuel).
• Les centres hospitaliers sont aussi substantiellement financés par l’ANR (CHU et CHR) . En 2011, 56 projets lauréats associaient une structure hospitalière (4,6% du total des projets). C’est beaucoup plus distribué sur le territoire que pour les fondations, puisque le premier CHU : l’AP-HP , n’est présent que sur 7 projets.

Où va l’argent ? (analyse par établissement)

C’est la partie la plus intéressante. L’analyse par établissement. C’est aussi la plus délicate, pour un ensemble de raison qui sont discutées dans la partie sur le contrôle des données plus bas. À partir de 2012, les données d’attribution aux institutions sont un peu plus lacunaires. Les chiffres indiqués sont donc nécessairement des sous-estimations.

Pour avoir une analyse plus robuste, j’ai pris le parti de considérer l’ensemble de la période 2006-2017. Pour éviter les effets de bords sur les petits effectifs et avoir un peu plus de puissance statistique. L’objectif est principalement d’avoir une représentation relative des financements reçus, à défaut de pouvoir être tout à fait quantitatif.

Les organismes

L’histogramme ci-dessous montre les financements cumulés des projets dont les principaux organismes de recherche nationaux étaient partenaires, sur la période 2006-2017. Il s’agit des montants totaux cumulés des projets, pas de la quote-part attribuée à chaque organisme (qui ne figure pas dans les données). Avec une moyenne de 3,1 partenaires par projet (cf plus-haut), on peut estimer que les subventions ANR réellement gérées par ces organismes doivent donc correspondre à la louche à environ 1/3 des montants indiqués.

Le CNRS occupe un leadership incontesté, avec un montant total cumulé de projets de 2 372 M€ (sur le total de 5 219 M€ distribués par l’ANR sur cette période). Le CEA et l’INSERM suivent avec un peu plus de 700 M€ chacun. L’INRA et l’INRIA complètent le « groupe des 5 » avec des montants respectifs de 384 M€ et 251 M€. Les autres organismes sont tous en dessous de 100 M€ cumulés, avec un peloton entre 40 et 90 M€.

Les universités

Pour les universités, le graphe équivalent à celui des organismes est indiqué ci-dessous.

Ces données appellent plusieurs commentaires de précaution. Dans tous les cas c’est en effet une sous-estimation du vrai chiffre (i.e. un minorant). Pour deux raisons :

• Parce que mon nettoyage des données est incomplet (je n’ai réattribué à leur institution tutelle qu’un peu moins de 80% des équipes, ça en laisse environ 20% dans la nature) ;
• Parce que lorsqu’il s’agit d’une équipe au sein d’une UMR, l’institution gestionnaire est souvent l’organisme national (CNRS, INSERM…), plutôt que l’université. Du coup, elle n’est pas toujours référencée pour sa tutelle universitaire

La valeur absolue de chaque barre de l’histogramme ci-dessus est donc une combinaison de deux facteurs : le montant des contrats effectivement obtenus par les équipes de l’université et le fait que ces contrats soient gérés ou pas par l’université.

Ce second paramètre (gestion par l’université) est probablement plus important dans des établissements où les structures de gestion des contrats de recherche sont très développées, à l’instar des organismes de recherche. Typiquement, les plus grands établissements d’enseignement supérieur et ceux qui sont très actifs en recherche.

Universités riches et universités pauvres ?

Sorbonne U constitue un point singulier qui sort nettement du lot dans le graphe. Je vois deux facteurs qui peuvent contribuer à expliquer ça : C’est indiscutablement une de nos meilleures universités en termes de recherche et elle a vraisemblablement su mettre en place une structure d’appui à la recherche efficace qui lui permet de gérer une grande partie des contrats de ses équipes.

Si on regarde la distribution du reste des universités (en faisant abstraction de Sorbonne U), je me fais plusieurs observations :

• La distribution est largement étalée, avec ~70% des universités représentées au dessus de 10 M€ cumulés.
• Beaucoup d’universités provinciales de taille moyenne hors Idex/Isite tirent très bien leur épingle du jeu : Brest, Pau, Tours, Limoges, Reims, Chambéry…, ce qui n’était pas forcément évident.
• Les universités à forte composante de sciences expérimentales sont dans le haut du classement et celles purement SHS dans le bas (ce qui n’est en revanche pas une vraie surprise).
• Les écarts seraient à pondérer par la taille des établissements (ramener par exemple à la subvention publique de fonctionnement, ou au nombre de statutaires dans les labos). Les plus dotées sont souvent aussi des grosses universités fusionnées. Les plus grosses sont aussi celles qui peuvent plus facilement investir des ressources dans la gestion des contrats et l’appui administratif, ce qui gonfle leur chiffre de contrats gérés. Si on pondère par la taille, ça devrait aplatir davantage la distribution (peut être le ferai-je pour un prochain billet, mais là je sature un peu sur l’analyse de données).
• Il faudrait aussi corriger quelques singularités, comme Toulouse I Capitole (en queue de classement) dont les équipes obtiennent pas mal d’ANR, mais celles-ci étant gérées par la fondation Toulouse School of Economics (TSE) elles ne sont pas comptabilisées pour l’université.

Tout ça pour dire que si on voit des différences réelles, on n’est à mon avis pas dans un stéréotype riches/pauvres très tranché, du genre « tout pour les Idex/Isite », rien pour les autres. Il y a cependant un vrai hiatus pour certaines universités purement SHS auquel il faudrait trouver des solutions.

Les données indiquent que l’ANR finance relativement large, plus large que le discours ambiant ne le laisse entendre.

Ceci n’est pas nécessairement incompatible avec une impression que l’ANR arrose parfois à répétition les mêmes équipes. Simplement, ces serial-ANR sont répartis dans pas mal d’établissements.

Les écoles et grands établissements

J’ai traité séparément les écoles et grands établissements qui constituent un groupe plus hétérogène, avec des niveaux d’activité de recherche et de formation assez variables. Le graphe ci-dessous montre le niveau de financement par l’ANR pour une sélection de ceux qui sont les plus actifs.

Les fondations et centres hospitaliers

Pour conclure, juste quelques remarques sur deux autres catégories de bénéficiaires de l’ANR :

• Les fondations et en particulier l’Institut Pasteur et l’Institut Curie sont très performantes à l’ANR. Elles sont également souvent coordinatrices des projets (pas justes partenaires). Pasteur, par exemple émarge sur des projets d’un montant cumulé de 125 M€ sur la période 2006-2017, soit autant que Paris-Saclay… Curie fait presque aussi bien avec 94 M€.
• Les structures hospitalières (AP-HP, AP-HM, Hospices civils de Lyon, CHU, CHR) sont partenaires de projets ANR pour un montant cumulé de 336 M€ sur 2006-2017. Ça fait ~30 M€ de montants de projets cumulés par an. À titre de comparaison, le PHRC national (programme hospitalier de recherche clinique du ministère chargé de la santé) a distribué un budget d’un peu moins de 70 M€ en 2019. La contribution de l’ANR à la recherche hospitalière est donc loin d’être négligeable.

Méthode : Contrôle et nettoyage des données

(Plongée dans le cambouis pour les geeks qui veulent tout savoir)

Les données dont je suis parti sont d’une qualité assez merdique et impossibles à utiliser directement (mais je n’avais pas mieux…). En particulier, l’identification directe des partenaires institutionnels est très problématique. Par exemple, pour l’université de Saint-Étienne, on peut trouver une dizaine de dénominations différentes avec St-Etienne ou Saint-Etienne, avec ou sans tiret, avec ou sans accent sur le É, avec U. ou Univ. ou Université… Pareil avec les numéros des universités (Paris 1 ou Paris I, avec ou sans Panthéon Sorbonne…). Sans parler de celles qui fusionnent ou changent de nom pendant la durée étudiée…

Pour chaque projet dans la base, on a :

• Identifiant de l’ANR
• Intitulé de l’ANR
• Coordinateur
• Nom du programme
• Montant
• Durée en mois
• Date de début
• Liste des partenaires
• URL de la page présentant l’ANR

C’est parfois incomplet. Par exemple, on n’a pas toujours la date de début, mais on peut la retrouver avec l’identifiant ANR. Bref, il faut faire un gros ménage avant de pouvoir faire quoi que ce soit.

J’ai fabriqué un filtre grep comprenant environ 500 expressions régulières pour uniformiser les dénominations d’environ 200 à 250 institutions différentes (universités, grands établissements, EPST, EPIC, Fondations, CHU…). Pour ceux qui ne connaissent pas, grep est un outil Unix permettant de faire des rechercher/remplacer très sophistiqués. Un truc de nerd.

Pour compliquer les choses, un certain nombre d’institutions ont changé de périmètre et/ou de dénomination pendant cette période. J’ai pris le parti de prendre le périmètre actuel (par exemple, pour Aix-Marseille le périmètre actuel d’AMU, par consolidation des données des trois universités fondatrices avant 2012, date de la fusion). Pour les universités de statut expérimental avec des établissements-composantes conservant leur personnalité juridique, je n’ai pas intégré ces établissements-composantes dans l’établissement fusionné, mais je les ai traités séparément (exemples : l’Institut polytechnique à Grenoble, l’IPGP à l’université de Paris, les différentes écoles de l’université de Lorraine…).

Je ne suis pas arrivé à tout corriger de manière exhaustive, c’est impossible, parce que pour environ 20% des partenaires de projets, la tutelle n’est juste pas indiquée. il y a juste un truc du style Monsieur Macheprot, Institut de pataphysique structurale, point barre. On n’a pas les institutions tutelles et quelquefois, même pas la ville. C’est impossible à corriger, à moins d’aller se les palucher une par une à la main sur son moteur de recherche préféré.

Mon objectif était d’aboutir à une analyse semi-quantitative. Avec environ 80% des projets ainsi nettoyés (un peu moins), je pense avoir une certaine fiabilité sur les ordres de grandeurs relatifs. Autre conséquence, mes chiffres par institution sont certainement un peu sous-estimés du fait que certains des projets dans les 20% restants sont passés entre les mailles de mon filet.

Dernier point sur ce sujet, Les données des années 2005 à 2011 pour les institutions partenaires sont plus propres que celles des années 2012 à 2017 (moins de partenaires non-identifiés). C’est pour cette raison que j’ai utilisé l’année 2011 comme référence plus haut (c’est la plus proche de nous dans la période « propre »).

J’ai conscience que ce n’est pas parfait et que plusieurs de mes choix peuvent être discutés, mais c’est ce qui m’a paru le plus logique/pertinent.

Source de l'image de titre : wikimedia commons

L’augmentation du financement sur projet va accroitre les inégalités entre les chercheurs…

J’ai lu ça à de nombreuses reprises et sous de multiples formes ces dernières semaines sur les réseaux sociaux. Augmenter les financements compétitifs aurait forcément des effets globalement négatifs sur l’ensemble du système. Cela favoriserait une compétition effrénée, contraire à l’esprit collégial de la recherche académique. Cela renforcerait les inégalités entre des laboratoires « riches », déjà bien dotés et des laboratoires « pauvres », qui tirent le diable par la queue.

Je trouve cette affirmation ambigüe et paradoxale. Au minimum, ça demande a être analysé de manière un peu factuelle. Ce billet essaie d’expliquer mon point de vue et d’explorer de manière concrète les conséquences possibles d’une augmentation plus ou moins importante du budget de l’ANR sur notre système de recherche. À titre de comparaison, il examine aussi ce qui se passe chez nos voisins proches, en Allemagne, en Suisse ou aux Pays-Bas.

L’affirmation est ambigüe, ou a minima, manquant de contexte, parce que ça dépend des évolutions / variations des autres modes de financements, en absolu et en proportion. Ce n’est pas la même chose de réduire le financement récurrent pour augmenter le financement compétitif sur projet, ou alors d’augmenter les deux, dans des proportions différentes.

Elle est paradoxale, parce que à mon sens si le financement des appels à projets devient réellement plus important, le coté malthusien, « loterie » et concentré sur quelques uns devrait s’estomper. Augmenter le budget de l’ANR, c’est un moyen de réduire son caractère hyper-sélectif et générateur de compétition. C’est l’objet de la suite de ce billet que d’analyser cette hypothèse d’évolution.

L’arrosage par l’ANR…

Les deux critiques classiques de l’ANR que l’on entend partout sont les suivantes :

• L’ANR arrose surtout « là ou c’est déjà mouillé ». C’est à dire qu’elle finance souvent les mêmes laboratoires/équipes très efficaces pour répondre de manière productive aux appels à projets.
• Le taux de succès à l’ANR est trop bas, du coup, la sélection des projets retenus relève d’une forme de « loterie », injuste et génératrice de frustrations.

Ces deux critiques sont justifiées, mais sont en fait des manifestations du même problème : il n’y a pas assez de moyens, le taux de succès est trop bas, et en conséquence, la sélection des projets lauréats ne peut échapper à des biais importants.

C’est une réalité. Et ce n’est pas les comités ou l’agence (ANR) qui sont directement en cause, mais le niveau de financement public.

La « compétition » dans la recherche

Il y a aussi une ambiguïté sur la définition de compétition. Ça peut désigner deux choses profondément différentes :

• La compétition scientifique qui existe entre différentes équipes travaillant sur la même thématique, pour être le premier à trouver un résultat, démontrer une propriété, expliquer la cause d’un phénomène… La première équipe qui y parvient fait un scoop, publie un article important, dépose un brevet, en tire une renommée dans son domaine… ceux qui arrivent après n’ont pas le même impact. Ça a toujours existé et ça n’a pas vraiment de rapport avec les modalités de financement qui ont permis de faire ces recherches.
• La compétition pour les moyens qui existe entre des équipes de recherche qui sont en concurrence dans un même appel à projet ayant avec un budget disponible limité (ou d’ailleurs dans un modèle de répartition de financements récurrents, parce que là aussi, il y a une forme de compétition pour un budget limité).

Ces deux types de compétitions sont complètement différentes dans leur nature et dans leurs effets.

Quand on affirme que le financement par appel à projet créerait une compétition exacerbée contraire à l’esprit de la recherche, il me semble qu’on fait une confusion volontaire ou involontaire entre les deux.

Je ne dis pas qu’une compétition exacerbée pour des moyens insuffisants, c’est bien, au contraire. En revanche, ça n’a pas d’impact direct sur les modalités de collaboration, de collégialité ou de compétition scientifique qui existent globalement dans le milieu de la recherche.

La sélection des projets, un processus fragile

Je commence par une confession : j’ai fait partie de comités ANR pendant deux ans et j’ai vu comment ça marchait de l’intérieur. J’assume donc l’imperfection de nos décisions. C’était il y a longtemps (une dizaine d’années) et ça a donc peut-être un peu évolué. Mais je ne crois pas tant que ça, parce que les contraintes n’ont pas tellement changé sur le fond.

Il y a dix ans, l’argent pour la recherche était déjà rare. Dans l’appel à projet pour lequel j’ai fait partie du comité, il y avait environ 200 projets déposés, et finalement, seulement 25 ou 30 ont été financés (je ne me rappelle plus le chiffre exact, mais c’était la fourchette). C’était un crève-cœur.

Avec un tel taux de pression, le processus de sélection et de classement des dossiers est très difficile. On commence par écarter ceux que les différents rapporteurs n’ont pas évalué positivement, on garde ceux qui semblent vraiment intéressants. Le problème, c’est qu’il y en a trop, des bons projets. Trop par rapport à la porte étroite du financement disponible.

A la fin, ce qui détermine les projets qui restent dans la short-list des heureux élus, ce sont des facteurs qui ne sont certainement pas tous objectifs :

• Il y a un effet rapporteur. Dans les personnalités qui composent un comité ANR (ou tout comité, d’ailleurs), il y a des individus très différents, plus ou moins extravertis, grande-gueule, expérimentés, taciturnes. Un dossier défendu par un rapporteur convaincant et engagé a plus de chance de se retrouver dans le dernier carré que celui qui est rapporté par quelqu’un qui n’ouvre pas le bec.
• Il y a un effet « conformisme« . Un projet trop original, vraiment décoiffant, risque fort de se faire écarter à la dernière minute. Il y a toujours un membre du comité pour dire « le projet Macheprot, c’est quand même très risqué, il y a de grandes chances que ça plante« . Et quand l’argent est rare et qu’il faut sortir un ou deux projets pour rentrer dans l’enveloppe, c’est l’argument qui tue… Et hop ! exit le projet Macheprot. En un mot, un taux de sélection trop élevé, ça tue les projets hors des sentiers battus. Il faut être un peu original, mais pas trop. Mes collègues psychologues ont surement des tas d’explications à ce phénomène de dynamique de groupe.

Je suis convaincu que ces biais qu’on ne peut nier et qui discréditent en partie le processus sont avant tout liés à l’insuffisance des budgets. Ce n’est pas du tout pareil de sélectionner seulement 25 projets sur 200 que d’en garder 60 ou 70.

Comment ça se passe chez nos voisins ?

En Allemagne, par exemple, la recherche est aussi largement financée par une agence nationale ayant recours aux appels à projets (AAP), la DFG. Outre-Rhin, la DFG est beaucoup plus riche que notre ANR, même rapporté au PIB du pays (on peut trouver les données ici). Elle dispose d’un budget total de 3400 M€, dont 1200 M€ consacrés aux projets individuels et 1400 M€ aux programmes coordonnés (projets en réseau, collaborations internationales…).

Les financements de recherche distribués par appels à projet sont donc beaucoup plus importants en en Allemagne que chez nous. Pourtant, pour avoir beaucoup collaboré avec des collègues outre-Rhin, je ne les ai jamais entendus se plaindre du coté anti-collégial, hypercompétitif et contre-productif de leur système de financement. Mais il y a une raison : le taux de succès à leurs AAP est de l’ordre de 33 à 36%.

Il n’y a pas que l’Allemagne, c’est pareil en Suisse avec le Fonds National Suisse de la Recherche Scientifique où les taux de succès varient entre 30% et 50% suivant les types de financement (voir données ici) ou aux Pays-Bas avec dont l’agence NWO affiche un taux de succès moyen de 27% (données ici).

33% de taux de succès de l’ANR ?

Faisons un rêve, imaginons que l’augmentation du budget de l’ANR annoncée dans la LPPR lui permette de passer à un taux de succès de 33%, comme outre-Rhin.

Qu’est-ce que ça change ?

Je prétends que ce facteur deux dans le taux de succès change tout. Et qu’il ne crée pas de la compétition, au contraire. Parce que quand le taux de sélection se relâche, le malthusianisme disparait. Pour l’illustrer, je vais faire un raisonnement statistique très « à la louche » et nécessairement simpliste, mais avec l’objectif d’être un poil quantitatif, pour fixer les idées (je suis sûr d’essuyer des critiques, mais bon…).

En régime stationnaire, dans ce modèle, 33% des projets sont financés en année 1. Sur les 67% non-retenus, si ils retentent leur chance en année 2, un tiers d’entre eux sera alors financé au deuxième tour, soit 0,67 x 0,33 = 22% des projets initiaux. Sur deux ans, à la louche, 55% des projets seraient ainsi financés (33% + 22%). Le système serait ainsi en capacité de financer une majorité des bons projets en une ou deux tentatives. Et probablement une proportion un peu plus importante, puisqu’on peut raisonnablement penser qu’il y aura dans les soumissions une fraction de projets pas tout à fait mûrs, pas complètement bien construits, ou pas vraiment convaincants (d’expérience, je dirais que ça représente toujours au moins 20%).

Dernière remarque, pour atteindre ce taux de succès de 33%, il faudrait probablement plus que doubler le budget présent de l’ANR, parce qu’il est assez communément admis que le faible taux de succès actuel conduit à une forme d’autocensure ou de découragement de certains qui renoncent à soumettre des demandes. Si on ouvre les vannes, ça devrait créer un appel d’air et augmenter le nombre de projets soumis. Le budget actuel que l’ANR consacre aux appels à projets est d’un peu plus de 500 M€. Pour que ça marche, il faudrait donc qu’on atteigne 1200 M€ ou quelque chose comme ça. Si la LPPR fait ça, ça changera en profondeur le paysage, mais dans le bon sens. Ça veut dire que les budgets de recherche disponibles dans les labos via les projets ANR viendraient à plus que doubler (+500 à +700 M€ dans l’hypothèse optimiste).

A titre de comparaison, ce que le CNRS distribue en soutien de base dans la totalité de ses UMR est de l’ordre de 160 M€ / an (chiffre que j’ai entendu cité par la direction du CNRS dans une « grand-messe » et qui me semble crédible, mais je n’ai pas la source, si quelqu’un en a une, je suis preneur).

C’est des moyens dont notre recherche a vraiment besoin.

Et le soutien de base des labos ?

Nous sommes tous attachés au soutien de base qui permet de faire de la recherche exploratoire et ne nécessite pas de faire de dossiers. C’est indiscutablement un levier de liberté scientifique important. On verra comment la LPPR permettra éventuellement de refinancer les labos, j’attends de voir pour me prononcer. On parle notamment du préciput de l’ANR, je prévois de faire un prochain billet sur ce sujet.

Pour autant, il me semble rester un non-dit important sur ce point : dans l’hypothèse d’une augmentation du soutien de base, comment répartit-on les moyens ? Le modèle SYMPA d’allocation des budgets des universités est paralysé depuis près d’une dizaine d’années. Comment partage-t-on entre CNRS, CEA, INSERM, universités… On fait juste une homothétie ? on tient compte des effectifs ? de l’intensité de la recherche ? comment l’évalue-t-on ? Aujourd’hui, universités et organismes sont des établissements publics autonomes. Ce sont leurs directions et leurs instances qui ont la main sur une éventuelle augmentation de leur dotations budgétaires. Comment s’assurer que des moyens complémentaires seront bien in fine reversés aux laboratoires ?

Bref, ce que je veux dire c’est que c’est probablement une boite de Pandore très compliquée et qu’une solution consensuelle n’est probablement pas simple à trouver, si elle existe.

Ce qui ne veut pas dire que le soutien de base n’est pas précieux, mais que pour autant les raisonnements simplistes cachent des questions difficiles.

Ce dont les chercheurs ont besoin, c’est de soutien de base pour les laboratoires…

Le financement sur projet, c’est mal…

librement inspiré de messages sur les réseaux sociaux

Le financement de la recherche publique française a beaucoup changé au cours des trois ou quatre dernières décennies. Beaucoup y voient d’abord la conséquence de décisions politiques successives de changer le système, avec un transfert d’un modèle de financement récurrent vers un financement sur projet.

C’est vrai.

Mais je pense que ce n’est pas la seule cause. Nous aussi nous avons changé. La manière opérationnelle dont se fait la science dans les labos a considérablement évolué et a induit des modifications qui ont aussi transformé les besoins de financement des chercheurs (en biologie, au moins…). Ceci a renforcé le changement de modèle et notre dépendance au financement sur projet.

Du financement récurrent au financement sur projet

Dans le présent climat pré-LPPR électrique, certains prônent le retour au « tout financement récurrent ». Je pense que ce n’est pas possible. Parce que le système a changé, on ne pourra pas faire rentrer le dentifrice dans le tube maintenant qu’il en est sorti. Ce billet a pour objet de vous présenter une analyse de ce point de vue personnel.

Pour autant, comme pratiquement toute notre communauté, je suis très attaché à préserver une recherche fondamentale libre, créative, ouverte, poussée par la curiosité. Une véritable blue sky research, comme disent nos collègues anglo-saxons. Trouver comment concilier financement sur projet et liberté de recherche est donc un enjeu essentiel.

J’essaierai de proposer des éléments de réponse dans un prochain billet, mais pour l’instant, je vous livre mon analyse de comment et pourquoi nous aussi nous avons changé et favorisé l’installation du financement sur projet dans le paysage, au moins dans le domaine de certaines sciences expérimentales comme la biologie.

A long time ago, in a far, far away galaxy…

De mémoire, au tout début de mon activité de recherche , le laboratoire dans lequel j’ai fait ma thèse fonctionnait pratiquement sur les seuls soutiens de base annuels de ses deux tutelles CNRS et université. Pas besoin de contrats de recherche.

Je sais, ça fait ancien combattant… et c’est dur à imaginer pour les plus jeunes générations nourries à l’ANR et autres guichets de financement compétitifs. Bon, j’idéalise probablement un peu les choses avec le recul, et comme doctorant je n’avais pas de vision très précise de qui payait quoi dans le labo. Et puis ça couvrait juste le fonctionnement de base, pas l’achat de nouveaux équipements pour lesquels il fallait faire des demandes spécifiques.

C’était de la science de qualité pour l’époque, mais artisanale et pas chère. Et tout à changé.

Aujourd’hui, si vous interrogez un directeur d’UMR dans ma discipline en lui demandant quelle part représente le financement récurrent de ses tutelles dans son budget de fonctionnement (CNRS, INSERM, université…), il vous répondra probablement quelque chose comme environ 20%, pas plus. Les 80% restant sont des contrats.

Si la part des contrats est si importante aujourd’hui et qu’on n’est plus dans la situation « idyllique » que je décrivais plus haut en évoquant mon début de carrière, ce n’est pas parce que le financement récurrent s’est effondré au profit du financement sur projet. C’est surtout parce que la recherche dans ma discipline, et probablement dans d’autres, coute plus cher, beaucoup plus cher qu’auparavant.

De la science de garage…

La science expérimentale que nous faisions il y a une trentaine d’années n’avait pas besoin de beaucoup de choses. Pour caricaturer un peu, quelques pipettes, des boites de Petri, des tubes (beaucoup en verre, pas jetables, donc réutilisables, moins cher à l’usage…) et le tour était joué.

Peu de gros équipements sophistiqués. Ça n’existait pas vraiment et nous n’en avions pas besoin. Avec mes collègues chimistes du département voisin, nous distillions et redistillions nous-mêmes nos solvants (eau, éthanol, éther, phénol…), ce qui était très économique. Ils avaient construits eux-mêmes en partie un de leur spectromètres avec l’atelier d’électronique du site, en assemblant des éléments de base (pompes, amplis…). Et leur verrerie de laboratoire était fabriquée et réparée par le souffleur de verre installé à coté.

Depuis, le souffleur de verre n’a pas été remplacé quand il est parti à la retraite et les chimistes ont acheté un spectro dernier cri off-the-shelf chez un constructeur. Leur vieil instrument maison prend la poussière à la cave… Et on ne redistille plus les solvants, on les achète prêts à l’emploi. Ce n’est pas pour des raisons d’économie, c’est parce que les besoins et les contraintes ont changé.

…à la science high-tech

En 30 ans, la science expérimentale s’est accélérée, technicisée et parfois industrialisée (par exemple dans les programmes -omiques en biologie : génomique…). Les instruments sont devenus plus performants, plus sensibles, plus automatisés, plus informatisés, plus nombreux. Ce sont des bijoux associant des technologies multiples, si complexes qu’un laboratoire de recherche académique standard n’est plus en capacité de le construire ou de l’assembler lui-même. C’est cher, ça évolue vite et il faut les renouveler fréquemment si on veut continuer à être compétitif.

La biologie a aussi vu la multiplication des « kits », des ensembles de réactifs et de consommables prêts à l’emploi pour effectuer une tâche précise : extraire l’ADN d’une cellule, faire un test de détection par un anticorps… Là où il y a 20 ans, le chercheur préparait avec grand soin ses réactifs et ses solutions (ses « sauces« , dans notre jargon), aujourd’hui il achète une boite où tout est prêt, ce qui lui fait gagner un temps fou. C’est un peu comme la différence entre un plat tout préparé qu’on réchauffe au micro-ondes et la daube préparée amoureusement à l’ancienne par grand-mère pendant des heures. Les kits, c’est rapide, c’est simple d’usage, c’est fiable, mais c’est aussi beaucoup plus cher. Et c’est devenu presque incontournable si on veut être efficace.

La science expérimentale s’est aussi considérablement réglementée, au bénéfice de la sécurité des personnels de la recherche ou du bien-être des animaux de laboratoire. On ne peut plus manipuler des produits dangereux sans installations super-sécurisées, les contraintes de ventilation et de confinement des animaleries sont devenues draconiennes et les normes sur les sorbonnes des chimistes se sont renforcées, pour ne citer que ce que je connais. Il faut aussi financer des contrats de maintenance, de certification, de sécurité sur tous ces équipements. On doit s’en réjouir, mais tout ça coute aussi beaucoup plus cher en coûts de fonctionnement.

Changement de paradigme

Alors bien sûr, tout ce que je vous raconte est très lié à ma discipline. Probablement mes collègues juristes, sociologues ou mathématiciens n’ont pas vécu une transition aussi marquée. Parce que les coûts de fonctionnement de leurs spécialités ne sont pas du même ordre. Mais j’ai la faiblesse de croire que c’est une tendance de fond qui a un impact global sur l’équilibre du système, en raison du poids des disciplines expérimentales dans le coût de fonctionnement global de la recherche.

Dans l’ancien modèle d’il y a 30 ans, beaucoup des coûts étaient quasiment fixes, limités et donc globalement finançables sur le soutien de base. Aujourd’hui, ils sont plus importants et beaucoup plus liés à l’intensité des projets de recherche menés dans le labo (l’utilisation de cages dans des animaleries aux normes, des kits de réactifs, des consommables « captifs » et onéreux pour des appareils high-tech…).

Ce sont les financements sur projet qui ont permis de payer ça. Ça a indiscutablement donné un coup d’accélérateur spectaculaire à la recherche. On s’y est rapidement habitué et ça a modifié nos modes de fonctionnement, de construction de projets, et même d’organisation des labos. Ça a aussi été renforcé chez les biologistes par une spécificité supplémentaire. Dans notre discipline, il y a beaucoup de guichets de financements de projets, notamment les grands acteurs caritatifs : Fondation pour la recherche médicale, ARC, Ligue contre le cancer, AFM-Téléthon, Vaincre la mucoviscidose, Sidaction… Collectivement, leur contribution doit aujourd’hui dépasser celle de l’ANR en biologie-santé.

Revenir en arrière de manière majeure sur les financements sur projet ne me paraît pas réaliste, parce qu’une partie substantielle des besoins est désormais structurellement très liée aux programmes de recherche, à leur contenu, à leur volumétrie et qu’il est difficile de programmer ça en majorité sur des moyens récurrents augmentés : comment seraient-ils répartis par les tutelles ? avec quelles procédures ? qui arbitre ? sur quels critères ?

Liste au Père Noël

Ce dont les chercheurs ont besoin, à mon sens, c’est de trois choses :

• Un taux raisonnable de succès aux appels à projets, pour permettre de financer la recherche et éviter l’épuisement et le découragement des équipes et des chercheurs. Raisonnable, c’est beaucoup plus qu’aujourd’hui (un prochain billet abordera la question).
• Le maintien d’une fraction majoritaire de projets blancs, ouverts. Pour garantir de la liberté indispensable à une recherche créative.
• Des moyens complémentaires pour mener des recherches exploratoires, de préférence mobilisables de manière réactive, avec un minimum de procédures.

APB utilisait « l’algorithme des mariages stables » pour affecter les candidats aux filières, un algorithme optimal, tandis que ParcourSup est un algorithme ad hoc, opaque, qui ne peut par définition pas faire mieux.

La citation ci dessus est une version un peu raccourcie (et donc nécessairement un peu caricaturale, je m’en excuse) de plusieurs threads ou articles de blogs récents apparus sur les réseaux sociaux. Mon analyse est que, indépendamment de l’opinion qu’on peut avoir sur le principe de la réforme, l’affirmation ci-dessus est factuellement infondée. On peut être contre ParcourSup, mais pas pour cette (mauvaise) raison.

À nouveau, on est sur un sujet d’actualité brulante et donc ouvert à la controverse entre les différentes parties mobilisées par la loi Orientation et Réussite des Etudiants. Comme tout le monde, j’ai un avis, mais ce n’est pas le sujet du billet (même si la neutralité de point de vue du billet peut, j’en conviens, être affectée par mon opinion). On peut être pour ou contre la réforme des conditions d’accès à l’université, mais la question posée est celle des bases factuelles de cette affirmation sur les outils informatiques sous-tendant la réforme.

C’est un sujet qui m’a vraiment titillé. Pour vous raconter ma lointaine vie antérieure, il se trouve que je connais bien le sujet, puisque j’ai eu à coder l’algorithme des mariages stables (ou algorithme de Gale-Shapley) pour gérer des questions pratiques d’affectation d’étudiants à des stages. A l’époque c’était en Fortran (je sais, ça fait vraiment ancien combattant…). C’était donc il y a longtemps (environ 30 ans…), mais je n’ai pas tout oublié de la sueur dépensée à écrire et tester le programme qui décidait de l’avenir de mes jeunes co-religionnaires étudiants affectés en stage.

Dans la citation ci-dessus, je vois plusieurs affirmations implicites qui méritent un minimum de fact-checking, dans l’esprit de ce blog :

• APB utilise l’algorithme de Gale-Shapley ou algorithme des mariages stables.
• L’algorithme des mariages stables est optimal
• ParcourSup est un algorithme

L’algorithme APB est-il basé sur l’algorithme des mariages stables ?

Cette question suppose de dire deux mots d’explication à la fois sur APB et sur l’algorithme des mariages stables. Commençons par le second.

Les mariages stables

L’algorithme des mariages stables (ou Gale-Shapley) permet de résoudre un problème d’optimisation classique. On a deux ensembles pour lesquels il faut procéder à des appariements : des étudiants avec des stages, des bacheliers avec des filières universitaires ou encore des prétendants hommes qui font la cour avec des fiancées potentielles femmes… Dans chacun des deux ensembles (par exemple : hommes et femmes), chaque individu formule une liste de préférence de ses choix de partenaires.

L’algorithme des mariages stables permet de trouver un appariement entre les deux ensembles (hommes/femmes, candidats/filières) qui est stable, c’est à dire qu’il n’est pas possible de faire une permutation entre deux couples (homme-femme, candidat-filière) qui améliore simultanément le rang des préférences des deux. C’est donc une solution globale qui est proposée aux demandeurs pour résoudre d’un seul coup l’ensemble des préférences qu’ils ont formulées. Il y a un élément important sur lequel je vais revenir par la suite : Gale-Shapley suppose que les deux groupes impliqués (hommes et femmes, candidats et filières, étudiants et stages) formulent chacun des ordres de préférence.

La problématique APB

L’affectation des bacheliers dans des filières du supérieur a d’abord été effectuée par APB, un système né localement en 2002, puis généralisé au niveau national. APB a été initialement développé pour les affectations des étudiants dans les filières sélectives, et notamment dans les classes prépa. Dans ce contexte de filières sélectives, on avait donc bien simultanément des préférences formulées par les bacheliers pour les classes prépa et des classements des bacheliers candidats effectués par les prépa, comme précisé juste au dessus. On est donc dans les conditions d’application standard de l’algorithme des mariages stables / Gale-Shapley.

A partir de 2009, APB a géré l’ensemble des filières au niveau national, y compris les filières universitaires non-sélectives. La problématique a progressivement changé de nature pour plusieurs raisons :

1. Les filières universitaires (licences générales, PACES) sont non-sélectives, donc on sort des conditions strictes d’application de l’algorithme de Gale-Shapley. En effet, seuls les étudiants établissent une liste de préférences de vœux, pas les universités qui ne formulent aucune hiérarchisation. Dans ce contexte, l’algorithme n’est plus directement applicable, puisque les universités n’ont pas d’ordre de préférence pour les candidats. On peut en principe contourner cette difficulté en « créant artificiellement » une hiérarchisation des candidats par les universités, par un tirage au sort interne à l’algorithme. Cette méthode avec tirage au sort est utilisée localement aux USA ou aux Pays-Bas pour répartir des élèves dans des écoles, sous le nom Deferred Acceptance algorithm.
2. Un certain nombre de critères ad hoc rajoutés dans APB au cours des années sont difficilement compatibles avec les principes initiaux de l’algorithme des mariages stables : distinction entre vœux relatifs et vœux absolus, priorité donnée aux candidats ayant formulé six vœux en licence dans la même mention, préférence régionale (ou académique), obligation de mettre une licence « pastille verte », vœux groupés.

Quel est véritablement l’algorithme sous-jacent dans APB ?

Mon analyse est qu’initialement APB a pu être une version adaptée de l’algorithme des mariages stables quand il ne concernait que des filières sélectives sans autres critères, mais qu’il en avait largement divergé dans les dernières années, quand il a été appliqué systématiquement à tous les vœux des bacheliers.

D’ailleurs, la publication d’éléments de l’algorithme APB suite à plusieurs actions en justice courant 2016 montre bien qu’APB avait très largement divergé de l’algorithme des mariages stables pour devenir à mon sens une « usine à gaz » (= aéroergastère) de première catégorie, bourrée de traitements ad hoc.

L’algorithme est-il optimal ?

Là, il faut s’entendre sur les termes. Dire que l’algorithme des mariages stables fournit une solution optimale est un raccourci, qui peut donner l’impression qu’il y aurait une solution idéale unique et que le programme la produirait à coup sûr. L’algorithme fournit une solution stable, ce qui n’est pas du tout la même chose. Une solution stable, c’est une solution qu’on ne peut pas améliorer par une permutation simple entre deux couples (homme-femme, candidat-filière), elle est optimale au sens de Pareto. Mais la notion d’optimalité dans ce contexte est intrinsèquement relative et il n’y a pas qu’une seule solution stable (ou Pareto-optimale), mais en général plusieurs (voir la publication de D. Knuth sur la question). Dans le cas des mariages hommes-femmes, il y a des solutions globalement optimales pour les hommes (qui obtiennent collectivement leurs meilleurs choix, au détriment de ceux des femmes), et symétriquement des solutions globalement optimales pour les femmes (au détriment des hommes). Il y a aussi des solutions stables qui optimisent simultanément les choix des deux ensembles (hommes et femmes) au prix de compromis pour les uns et les autres.

L’algorithme de Gale-Shapley n’est d’ailleurs pas le seul possible pour faire des appariements, en particulier lorsque les individus de l’un des ensembles ne formulent pas de liste hiérarchisée de vœux (comme c’est le cas pour les filières universitaires) : il y a aussi l’algorithme d’appariement de Boston (appelé ainsi, parce qu’il a été développé pour affecter les élèves dans les écoles publiques de Boston) ou encore l’algorithme TTC  (Top Trading Cycle, aussi dû à Gale & Shapley) initialement imaginé à partir d’un problème de répartition de chambres dans des résidences étudiantes. L’algorithme TTC donne aussi des solutions optimales au sens de Pareto, mais différentes de celles de l’algorithme de Gale-Shapley.

Qu’est-ce qui est mieux ? C’est une question subjective et qui relève d’un jugement externe, pas un paramètre objectif et absolu.

Doit-on optimiser le nombre de candidats obtenant leur premier vœux (ce que fait l’algorithme Boston), le rang moyen du vœu finalement obtenu par le candidat ? Doit-on minimiser le nombre de candidats obtenant leur dernier vœu (pastille verte…), voire pas de vœux ? Doit-on privilégier un algorithme qui est insensible aux stratégies de contournement que les candidats pourraient essayer de développer en faisant leur liste de vœux (ce que fait l’algorithme TTC) ?

Je soutiens de surcroit que l’algorithme d’APB n’était plus l’algorithme des mariages stables / Gale-Shapley pour les raisons évoquées ci-dessus. Le nombre de contorsions/modifications qu’on a imposé au système l’en ont nécessairement fait fortement diverger. Dès lors, on ne peut le parer des caractéristiques ou vertus démontrées pour ledit algorithme princeps (sauf à le démontrer explicitement, ce qui n’a jamais été fait, à ma connaissance).

Dire que l’algorithme APB était optimal est donc à mon sens un double abus de langage : l’algorithme APB a largement divergé de l’algorithme des mariages stables et l’optimalité de ce dernier est de toute manière une notion  tout à fait subjective.

Comme souvent, lorsqu’on a un outil ou une règle imposée par des autorités extérieures,  on/nous sommes nombreux à stigmatiser ses défauts. Mais dès qu’on réforme cette règle critiquée, de nombreuses voix s’élèvent soudain pour expliquer que c’était mieux avant. J’ai un peu l’impression que c’est ce qui se passe aujourd’hui pour APB.

ParcourSup est-il un algorithme ?

Dans ParcourSup, on a un renversement partiel des règles de fonctionnement par rapport à APB. Ce sont les filières universitaires qui vont formuler des classements des étudiants, tandis que ces derniers ne hiérarchisent plus leurs vœux sur la plate-forme informatique (même si cette hiérarchisation doit en principe bien exister dans leur tête).

Dans ce contexte, l’application stricte de l’algorithme des mariage stables est tout aussi impossible qu’avec APB. Mais cette fois-ci c’est pour la raison inverse : pour APB, il n’y avait pas de préférences exprimées par les universités, tandis que pour ParcourSup, il n’y a plus de préférences exprimées par les étudiants. En conséquence, il n’est pas possible d’avoir une automatisation de la procédure d’affectation.

Dans la phase d’affectation des candidats, ParcourSup n’est pas un algorithme stricto sensu. C’est un outil de gestion du désistement des étudiants, par lequel ils vont exprimer leur préférences et leur choix de filières, a posteriori.

A titre personnel, je m’interroge sur la logique qui a consisté à ne pas demander aux candidats de formuler de hiérarchisation de leurs vœux, comme avant dans APB. Je ne comprends pas. La mécanique de désistement manuel me paraît très lourde, anxiogène et susceptible de générer de nombreux recours.

Mais comme je suis un pragmatique, j’attend de voir ce que ça va donner avant de formuler un jugement. C’est mon coté scientifique expérimentateur. Tant que je n’ai pas le résultat de la manip, je m’astreins à faire taire mes idées préconçues.

Mon « chemin de Damas »  sur la notion de couple et de filiation.

Je suis un scientifique, biologiste et biophysicien de formation. Ça organise ma vision du monde, y compris dans ce qui concerne l’organisation de notre société, comme les rapports entre les personnes et les sexes. C’est peut être critiquable, mais je suis comme ça, on ne se refait pas. Ce billet est une tentative de raconter comment la démarche scientifique m’a amené d’abord à me construire une vision implicite de la notion de couple, de mariage et de filiation, pour ensuite, au nom de la même démarche scientifique, à la remettre complètement en question.

Ma conviction dans la culture scientifique est terriblement forte. C’est un élément structurant de ma personnalité. Je suis rationnel, cartésien, à un point souvent irritant pour mes proches. Au point que certains me traitent parfois de « scientiste ». C’est aussi un peu la raison de ce blog, regarder les données, les faits, questionner les idées préconçues.

Pour cette raison, je suis aujourd’hui solidement athée, bien que pourtant issu d’une famille catholique pratiquante, élevé dans la tradition religieuse. Ne vous méprenez pas, j’aime ma famille et je respecte leurs convictions. Je ne renie pas la morale et les traditions humanistes que véhiculent leur culture chrétienne dont je suis aussi un héritier assumé. C’est également une partie importante de la personne que je suis aujourd’hui.

Ma culture initiale de biologiste m’a beaucoup influencé dans ma vision précoce des relations entre êtres humains, en particulier en ce qui concerne la question des rapports entre les sexes. Pour le biologiste que je suis, la reproduction d’une espèce sexuée dépend de l’accouplement entre un mâle et une femelle, qui permet la fécondation d’un œuf par la rencontre des gamètes. Projeté à l’échelle des rapports humains, cela voulait dire que le couple « reproductif » était nécessairement constitué d’un homme et d’une femme. Cette évidence scientifique a longtemps constitué pour moi une certitude sociologique.

Mais j’avais tort…

Il y a quelques années, j’ai assisté à une conférence de Maurice Godelier, anthropologue, médaille d’or du CNRS, homme d’une culture immense. Dans une présentation très inspirée, il nous a expliqué comment la représentation de la sexualité, du couple et de la filiation était une notion relative dans le temps et dans la géographie, combien différentes civilisations et sociétés s’étaient bâties sur des constructions différentes de la reproduction et du couple, comment ces sociétés avaient une logique et une cohérence propre. Elles pouvaient être déconnectées de la réalité biologique de la reproduction, mais ça ne les empêchait pas d’être stables, équilibrées et source d’épanouissement pour les individus qui les composaient. Contrairement à mon opinion candide issue des sciences expérimentales, la mécanique biologique de la reproduction ne s’impose pas à la logique sociale. Dans cette perspective anthropologique et sociologique, toutes mes certitudes de biologiste n’avaient que peu de pertinence. Les contextes sociaux variés et détaillés que nous exposait Godelier avaient raison ma vision mécanistique de la reproduction.

Comme l’a exprimé un jour un de mes collègues biologistes, la démarche scientifique, c’est « la combinaison de la curiosité et du doute ». Ce jour là, grâce à Maurice Godelier, ma curiosité a été éveillée et je me suis mis à douter de mes certitudes initiales. La démarche scientifique reprenait le dessus sur le dogme.

Aujourd’hui, j’ai changé d’avis. Je ne crois plus que les principes biologiques de la reproduction imposent un modèle social du couple. Je crois que les individus ont le droit de revendiquer leur identité de genre et de voir reconnaitre la construction de relations de couple différentes, quel que soit le genre des partenaires qui les constituent. 

Au delà de cette notion de couple d’individus à géométrie variable, la biologie existe toujours, elle impose des contraintes incontournables sur la reproduction. Le droit des enfants est aussi une question complètement essentielle, ils ne sont ni des choses, ni des produits et leur réification ou leur marchandisation serait une dérive insupportable. 

Pour conclure, je dirais que j’aime beaucoup la définition dans notre droit français de la filiation dite «  par possession d’état ». Elle permet permet d’établir l’existence d’un lien de filiation et de parenté entre un parent et son enfant qui se comportent comme tels dans la réalité, même s’ils n’ont aucun lien biologique.

Le parent est celui qui pourvoit matériellement, socialement et affectivement à l’éducation de l’enfant. 

Pour un scientifique et un enseignant, c’est une très belle définition,  baignée de ses valeurs professionnelles et ancrée dans la réalité opérationnelle.

Cette année avec ParcourSup, le débat est électrique, sélection/pas sélection, orientation/pas orientation, remise à niveau, « OUI SI », reproduction sociale, mérite républicain, échec en 1er cycle…

J’ai un avis sur la question, mais ce n’est pas l’objet du billet d’aujourd’hui. La question que je pose ici, c’est :

Qu’est-ce que veulent les bacheliers ?

Par cette question, j’entends « quelle est leur filière préférée, dans laquelle ils voudraient être acceptés en priorité ». C’est donc une analyse de la demande, au sens des sciences économiques.

• Cette analyse de leur demande doit nous dire des choses sur leur vision de leur projet d’avenir, intellectuel et/ou professionnel.
• Elle doit aussi nous dire des choses sur leur représentation de nos filières universitaires, celles qu’ils plébiscitent et celles qu’ils boudent.
• Enfin, elle doit nous renseigner sur l’adéquation entre cette demande des étudiants et l’offre de formation de l’enseignement supérieur français, considérée de manière macroscopique.

Les données

Dans ParcourSup, les futurs-bacheliers ne hiérarchisent plus leurs vœux, comme c’était le cas avec APB. Ils ont très certainement un ordre de préférence en tête, mais ils ne l’expriment pas explicitement sur le portail informatique. Pas possible, donc, d’analyser leurs priorités cette année. Mais le ministère publie sur son site les données APB détaillées des années antérieures. Les dernières disponibles sont celles de 2016. On les trouve ici. Sous l’hypothèse simplificatrice que les préférences des bacheliers ne changent que peu (ou lentement), on peut s’en servir pour avoir une idée globale de la demande des étudiants.

Analyse

Cette analyse se focalise sur les vœux formulés par les nouveaux bacheliers (hors réorientations). Ils recensent donc les aspirations initiales des étudiants. L’inclusion des souhaits de réorientations introduirait en effet un biais dans l’analyse. Par exemple, si un étudiant qui n’a pas obtenu son premier vœu l’année de son bac réitére celui-ci en demandant une réorientation au bout d’un an, ceci a pour effet d’augmenter les vœux dans les filières déjà très demandées.

En 2016, il y a eu 585 668 nouveaux bacheliers qui se sont inscrits dans APB : 61 % dans la filière générale, 22% dans la filière technologique et 17% dans la filière professionnelle.

Leurs premiers vœux vont majoritairement vers les filières sélectives, BTS, IUT, CPGE et autres, représentant 61% des premiers choix des bacheliers. La PACES recueille 7% des premiers vœux, tous bacheliers confondus.

Ces choix sont cependant assez différenciés par filière, les bacheliers professionnels choisissant massivement en premier les BTS (à plus de 80%), les bacheliers technologiques préfèrent les BTS et les IUT, mais moins fortement. Ce sont les bacheliers L qui se dirigent le plus vers les filières universitaires générales (licence). Enfin, ce sont les bacheliers S, les plus nombreux, qui représentent le gros des premiers vœux en prépa. Le schéma ci-dessous résume leurs premiers vœux (la surface de chaque secteur/disque est proportionnelle au nombre de bacheliers, suivant le principle of proportional ink)

Deux commentaires relatifs à l’orientation et à l’adéquation de ces premiers vœux aux filières dont sont issus les bacheliers :

• ce sont les bacheliers généraux qui font quantitativement le plus de 1er vœux en IUT (50 561 sur 79 404 pour les filières IUT), alors que cette filière était en principe plutôt destinée aux bacheliers technologiques ;
• le nombre de bacheliers technologiques et professionnels qui font un 1er vœux licence ou PACES n’est pas négligeable (34 475 en tout, soit l’équivalent d’une assez grosse université toute entière). Leur taux de réussite dans ces filières reste cependant faible, voire très faible.

Les filières générales préférées des étudiants

Les bacheliers de 2016 ont émis 224 788 premiers vœux dans les filières générales de l’Université, licences et PACES. Il y a 46 filières ouvertes dans le cadre de la nomenclature définie par l’arrêté licence.

Comment se répartissent les vœux des étudiants dans ces filières universitaires ?

Pour que l’analyse soit plus globale et limiter les effets la dispersion des vœux dans ces 46 filières, j’ai procédé arbitrairement à quelques regroupements d’intitulés proches, du style :

• Sociologie, Sciences sociales, Sciences de l’homme & Anthropologie
• Sciences de la Vie, Sciences de la Vie et de la Terre
• Langues étrangères appliquées (LEA), Langues, littératures et civilisations étrangères et régionales (LLCER)
• …

J’admet que ça peut relever d’un certain parti-pris, mais il s’agit de dégager des grandes tendances (même si je suis sûr que certains vont protester…). Les résultats sont indiqués dans le graphe ci-dessous :

À nouveau, quelques commentaires déjà plus ou moins connus, mais qu’il est bon de rappeler : la distribution des premiers choix des étudiants n’est pas du tout homogène et quelques filières attirent la majorité des préférences des étudiants.

Les 2/3 des premiers vœux concernent seulement six grandes filières : PACES, Droit, Langues, STAPS, Économie et Psychologie.

L’offre et la demande

Tout ce que je viens de raconter concerne la demande étudiante. Quid de l’offre universitaire à mettre en regard ? La question est importante dans un contexte où beaucoup de lycéens s’inquiètent de leur possibilité d’obtenir la filière de leurs rêves. Dans les faits, c’est un peu plus compliqué à analyser que la demande. En théorie, il faudrait regarder la somme des capacités d’accueil déclarées par filière dans les différentes universités françaises, mais cette information n’est pas facilement disponible. Je vais donc utiliser plusieurs proxys pour tenter de donner des éléments de réponse.

Satisfaction des premiers vœux

La première est de regarder la non-satisfaction des premiers vœux dans APB en 2016, une information qui est également disponible dans les données mises en ligne par le ministère. Par exemple, sur l’ensemble des bacheliers ayant formulé un premier vœux en STAPS, on peut regarder combien n’ont obtenu aucune proposition en STAPS par APB (ni la licence correspondant à leur premier vœu, ni une autre avec la même mention). Les six filières où le déficit de satisfaction est le plus important sont indiquées ci-dessous :

1. STAPS : ~4000 vœux non-satisfaits
2. Droit : ~1500 vœux non-satisfaits
3. Psycho : ~1200 vœux non-satisfaits
4. Sciences de l’éducation : ~1000 vœux non-satisfaits
5. InfoCom : ~1000 vœux non-satisfaits
6. Arts du spectacle : ~900 vœux non-satisfaits

Plusieurs commentaires : (i) ces chiffres sont nationaux et peuvent masquer d’éventuelles disparités régionales avec des pressions locales plus fortes. (ii) La PACES, qui draine le plus grand nombre de premiers vœux (cf ci-dessus), n’apparaît pas dans cette liste et offre nationalement des capacités d’accueil suffisantes (99,2% de satisfaction des vœux). Ceci pose une question philosophique, quand on sait que sur ~40 000 « appelés », il n’y aura que ~15 000 élus (somme des numerus clausus aux différents concours) et donc, mécaniquement, 25 000 étudiants en échec deux ans après. (iii) Les trois premières filières de cette liste font partie de celles qui sont les plus demandées, ce qui traduit un déséquilibre structurel entre l’offre et la demande. (iv) Les chiffres indiqués m’apparaissent un peu faibles, au moins au regard de certaines déclarations publiques de nos tutelles (j’ai par exemple entendu annoncé un taux de pression plus élevé en STAPS, qui conduirait nationalement à 8000 à 10 000 vœux non-satisfaits plutôt que les 4000 indiqués ici). Il me manque sur ce point une définition précise du critère utilisé par le ministère, mais je pense que ça ne change pas les effets sur le plan qualitatif.

Effectifs d’enseignants-chercheurs

Un autre proxy un peu grossier pour regarder l’offre de formation consiste à regarder les effectifs d’enseignants-chercheurs dans les différentes sections du CNU et à les mettre en regard de la demande étudiante. Si on va jusqu’au bout de la logique qui consisterait à adapter de l’offre de formation à la demande étudiante, il faudrait en théorie faire évoluer les grands équilibres disciplinaires au sein des universités, et redéployer des postes des disciplines peu demandées vers les disciplines très demandées (ÉNORME caveat : je ne dis pas que je souscris à ce point de vue, juste que je regarde pour voir ce que ça donne, pour fixer les idées). On peut pour regarder ça partir des données du CNU, qui donnent les effectifs de chaque section (voir ici).

C’est un proxy grossier au moins pour trois raisons :

• Il n’y a pas que les universités qui emploient des personnels enseignant-chercheur recensés par le CNU, il y en a aussi dans un certain nombre de grands établissements et grandes écoles relevant du MESR. Ces établissements n’offrent pour la plupart pas de filières générales de 1er cycle (licence ou PACES) et sont pour beaucoup des écoles d’ingénieur, où un sous-ensemble particulier de disciplines est très représenté. Raisonner de manière agrégée (universités+écoles) a des limites.
• Il y a aussi des enseignants-chercheurs dans des composantes spécifiques des universités, IUT, ESPE ou Écoles internes, qui ne sont pas non plus impliquées dans les filières licence/PACES.
• Les pratiques disciplinaires sont bien évidemment diverses, et le taux standard d’encadrement par étudiant peut être variable. Par exemple, la nécessité de faire des TP, des projets ou des stages terrain encadrés n’existe pas dans toutes les formations et implique des taux d’encadrement plus élevés.

Néanmoins, à l’intérieur d’un grand champ disciplinaire, il n’est pas inintéressant de comparer des disciplines proches en termes de contraintes et de pratiques. Le schéma suivant, nécessairement simpliste, donne une représentation du nombre de bacheliers désireux de s’engager dans une filière, rapporté au nombre d’enseignants-chercheurs de la discipline.

Plus la barre de l’histogramme est grande, plus la pression est forte sur la discipline.

À nouveau, quelques commentaires factuels :

• Il existe objectivement des disparités importantes entre disciplines. Plus que ce à quoi je m’attendais.
• Les disciplines en tension au niveau de la satisfaction des demandes (cf plus haut) le sont vraiment aussi au niveau des effectifs enseignants: STAPS, Droit, Psycho, Arts, Sciences de l’éducation, InfoCom (ça fera plaisir à mes collègues de ces disciplines qui se plaignent de manque de moyens)
• Deux bémols pour atténuer ces constatations : (i) l’effet très fort en STAPS est probablement lié à la présence de nombreux enseignants du second degré (profs d’EPS) dans les UFR ou départements STAPS, qui n’apparaissent pas dans les statistiques du CNU, mais y font bien des enseignements. (ii) Certaines disciplines sont très enseignées en IUT , ESPE ou école d’ingénieur ce qui peut donner l’impression d’une pression apparente plus faible dans leur sein (Gestion,  Informatique, InfoCom, Sciences de l’Education, Sciences dures…).

Dernier point, vous me pardonnerez de céder à l’envie irrépressible de prêcher pour ma paroisse, mais dans les sciences exactes, c’est les sciences de la Vie qui sont les moins bien loties (2,1 premiers vœux par enseignant, sans compter la PACES).

Je vous laisse méditer sur ces chiffres.

Crédit image d’ouverture : Bibliothèque de la Sorbonne, Wikimedia commons