L'évaluation des enseignant-chercheurs
J'ai rempli aujourd'hui une fiche pour mon labo dans laquelle on me demande de détailler mon activité de recherche 2005-2009. Ce n'est pas très captivant, mais ça permet un peu de faire le point... J'en profite pour faire un billet sur un sujet que j'avais abordé uniquement en réponse à un commentaire il y a quelques semaines : l'évaluation des EC (enseignant-chercheurs), c'est à dire des "profs de fac" comme moi qu'ils soient MCF (maîtres de conférences) ou PR (professeurs). Il s'agit d'un billet orienté davantage vers la vulgarisation de la problématique, en d'autres termes c'est surtout pour présenter les notions aux gens qui ne travaillent pas à l'université. Les universitaires quant à eux me reprocheront peut-être de simplifier un peu, mais si des améliorations semblent vraiment nécessaires, merci de me les proposer en commentaires. L'idée est de faire comprendre aux gens qui ne voient les EC qu'à travers les media que le problème de l'évaluation est problématique. Ce n'est pas que les EC ne veulent pas être évalués, c'est qu'ils veulent un système équitable pour toutes les disciplines. J'espère que les lignes qui suivent permettront un peu d'éclairer les non spécialistes sur le sujet.
Le problème de l'évaluation des enseignant-chercheurs (EC) me parait délicat et ne s'adapte pas forcément à tous les profils. J'ai l'impression que nous allons sur un schéma dicté par les sciences "dures" (mais d'autres diront inhumaines ou associales) qui ne correspond pas forcément à la situation des sciences humaines. Pour les sciences sociales, j'ai l'impression qu'elles se situent "entre les deux".
Tout d'abord, les EC sont évalués exclusivement sur la base de leur production scientifique, ce qui d'emblée peut poser un problème. En effet, l'université pour différentes raisons sollicite les EC pour encadrer des diplômes. Ceci peut etre une lourde tâche pour peu qu'on s'y implique, c'est à dire qu'on se fixe des objectifs (augmenter le niveau ou la quantité d'étudiants). Ceci peut prendre beaucoup de temps si on compte les tâches qui sont inhérentes : réunions pédagogiques, emplois du temps, trouver les intervenants, fréquenter les salons d'étudiants, recevoir les délégués, recevoir les étudiants, parfois leurs parents, etc etc. Or, alors que ces tâches sont très consommatrices de temps, elles n'entrent pas du tout en ligne de compte dans les évaluations. Alors on peut bien dire qu'elles vont être payées (à une somme dérisoire de toutes manières) cela ne résoud pas le problème de fond : elles n'entrent pas dans la gestion des carrières. Ce point a d'ailleurs poussé un grand nombre d'EC cette année à démissionner de ces tâches administratives pour mettre une pression sur le ministère. Quoiqu'il en soit, pour l'instant on évalue exclusivement l'EC sur sa production scientifique. Est-ce que c'est objectif ? Et surtout, est ce que c'est équitable ?
La manière dont se fait cette évaluation est très simple : plus l'EC produit d'écrits scientifiques et mieux il est évalué. A priori, on privilégie ici la quantité mais en fait, toutes les publications n'ont pas la même valeur et le CNRS et maintenant l'AERES (Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur, organe chargé de l'évaluation des chercheurs, des équipes, et des formations) donnent des barèmes sur la qualité des publications. Ainsi certaines revues sont dites de rang A, d'autres de rang B, etc etc Donc on mélange quantité et qualité pour faire tous les quatre ans un bilan de l'activité de l'EC et on compte combien il a fait de publications de rang A, B, C et D. Vous vous direz donc que tout va pour le mieux dans le meilleur des mondes. Hélas les choses sont en fait beaucoup plus compliquées qu'il n'y parait si on veut utiliser les publications pour évaluer les EC. Je vois au moins trois problèmes mais je pense qu'il doit y en avoir plus :
1 - Inégalités des disciplines pour l'accès aux revues classées.
C'est le plus gros problème (à mon sens). Alors que dans certaines disciplines il y a énormément de revues de rang A ou B (les "bonnes revues"), il y a des disciplines où il n'y en a presque pas. La raison ? La plupart des revues sont américaines et comme vous le savez déjà, là-bas, si les travaux scientifiques n'ont pas une application industrielle à court ou moyen terme ils n'interessent pas grand monde. Du coup, les revues pour les domaines à application rapide et fortes retombées industrielles et commerciales fleurissent (médicaments, puces ADN, nano technologie, etc) alors que les revues traitant des phénomènes de société, de recherche fondamentale, de sciences de l'homme (ethnologie, anthropologie, lettres anciennes, etc) ont un épanouissement plus restreint. Du coup, la situation n'est pas la même en terme d'évaluation. Pour illustrer je prendrai un exemple fictif mais tout à fait crédible. Imaginons une discipline où il y a 10 revues de rang A et une discipline où il n'y a qu'une seule revue. Disons que pour chacune des revues le nombre de travaux publiés par numéro est de 10 et que toutes ces revues sont des trimestrielles. Dans la premiere discipline il y a donc 10 (revues)*10(articles)*4(trimestres) = 400 opportunités de publier, et dans la deuxième 1*10*4 = 40 opportunités de publier. Vous allez me dire, et vous aurez raison : il y a surement plus de chercheurs dans la premiere discipline si elle est "en vogue" que dans la seconde. C'est pas faux. Aux USA c'est même quasi proportionnel. Mais cela ne résoud pas tout comme nous allons le voir. En outre en France, les écarts entre équipes sont moins grands et la situation encore plus compliquée.
Tout d'abord même s'il peut y avoir des différences d'effectifs, elles ne sont pas proportionnelles aux opportunités de publier. En outre, le travail de recherche est différent selon les disciplines. Si je reste sur ma distinction sciences "dures" / sciences humaines, dans les premières le travail se fait souvent en équipe. Tout simplement parce que le travail dans ces disciplines est très couteux, qu'il faut avoir des budgets et que pour avoir des budgets conséquents il faut être une équipe. En sciences humaines le travail est souvent beaucoup plus solitaire. Pour prendre un exemple caricatural, Claude Levi-Strauss aurait eu du mal à étudier les indiens du Bresil en se mêlant à eux s'il avait été accompagné d'une dizaine de collègues... Au milieu d'une tribu, le groupe de chercheurs aurait eu du mal à être présent sans complètement bousculer les comportements des autochtones. A l'opposé, une équipe qui travaille en sciences dures va se séparer les tâches car souvent l'utilisation du budget est dictée par différents objectifs industriels qui nécessitent plusieurs compétences. A l'arrivée, la publication est réalisée par 5 ou 6 personnes dans le cas des sciences dures et par une seule personne dans le cas des sciences humaines. Un rapide coup d'oeil sur les sommaires des revues scientifiques permet de confirmer ce fait. Ceci a donc pour conséquence de rendre encore plus saillante la notion d'opportunité de publier. En effet, si on a 400 opportunités sachant qu'on travaille en équipes (donc en diminuant le nombre de travaux en concurrence) on a une plus grande probabilité d'être publié que lorsqu'on a 40 opportunités et que chacun travaille seul (et donc multiplie les travaux en concurrence).
Le fait de travailler dans une équipe qui a un budget (et comme je le disais plus haut, les sciences dures ont plus souvent des budgets que les SHS - Sciences Humaines et Sociales) a également une action sur la probabilité d'être publié via le budget de traduction. On a beau très bien (ce qui n'est en outre pas toujours le cas) savoir parler l'anglais, quand ce n'est pas la langue maternelle on fait toujours quelques erreurs. Du coup si un auteur envoie un texte à une revue sans être passé par un traducteur professionnel (1500 à 3000euros l'article) il y a de grandes chances que cela se passe mal. D'autant que les processus de sélections sont longs : le comité de lecture lit la premiere version, puis demande des modifications, pose de questions, l'auteur doit répondre à chaque relecteur, et modifier son texte. Cet aller-retour peut se produire jusqu'à 4 ou 5 fois pour une revue de rang A. Une équipe ayant un budget pour se payer un traducteur a davantage de chances d'être publiée. En outre, même une équipe qui aurait peu de moyens peut plus facilement obtenir un budget car le budget traduction est mutualisé. Si on est 5 pour 3000 euros, l'université donnera plus facilement que si il y a 5 chercheurs solitaires qui demandent chacun 3000 euros. Or comme je l'ai dit plus haut, dans certaines disciplines c'est moins évident de travailler en équipe.
Dernier point, selon les disciplines, le format de l'article (une vingtaine de pages souvent) ne convient pas toujours. Par exemple, il est plus simple de décrire les résultats quantitatifs d'une manipulation en laboratoire, que des résultats d'observation qualitative sur le terrain. Si Levi-Strauss pour rester sur cet exemple avait dû publier ses résultats uniquement dans un format revue, il y a peu de chances qu'on se souvienne encore de lui aujourd'hui. En sciences humaines, le format le plus évident est souvent le livre et non pas l'article. L'observation d'un phénomène social ou humain est parfois très longue, et du coup les résultats très complexes, il faut de nombreuses pages pour présenter les cas pratiques et élaborer une théorie. Quelques centaines de pages plutot qu'une vingtaine sont parfois nécessaires. Or le problème, c'est que dans l'évaluation et la notation, le livre n'est pas pris en compte comme l'est une revue.
2 - Déplacement de la fonction des revues scientifiques.
Ainsi que l'ont noté certains observateurs (voir ici pour un texte détaillé), les revues scientifiques ont pour objectif premier de permettre aux chercheurs de publier leurs travaux afin de les partager avec le reste de la communauté scientifique. En se servant des revues pour l'évaluation et la gestion des carrières on transforme les revues en supports de "la discrimination et de la compétition entre chercheurs". Leur fonction est la transmission du savoir scientifique, pas la notation des chercheurs. Il faut comprendre que lorsqu'une revue accepte ou refuse un papier, ce n'est pas forcément parce qu'il est bon ou mauvais, c'est souvent que le papier correspond ou non à la ligne de la revue, à son positionnement. Chaque revue traite d'un sujet particulier, mais également par une approche particulière. Aussi, de très bons papiers ne sont pas acceptés tout simplement parce que l'approche ne correspond pas à la revue. Le comité de rédaction propose alors des modifications pour faire correspondre, et si cela ne parait pas possible, l'auteur est dirigé vers une autre revue. Cependant cette autre revue peut éventuellement avoir classement AERES moins élevé que la première. Ceci pose alors le chercheur dans une position difficile car ses travaux qu'ils soient bons ou mauvais, ne peuvent pas prétendre à la revue bien classée. Le risque est alors que beaucoup de chercheurs changent leurs axes de travail pour l'adapter aux thématiques des revues les mieux classées ce qui a pour effet pervers de diminuer la richesse de la recherche dans son ensemble en focalisant les travaux sur certains thèmes uniquement pour lesquels on peut espérer une publication bien notée par l'AERES.
3 - Le classement des revues.
Comme je viens de le dire plus haut, il peut y avoir de très bonnes revues dans toutes les disciplines et toutes les approches, mais certaines ne sont pas bien classées. Ainsi une très bonne revue non classée (parce que trop jeune, ou parce qu'inconnue des gens qui effectuent le classement) n'a quasiment aucune valeur dans l'évaluation de l'EC. Il faut donc se poser la question du classement par l'AERES et de l'utilité d'un tel classement. Quels sont les critères objectifs du classement ? Honnetement j'en sais rien du tout. Si quelqu'un a vraiment des informations sur des critères qui permettent d'évaluer objectivement une revue en tenant compte des problèmes que je viens de citer plus haut, je suis preneur ! En outre, pourquoi un classement, pourquoi dire que certaines revues valent mieux que d'autres ? Ne faudrait il pas juste dire qu'il faut que la revue respecte un cahier des charges minimum (il est normal qu'on attende que les revues soient un minimum sélective, ou en tout cas que le comité de rédaction travaille en trasparence et de manière équitable). A partir de là, libre au chercheur de publier là où il veut (peut). Ce qu'on attend c'est qu'il soit productif au niveau scientifique. Pourquoi ajouter ces critères de classement ?
Le H index.
Même si l'AERES ne le prend pas en compte, un nouvel étalon de comparaison a fait récemment son apparition : l'index de Hirsch, communément appelé H-index. Ici on travaille toujours sur un dosage entre qualité et quantité mais de manière différente. En fait le h-index est basé sur le calcul du nombre de travaux de l'EC qui ont été cités par d'autres travaux. Donc même si vous avez peu publié mais que votre travail a été beaucoup cité, vous pouvez avoir un h-index plus élevé que quelqu'un qui aurait régulièrement publié dans des revues bien classées (car le travail correspond à l'approche et à la ligne éditoriale de la revue) mais dont les travaux n'ont finalement interessé personne dans la communauté. Nous sommes ici assez proche du système de PageRank de Google. Comme le demande très justement Y. Gingras (voir ici pour l'article complet), est ce qu'un chercheur qui a publié 3 articles cités 60 fois chacun (h-index = 10) est trois fois meilleur chercheur qu'un autre qui aura publié 10 articles chacun cités 11 fois (h-index = 3 seulement) ? En outre il y a des sujets qui sont soudain à la mode et qui provoquent de très fortes citations ponctuelles. Quelqu'un qui travaille sur la grippe A actuellement aura plus de chance d'être cité que quelqu'un qui travaille sur une maladie orpheline. Le premier est il meilleur chercheur que le second ? On voit ici aussi que les équipes sont plus favorisées que les chercheurs qui travaillent de manière isolée.
Perversion
En outre, quelle que soit la méthode, il y a des effets pervers. Pour la méthode classique de la publication dans une revue classée. Les chercheurs vont avoir tendance à se regrouper pour publier. Par exemple, si j'ai deux collègues avec qui je m'entends bien. Si j'arrive à être publié dans une revue bien classée (rang A) et que je sais qu'eux aussi sont sur le point d'en faire une. Même si j'ai travaillé seul, je peux les mettre comme co-auteurs sur le papier, en espérant qu'ils vont faire de même avec leurs papiers. Au bout du compte, si nous nous entendons, nous aurons chacun réellement travaillé sur un seul papier, mais nous seront auteurs de trois papiers chacun. Serons nous meilleurs que si nous avions mis notre seul nom sur chaque papier ? Non. Serons-nous mieux évalués ? Oui. Pour la méthode du h-index c'est la même chose. Si j'ai un bon réseau d'amis, je peux m'entendre avec eux pour les citer dans mes papiers (et me citer moi-même au passage à chaque fois) si en échange ils me citent également. Le travail ne s'en trouvera pas meilleur, il sera juste davantage cité ce qui fera augmenter le h-index...
Qualité de l'enseignement
Enfin, même si ce n'était pas à l'ordre du jour, vu ce qu'il se passe aux USA on y sera bientot confronté alors autant s'y préparer : les indices de satisfaction des étudiants pour évaluer non pas la recherche mais la qualité de l'enseignement. Là aussi sur le fond c'est très bien, mais dans la pratique, tous les enseignants savent que si on est sympa, qu'on enseigne que des trucs marrants ou qui interessent davantage les étudiants (sans se soucier de leur utilité), si on montre des films, si on note large... en deux mots, si on est "cool" on a de bonnes évaluations. Donc du coup le risque c'est qu'on fasse du clientélisme ce qui aura pour conséquence de fortement baisser le niveau des formations de service public (niveau de cours moins élevé et notation plus large).
Il y a donc de l'idée. Sur les trois points je pense qu'il faut aller dans ce sens : évaluation de la qualité des publications, évaluation de l'utilité (et de l'utilisation) de ces publications, évaluation de la qualité de l'enseignement. Mais il faut vraiment engager une réflexion sur ce qu'il est possible de faire dans la pratique pour avoir une évaluation objective.