Le palmarès des meilleures universités 2009

Publié le par Mr le prof

Modification le 19/06/2009 : La Tribune a rectifié son article et a même produit un article annexe pour expliquer en détail sa méthodologie. Aussi tout ce qui suit n'a plus trop lieu d'être ! Je le laisse cependant pour expliquer le fonctionnement des auto-évaluations (premier pas dans la procédure d'évaluation AERES).

Je tombe hier sur un dossier dans La Tribune qui annonce avoir publié le palmarès des meilleures universités. Le but : "enfin permettre à tous les étudiants de choisir leur université en fonction de critères objectifs publiés dans des rapports officiels".

Dans cette phrase deux choses me frappent, et je reviendrai sur chaque point: "tous les étudiants", "critères objectifs".

J'avoue que la curiosité l'emporte et je vais vite voir le classement, un peu énervé j'avoue pour la simple raison que si vous avez lu mes derniers billets, je passe mon temps à remplir des fiches pour l'AERES (Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur). Alors en voyant une telle annonce, je me dis que s'il y a déjà des évaluations basées sur des "critères objectifs publiées dans des rapports officiels", je me demande bien pourquoi je m'embête alors que tout existe déjà. Allez c'est parti sur le classement. Je fais un petit tour des divers domaines (sciences 'dures", sciences du vivant, shs, droit eco gestion). Et je remarque qu'il y a pas mal d'universités réputées pour leur bon niveau dans certains domaines qui ne sont pas dans le classement...  Je fouille un peu plus dans ce dossier et je trouve mon bonheur ! Ce classement est bien fondé sur ce que je crois : les fiches d'évaluation AERES qu'on nous demande de remplir en ce moment.

Pourquoi ce palmarès induit en erreur eti ne répond pas à l'objectif annoncé !

Je ne veux pas ici signifier que le journal en question ait pour objectif de tromper ses lecteurs. En fait je n'ai pas réellement compris l'objectif de ce palmarès. Ce qui est certain c'est qu'elle utilise des données qui ne sont pas absolument pertinentes pour faire un tel palmarès et que ce palmarès ne peut que tromper les étudiants sur la qualité des diplomes et des universités pour les raisons qui suivent. Donc donner une information c'est noble et c'est le but du journalisme, mais ici, on en fait à mon goût une très mauvaise utilisation.

1 - un classement fondé sur des auto-évaluations ?


Il faut savoir plusieurs choses. Un point très important à mon avis dans la perspective d'un "palmarès" des universités qui serait fondé sur des "critères objectifs", c'est qu'il y a les évaluations de l'AERES et les auto-évaluations. Auto-évaluation cela veut dire quoi ? Cela signifie que c'est le responsable de diplome lui-même qui se donne une note. En ce moment je remplis moi même des fiches sur des diplomes que j'encadre ou co-encadre, c'est moi même qui déclare si je pense que j'ai bien encadré, et j'ai le droit de me mettre A+, A, B, ou C. Comment ça marche ? Il y a deux types de fiche d'évaluation : celle pour les licences et celle pour les masters (les deux classements affichés par le journal en question).

Pour la licence il y a des questions sur la composition du corps enseignant, la structure de pilotage, le dispositif de suivi, les informations au lycéens (est ce qu'on va dans les salons, etc), quels sont les objectifs de la licence, combien il y a d'heures d'enseignement, quelles sont les UE obligatoires, les systèmes de notation, etc. Pour les masters des questions sur les objectifs scientifiques et professionnels, le contexte (local, national, international, scientifique et professionnel), l'organisation du diplome (structure, responsable, pilotge), le nombre d'étudiants, les contenus des cours,  et enfin l'avis global.

Je prends un exemple d'item. Sur une fiche licence, je prends l'item 2 "structure et fonctionnement". Voilà ce que me dit l'AERES (car chaque item est commenté pour m'aider à le remplir) " Préciser s'il y a un directeur des études, un adjoint, des responsables par année. La notation peut aller dans le sens défavorable si l'équipe pédagogique n'existe que par parcours et non sur l'ensemble de la licence (car inappropriée dans ce cas à la notion de "mention")." Donc le responsable va dire qu'il y a un responsable (lui-même). Et s'il a besoin d'un adjoint il va le dire et se noter par un B ou un C pour le signifier, et s'il estime être bien tout seul il va se donner un A pour dire que tout va bien. Et ainsi de suite pour tous les items, on décrit la situation, et on dit A, B ou C (sauf pour l'évaluation globale où l'on peut même se mettre A+ pour dire qu'on est vraiment fort).

J'ai discuté avec plusieurs collègues de mon université et extérieurs à l'université quand je remplissais ces fiches. L'avis est plutot consensuel : ces fiches ont pour objectif de permettre au responsable de licence de faire remonter son avis sur les difficultés, ou au contraire les facilités qu'il a au jour le jour pour encadrer son diplome. Donc quand on est satisfait de la situation, on se met un A, sinon on met B ou C... En outre, il apparait que certains craignent des remarques de la présidence de l'université. Sachant que tous les collègues peuvent se mettre A, si jamais un se met des B, on va penser qu'il fait moins bien son travail que les autres, donc beaucoup se mettent A, au cas où les autres feraient pareil. Enfin, ces fiches ont pour objectif d'aider l'AERES pour y voir un peu plus clair à un niveau national sur l'offre de diplomes et ainsi prendre des décisions sur des "fermetures" de diplomes qui sont en doublons avec d'autres à un niveau local, ou inversement favoriser l'ouverture de diplomes quand il y a un besoin évident.

A l'arrivée, j'ai eu entre mes mains une bonne trentaines de fiches que mes collègues m'ont envoyées. Des A partout...  Je pense que c'est normal pour les raisons évoquées ci-dessus. Dans la plupart des cas, les collègues estiment bien faire leur travail, et c'est bien normal. Mais pour faire un palmarès, on ne peut pas dire qu'on parte sur les meilleures bases qui soient... Ce journal utilise donc des données qui ne sont pas du tout produites dans le sens d'un classement. Ces fiches sont des auto-évaluations pour que remontent les avis des responsables de diplomes, elle ne sont pas du tout objectives comme le voudrait un classement.

Après l'autoévaluation vient l'évaluation. N'ayant pas encore été évalué, je ne sais pas exactement comment ça marche. Je sais qu'il existe aussi une espèce "d'audit". L'AERES nomme des comités d'experts qui rendent visite à l'université et font diverses évaluations. Nulle part dans le palmarès publié on ne sait quelle est la source de données au final. Est-ce les autoévaluations ? Les évaluations ? Les rapports de ces comités d'experts ? Aucune réponse.

2 - Pertinence des critères utilisés.

Quelles sont les informations qui intéressent les étudiants (puisque c'est d'eux dont nous parle le fameux quotidien) dans le choix d'une université ? Le nombre de MCF par section CNU ? La structure administrative du diplome ? La qualité de la fiche RNCP ? L'équilibre CM/TD ? La présence de l'annexe descriptive dans le dossier ?

Non ! Pourtant c'est bien principalement ce type de question qui est abordé dans les fiches AERES, et c'est donc sur ce type de critères qu'est fondé ce palmarès

Ce qui intéresse les étudiants d'après ce que j'entends sur les salons étudiants c'est : quel est le salaire moyen annuel à la sortie du diplome, le %age de recrutement à la sortie, à 6mois, à 1 an. Les types de métiers proposés et surtout le niveau de responsabilité, ou la place dans la hiérarchie.

Est ce que ces critères sont pris en compte dans ce palmarès ?

On a, je prends l'exemple des licences mais c'est pareil en master, éventuellement 3 items (45, 46, et 47) qui renseignent sur le taux de réussite en licence, l'insertion professionnelle, et le devenir des non diplômés. Mais ce qui est intéressant, c'est qu'on peut rester très vague dans la description. On peut dire "une majorité trouve un emploi" etc etc. En effet, la fiche prévoit que les informations fournies ne soient pas fiables, il y a une colonne "contenu du dossier" qui peut être notéee A, B, C ou NR (A : informations analysées, B : informations précises, C : informations insuffisantes, NR : aucune information). Donc par exemple, rien n'empeche un responsable de dire que la majorité trouve un emploi et donc de s'auto-évaluer "A" mais en précisant "C ou NR". Est ce que le palmarès tient compte de ces subtilités ?  Dans tous les cas, les informations ne sont pas vérifiées par un tiers, les responsables de diplome à ce moment du processus AERES ont mis absolument ce qu'ils ont voulu dans le cases. Il n'est donc pas tolérable d'utiliser ces informations pour un palmarès dont l'objectif serait de permettre aux étudiants de choisir leur université !!! Encore une fois, ces informations n'ont pas vocation à faire l'objet d'un classement, ce sont juste des informations qui circulent des universités vers l'AERES sans aucun controle (ou quasi aucun controle : dans mon université, on a fait une lecture rapide des fiches en comité de direction mais on ne s'est pas arreté sur les détails, l'idée était surtout de vérifier que tout le monde avait bien rempli sa fiche). Donc en résumé, est-ce que le classement est fondé sur des informations analysées ou sur toute déclaration ? On ne le sait toujours pas.

3 - Tous les étudiants ?

C'est ici à mon avis le point le plus critique de ce palmarès. L'idée de faire un palmarès des universités, c'est de classer toutes les universités... Afin de permettre aux étudiants de choisir. Quand j'ai vu hier ce classement je me suis dit : "mais comment est-ce possible, ma fac n'a même pas encore envoyé ses évaluations !". Donc effectivement, mon université n'est pas dans le classement. Normal, nous avons pour consigne d'envoyer nos évaluations le 15 octobre prochain ! Je connais au moins deux collègues d'autres universités dans le même cas, je vérifie, leur université n'est pas non plus dans le classement. Ceci signifie donc que seules les universités de la première vague sont dans le palmarès. Parce qu'elles sont meilleures que les autres ? Non ! Juste parce que c'est le calendrier administratif qui l'a voulu. Est ce qu'on renseigne TOUS les étudiants de France pour choisir leur université ? Non puisque beaucoup d'universités sont absentes de ce palmarès juste parce qu'elles enverront leur fiche en octobre... En cherchant un peu dans le dossier du journal, on trouve effectivement la phrase suivante : "pour les licences 12 universités (sur 83) ont été examinées, pour les masters, 37 établissements". Quelles que soient les raisons (j'imagine qu'il doit y en avoir d'autres que le calendrier administratif) pour lesquelles seulement 14% des universités soient classées au niveau licence, et 44% pour le niveau master, il est prématuré de publier un classement tant que tout le monde n'a pas participé...

Alors finalement je vous le demande... est-ce que ce palmarès va "enfin permettre à tous les étudiants de choisir leur université en fonction de critères objectifs publiés dans des rapports officiels" ?

Publié dans Général

Commenter cet article

~:-) 15/09/2009 17:21

Et quand l'évaluation des enseignants-chercheurs se rapproche de la science-fiction : http://yannickrumpala.wordpress.com/2009/04/18/evaluation-des-enseignants-chercheurs-et-science-fiction/

Savant américain point com 22/06/2009 00:42

Personnellement je reste attaché à l'échelle de Vincennes : http://www.scientistsofamerica.com/index.php?texte=104

Kent 18/06/2009 18:42

Vous l'aviez écrit. Vous l'avez corrigé. Très bien.
Mais il me semble que vous vous êtes engagé dans une critique de la méthodologie de l'AERES (qui est critiquable) sans en avoir une image claire et complète. Votre témoignage sur les fiches à remplir était très intéressant, mais pour le reste, c'était un peu Fabrice Del Dongo à Waterloo.
Si on lit bien les sources de La Tribune, il s'agit des évaluations finales de l'AERES, qui ont été compilées par l'Agence Education Formation (AEF).
Cette évaluation finale est élaborée par le Comité d'évaluation (ou d'audit) composé d'experts externes, sur la base du rapport d'auto-évaluation de l'université, de données fournies par le ministère (contrat quadriennal, statistiques) et de son enquête sur place. Une réunion des présidents des comités d'évaluation pour chaque domaine harmonise éventuellement les notations.
On peut trouver sur le site de l'AERES la description de la procédure qu'elle suit, ainsi que tous les rapports d'évaluation.

Le vrai tort de La Tribune est d'avoir "survendu" un travail très peu élaboré reposant sur des données très partielles. Ce n'est absolument pas sérieux.
Cordialement.

Mr le prof 20/06/2009 09:43


Je ne me suis jamais engagé dans une critique de la méthodologie AERES ! Car même si elle parait critiquable (voir les diverses réactions sur le sujet telles que celle d'A Trautman), comme je
le disais plus haut, je laisse le bénéfice du doute car peut-être va t'elle déboucher sur des résultats intéressants. Donc ce que je disais, et que je continues à dire, c'est que sur le classement
il n'apparaissait pas clairement quelles données étaient utilisées. Mais peut-être avez vous consulté le fameux classement après modifications. Car La Tribune a "entendu" les divers commentaires et
a vite rectifié le tir. Même son titre parle mieux "une partie des universités françaises" : http://www.latribune.fr/carrieres/jeunes-diplomes/20090615trib000387833/palmares-d-une-partie-des-universites-francaises.html

Ensuite je suis d'accord avec vous et je dis dans mon billet que c'est le plus important, le fait qu'il manque la majorité des universités (et pas les moindres). Personnellement je fais partie de
la vague A (autoévaluations à remettre à la rentrée prochaine, les résultats de notre évaluation ne seront donc pas connus avant une bonne année j'imagine).


Kent 18/06/2009 10:16

Cher collègue,

Je suis comme vous très critique sur l'initiative du Journal La Tribune qui a voulu être le premier à publier un classement des universités reposant sur les évaluations de l'AERES, sans attendre que celle-ci ait évalué la totalité des universités, ce qui sera fait fin 2010.
Mais je suis très surpris de ce que vous dites des évaluations de l'AERES, qui seraient, dites-vous des auto-évaluations.
Il ne faut pas confondre l'auto-évaluation demandée par l'AERES en préalable à son évaluation, avec le résultat de celle-ci. Tous les processus d'évaluation externes des universités à travers le monde comportent ces deux phases : une auto-évaluation dans un cadre normé, puis une évaluation externe par un comité d'audit.
On peut critiquer la méthodologie de l'AERES, mais dire que ses évaluations sont des auto-évaluations est tout simplement faux.

Mr le prof 18/06/2009 12:40


Je n'ai pas dit cela. Je dis juste qu'on ne sait pas sur quels élements est basé le classement. On ne sait pas si ce sont les fiches d'autoévaluations qui sont remontées et qui ont été compilées ou
si ce sont de vrais évaluations (basées sur les vistes des comités que décrit A. Trautman, voir le lien posté dans le commentaire plus haut). Si ce sont les autoévaluations (le journal ne donne
aucune information) vous conviendrez que cela pose un gros problème, j'en profite dans ce billet pour décrire les fiches d'évaluation. J'ai refait les phrases d'introduction et de conclusion de
cette section sur les auto-évaluations pour rendre ce point plus clair, car vous avez raison le fait de parler pendant plusieurs paragraphes des autoévaluations pouvait laisser supposer que l'AERES
ne fait aucune évaluation.


Mélissa 17/06/2009 18:00

Bonjour, monsieur,

Un article fort intéressant pointant du doigt la négligence de l'AERES !! Effectivement l'auto-évaluation ne semble pas être pertinente. Concernant le travail du journaliste ayant fait cet article, on peut se demander qu'elle est le rôle de la presse tant ce classement met en évidence des carences puisqu'il n'y a même pas toutes les universités représentées à cause du calendrier.

Une question : pourquoi ne pas (à la limite) prendre en compte les rapports déjà "actés" par l'AERES (cf sur le site) ou un "EC en mission" en quelque sorte note les formations en licences et en masters d'une autre université ? A moins que certains rapports ne soient basés que sur les maquettes proposées par "l'université examinée" ?

Rappelons au passage que plus de 4000 EC et chercheurs refusent de faire des expertises pour l'ANR et l'AERES. Ce qui une nouvelle fois soulève de nombreuses questions comme la pertinence des classements, l'indépendance de l'AERES...etc.

Concernant le classement de Shanghaï, on ne peut peut pas lui accorder une véritable légitimité dans la mesure ou les critères ne sont absolument pas objectifs : "x" points pour un Prix Nobel ; "y" points pour un "prof émérite"...etc. On oublie la pertinence des enseignements, la différence entre les matières (sciences dures vs sciences humaines...etc.), et aussi les débouchés.

Le choix est donc difficile pour un lycéen souhaitant entrer à l'université, ou simplement souhaitant poursuivre des études supérieures. Il me semble quand même que deux éléments permettent de donner une idée au futur étudiant : le prix de la formation (ben oui, on ne peut pas tous mettre 8000 euros pour entrer à l'EM Lyon... il y a bien les prêts... 18ans déjà endetté !)et le lieu ou localisme, si l'élève veut et peut rester dans sa ville ou sa région, c'est peut-être important... Sinon, le salon de l'étudiant est en général un endroit assez évocateur de l'évolution des mentalités des universitaires devant se vendre (concurrence oblige) face "aux rapaces" que sont les CP et les GE. Amusant de voir l'explosion du budget marketing des universités... A Lyon 2, on a même un CD totalement interactif avec toutes les formations...etc. Une véritable campagne, mais c'est devenu nécessaire.

Pour terminer sur une note d'humour, les étudiants peuvent utiliser comme référence : "le classement de sandales" basé sur le classement de Shanghaï ! :

http://www.classement-de-sandales.net/scores_cds.php?n=-1

Au plaisir (toujours) de continuer à vous lire !

Cordialement,

Mél

Mr le prof 17/06/2009 19:40


Le billet n'a pas pour objectif de critiquer les évaluations AERES. Pour l'instant, je donne le bénéfice du doute à cet organisme en essayant de voir ce qui va pouvoir en sortir. Je pense que
l'AERES est prise de cours face à l'étendue de la mission et que démarrer sur des auto-évaluations doit bien les arranger pour les 4 premières années, le temps de mettre en place tous les systèmes
d'évaluation un peu plus objectifs qui paraissent nécessaires. A ce sujet on peut toutefois apprécier l'expérience vécue par Alain Trautman, qui pour le coup pointe du doigt les limites des
évaluations AERES : http://www.sauvonslarecherche.fr/spip.php?article2771

Pour ce qui est des rapports "actés" comme vous dites. On ne sait rien. Ce que pointe véritablement ce billet c'est l'absence absolue d'information qu'a le lecteur sur les sources de données. On ne
sait finalement pas si ce sont les fiches d'auto évaluation ou les rapports des comités de visite. Entin, et vous le notez aussi, le principal problème est l'absence de la majorité des universités
dans ce classement, ce qui est bien entendu inadmissible.

Pour le classement de Shangai, je répondrai en même temps que je répondrai au commentaire d'Armand ci dessus.

Merci pour vos encouragements.