Le palmarès des meilleures universités 2009
Modification le 19/06/2009 : La Tribune a rectifié son article et a même produit un article annexe pour expliquer en détail sa méthodologie. Aussi tout ce qui suit n'a plus trop lieu d'être ! Je le laisse cependant pour expliquer le fonctionnement des auto-évaluations (premier pas dans la procédure d'évaluation AERES).
Je tombe hier sur un dossier dans La Tribune qui annonce avoir publié le palmarès des meilleures universités. Le but : "enfin permettre à tous les étudiants de choisir leur université en fonction de critères objectifs publiés dans des rapports officiels".
Dans cette phrase deux choses me frappent, et je reviendrai sur chaque point: "tous les étudiants", "critères objectifs".
J'avoue que la curiosité l'emporte et je vais vite voir le classement, un peu énervé j'avoue pour la simple raison que si vous avez lu mes derniers billets, je passe mon temps à remplir des fiches pour l'AERES (Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur). Alors en voyant une telle annonce, je me dis que s'il y a déjà des évaluations basées sur des "critères objectifs publiées dans des rapports officiels", je me demande bien pourquoi je m'embête alors que tout existe déjà. Allez c'est parti sur le classement. Je fais un petit tour des divers domaines (sciences 'dures", sciences du vivant, shs, droit eco gestion). Et je remarque qu'il y a pas mal d'universités réputées pour leur bon niveau dans certains domaines qui ne sont pas dans le classement... Je fouille un peu plus dans ce dossier et je trouve mon bonheur ! Ce classement est bien fondé sur ce que je crois : les fiches d'évaluation AERES qu'on nous demande de remplir en ce moment.
Pourquoi ce palmarès induit en erreur eti ne répond pas à l'objectif annoncé !
Je ne veux pas ici signifier que le journal en question ait pour objectif de tromper ses lecteurs. En fait je n'ai pas réellement compris l'objectif de ce palmarès. Ce qui est certain c'est qu'elle utilise des données qui ne sont pas absolument pertinentes pour faire un tel palmarès et que ce palmarès ne peut que tromper les étudiants sur la qualité des diplomes et des universités pour les raisons qui suivent. Donc donner une information c'est noble et c'est le but du journalisme, mais ici, on en fait à mon goût une très mauvaise utilisation.
1 - un classement fondé sur des auto-évaluations ?
Il faut savoir plusieurs choses. Un point très important à mon avis dans la perspective d'un "palmarès" des universités qui serait fondé sur des "critères objectifs", c'est qu'il y a les évaluations de l'AERES et les auto-évaluations. Auto-évaluation cela veut dire quoi ? Cela signifie que c'est le responsable de diplome lui-même qui se donne une note. En ce moment je remplis moi même des fiches sur des diplomes que j'encadre ou co-encadre, c'est moi même qui déclare si je pense que j'ai bien encadré, et j'ai le droit de me mettre A+, A, B, ou C. Comment ça marche ? Il y a deux types de fiche d'évaluation : celle pour les licences et celle pour les masters (les deux classements affichés par le journal en question).
Pour la licence il y a des questions sur la composition du corps enseignant, la structure de pilotage, le dispositif de suivi, les informations au lycéens (est ce qu'on va dans les salons, etc), quels sont les objectifs de la licence, combien il y a d'heures d'enseignement, quelles sont les UE obligatoires, les systèmes de notation, etc. Pour les masters des questions sur les objectifs scientifiques et professionnels, le contexte (local, national, international, scientifique et professionnel), l'organisation du diplome (structure, responsable, pilotge), le nombre d'étudiants, les contenus des cours, et enfin l'avis global.
Je prends un exemple d'item. Sur une fiche licence, je prends l'item 2 "structure et fonctionnement". Voilà ce que me dit l'AERES (car chaque item est commenté pour m'aider à le remplir) " Préciser s'il y a un directeur des études, un adjoint, des responsables par année. La notation peut aller dans le sens défavorable si l'équipe pédagogique n'existe que par parcours et non sur l'ensemble de la licence (car inappropriée dans ce cas à la notion de "mention")." Donc le responsable va dire qu'il y a un responsable (lui-même). Et s'il a besoin d'un adjoint il va le dire et se noter par un B ou un C pour le signifier, et s'il estime être bien tout seul il va se donner un A pour dire que tout va bien. Et ainsi de suite pour tous les items, on décrit la situation, et on dit A, B ou C (sauf pour l'évaluation globale où l'on peut même se mettre A+ pour dire qu'on est vraiment fort).
J'ai discuté avec plusieurs collègues de mon université et extérieurs à l'université quand je remplissais ces fiches. L'avis est plutot consensuel : ces fiches ont pour objectif de permettre au responsable de licence de faire remonter son avis sur les difficultés, ou au contraire les facilités qu'il a au jour le jour pour encadrer son diplome. Donc quand on est satisfait de la situation, on se met un A, sinon on met B ou C... En outre, il apparait que certains craignent des remarques de la présidence de l'université. Sachant que tous les collègues peuvent se mettre A, si jamais un se met des B, on va penser qu'il fait moins bien son travail que les autres, donc beaucoup se mettent A, au cas où les autres feraient pareil. Enfin, ces fiches ont pour objectif d'aider l'AERES pour y voir un peu plus clair à un niveau national sur l'offre de diplomes et ainsi prendre des décisions sur des "fermetures" de diplomes qui sont en doublons avec d'autres à un niveau local, ou inversement favoriser l'ouverture de diplomes quand il y a un besoin évident.
A l'arrivée, j'ai eu entre mes mains une bonne trentaines de fiches que mes collègues m'ont envoyées. Des A partout... Je pense que c'est normal pour les raisons évoquées ci-dessus. Dans la plupart des cas, les collègues estiment bien faire leur travail, et c'est bien normal. Mais pour faire un palmarès, on ne peut pas dire qu'on parte sur les meilleures bases qui soient... Ce journal utilise donc des données qui ne sont pas du tout produites dans le sens d'un classement. Ces fiches sont des auto-évaluations pour que remontent les avis des responsables de diplomes, elle ne sont pas du tout objectives comme le voudrait un classement.
Après l'autoévaluation vient l'évaluation. N'ayant pas encore été évalué, je ne sais pas exactement comment ça marche. Je sais qu'il existe aussi une espèce "d'audit". L'AERES nomme des comités d'experts qui rendent visite à l'université et font diverses évaluations. Nulle part dans le palmarès publié on ne sait quelle est la source de données au final. Est-ce les autoévaluations ? Les évaluations ? Les rapports de ces comités d'experts ? Aucune réponse.
2 - Pertinence des critères utilisés.
Quelles sont les informations qui intéressent les étudiants (puisque c'est d'eux dont nous parle le fameux quotidien) dans le choix d'une université ? Le nombre de MCF par section CNU ? La structure administrative du diplome ? La qualité de la fiche RNCP ? L'équilibre CM/TD ? La présence de l'annexe descriptive dans le dossier ?
Non ! Pourtant c'est bien principalement ce type de question qui est abordé dans les fiches AERES, et c'est donc sur ce type de critères qu'est fondé ce palmarès
Ce qui intéresse les étudiants d'après ce que j'entends sur les salons étudiants c'est : quel est le salaire moyen annuel à la sortie du diplome, le %age de recrutement à la sortie, à 6mois, à 1 an. Les types de métiers proposés et surtout le niveau de responsabilité, ou la place dans la hiérarchie.
Est ce que ces critères sont pris en compte dans ce palmarès ?
On a, je prends l'exemple des licences mais c'est pareil en master, éventuellement 3 items (45, 46, et 47) qui renseignent sur le taux de réussite en licence, l'insertion professionnelle, et le devenir des non diplômés. Mais ce qui est intéressant, c'est qu'on peut rester très vague dans la description. On peut dire "une majorité trouve un emploi" etc etc. En effet, la fiche prévoit que les informations fournies ne soient pas fiables, il y a une colonne "contenu du dossier" qui peut être notéee A, B, C ou NR (A : informations analysées, B : informations précises, C : informations insuffisantes, NR : aucune information). Donc par exemple, rien n'empeche un responsable de dire que la majorité trouve un emploi et donc de s'auto-évaluer "A" mais en précisant "C ou NR". Est ce que le palmarès tient compte de ces subtilités ? Dans tous les cas, les informations ne sont pas vérifiées par un tiers, les responsables de diplome à ce moment du processus AERES ont mis absolument ce qu'ils ont voulu dans le cases. Il n'est donc pas tolérable d'utiliser ces informations pour un palmarès dont l'objectif serait de permettre aux étudiants de choisir leur université !!! Encore une fois, ces informations n'ont pas vocation à faire l'objet d'un classement, ce sont juste des informations qui circulent des universités vers l'AERES sans aucun controle (ou quasi aucun controle : dans mon université, on a fait une lecture rapide des fiches en comité de direction mais on ne s'est pas arreté sur les détails, l'idée était surtout de vérifier que tout le monde avait bien rempli sa fiche). Donc en résumé, est-ce que le classement est fondé sur des informations analysées ou sur toute déclaration ? On ne le sait toujours pas.
3 - Tous les étudiants ?
C'est ici à mon avis le point le plus critique de ce palmarès. L'idée de faire un palmarès des universités, c'est de classer toutes les universités... Afin de permettre aux étudiants de choisir. Quand j'ai vu hier ce classement je me suis dit : "mais comment est-ce possible, ma fac n'a même pas encore envoyé ses évaluations !". Donc effectivement, mon université n'est pas dans le classement. Normal, nous avons pour consigne d'envoyer nos évaluations le 15 octobre prochain ! Je connais au moins deux collègues d'autres universités dans le même cas, je vérifie, leur université n'est pas non plus dans le classement. Ceci signifie donc que seules les universités de la première vague sont dans le palmarès. Parce qu'elles sont meilleures que les autres ? Non ! Juste parce que c'est le calendrier administratif qui l'a voulu. Est ce qu'on renseigne TOUS les étudiants de France pour choisir leur université ? Non puisque beaucoup d'universités sont absentes de ce palmarès juste parce qu'elles enverront leur fiche en octobre... En cherchant un peu dans le dossier du journal, on trouve effectivement la phrase suivante : "pour les licences 12 universités (sur 83) ont été examinées, pour les masters, 37 établissements". Quelles que soient les raisons (j'imagine qu'il doit y en avoir d'autres que le calendrier administratif) pour lesquelles seulement 14% des universités soient classées au niveau licence, et 44% pour le niveau master, il est prématuré de publier un classement tant que tout le monde n'a pas participé...
Alors finalement je vous le demande... est-ce que ce palmarès va "enfin permettre à tous les étudiants de choisir leur université en fonction de critères objectifs publiés dans des rapports officiels" ?
Je tombe hier sur un dossier dans La Tribune qui annonce avoir publié le palmarès des meilleures universités. Le but : "enfin permettre à tous les étudiants de choisir leur université en fonction de critères objectifs publiés dans des rapports officiels".
Dans cette phrase deux choses me frappent, et je reviendrai sur chaque point: "tous les étudiants", "critères objectifs".
J'avoue que la curiosité l'emporte et je vais vite voir le classement, un peu énervé j'avoue pour la simple raison que si vous avez lu mes derniers billets, je passe mon temps à remplir des fiches pour l'AERES (Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur). Alors en voyant une telle annonce, je me dis que s'il y a déjà des évaluations basées sur des "critères objectifs publiées dans des rapports officiels", je me demande bien pourquoi je m'embête alors que tout existe déjà. Allez c'est parti sur le classement. Je fais un petit tour des divers domaines (sciences 'dures", sciences du vivant, shs, droit eco gestion). Et je remarque qu'il y a pas mal d'universités réputées pour leur bon niveau dans certains domaines qui ne sont pas dans le classement... Je fouille un peu plus dans ce dossier et je trouve mon bonheur ! Ce classement est bien fondé sur ce que je crois : les fiches d'évaluation AERES qu'on nous demande de remplir en ce moment.
Pourquoi ce palmarès induit en erreur eti ne répond pas à l'objectif annoncé !
Je ne veux pas ici signifier que le journal en question ait pour objectif de tromper ses lecteurs. En fait je n'ai pas réellement compris l'objectif de ce palmarès. Ce qui est certain c'est qu'elle utilise des données qui ne sont pas absolument pertinentes pour faire un tel palmarès et que ce palmarès ne peut que tromper les étudiants sur la qualité des diplomes et des universités pour les raisons qui suivent. Donc donner une information c'est noble et c'est le but du journalisme, mais ici, on en fait à mon goût une très mauvaise utilisation.
1 - un classement fondé sur des auto-évaluations ?
Il faut savoir plusieurs choses. Un point très important à mon avis dans la perspective d'un "palmarès" des universités qui serait fondé sur des "critères objectifs", c'est qu'il y a les évaluations de l'AERES et les auto-évaluations. Auto-évaluation cela veut dire quoi ? Cela signifie que c'est le responsable de diplome lui-même qui se donne une note. En ce moment je remplis moi même des fiches sur des diplomes que j'encadre ou co-encadre, c'est moi même qui déclare si je pense que j'ai bien encadré, et j'ai le droit de me mettre A+, A, B, ou C. Comment ça marche ? Il y a deux types de fiche d'évaluation : celle pour les licences et celle pour les masters (les deux classements affichés par le journal en question).
Pour la licence il y a des questions sur la composition du corps enseignant, la structure de pilotage, le dispositif de suivi, les informations au lycéens (est ce qu'on va dans les salons, etc), quels sont les objectifs de la licence, combien il y a d'heures d'enseignement, quelles sont les UE obligatoires, les systèmes de notation, etc. Pour les masters des questions sur les objectifs scientifiques et professionnels, le contexte (local, national, international, scientifique et professionnel), l'organisation du diplome (structure, responsable, pilotge), le nombre d'étudiants, les contenus des cours, et enfin l'avis global.
Je prends un exemple d'item. Sur une fiche licence, je prends l'item 2 "structure et fonctionnement". Voilà ce que me dit l'AERES (car chaque item est commenté pour m'aider à le remplir) " Préciser s'il y a un directeur des études, un adjoint, des responsables par année. La notation peut aller dans le sens défavorable si l'équipe pédagogique n'existe que par parcours et non sur l'ensemble de la licence (car inappropriée dans ce cas à la notion de "mention")." Donc le responsable va dire qu'il y a un responsable (lui-même). Et s'il a besoin d'un adjoint il va le dire et se noter par un B ou un C pour le signifier, et s'il estime être bien tout seul il va se donner un A pour dire que tout va bien. Et ainsi de suite pour tous les items, on décrit la situation, et on dit A, B ou C (sauf pour l'évaluation globale où l'on peut même se mettre A+ pour dire qu'on est vraiment fort).
J'ai discuté avec plusieurs collègues de mon université et extérieurs à l'université quand je remplissais ces fiches. L'avis est plutot consensuel : ces fiches ont pour objectif de permettre au responsable de licence de faire remonter son avis sur les difficultés, ou au contraire les facilités qu'il a au jour le jour pour encadrer son diplome. Donc quand on est satisfait de la situation, on se met un A, sinon on met B ou C... En outre, il apparait que certains craignent des remarques de la présidence de l'université. Sachant que tous les collègues peuvent se mettre A, si jamais un se met des B, on va penser qu'il fait moins bien son travail que les autres, donc beaucoup se mettent A, au cas où les autres feraient pareil. Enfin, ces fiches ont pour objectif d'aider l'AERES pour y voir un peu plus clair à un niveau national sur l'offre de diplomes et ainsi prendre des décisions sur des "fermetures" de diplomes qui sont en doublons avec d'autres à un niveau local, ou inversement favoriser l'ouverture de diplomes quand il y a un besoin évident.
A l'arrivée, j'ai eu entre mes mains une bonne trentaines de fiches que mes collègues m'ont envoyées. Des A partout... Je pense que c'est normal pour les raisons évoquées ci-dessus. Dans la plupart des cas, les collègues estiment bien faire leur travail, et c'est bien normal. Mais pour faire un palmarès, on ne peut pas dire qu'on parte sur les meilleures bases qui soient... Ce journal utilise donc des données qui ne sont pas du tout produites dans le sens d'un classement. Ces fiches sont des auto-évaluations pour que remontent les avis des responsables de diplomes, elle ne sont pas du tout objectives comme le voudrait un classement.
Après l'autoévaluation vient l'évaluation. N'ayant pas encore été évalué, je ne sais pas exactement comment ça marche. Je sais qu'il existe aussi une espèce "d'audit". L'AERES nomme des comités d'experts qui rendent visite à l'université et font diverses évaluations. Nulle part dans le palmarès publié on ne sait quelle est la source de données au final. Est-ce les autoévaluations ? Les évaluations ? Les rapports de ces comités d'experts ? Aucune réponse.
2 - Pertinence des critères utilisés.
Quelles sont les informations qui intéressent les étudiants (puisque c'est d'eux dont nous parle le fameux quotidien) dans le choix d'une université ? Le nombre de MCF par section CNU ? La structure administrative du diplome ? La qualité de la fiche RNCP ? L'équilibre CM/TD ? La présence de l'annexe descriptive dans le dossier ?
Non ! Pourtant c'est bien principalement ce type de question qui est abordé dans les fiches AERES, et c'est donc sur ce type de critères qu'est fondé ce palmarès
Ce qui intéresse les étudiants d'après ce que j'entends sur les salons étudiants c'est : quel est le salaire moyen annuel à la sortie du diplome, le %age de recrutement à la sortie, à 6mois, à 1 an. Les types de métiers proposés et surtout le niveau de responsabilité, ou la place dans la hiérarchie.
Est ce que ces critères sont pris en compte dans ce palmarès ?
On a, je prends l'exemple des licences mais c'est pareil en master, éventuellement 3 items (45, 46, et 47) qui renseignent sur le taux de réussite en licence, l'insertion professionnelle, et le devenir des non diplômés. Mais ce qui est intéressant, c'est qu'on peut rester très vague dans la description. On peut dire "une majorité trouve un emploi" etc etc. En effet, la fiche prévoit que les informations fournies ne soient pas fiables, il y a une colonne "contenu du dossier" qui peut être notéee A, B, C ou NR (A : informations analysées, B : informations précises, C : informations insuffisantes, NR : aucune information). Donc par exemple, rien n'empeche un responsable de dire que la majorité trouve un emploi et donc de s'auto-évaluer "A" mais en précisant "C ou NR". Est ce que le palmarès tient compte de ces subtilités ? Dans tous les cas, les informations ne sont pas vérifiées par un tiers, les responsables de diplome à ce moment du processus AERES ont mis absolument ce qu'ils ont voulu dans le cases. Il n'est donc pas tolérable d'utiliser ces informations pour un palmarès dont l'objectif serait de permettre aux étudiants de choisir leur université !!! Encore une fois, ces informations n'ont pas vocation à faire l'objet d'un classement, ce sont juste des informations qui circulent des universités vers l'AERES sans aucun controle (ou quasi aucun controle : dans mon université, on a fait une lecture rapide des fiches en comité de direction mais on ne s'est pas arreté sur les détails, l'idée était surtout de vérifier que tout le monde avait bien rempli sa fiche). Donc en résumé, est-ce que le classement est fondé sur des informations analysées ou sur toute déclaration ? On ne le sait toujours pas.
3 - Tous les étudiants ?
C'est ici à mon avis le point le plus critique de ce palmarès. L'idée de faire un palmarès des universités, c'est de classer toutes les universités... Afin de permettre aux étudiants de choisir. Quand j'ai vu hier ce classement je me suis dit : "mais comment est-ce possible, ma fac n'a même pas encore envoyé ses évaluations !". Donc effectivement, mon université n'est pas dans le classement. Normal, nous avons pour consigne d'envoyer nos évaluations le 15 octobre prochain ! Je connais au moins deux collègues d'autres universités dans le même cas, je vérifie, leur université n'est pas non plus dans le classement. Ceci signifie donc que seules les universités de la première vague sont dans le palmarès. Parce qu'elles sont meilleures que les autres ? Non ! Juste parce que c'est le calendrier administratif qui l'a voulu. Est ce qu'on renseigne TOUS les étudiants de France pour choisir leur université ? Non puisque beaucoup d'universités sont absentes de ce palmarès juste parce qu'elles enverront leur fiche en octobre... En cherchant un peu dans le dossier du journal, on trouve effectivement la phrase suivante : "pour les licences 12 universités (sur 83) ont été examinées, pour les masters, 37 établissements". Quelles que soient les raisons (j'imagine qu'il doit y en avoir d'autres que le calendrier administratif) pour lesquelles seulement 14% des universités soient classées au niveau licence, et 44% pour le niveau master, il est prématuré de publier un classement tant que tout le monde n'a pas participé...
Alors finalement je vous le demande... est-ce que ce palmarès va "enfin permettre à tous les étudiants de choisir leur université en fonction de critères objectifs publiés dans des rapports officiels" ?