L’effet palmarès

L’an dernier, presqu’à pareille date, j’écrivais ce billet en réaction à la parution du Palmarès de l’ACTUALITÉ. « À titre préventif sans doute, un chercheur de l’Université de Montréal, M. Jean-Guy Blais, publie les résultats d’une Étude des différences entre les écoles secondaires du Québec quant aux résultats de leurs élèves à certaines épreuves du ministère de l’Éducation de la fin du secondaire (.pdf, résumé de l’étude sous l’hyperlien plus bas).
J’ai l’intuition que tout ce que ça fera, c’est devancer la polémique annuelle sur cette question (lire ce texte) qui pourrait se traduire par  » Comment courir après sa queue en quatre leçons ? » La preuve : lire cette nouvelle !
Mise à jour du 31 octobre : Bulletin des écoles secondaires du Québec, Édition 2003 et Palmarès 2003 de L’actualité
Mise à jour du 1er novembre : Ce topo de Radio-Canada qui met « le point final » (j’espère…) dans les réactions de cette année…

Étude des différences entre les écoles secondaires du Québec
quant aux résultats de leurs élèves à certaines épreuves du ministère de l’Éducation de la fin du secondaire
par
Jean-Guy Blais
CRIFPE-LABRIPROF
Faculté des sciences de l’éducation
Université de Montréal
RÉSUMÉ
Les principaux résultats
L’évaluation de la performance du système scolaire est devenue un enjeu important dans le débat public sur l’éducation. C’est cependant une question complexe qui doit être traitée avec la plus grande rigueur. En dépit d’un succès médiatique certain, l’établissement d’un palmarès par école en fonction d’une combinaison des résultats moyens aux épreuves du MEQ est une opération scientifique plus que limitée. Les liens de cette combinaison avec certaines caractéristiques des établissements ne permettent pas une inférence valide quant à l’apport des écoles fréquentées en regard des compétences des élèves du Québec pour l’écrit de cinquième secondaire et pour les mathématiques de 436 de quatrième secondaire.
Les résultats aux épreuves uniques du MEQ sont certes des indicateurs utiles pouvant renseigner sur l’apprentissage réalisé par l’élève (et non l’école qu’il fréquente) mais ne sont ni complets, ni infaillibles. Ils ne mesurent certainement pas l’impact global de l’école. À la lumière de nos résultats, une combinaison des résultats moyens aux épreuves du MEQ permettrait difficilement d’établir un lien de cause à effet entre les écoles et les résultats de l’élève. La méthode scientifique nous invite ainsi à la prudence avant de faire des inférences statistiques de ce genre. En décomposant les données agglomérées, des nuances apparaissent qui donnent un portrait contrasté dont ressortent des traits qu’on ne peut distinguer derrière un raisonnement centré seulement sur les moyennes par école.
L’étude présentée vise donc à cerner les variations individuelles et collectives présentes et le portrait diversifié qu’elles permettent d’établir pour la langue d’enseignement, le sexe, le réseau, l’âge, l’année, le niveau socio-économique, le nombre d’élèves et les écoles. Les données utilisées sont celles du MEQ. Il s’agit des résultats obtenus par les élèves de quatrième et cinquième secondaire. L’étude nous a permis d’examiner les résultats des élèves pour l’épreuve unique d’écriture de cinquième secondaire et pour l’épreuve unique de mathématiques 436 de quatrième secondaire. Pour l’écrit, les résultats sont ceux des élèves pour les épreuves qui couvrent les années 1994 à 2001 et pour les mathématiques ceux touchant les années 1995,1996 et 2001. Ont été retenus les résultats des élèves qui ont passé les examens dans leur langue d’enseignement et qui étaient âges de15 à 18 ans pour l’écrit et de 14 à 17 ans pour les mathématiques.
1. Les résultats 1994-2001 pour l’épreuve d’écriture dans la langue d’enseignement
La note de français ne se compose pas seulement du résultat à l’épreuve écrite du ministère, mais cette dernière est la seule qui soit uniforme et permette une comparaison fondée. L’étude a été conduite en comparant les notes à l’épreuve écrite du MEQ et celle attribuée localement pour l’écrit par chaque école.
Peu importe le réseau, le sexe ou la langue d’enseignement, il y a des élèves qui obtiennent des notes élevées tant pour l’épreuve du MEQ que pour les résultats en provenance de l’école.
Contrairement à ce que laisse entendre un mythe fort répandu la taille de l’école n’est pas un facteur discriminant des résultats des élèves. Les écoles où il y a beaucoup d’élèves présentent des performances moyennes plus qu’acceptables, que ce soit au public ou au privé.
Trois grands éléments ressortent cependant de l’analyse de résultats ventilés :
€ Les résultats des élèves anglophones et francophones ne s’évaluent pas de la même manière.
€ Une différence de résultats appréciable entre les garçons et les filles. Les filles dominent les secteurs publics et privés. Ce sont les garçons du secteur public qui affichent les résultats les plus bas.
€ Une différenciation en fonction de l’âge. La performance globale des élèves de 15 et 16 ans est nettement supérieure à la performance globale des élèves de 17 et 18 ans, pour toutes les années de 1994 à 2001. De plus, les écoles du réseau public dispensent une formation à un nombre d’élèves de 17 et 18 ans proportionnellement de beaucoup supérieure aux écoles du réseau privé. Cette situation entraîne à la baisse les moyennes des résultats à l’écrit pour l’ensemble du réseau public.
Ces clivages prennent aussi une coloration particulière selon le statut socio-économique de provenance des élèves. Il y a ainsi un portrait très contrasté de la situation selon les régions du Québec.
2. Les résultats 1995,1996 et 2001 pour les mathématiques 436
Les épreuves de mathématiques ont lieu à la fin de la quatrième secondaire. Il y a trois cours de mathématiques (416, 426 et 436) mais l’épreuve unique n’existe pas pour les trois voies. Les données permettent une comparaison intéressante des résultats aux épreuves uniques pour le cours 436 sur les trois années 1995,1996 et 2001.
€ Nous observons sexe, réseau et langue d’enseignement confondus, une baisse non négligeable des résultats de 1996 à 2001 qui est probablement le résultat d’une modification au format de l’épreuve unique pour les mathématiques 436.
€ De grandes différences sont observables entre les francophones et les anglophones. Elles pourraient être attribuées à l’hypothèse que les écoles anglophones inscrivent en plus grand nombre des élèves qui n’ont pas les compétences préalables pour réussir adéquatement le cours et l’épreuve unique du MEQ ( rapport, Figures 28 et 29).
€ Alors que pour les résultats à l’épreuve du MEQ les moyennes des garçons et des filles sont très voisines les unes des autres pour chacun des réseaux, les écoles attribuent en moyenne des résultats plus élevés aux filles qu’aux garçons et ce peu importe le réseau ou la langue d’enseignement (rapport Figure 30).
€ Il y a une distance appréciable entre les résultats moyens des élèves francophones et des élèves anglophones du réseau public. Cette distance n’existe pas pour les élèves du réseau privé.
3. Une analyse exploratoire.
Une modélisation visant à mesurer le poids de diverses variables (sexe et âge pour le niveau de l’élève et type de réseau et nombre d’élèves présents à l’épreuve pour l’école) sur le résultat à une épreuve unique a été réalisée à des fins exploratoires.
Deux conclusions ressortent clairement :
€ Le niveau de l’école contribue pour 17% à l’explication de la variation observée.
€ Le niveau de l’élève contribue pour 83% à l’explication de la variation observée
Avec le modèle complet qui intègre les quatre variables indépendantes, nous arrivons à prédire 47% de la variation du aux écoles, ce qui correspond à 8% de la variation totale.
Une analyse par intervalles de confiance permettrait de distinguer trois catégories d’écoles. Environ 14% des écoles avec des moyennes élevées qui seraient différentes de la moyenne générale et environ 14% des écoles avec des moyennes basses qui seraient différentes de la moyenne générale. Pour les écoles restantes, soit environ 72% de l’ensemble, les moyennes ne pourraient pas être distinguée des moyennes générales.
Sauf pour les écoles avec des moyennes tout à fait aux extrémités de la distribution des moyennes, où il y aurait quand même égalité entre près de 30 écoles, la plupart des écoles seraient à égalité avec plus de 50% des autres écoles.
CONCLUSION
L’idée d’une mesure unique qui pourrait prétendre à une comparaison objective de la juxtaposition des résultats des élèves selon leur école respective ne résiste pas à l’analyse : il est fallacieux de prétendre que les résultats aux épreuves du MEQ peuvent jouer ce rôle pour mettre en ligne toutes les écoles secondaires du Québec et permettre aux parents de faire un choix éclairé sur la base de ce classement. Un classement des écoles selon un indicateur qui ne tient pas compte des caractéristiques individuelles des élèves ne permet pas de faire des inférences fondées scientifiquement. Les contributions respectives de l’école, 17%, et de l’élève 83%, nous invitent à la prudence dans les inférences de cause à effet «écoles vers élèves». En tenant compte de certaines caractéristiques individuelles, comme l’âge et le sexe, le portrait est plus clair, même si de toute évidence il reste encore bien des zones grises pour expliquer les performances différenciées des élèves aux épreuves du MEQ.