Robert Bibeau m’a bien dépanné hier car ce que j’ai posté sur la liste de diffusion « édu-ressources » n’a pas passé intégralement. Il semble que ma contribution était un peu longue. Ça m’apprendra de trop m’étendre. Voici le message original auquel je réagissais et sous l’hyperlien plus bas, ma réponse.
Je quitte rapidement car je m’en vais rejoindre les bloggeurs/wikistes Normands. J’en reparle…
«Bonjour à tous.
Je reçois une demande de renseignement d’un collègue français.
Quelqu’un a-t-il connaissance de telles recherches ?
Merci de me l’indiquer (:-))»
Robert Bibeau.
«J’aimerais connaître les moyens, les dispositifs que vous avez pu mettre en place au Québec afin d’évaluer (c’est le mot que je trouve pour le moment) le gain d’apprentissage, l’évolution de la qualité des enseignements induits par l’utilisation de portfolio.
Merci de votre éclairage ou de m’indiquer une adresse Internet où je pourrai trouver ces renseignements.»
Bertrand CHARIER
«J’aimerais également être tenu au courant des réponses à cette question. Je ne cacherai pas que mon hypothèse à ce sujet est que l’introduction du portfolio a pour but implicite d’empêcher l’évaluation des gains (ou des pertes) d’apprentissages et l’évolution de la qualité des enseignements.
Je ne nie pas l’intérêt de cette forme d’évaluation et je trouve même que cette forme a un intérêt certain et mérite d’être exploitée judicieusement. Je crois cependant qu’il ne faut pas être naïf quant aux motifs politiques de certaines personnes qui en font la promotion et qui désirent, en se faisant, faire disparaître les autres formes d’évaluations, plus propices à l’évaluation des apprentissages et de la qualité des enseignements.
Je suis cependant intéressé à en apprendre d’avantage sur les utilisations du portefolio pour l’évaluation des apprentissages et des enseignements.»
Normand Peladeau
Recherches Provalis
www.provalisresearch.com
Le 05-09-25 à 11:39, Normand Peladeau a écrit :
«Une rapide recherche sur Eric m’a permis d’identifier la recension suivante:
http://searcheric.org/scripts/seget2.asp?db=ericft&want=http://searcheric.org/ericdc/ED453263.htm
Les auteurs mentionnent à propos de l’évaluation par portfolio:
« Several newer forms of assessment, such as performance-based assessment and portfolio assessments, are based on recent research on cognitive learning, but they are based on theory and not empirical evidence ».
(Traduction libre: « Plusieurs nouvelles formes d’évaluation, telles que des évaluations basées sur la performance ou l’évaluation par portfolio, sont basées sur les recherches récentes sur l’apprentissage cognitif, mais elles sont basées sur la théorie uniquement et non pas sur des évidences empiriques »).
Donc théoriquement, il est possible que le portfolio ait des effets bénéfiques sur les apprentissages, mais dans les faits, l’utilisation du portfolio n’aurait jamais fait l’objet d’évaluations.»
Bonjour à tous,
Je suis en France actuellement (dans la foulée de Robert Bibeau) à Poitiers, justement sur ce sujet des eportfolios. M. Charrier qui est le collègue Français ayant posé la question participait à l’Université d’été de Poitiers (http://ll.univ-poitiers.fr/masterime/U2E/index.php?option=com_content&task=view&id=20&Itemid=1). Pendant que j’y étais, il est vrai que ces aspects de la recherche sur les « gains en apprentissage » n’ont pas été abordé. Ça ne faisait pas partie du programme. Par contre, j’ai participé à plusieurs colloques où Mme Helen Barrett a présenté des résultats. Son site Web est assez nourri de documentations sur ce sujet, http://electronicportfolios.org/ . Mme Barrett n’est pas très chaude à l’idée d’utiliser les portfolios dans un contexte « assess » (http://carnets.opossum.ca/mario/archives/2005/04/high_stakes_ass.html).
Sans vouloir tourner en rond, je commencerai par répondre à Bertrand. Je n’ai pas connaissance de mécanisme québécois qui viserait à « évaluer (c’est le mot que je trouve pour le moment) le gain d’apprentissage, l’évolution de la qualité des enseignements induits par l’utilisation de portfolio. » Tout d’abord, il convient de dire que peu de milieu utilise des portfolios depuis plus de trois ans. Gilles Jobin pourrait peut-être nous renseigner car je sais qu’il connaît des écoles qui en utilise, mais je ne crois pas qu’il y ait des mécanismes de prévu en ce sens au Québec.
J’aime bien cette position de M. Péladeau «l’introduction du portfolio a [c’est une hypothèse qu’il formule] pour but implicite d’empêcher l’évaluation des gains (ou des pertes) d’apprentissages et l’évolution de la qualité des enseignements.» Elle traduit sa méfiance à l’égard de la volonté réelle d’évaluer la réforme en cours au Québec et personnellement, je n’ai rien à dire sur ce sujet, car je ne fait pas partie de ceux qui savent de quoi il en retourne à ce niveau… J’ai des doutes sur cette hypothèse de M. Péladeau. Je crois que le MELS pousse l’utilisation des portfolios (et des eportfolios) pour bien d’autres raisons que celle-ci (plus nobles il me semble), mais bon… il doit posséder des « informations » que je n’ai pas.
Par contre, «s’il est possible que le portfolio ait des effets bénéfiques sur les apprentissages» (autre assertion de M. Péladeau), je suis de ceux qui les ont observés sur le terrain (pour ce que mon opinion vaut ;)))
Une pratique connue à l’Institut St-Joseph consiste à consulter les traces laissées sur les eportfolios en septembre et en octobre et à les comparer à celles laissées en mai et en juin. « Les gains » sont évidents (et consultables par qui veut bien faire l’exercice), mais sont seulement dus en partie aux portfolios puisque ce sont les multiples interventions des enseignants et le travail d’apprentissage des élèves qui les ont générés. Le mérite de l’outil est de nous permettre de les constater, nous professeurs, nous parents et tous ceux qui passent par là et qui regardent ces contenus de cet angle. Comme les cyberportfolios de l’Institut sont centrés sur les apprenants, il ne sont pas [d’abord] fait pour servir les intérêts des enseignants dans leur tâche d’évaluer les apprentissages.
Comme directeur, j’ai été frappé par l’augmentation en flèche de la motivation à apprendre des élèves, de la quantité des écrits des élèves et du niveau de maîtrise de l’écrit atteint par chacun. Sur le plan de la lecture, c’est un peu pareil; les élèves lisaient davantage et mieux. Nous n’avons pas fait de recherches empiriques sur la mesure des acquis, si ce n’est par deux tests administrés par l’équipe de Mme Laferrière de l’Université Laval qui visaient davantage à voir l’effet de l’établissement d’une communauté d’apprentissage sur les résultats que ceux de l’utilisation de l’outil du eportfolio. Par contre, j’ai été au secondaire pendant quinze ans et je sais que les résultats atteints par plusieurs élèves en français à ce stade de leur formation (fin du primaire) dépassaient largement les « standards normaux et attendus ». Qui plus est, nous n’avons cessé de recevoir des rétroactions des écoles secondaires qui accueillaient nos finissants depuis deux ou trois ans (ce qui correspond au temps où le eportfolio et la communauté d’apprentissage ont été mises en oeuvre) à l’effet que les jeunes leur arrivait de mieux en mieux préparés et ce, « malgré » (je taquine M. Péladeau) que nous nous soyions inspirés fortement des fondements de la réforme… (apprentissage par compétence, tâches complexes et grande variété dans les stratégies utilisées dont l’enseignement direct et les approches plus ouvertes pédagogiquement).
Ça ne prouve rien ce que je vous raconte. Je ne demande pas à être cru sur parole non plus… Je ne peux que vous dire quand même que l’hypothèse de M. Péladeau à l’effet qu’il soit «possible que le portfolio ait des effets bénéfiques sur les apprentissages» semble s’être confirmé chez mon ancien chez-nous…
Je suis un « mauvais garnement » et en ce moment, je suis en démarche pour accompagner plusieurs milieux dans l’appropriation de cet outil dans des écoles. Je pourrais donner des adresses à ceux qui voudraient faire des recherches car le nombre de milieux augmente à chaque mois. Personnellement, ce que j’ai observé « de visu » et les travaux du Dr Barrett, de Sébastien Paquet (http://radio.weblogs.com/0110772/2003/05/17.html) et de David Tosh (http://elgg.net/dtosh/weblog/) entre autres, me conduisent vers cette voie du eportfolio comme outil pour mieux faire apprendre. Je profiterais grandement des autres recherches, mais j’ai choisi de ne pas attendre les preuves hors de tout doute sur la base de ce que j’ai cité précédemment. Sur ce site, http://www.lifia.ca/en/index.htm, il y a d’autres renseignements qui pourraient s’avérer pertinents dont le lien vers l’initiative de l’État du Minnesota (http://carnets.opossum.ca/mario/archives/2005/04/lexperience_du.html) qui est sans doute l’expérience d’intégration des eportfolios « la plus ambitieuse » qui soit.
On me pardonnera cette longue tirade; c’est que j’ai quitté la direction d’écoles en partie pour cette aventure du eportfolio chez Opossum, alors vous pouvez comprendre que j’ai beaucoup à dire sur ce sujet !
Je suis un peu surpris que les références que faisait monsieur Asselin à ma première intervention aient été coupées dans la version écourtée du message. Quant au message que j’ai envoyé par la suite pour étayer mon hypothèse, elle n’a même pas été diffusée. Elle faisait suite à une intervention de Steve Bissonnette qui rapportait une étude réalisée au Vermont:
Voici le message de Steve Bissonnette, suivi de ma réponse. J’espère que ça permettra d’éclaircir mon point de vue:
—– MESSAGE DE STEVE BISSONNETTE —–
L’utilisation du portfolio à grande échelle a été réalisée au début des années 90 dans l’état du Vermont. Les résultats de cette expérimentation ont été publiés ici :
http://www.rand.org/cgi-bin/Abstracts/ordi/getabbydoc.pl?doc=RP-366
Voici le résumé:
Abstract: Briefly describes the Vermont experience with portfolio assessment, and summarizes the findings of the RAND evaluation of the program. The Vermont program has been largely unsuccessful so far in meeting its goal of providing high-quality data about student performance. It has, however, shown promising effects on instruction and modest improvement in measurement quality in mathematics. The basic lesson to be drawn from Vermont’s experience is the need for modest expectations, patience, and ongoing evaluation in the nation’s experimentation with innovative large-scale performance assessments as a tool of educational reform.
Si ma mémoire est bonne suite à cette expérimentation, l’état du Vermont a modifié sa politique évaluative pour combiner test standardisé et utilisation du portfolio, mais il faudrait vérifier !
Steve Bissonnette, Ps.Ed.
Doctorant en psychopédagogie – Université Laval
—– MA REPONSE —–
Merci Steve,
Je ne connaissais pas cette étude, mais elle illustre bien ce que je voulais dire. Le portfolio a ses avantages et ses limites, comme les tests standardisés et les examens institutionnels. Malheureusement, certains ont proposé l’abolition des tests standardisés, des examens traditionnels et des tests diagnostiques pour ne faire reposer l’évaluation que sur le portfolio, ce qui à mon avis était une façon de remplacer une solution imparfaite par une autre solution imparfaite, peut être plus valide pour évaluer les compétences, mais moins fiable, plus subjective et surtout plus exigeante pour l’enseignant, surtout lorsque le portfolio est utilisé pour évaluer non pas les apprentissages des élèves mais son enseignement.
Mon hypothèse est à l’effet que la popularité du portfolio, surtout lorsque proposé comme alternative et non pas comme complément aux examens et aux tests standardisés, est bien commode pour les gens qui proposent des activités pédagogiques inefficaces, puisqu’il devient bien plus difficile de documenter ces effets négatifs.
D’ailleurs, si la réforme poursuit son implantation au secondaire, je vous prédis que nous assisterons à une attaque en règle contre les examens du ministère dans le but de les abolir au plus tard d’ici 3 ou 4 ans ou de les transformer au point d’empêcher toute comparaison.
Au fait, je n’ai pas répondu à l’affirmation suivante:
« Elle traduit sa méfiance à l’égard de la volonté réelle d’évaluer la réforme »
Quelle volonté?
Avez vous été témoin d’efforts pour évaluer les effets de la réforme? Ou sont-ils? Qui sont-ils? Que font-ils?
Parlez-vous du rapport Carbonneau sur les projets pilotes au primaire, du rapport d’étape du MEQ de la première année d’implantation au premier secondaire (septembre 2004) ou de cet autre rapport du CRISES (Octobre 2004) sur la qualité de l’implantation au primaire?
Aucune de ces études n’a traité de cette question. Monsieur Robert Bibeau au MELS nous avais promis de trouver ces études, mais depuis aucune nouvelle.
Si vous avez des informations à cet égard que je n’ai pas, ne me faites pas languir.
Merci pour ces références, que je vais m’empresser de lire, et pour les commentaires qui les accompagnent.
Voir également l’ouvrage de Evers & Walberg (2004) que l’on peut télécharger :
http://www-hoover.stanford.edu/publications/books/testing.html
Voir en particulier : Portfolio Assessment and Education Reform, Brian Stecher.
Le groupe de Réjean Auger de l’UQAM (2001)a aussi produit un avis sur la politique d’évaluation du MELS à l’intérieur duquel ceux-ci parlent du portfolio :
http://www.dep.uqam.ca/recherche/labform/AVISEXPERTSEVAPFASC11pts12juinweb.pdf
Salutations