Un processus de conception de documents de cours avec QCM

Informations

  • Auteurs : Philippe Dessus, LaRAC & Inspé, Univ. Grenoble Alpes. Le quizz a été réalisé par Émilie Besse, projet ReFlexPro.
  • Date de création : Septembre 2015.
  • Date de modification : 11 octobre 2019.
  • Statut : Terminé.
  • Résumé : Ce document décrit, à partir du travail de Treagust [Treagust, 1988], un processus raisonné d’analyse des connaissances des élèves et de conception de QCM intégrés à un cours.
  • Licence : Document placé sous licence Creative Commons : BY-NC-SA.

Introduction

Il est toujours possible de créer des items de QCM un par un, sans méthode ni logique précise, mais le risque qu’ils ne permettent pas une évaluation valide et fiable de l’apprentissage visé est important. Suivre une méthode raisonnée pour parvenir à un ensemble d’items de QCM est donc recommandé, même si cela peut prendre plus de temps que de les concevoir à la volée.

C’est l’objet de cette section. Notons qu’elle s’intéresse au processus global de conception d’une série d’items à propos d’un domaine donné, qui est lui-même présenté dans un cours détaillé. La section suivante Rédiger des items de QCM énonce des conseils plus spécifiques et plus formels concernant les différentes parties d’un item.

Le processus (décrit dans [Treagust, 1988][Chandrasegaran et al., 2007]) comprend quatre étapes, pouvant être utilisées de manière itérative :

  • Définir le contenu ;
  • Mettre au jour et analyser les conceptions erronées des élèves (optionnelle dans le contexte du cours) ;
  • Concevoir, rédiger et tester les items.
  • Insérer ces items dans un cours (optionnelle dans le contexte du cours).

Ce processus permet de réaliser un cours avec un QCM permettant de comprendre et réviser les principales notions abordées. Ainsi, le cours et le QCM sont considérés dans leur globalité, et non pas perçus comme de nombreux petits items pouvant être disparates.

Définir le contenu

Dans cette étape, il s’agit de circonscrire le contenu à enseigner/évaluer sous forme de propositions et d’en présenter une organisation hiérarchique par carte de concepts (voir le document Cartes de concepts pour évaluer l’apprentissage). Quatre sous-étapes sont nécessaires.

1. Développer une carte de concepts

La représentation des concepts d’un domaine à apprendre sous forme de carte de concepts (plus d’informations à Cartes de concepts pour évaluer l’apprentissage) est utile pour délimiter le champ à traiter et évaluer. La carte suivante (Figure 1), extraite de [Stewart, 1980], p. 229 est un exemple de relations entre concepts du domaine de l’écologie. Les étiquettes (apposées devant chaque lien) expliquent la nature des relations entre les différents nœuds. Pour l’exercice du cours, décrire une dizaine de concepts maximum.

Cette carte de concepts pourrait tout à fait être présentée dans un cours sur l’écologie, à titre de vue d’ensemble de ce qu’il y a à connaître.

digraph flux {
        size="6"
        node [shape=box];
        R [label="Recycler"];
        C [label="Composants"];
        Co [label="Consommateurs"];
        D [label="Décomposeurs"];
        E [label="Ecosystème"];
        N [label="Niche"];
        Co -> N [label="ont"]
        D -> R [label="cause"];
        E -> D [label="a"];
        R -> C [label="propriété de"];
        Co -> C [label="a besoin de"];
}

Figure 1 - Carte conceptuelle dans le domaine de l’écologie ([Stewart, 1980], p. 229).

2. Identifier les grains de connaissances

Une fois la carte créée, il est possible de formuler sous forme de propositions simples, pour chaque concept, quels sont les “grains” de connaissances à apprendre (propositional knowledge statements). Cela liste les différentes propositions que tout apprenant devra savoir et peut comprendre des définitions, des liens entre concepts, des descriptions de processus, etc. (donc, ces “grains” ne sont pas nécessairement des concepts eux-mêmes, mais peuvent être des connaissances, compétences, méthodes,etc.). Il faut ensuite relier chacun de ces “grains” au concept de la carte qui lui correspond, ce qui permet de se rendre compte de la couverture des concepts, et s’il manque des propositions pour les caractériser.

Voici un exemple de propositions, issu de Stewart [Stewart, 1980], p. 228, dans le domaine de l’écologie.

  • Un écosystème est un système écologique naturel composé de producteurs procurant de l’énergie nécessaire à la vie.
  • Un écosystème a aussi des consommateurs.
  • Les producteurs procurent de l’énergie aux consommateurs.
  • Les producteurs convertissent l’énergie lumineuse en énergie chimique pour alimenter les consommateurs. Ce sont des photosynthétiseurs.
  • La respiration cellulaire est un autre moyen d’obtenir de l’énergie. Les consommateurs en obtiennent de cette manière.

3. Validation du contenu

La carte de concepts et les “grains” (sous-concepts) associés sont livrés à un ou plusieurs experts du domaine (collègues enseignants, chercheurs, experts), qui s’assurent de la validité scientifique et de la pertinence de leurs différents éléments, notamment en lien avec le niveau des élèves. Leurs commentaires permettent de modifier, le cas échéant, la carte de concepts et les propositions.

Il est à noter que cette étape peut être coûteuse en temps. Mieux vaut la considérer comme optionnelle pour les étudiants des cours pour lesquels ce document est réalisé. Elle est en revanche à considérer pour un travail de plus longue haleine.

4. Ecriture du cours

Il est bien sûr possible de récupérer un cours par ailleurs, mais le présenter avec des QCM obligera sans doute l’auteur à le réorganiser. Dans le cas contraire, il faudra rédiger un document de cours (leçon dont le contenu est auto-suffisant et circonscrit à une activité de lecture d’environ 1 h). Les réponses aux questions ci-dessous peuvent aider à déterminer les intentions pédagogiques de la leçon et son public, et devront être mentionnées au tout début du document de cours [Andrade et al., 2008] :

  1. Qu’est-ce qui doit être appris ? (détailler le contenu de la leçon, les principaux concepts et habiletés à l’œuvre).
  2. Pourquoi cela doit-il être appris ? (expliquer le contexte d’apprentissage et les possibles transferts du contenu de la leçon à d’autres contextes, ainsi que les contextes dans lesquels le contenu pourrait être utile).
  3. Comment cela doit-il être appris ? (détailler les méthodes pédagogiques, les types d’exercices utilisés dans la leçon).
  4. Quand cela doit-il être appris ? (détailler les pré-requis, les éléments nécessaires avant de pouvoir apprendre ce contenu).
  5. Où cela doit-il être appris ? (détailler les éléments de contexte : p. ex., cours à distance, etc., reliés au contenu à apprendre, mais aussi dans quel curriculum ce contenu s’insère.)
  6. Qui doit apprendre ce contenu ? (détailler les principales caractéristiques des apprenants : âge, compétences, niveau d’enseignement, etc.).

Si le contenu de toutes les sections précédentes peut tout à fait être conçu et écrit sur un simple logiciel de traitement de textes, il est maintenant nécessaire de porter ce contenu, dans son intégralité, dans un logiciel de création de cours/QCM (comme eXe Learning, voir Tutoriel – Utiliser le générateur de cours interactifs eXe Learning). Il est pour cela nécessaire d’utiliser la fonctionnalité « plan » de ce logiciel pour ajouter autant de pages qu’il est nécessaire (concevoir des pages de cours seul ou bien des pages mixtes cours puis QCM), puis les peupler du contenu (par un simple copier-coller) du cours et de créer les QCM un à un (là aussi, recourir au copier-coller quand cela est possible).

Les conceptions erronées des élèves

Dans une deuxième étape, et toujours en lien avec la carte et les propositions établies, il est nécessaire de mettre au jour les erreurs-types, mais aussi la manière dont les connaissances du domaine évoluent en fonction du niveau des élèves. Pour cela, les étapes suivantes élucident les conceptions erronées des élèves.

4. Lire des travaux de recherche

La première sous-étape sera de lire des travaux (de pédagogie et didactique) spécifiques au domaine à apprendre, ce qui permet de dresser une liste des erreurs classiques au cours de l’appropriation des notions. On pourra bien sûr se focaliser sur le niveau-cible des élèves avec lesquels on projette de travailler, sans oublier qu’ils peuvent avoir des niveaux de compréhension divers. La lecture d’ouvrages tels que [Giordan & Vecchi, 1987] pourra être utile.

5. Faire des entretiens libres avec des élèves

Ensuite, muni-e de ces listes d’erreur, on pourra s’entretenir librement avec des élèves pour déterminer quels sont les points qu’ils ont compris, et surtout mal compris, en visant à compléter ou modifier la liste établie dans la sous-étape précédente. Il est aussi possible d’analyser les résultats des élèves à un premier questionnaire écrit ou oral, libre ou guidé.

Les techniques décrites dans le document Observer le travail individuel des élèves pourront aider à formuler des questions non biaisées. Cette étape est optionnelle dans le contexte de l’U.E., bien que très utile pour approfondir le niveau de connaissances des élèves.

Conception, écriture et test des items

6. Développer des items à choix multiple

Muni-e des éléments précédents, l’enseignant-e peut s’atteler à écrire des items à choix multiple qui, à la fois, couvrent l’ensemble du domaine à étudier, dont les distrateurs reprennent les conceptions erronées des élèves, et peuvent être classés par difficulté présumée. La lecture des sections suivantes, et notamment Rédiger des items de QCM sera utile.

7. Tester la difficulté des items

Les réponses des élèves au QCM seront analysées et permettront d’une part, d’évaluer la compréhension de ces derniers, mais aussi de déterminer leur difficulté.

Insertion des items dans un cours

Dans cette dernière étape (optionnelle, car il est tout à fait possible de créer des QCM à des seules fins évaluatives), les QCM créés seront insérés dans un cours (voir Section 4. Ecriture du cours ci-dessus). La position des QCM peut varier, selon les intentions de l’enseignant :

  • Avant le cours, pour que les élèves éveillent leur intérêt à propos d’un domaine, se questionnent sur ce domaine (évaluation diagnostique).
  • Dans le cours, à un endroit donné ou bien tout au long du cours, pour permettre aux élèves de s’entraîner, d’avoir des rétroactions sur leur compréhension (évaluation formative).
  • À la fin du cours, pour que les élèves s’évaluent (évaluation sommative).

Quizz

Question 1. Selon Treagust, quelle est la première étape du processus de création de QCM ?

Question 2. Selon Treagust, quelles sont les 2 sous-étapes pour diagnostiquer les conceptions erronées des élèves ?

Références

[Andrade et al., 2008]Andrade, J., Ares, J., Garcia, R., Rodriguez, S., Seoane, M., & Suarez, S. (2008). Guidelines for the development of e-learning systems by means of proactive questions. Computers & Education, 51(4), pp. 1510–1522.
[Chandrasegaran et al., 2007]Chandrasegaran, A. L., Treagust, D. F., & Mocerino, M. (2007). The development of a two-tier multiple-choice diagnostic instrument for evaluating secondary school students’ ability to describe and explain chemical reactions using multiple levels of representation. Chemistry Education Research and Practice, 8(3), pp. 293–307.
[Giordan & Vecchi, 1987]Giordan, A., & de Vecchi, G. (1987). Les origines du savoir. Neuchâtel: Delachaux et Niestlé.
[Stewart, 1980](1, 2, 3) Stewart, J. (1980). Techniques for assessing and representing information in cognitive structure. Science Education, 64(2), pp. 223–235.
[Treagust, 1988](1, 2) Treagust, D. F. (1988). Development and use of diagnostic tests to evaluate students’ misconceptions in science. International Journal of Science Education, 10(2), pp. 159–169.