htp://www.smart.ulg.ac.be
[email protected]+32 4 366 20 78
Système Méthodologique d’Aide à la Réalisation de
TestsSMART
P. Detroz
V. Crahay
31 octobre 2007
Le SMART en trois missions
Pour ces trois missions :
une même approche qualité
Evaluation des acquis cognitifs
Evaluation de la qualité des enseignements
Enquêtes à caractère pédagogique
Missions du SMART
➔ Validité ➔ Fidélité➔ Sensibilité➔ Diagnosticité ➔ Praticabilité ➔ Équité ➔ Communicabilité➔ Authenticité
Quatre facteurs clés pour une approche qualité
Gilles, 2002
• La validité :
les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de
contenu) ; • La fidélité :
la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ;
Critères de « qualité SMART » d’un test standardisé
• La sensibilité :
la mesure doit être précise, refléter des phénomènes subtils ;
• La « diagnosticité » :
les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ;
Critères de « qualité SMART » d’un test standardisé
• L’équité :
tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ;
• La « praticabilité » :
la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ;
Critères de « qualité SMART » d’un test standardisé
• La « communicabilité » :
les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.
• L’« authenticité » :
les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts dans des contextes et des pratiques qu’on peut rencontrer dans la vie.
Critères de « qualité SMART » d’un test standardisé
➔ Validité ➔ Fidélité➔ Sensibilité➔ Diagnosticité ➔ Praticabilité ➔ Équité ➔ Communicabilité➔ Authenticité
Quatre facteurs clés pour une approche qualité
Gilles, 2002
Gilles 2002; Gilles & al. 2004-2005
CGQTS
10
La plate-forme ExAMS : Examination Assessment
Management System
R&D en ingénierie docimologique
Le cycle CGQTS
● Structure de travail collectif (plusieurs institutions);
● Unification des méthodes;
● Réflexion sur la matière à évaluer, sur les méthodes pour évaluer;
● Gestion de la banque de questions;
● Gestion des tests;
● Préparation des étudiants à la matière évaluée, au dispositif d'évaluation;
● Correction facilitée des tests;
● Analyse à posteriori des questions et gestion de la qualité du test;
● Analyse des résultats (statistiques descriptives, graphiques,...);
● Feedbacks pour les étudiants au niveau du test et de leur auto-évaluation.
● ...
La plate-forme ExAMS pour répondre à des besoins:
La plate-forme ExAMS : Un outil en ligne pour construire et gérer les évaluations
Site: www.exams.be
A travers les étapes du cycle CGQTS
1. Analyse
Gilles 2002; Gilles & al. 2004-2005
1. Analyse
1.1 Définir les Points Enseignés [PE]Vérification de la bonne couverture de la matière abordée Validité de contenu
1.2 Quantifier les priorités Mise en évidence des points essentiels qui devront être évalués
1.3 Définir les Catégories de Performance [CP]Définition des processus mentaux dont l’évalué veut
exercer sur les PE
1.4 Relier les Points Enseignés et les Catégories de Performance [PE x CP]
Construction du binôme [PE x CP] Validité
1. Analyse
Titres Sous-titres PEIntroduction
Présentation
L’expertise du SMART
Une approche qualité
4 facteurs-clés
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
Point à évaluer
Priorités
Catégories de performance
Taxonomies
Binôme [PExCP]
Etape 2. Design
1. Analyse
Titres Sous-titres PE PIntroduction
Présentation
L’expertise du SMART
Une approche qualité
4 facteurs-clés
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
Point à évaluer
Priorités
Catégories de performance
Taxonomies
Binôme [PExCP]
Etape 2. Design
1
3
3
3
3
3
3
2
1. Analyse
Titres Sous-titres PE P CPCompr. Appli Analys
e
Introduction
Présentation
L’expertise du SMART
1
Une approche qualité
4 facteurs-clés 3
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
3
Point à évaluer 3
Priorités 3
Catégories de performance
3
Taxonomies 2
Binôme [PExCP] 3
Etape 2. Design
CP
Compréhension Application AnalyseInterpréter des informations. Extrapoler le sens d’un message en saisir la nature et la signification profonde
Utilisation de règles principes ou algorithme pour résoudre un problème
Découper une structure selon ses parties, distinguer les faits des hypothèses, en vue d’en expliquer le fonctionnement
1. Analyse
Titres Sous-titres PE P CPCompr. Appli Analys
e
Introduction
Présentation
L’expertise du SMART
1
Une approche qualité
4 facteurs-clés 3
Le cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
3
Point à évaluer 3
Priorités 3
Catégories de performance
3
Taxonomies 2
Binôme [PExCP] 3
Etape 2. Design
X
X
X XX
XX
XX
X X
XX X
XX
1. Analyse
1. Analyse
G. Mialaret, Pédagogie générale, Paris : PUF, 1991
Produit de cette 1ère étape :
Une table de spécifications où
les PE sont croisés avec les CP : (PE x CP)
1. Analyse
1. Analyse
Dans Exams…
La plate-forme ExAMS : Étape 1 : Création d’une table de spécification
Relier les Points Enseignés et les Catégories de Performance [PE x CP]
Construction du binôme [PE x CP] Validité
CP Priorités
PE
Gilles 2002; Gilles & al. 2004-2005
2. Design
2. Design
2.2 Associer les Modalités de questionnement aux Catégories de performanceConstruction du binôme [MQ x CP]
2.3 Croiser les Binômes [PE x CP] et [MQ x CP ]
Trinôme [PE x MQ x CP]Sur base des trinômes, nous pouvons générer des questions correspondant aux objectifs fixés
2.1 Définir les modalités de questionnement (MQ)Choisir les modalités de questionnement selon les objectifs
de l'évaluation
2. Design
2.1 Définir les modalités de questionnement (MQ)
Les Modalités de questionnement sont composées de :
- Un Format de Questionnement [FQ] :
QCM, V-F, QROC, QROL, Portfolio,…
- Une série d’Option de Questionnement [OQ]
SGI, DC, LO, TI
2. Design
MQ 1 MQ 2 MQ 3
CP1CP2
CP3
CP4
CP5
2.2 Construction du Binôme [MQ x CP]
QCM+SGI QCM+SGI+LO
Connaissance
Compréhension
Application
Analyse
Synthèse
QROL
X
X
X
X
X
X
X
2. Design
Titres Sous-titres
PE P CPCompr. Appli Analyse
QCM-DC-SGI-LO
QCM-DC-SGI-LO
QCM-DC-
SGI-LO
Introduction
Présentation
L’expertise du SMART
1 X
Une approche qualité
4 facteurs-clés 3 XLe cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
3 X X X
Point à évaluer
3 X X
Priorités 3 X XCatégories de performance
3 X X
Taxonomies 2 X X
Trinômes Trinômes [PE x CP x MQ][PE x CP x MQ]
Produit de cette 2ème étape :
une table de spécifications où les trinômes
(PE x CP x MQ) du test sont identifiés
2. Design
2. Design
Dans Exams…
2. Design
CP x MQ
PE x CP x MQ
Quelles options de questionnement ?
Les enjeux des degrés de certitude et des Solutions Générales Implicites
(SGI)
2. Design
2. Design
« T.O.I.S.E. ou une Taxonomie d’Objectifs Instrumentée au Service
de l’Évaluation »(D. Leclercq, 1999)
2. Design
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
6. Évaluation
La taxonomie des objectifs cognitifs de Bloom
2. Design
6. Evaluation(jugement selon des critères internes, donc subjectifs)
5. Synthèse(production personnelle, expression, formulation, créativité)
4. Analyse(décomposition, classification, organisation)
3. Application(d’un principe général à un cas particulier)
2. Compréhension(interprétation, traduction, rien n’étant “caché”)
1. Connaissance(réactualisation de contenus mémorisés)
Niveaux les plus souvent évalués
2. Design
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
6. Évaluation
QRO(Question à Réponse
Ouverte)
2. Design
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
6. Évaluation
QCMsimple
2. Design
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
6. Évaluation
QCM + SGI
2. Design
5. Synthèse
4. Analyse
3. Application
2. Compréhension
1. Connaissance
6. Évaluation
Degrés de certitude
2. Design
En résumé,
Les QCM simples ou classiques ont une aire d’efficacité (ou de pertinence) assez étroite, qui est « élargie » par d’autres techniques.
Les SGI permettent - d’évaluer des niveaux taxonomiques plus élevés que la connaissance dans la taxonomie de Bloom- d’éviter l’identification de la réponse correcte (recognition) par hasard- de mesurer la détection d’erreurs- de mesurer la vigilance cognitive
- d’habituer aux situations où plusieurs solutions sont correctes.
2. Design
6 ou NUL ou REJET7 ou TOUTES8 ou MANQUE9 ou ABSURDITE
Les SGI sont proposées sous les numéros de code suivant :6-7-8-9 et ne sont pas dactylographiées dans les QCM
Demander à l’évalué d’exprimer son degré de certitude [DC] permet de :- l’amener à s’auto-estimer (niveau 6 dans la taxonomie de Bloom)- de calculer ses indices de réalisme.
Les enjeux des DC
« Bon nombre de personnes considèrent que la connaissance est affaire de tout ou de rien : ou bien on « sait » les choses ou bien on ne les « sait pas ». […] Mais, le plus souvent, on est dans un état intermédiaire, de connaissance partielle »
Gilles,2002
2. Design
Les enjeux des DC
Choisissez l’orthographe correcte du mot proposé.
Tous les étudiants sont ------------- de passer un test de français dés leur entrée à l’université
1. suceptibles
2. susseptibles
3. suseptibles
4.susceptibles
RI
+1
-1
0
RC
OM
2. Design
Les enjeux des DCChoisissez l’orthographe correcte du mot proposé.
Tous les étudiants sont ------------- de passer un test de français dés leur entrée à l’université
1. suceptibles
2. susseptibles
3. suseptibles
4.susceptibles
RC
RI
850 25 50 70 95 100
+13 +16 +17 +18 +19 +20
+4 +3 +2 0 -6 -20
2. Design
Les enjeux des DCRC
RI
0 25 50 70 85 95 100
Ignorancereconnue
Compétenceignorée
Ignorancepartielle
Compétencepartielle
Compétenceassurée
Ignoranceignorée
2. Design
3. Questions
Gilles 2002; Gilles & al. 2004-2005
3. Création des questions
- Alimenter la banque de question
- Valider les questions qui pourraient être
utilisées pour l’examen
3. Questions
3. Questions
Titres Sous-titres
PE P CPCompr. Appli Analyse
QCM-DC-SGI-LO
QCM-DC-SGI-LO
QCM-DC-
SGI-LO
Introduction
Présentation
L’expertise du SMART
1 X
Une approche qualité
4 facteurs-clés 3 XLe cycle de construction et de gestion de qualité
Etape 1. Analyse
Table de spécification
3 X X X
Point à évaluer
3 X X
Priorités 3 X XCatégories de performance
3 X X
Taxonomies 2 X X
Q
Q
Q
Q
Q
Produit de cette 3ème étape :
une banque de questions caractérisées par leurs trinômes (PE x CP x MQ)
3. Questions
3. Questions
Dans Exams…
La plate-forme Exams:La rédaction des questions
La plate-forme Exams:La rédaction des questions
3. Questions
Petit Test …
La dernière amitié de Harlan Stone est un
1. satire politique
2. récit autobiographique
3. histoire de science fiction
4. courte biographie
3. Questions
La population de la ville de Frankton est inférieure à
1. 50 mille habitants
2. 60 mille habitants
3. 70 mille habitants
4. 80 mille habitants
3. Questions
Le Parti National Augustin a son quartier général à
1. Camdem, dans le new jersey
2. St Augustin, en Floride
3. Palo Alto, en Californie
4. Dallas, au Texas
3. Questions
La loi Davis (XIX° siècle)
1. Fournit de l’argent aux écoles.
2. Abolit une loi précédente
3. Interdit la fabrication, la vente, le transport ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.
4. Augmenta le salaire des agents de l’état.
3. Questions
Herman Klavemann est célèbre parce que
1. Il a développé toutes les échelles musicales utilisées en occident.
2. Il a composé toutes les sonates pendant la période romantique.
3. Il a traduit tous les classiques russes en anglais.
4. Il a inventé l’épingle de sûreté.
3. Questions
3. Questions
Etude de la Test Wiseness
Gibb (1964) définit la test wiseness comme « la capacité d’un étudiant à répondre correctement à un test fait de QCM qui contiennent des repères formels et, par conséquent, la capacité à obtenir
des points sans connaître la matière testée. »
3. Questions
Chapitre 3La rédaction des QCM(D. Leclercq, 1986)
3. Questions
Les règles de rédaction d’une QCM (d’après le Chap. 3 « La rédaction des QCM » du livre « La conception des questions à choix multiple » de D. Leclercq)
A. Règles de rédaction concernant l’adéquation aux objectifs
B. Règles de rédaction concernant la valeur diagnostique de la réponse
C. Règles de rédaction sur la forme
D. Règles de rédaction des solutions proposées
3. Questions
N ’utilisez la QCM que si c’est le type de question le plus
approprié à mesurer ce que l’on vise.Dans ce cas, la QROC serait plus pertinente.
A. Règles de rédaction concernant l’adéquation aux objectifs
R1: Respecter l’objectif
Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse, enlève toutes les taches …Choisissez le nom qui vous plaît le mieux.
1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH
Exemple :
3. Questions
A. Règles de rédaction concernant l’adéquation aux objectifs
R2: Coller à l’objectifExemple :
(a) Où est la tanche ?
(b) Ce poisson est
1. Un brochet2. Une carpe3. Une tanche4. Une truite
La QCM doit correspondre à l’objectif visé, au comportement à évaluer …
celui d’un poissonnier (a) ou d’un pêcheur (b) ?
3. Questions
A. Règles de rédaction concernant l’adéquation aux objectifs
R3: Ne pas perturber l’apprentissageExemple :
Choisissez l’orthographe correcte1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée
La QCM ne doit pas perturber les apprentissages (sur des données perceptives visuelles ou sonores)
Pour les autres apprentissages, Karraker a démontréque les distracteurs ne se fixent pas si on communiqueles RC dans les plus brefs délais.
3. QuestionsB. Règles de rédaction concernant la valeur diagnostique de la
réponseR4: Révéler le processus mental
La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’apprenant.
Quelle est la surface de la figure ci-dessous ?
1. 5 cm22. 6 cm23. 7 cm2
Exemple :
3. QuestionsB. Règles de rédaction concernant la valeur diagnostique de la
réponseR5: Indiquer l’erreur commiseExemple :
Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.
Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage
Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant …
D’où le recours à leurs propres erreurs en QROC.
3. QuestionsB. Règles de rédaction concernant la valeur diagnostique de la
réponseR6: Préciser sur quelle partie de l’énoncé porte la question
Exemple :
En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.
1. Vrai 2. Faux
On doit préciser sur quelle partie de l’énoncé porte la question
3. Questions
C. Règles de rédaction sur la forme
R7: Respecter la consigneExemple :
Lequel des aliments ci-dessous apporte des lipides ?
1. Eau2. Huile3. Œuf4. Viande
La question doit être compatible avec la consigne.
Ici, la question annonce qu’une seule solution est correcte, alors que plusieurs des aliments cités
contiennent des lipides.
3. Questions
C. Règles de rédaction sur la forme
R8: Proposer une phrase syntaxiquement correcteExemple :
On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.
RC = 2
Proposer des phrases (tronc + solutions) syntaxiquement correctes.
Transgression de la règle 8« proposer des phrases syntaxiquement correctes »
La dernière amitié de Harlan Stone est un
1. satire politique2. récit autobiographique3. histoire de science fiction4. courte biographie
35%
(Diamond & Evans, 1972)
3. Questions
C. Règles de rédaction sur la forme
R9: Éviter les termes vaguesExemple :
Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges
RC = Toutes, si « élément » est pris au sens large.
3. Questions
C. Règles de rédaction sur la forme
R10: Éviter les négation
Exemple :
N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?
1. Oui2. Non
Éviter les formes négatives (syntaxiques et sémantiques),a fortiori proscrire leur accumulation.
3. Questions
C. Règles de rédaction sur la forme
R11: Séparer l’information et questionsExemple :
Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».
Dans une embarcation armée- en pointe, le rameur tire un aviron des deux mains- en couple, chaque rameur a deux avirons.
La définition d’aviron, est « rame élargie à un bout en forme de pelle ».Lequel des 3 dessins représente une embarcation armée en pointe avec barreur ?
MAIS
3. Questions
C. Règles de rédaction sur la forme
R12: Regrouper dans l’amorce les éléments commun aux solutions proposéesExemple :
La température de solidification d ’une matière est :
1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.
La température de solidification d’une matière est 1. inférieure2. égale3. supérieure
à sa température de fusion.
MAIS
3. Questions
D. Règles de rédaction des solutions proposées
R13: Indépendance syntaxique des solutionsExemple :
Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.
3. Questions
D. Règles de rédaction des solutions proposées
R14: Indépendance sémantique des solutionsExemple :
Une solution d’eau salée en sel de cuisine peut descendre sans geler jusqu’à une température de
1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades
Les solutions proposées doivent être sémantiquement indépendantes les unes des autres.
Transgression de la règle 14« les solutions proposées doivent être sémantiquement
indépendantes les unes des autres »(Diamond & Evans, 1972)
La population de la ville de Frankton est inférieure à1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants45%
3. Questions
D. Règles de rédaction des solutions proposées
R15: Égalité des mots communs à la solution et à l’amorce
Exemple :
Quel est le nom de l’organisme de police internationale ?
1. CIA2. FBI3. Interpol4. SAS
Mêmes mots communs avec l’amorce.
Transgression de la règle 15« même mots communs avec l’amorce »
(Marshall & Hales, 1971)
Le Parti National Augustin a son quartier général à
1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas
66% et82%
3. Questions
D. Règles de rédaction des solutions proposées
R16: Égalité de vraisemblance des solutions Exemple :
Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO
3. Questions
D. Règles de rédaction des solutions proposées
R17: Même longueur pour toutes les solutions Exemple :
Le mot « spinaker » désigne :
1. Un chien écossais2. Une voile triangulaire de grande surface, légère
et très creuse, que les yachts envoient dans la marche au vent arrière
3. Un chant tyrolien4. Un instrument de musique
La solution correcte ne doit pas être systématiquement plus longue que les autres.
Transgression de la règle 17« même complexité : la solution correcte ne doit pas être
systématiquement plus longue que les autres »(Diamond & Evans, 1972)
La loi Davis (XIX° siècle)
1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport ou
l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.
4. Augmenta le salaire des agents de l’état.
53%
3. Questions
D. Règles de rédaction des solutions proposées
R18: Même complexité pour toutes les solutions Exemple :
Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?
1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3
3. Questions
D. Règles de rédaction des solutions proposées
R19: Même degré de généralité
Exemple :
Le terme épicéa désigne
1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.
Même niveau de généralité dans les indicateurs (temps, modificateurs, …)
Transgression de la règle 19« même niveau de généralité dans les indicateurs (temps,
modificateurs …) »(Marshall & Hales, 1972)
Herman Klavemann est célèbre parce que
1. Il a développé toutes les échelles musicales utilisées en occident.2. Il a composé toutes les sonates pendant la période romantique.3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.50%
3. Questions
D. Règles de rédaction des solutions proposées
R20: Même degré de technicité Exemple :
Dans l’islam chiite, un ayatollah est
1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche
Même degré de technicité du vocabulaire dans toutes les solutions proposées.
3. Questions
Règles de rédaction proposées par le SMART
R22: Signes en toutes lettres
R21: Ordre croissant et décroissant
Règles de cohérence dans le test
R26: Uniformisation des ponctuations dans le test
R28: Ne pas induire la réponse à une autre questions du test
R23: Termes identiques pour une même idée
Règles des solutions proposées
R24: Consensus sur le caractère correct ou incorrect des solutions
R25: Équilibre entre les solutions positives et négatives
R27: Éviter de connoter les solutions
4. Entraînement
Gilles 2002; Gilles & al. 2004-2005
4. Entraînement | Outils
Entraînement
LOM TIMI + GuessBVE
In situ Via Internet
4. Entraînement | Guess
http://www.smart.ulg.ac.be/smartweb/outils/guess/
Entraînement aux procédures :
Degrés de Certitude (DC)
4. Entraînement | TIMI
http://www.smart-ulg.net/timi2/etud/index.php
4. Entraînement | TIMI | DEMO
Accédez à la démonstration de TIMI
DEMO
4. Entraînement | TIMI | Connexion
Accédez au TEST en cliquant sur
4. Entraînement | TIMI | Feedbacks étudiants
4. Entraînement | TIMI | Feedbacks étudiants
4. Entraînement | TIMI | Feedbacks
RC : réponses correctes
RI : Réponses incorrectes
Plus le rectangle orange est proche de la droite, plus il est proche du réalisme « parfait »
Taux d’exactitude (axe des y):
Exactitude des questions du test pour l’évalué
Probabilité de réussite (axe des x) :
Probabilités de réussite choisie par l’évalué
Au-dessus de la droite, l’étudiant se sous-estime
En dessous de la droite, l’étudiant de sur-estime
4. Entraînement | TIMI | Feedbacks enseignants
r.bis
4. Entraînement Information
Dans Exams…
4. Information
Gilles 2002; Gilles & al. 2004-2005
4. INFORMATION
4. Information des évalués- Expliquer les procédures d’évaluation et les
conditions de l’examen
- Lier des fichiers, …
- Proposer des entraînements
4. Information
4. Information des évaluateurs
- Un suivi qualitatif des apprentissages de son
groupe d’étudiants
La plate-forme Exams :Les tests formatifs
Informer les étudiants :
vers un « engagement docimologique »
La plate-forme ExAMS :Les tests formatifs
La plate-forme ExAMS :Un suivi des tests formatifs
Produit de cette 4ème étape :
des informations en ligne ainsi que des tests d’entraînement
4. Information
5. Testing
Gilles 2002; Gilles & al. 2004-2005
5. Testing
5. Testing
Produit de cette 5ème étape :
un questionnaire d’examen « papier crayon » ou électronique
5. Testing | Etudiant
Livre ouvert QCM
SGI Vidéo, documents
disponibles par lien web
Degrés de certitude
En live
Dans Exams…
5. Testing
6. Correction
Gilles 2002; Gilles & al. 2004-2005
6. Correction
6. Acquisition, correction et contrôle qualité des résultats
- Contrôler la qualité des questions
- Etablir une version finale
Résultats et Statistiques :
6. Correction
Gestion Qualité du test :
6. Correction
Gestion Qualité de l’évalué :
6. Correction
Interprétation des rpbisà l’étape de correction
d’un test
…contrôle qualité a posteriori des QCM(autre ppt)
6. Correction
(Gilles, 2002)
Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7
(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)
Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves
Changements de réponse correcte 10
Suppressions d’une question 22
Valorisation d’un distracteur 39
TOTAL 71
Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions :
Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité)
(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)
6. Correction
Produit de cette 6ème étape :
une version fiable des résultats des évalués
7. Feedbacks
Gilles 2002; Gilles & al. 2004-2005
7. Feedbacks
- Sélectionner les caractéristiques des feedbacks
aux étudiants
- Autoriser la mise en ligne des feedbacks
7. Feedbacks aux étudiants
7. Feedbacks
Dans le contexte de l’enseignement supérieur, lorsqu’il s’agit d’évaluer les apprentissages …
Feedbacks
Performances
Travaux Portfolio
Epreuves écrites
Examens oraux
…Stages
Auto-évaluations
Rapides
Individualisés DiagnostiquesPrécis
7. Feedbacks
Face à des centaines d’étudiants, Face à des centaines d’étudiants, comment fournir rapidementcomment fournir rapidement des feedbacks individualisés, des feedbacks individualisés,
précis et diagnostiques ?précis et diagnostiques ?
7. Feedbacks
Cliquez iciCliquez ici
7. Feedbacks
Données de BaseDonnées de Base
Description de Description de l’évaluationl’évaluation
Feedbacks diagnostiques via internet : un système individualisé de communication des niveaux de performances des étudiants dans le cadre d’évaluations standardisées3ème congrès des chercheurs en éducation – 16 et 17 mars 2004 - Jean-Luc GILLES
Score global
Résultats par processus mentaux
Résultats par rubriques matières
Aide à l’interprétation
Questionnaire de l’examen
7. Feedbacks
7. Feedbacks
Questionnaire de l’examen
7. Feedbacks
Données de base Informations relatives à la question 4 question 29
7. Feedbacks
Résultats par processus mentaux
« Connaître de mémoire »
« Appliquer les concepts »
Exemples :
7. Feedbacks
Aide à Aide à l’interprétationl’interprétation
7. Feedbacks
Résultats par Rubriques matières
Par exemple, des chapitres du cours…
7. Feedbacks
Lorsque les pourcentages de certitude sont utilisés…
Feedback métacognitif
Tendance à se surestimer…
Aucune utilisation des degrés de certitude 0, 1 et 5.
7. Feedbacks
Aide à Aide à l’interprétationl’interprétation
Nombre de consultations des feedbacks par les étudiants en fonction de l'heure
0
100
200
300
400
500
600
700
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
No
mb
re d
e co
nsu
ltat
ion
s d
es f
eed
bac
ks v
ia in
tern
et
Nombre de consultations des feedbacks par les étudiants en fonction de l'heure
0
100
200
300
400
500
600
700
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
No
mb
re d
e co
nsu
ltat
ion
s d
es f
eed
bac
ks v
ia in
tern
et
pics de consultations
à l'ULg
pics de consultations
hors l'ULgULg
hors ULg
(Gilles, 2004)
7. Feedbacks
7. Feedbacks
Produit de cette 7ème étape :
des feedbacks individualisés, précis et diagnostiquespour chaque évalué
8. Macro-régulation
Gilles 2002; Gilles & al. 2004-2005
8. Macro-régulation
8. Macro-régulation
- Sélectionner des critères de qualité et les
croiser avec les produits finaux des différentes
étapes
- Proposer des améliorations
8. Macro-régulation
L’étape de macro-régulation :
recueillir de l’information sur le déroulement de l’évaluation,
ce qui doit permettre un jugement critique
dont le but est de prendre des décisions quant à l’amélioration de futurs processus d’évaluation voire des enseignements
Les huit premières étapes développées semblent être linéaire et s’enchaîner en une suite logique. Dans la réalité, il n’en va toutefois pas de même. Les mouvements de va et viens entre les différentes étapes ne sont pas rares et sont même parfois souhaitable.
8. Macro-régulation | Outil | e-NGELS
Évaluation des enseignements à travers la récolte des avis des étudiants
3 facettes d’un enseignement peuvent être évaluées :
- Le cours
- L’examen et les procédures d’évaluation des acquis
- Les Travaux Pratiques (TP), Travaux Dirigés (TD), Cliniques (CL)
8. Macro-régulation | Outil | e-NGELS | Etudiant
8. Macro-régulation | Outil | e-NGELS | Enseignant
Un espace dédié aux enseignants afin de leur permettre de consulter les données récoltées pour les enseignements
dont ils ont la charge
Les données privées concerne un enseignement mis en évidence pas la zone grisée
Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)
1
2
3
4
5
6
[1.1]
Le m
ode d
'évalu
ation
était
adéq
uat
[1.2]
L'en
traîne
ment a
vant
l'exa
men ét
ait su
ffisa
nt
[1.3]
Les
ques
tions
étaie
nt cla
ires
[1.4]
Que
stion
s bien
adap
tées à
la m
atière
[1.5]
Le m
ode d
'évalu
ation
perm
et au
prof
. d'av
oir un
e bon
ne re
prés
entat
ion de
s...
[1.6]
L'év
aluati
on es
t équ
itable
et im
parti
ale
[2.1]
Les
exige
nces
de l'e
nseig
nant
sont
claire
ment p
résen
tées
[2.2]
Les
exige
nces
de l'e
nseig
nant
sont
prés
entée
s en t
emps
utile
s
[2.3]
L'en
seign
ant m
et l'é
tudian
t à l'a
ise à
l'exa
men or
al
[2.4]
L'ho
raire
fixé p
our l
'exam
en es
t res
pecté
[3.1]
Les
répo
nses
corre
ctes s
ont c
ommun
iquée
s aux
étud
iants
après
l'exa
men
[3.2]
L'an
alyse
stati
stiqu
e de l
a qua
lité d
es qu
estio
ns (r
.bis)
est c
ommun
iquée
[3.3]
Apr
ès l'e
xamen
, l'étu
diant
peut
obten
ir de
s exp
licati
ons s
ur la
quali
té de
ses r
épon
ses a
u...
Moy
enne
s de
s av
is
1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)
(Gilles, 2002)
8. Macro-régulation
Produit de cette 8ème étape :
Une série de pistes d’amélioration de la qualité pour le prochain examen
8. Macro-régulation
Merci pour votre attention !
Pour toute information complémentaire n’hésitez pas à prendre contact :
http://www.smart.ulg.ac.be
2. Design
La vigilance cognitive
Aller spontanément au-delà du donné, accéder à l’implicite, détecter les pièges, les incohérences, les lacunes, les contradictions sans être mis sur la voie et donc lutter contre les messages implicites tel que « Quand on vous pose une question, il faut répondre », « Quand une question est posée, il existe une et une seule bonne réponse » ou « Une question posée par l’autorité est forcément bien posée ». (Leclercq, 1999)