Technology Mediated Peer Instruction
Sameer Rai Bhatnagar · PolyPublie (École Polytechnique de Montréal) · 2021
Nous commençons notre recherche par une étude observationnelle, dans laquelle nous suivons quatre professeurs d'introduction à la physique dans trois collèges.Pendant une session, nous suivons 137 étudiants qui complètent régulièrement des devoirs du APA.Nous constatons, entre autres, que les étudiants produisent des explications de haute qualité qui sont jugées convaincantes par leurs pairs, et que ces explications proviennent de différents niveaux académiques.Toutefois, nous découvrons que les étudiants forts sont davantage capables d'écrire des explications très convaincantes, même lorsqu'ils justifient une réponse incorrecte.Ensuite, nous proposons un cadre général pour l'évaluation de la qualité des explications issues de l'APA afin de maximiser les avantages d'apprentissage pour les étudiants.Notre travail étend une méthodologie provenant de la communauté de recherche qui étudie l'extraction d'arguments, où l'évaluation de la qualité des arguments, selon la dimension de son "potentiel de persuasion" (convincingness), est bien établi.Afin d'exploiter des algorithmes d'ordonnancement par pairs (pairwise ranking), nous transformons les données du APA, qui sont dans un format que nous appelons "explication à choix multiples", en un format de "préférence par paire", qui est inspiré de la recherche sur la qualité des arguments.Nous entraînons des modèles linguistiques simples d'espace vectoriel pour prédire laquelle d'une paire d'explications est la plus convaincante.Nous montrons que lorsque le vocabulaire est restreint, ces modèles simples sont concurrentiels avec les modèles de transformeur neuronaux, qui représentent l'état de l'art pour cette tâche.De manière plus générale, nous montrons que le concept de "potentiel de persuasion", une dimension de la qualité des arguments, peut être appliqué à des traces d'apprentissage où les étudiants sont engagés dans une évaluation comparative entre pairs.Nous proposons aussi une méthode d'agrégation des données de préférence par paire, de manière à produire une liste ordonnée des explications des étudiants, classées par qualité, telles que jugées par d'autres apprenants.Nous examinons différentes méthodes d'ordonnancement, chacune d'entre elles attribuant un score réel de "potentiel de persuasion" à une explication soumise par un étudiant.Ce score est dérivé du nombre de fois où elle a été choisie, et du contexte dans lequel elle a été choisie (quelles étaient les autres explications présentées).Ces scores sont ensuite utilisés comme cible pour deux types de modèles de régression supervisés: pour le premier type, l'entrée est un vecteur de variables linguistiques; nous le comparons à la seconde approche basée sur le peaufinage d'un modèle transformateur neuronal de pointe pré-entraîné.Nous évaluons notre méthodologie sur des ensembles de données disponibles publiquement, ainsi que sur un ensemble de données que nous publions et partageons avec la communauté de recherche en analytique d'apprentissage.Il s'agit de plus de 40 000 explications fournies par des étudiants dans le cadre de cours d'introduction à la viii biologie, à la chimie et à la physique, avec les données d'évaluation-par-les-pairs correspondantes (ce qui a été montré aux étudiants et ce qu'ils ont choisi).Nos résultats indiquent qu'en général, les modèles basés sur les transformeurs neuronaux sont les plus performants pour identifier les explications les plus convaincantes.Cependant, cette performance est spécifique à la question, et les modèles basés sur les variables linguistique peuvent battre les performances de l'état de l'art des modèles neuronaux pour certaines types de questions.La transparence de ces modèles classiques est particulièrement importante pour fournir de la rétroaction aux instructeurs et aux étudiants.ix