Une trace n’est pas un apprentissage

Les plateformes d’apprentissage produisent une quantité considérable de données : connexions, temps passé, ressources consultées, tentatives aux quiz, messages sur les forums. Il est tentant d’y lire directement de l’engagement, de la motivation, voire de l’apprentissage. Les tableaux de bord encouragent cette lecture : une courbe qui monte rassure, une barre rouge inquiète.

Ce que les learning analytics promettent

Les learning analytics sont généralement définies comme la mesure, la collecte, l’analyse et la présentation de données sur les apprenants et leurs contextes, en vue de comprendre et d’optimiser l’apprentissage et les environnements dans lesquels il se produit (Siemens et Long, 2011 ; Ferguson, 2012).

La définition est ambitieuse. Elle insiste sur la compréhension de l’apprentissage, pas seulement sur la mesure de l’activité.

Le piège de l’interprétation directe

Une vidéo ouverte n’est pas forcément regardée. Un temps de connexion long peut signaler une difficulté autant qu’un intérêt. Un apprenant qui consulte beaucoup de ressources peut être très investi, ou perdu dans la navigation. Les mêmes indicateurs peuvent ainsi avoir des significations opposées.

Gašević, Dawson et Siemens (2015) ont rappelé ce point dans un article au titre explicite : les learning analytics concernent l’apprentissage. Sans ancrage dans les théories de l’apprentissage et dans la conception pédagogique du cours, les données restent muettes ou trompeuses.

Relier les traces à la conception pédagogique

Lockyer, Heathcote et Dawson (2013) proposent d’aligner l’analyse des données avec le design pédagogique : savoir ce que l’on attend des apprenants à chaque étape permet d’interpréter les traces. Si une activité collaborative est prévue en semaine 3, l’absence de messages sur le forum à ce moment a un sens précis.

Concrètement, cela suppose de :

• définir à l’avance les comportements attendus à chaque étape du parcours ;
• choisir des indicateurs liés à ces comportements, plutôt que des indicateurs génériques ;
• interpréter les écarts en contexte, avec l’enseignant ;
• vérifier les hypothèses auprès des apprenants eux-mêmes.

Les chiffres posent des questions ; ils ne donnent pas les réponses.

Croiser les sources

Les traces numériques gagnent à être croisées avec d’autres sources : productions des apprenants, résultats aux évaluations, entretiens, questionnaires, observations. C’est cette triangulation qui permet de passer d’un indice à une interprétation solide.

Les revues de la littérature en fouille de données éducatives et en learning analytics montrent d’ailleurs une évolution vers des approches combinant données de traces et données déclaratives (Romero et Ventura, 2020).

Un exemple concret

Dans un cours en ligne de FLE, un tableau de bord indique qu’une apprenante passe beaucoup plus de temps que les autres sur les vidéos de compréhension orale. L’enseignante interprète d’abord ce temps comme un signe d’investissement.

En échangeant avec l’apprenante, elle découvre une autre réalité : celle-ci rejoue les vidéos de nombreuses fois parce qu’elle ne comprend pas, et n’ose pas demander d’aide. Le même indicateur signalait en fait une difficulté. L’enseignante lui propose des transcriptions et des activités de préécoute, et ajoute ces aides pour tous les apprenants.

Ce que cela change pour l’évaluation des dispositifs

Pour l’évaluation des dispositifs technopédagogiques, cet exemple rappelle une précaution essentielle : les données de traces ne peuvent pas être interprétées sans connaissance du contexte et du design pédagogique. Une évaluation qui s’appuierait uniquement sur des indicateurs d’activité risquerait de prendre des difficultés pour de l’engagement, ou l’inverse.

Les données de traces sont précieuses pour formuler des hypothèses. Elles doivent ensuite être confrontées à d’autres sources pour devenir des conclusions.

En conclusion

Les learning analytics peuvent éclairer l’apprentissage, à condition de ne pas confondre la trace et ce qu’elle représente. Une démarche rigoureuse relie les indicateurs au design pédagogique, les interprète en contexte et les vérifie auprès des apprenants. C’est à ce prix que les données deviennent une aide à la compréhension plutôt qu’une source de malentendus.

Et vous ? Quel indicateur de votre plateforme vous semble le plus trompeur ?

Références

1. Ferguson, R. (2012). Learning analytics: Drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5/6), 304–317.
2. Gašević, D., Dawson, S., et Siemens, G. (2015). Let’s not forget: Learning analytics are about learning. TechTrends, 59(1), 64–71.
3. Lockyer, L., Heathcote, E., et Dawson, S. (2013). Informing pedagogical action: Aligning learning analytics with learning design. American Behavioral Scientist, 57(10), 1439–1459.
4. Romero, C., et Ventura, S. (2020). Educational data mining and learning analytics: An updated survey. WIREs Data Mining and Knowledge Discovery, 10(3), e1355.
5. Siemens, G., et Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE Review, 46(5), 30–40.