Évaluer un dispositif de formation avec ses propres données

On évalue souvent une formation en ligne par un questionnaire de satisfaction en fin de parcours. C’est utile, mais limité. Les apprenants qui ont abandonné n’y répondent pas, et ceux qui répondent jugent leur expérience globale plutôt que tel ou tel élément du dispositif.

Ce que les données d’usage ajoutent

Les traces laissées sur la plateforme apportent un autre éclairage. Elles permettent de voir quelles ressources sont réellement consultées, à quel moment les apprenants quittent le parcours, quelles activités posent problème, quels quiz sont échoués massivement.

Ces informations ne jugent pas les apprenants : elles jugent la conception. Une ressource que personne n’ouvre, une consigne qui génère de nombreuses questions, un module où les abandons se concentrent signalent des points de friction à analyser.

Un cadre pour évaluer

Le modèle CIPP de Stufflebeam (2003) distingue l’évaluation du contexte, des intrants, du processus et des produits. Les données d’usage sont particulièrement précieuses pour l’évaluation du processus : elles montrent comment le dispositif fonctionne réellement, au-delà de ce qui était prévu.

Le modèle de Kirkpatrick (Kirkpatrick et Kirkpatrick, 2006), lui, invite à regarder au-delà des réactions : les apprentissages, les comportements, les résultats. Les données d’activité ne couvrent pas tous ces niveaux, mais elles complètent utilement les questionnaires.

Une démarche en pratique

Pour utiliser les données dans l’évaluation d’un dispositif, je propose quelques étapes :

• formuler des questions d’évaluation précises avant de regarder les données ;
• identifier les indicateurs qui permettent d’y répondre ;
• repérer les anomalies : ressources ignorées, pics d’abandon, échecs répétés ;
• croiser avec la satisfaction déclarée et les résultats d’apprentissage ;
• formuler des hypothèses d’amélioration, les tester, puis mesurer à nouveau.

Les données ne remplacent pas le jugement évaluatif : elles l’informent.

Limites et précautions

Les données d’usage ont leurs angles morts. Elles ne disent rien de ce qui se passe hors de la plateforme : lectures imprimées, échanges entre pairs, travail hors ligne. Elles peuvent aussi être influencées par des contraintes techniques : une connexion lente réduit l’activité sans que la motivation soit en cause.

Il faut enfin respecter les principes éthiques de l’usage des données : transparence, finalité claire, minimisation (Slade et Prinsloo, 2013).

Un exemple concret

Une équipe évalue un MOOC de formation des formateurs. Le questionnaire de fin de parcours est très positif. Pourtant, les données de la plateforme révèlent qu’un tiers des inscrits abandonnent au module 3, et qu’une vidéo de ce module n’est presque jamais regardée jusqu’au bout.

En examinant ce module, l’équipe découvre que la vidéo dure vingt-cinq minutes et que l’activité associée demande un travail important, sans exemple. Elle découpe la vidéo, ajoute un exemple commenté et allège l’activité. Lors de la session suivante, les abandons à ce module diminuent sensiblement.

Le questionnaire de satisfaction n’aurait jamais permis de repérer ce problème, puisque ceux qui abandonnaient n’y répondaient pas.

Ce que cela change pour l’évaluation des dispositifs

Cet exemple illustre l’intérêt d’une évaluation qui combine plusieurs sources. Les données d’usage révèlent où se situent les difficultés ; les questionnaires et les entretiens permettent de comprendre pourquoi ; les résultats d’apprentissage disent si les modifications ont amélioré l’efficacité.

C’est aussi un argument pour une évaluation continue plutôt que ponctuelle : chaque session devient une occasion d’apprendre sur le dispositif et de l’améliorer. Relier les indicateurs au design pédagogique du dispositif, comme le proposent Lockyer, Heathcote et Dawson (2013), permet d’interpréter les écarts entre l’usage prévu et l’usage réel.

En conclusion

Les données d’usage sont une ressource précieuse pour l’évaluation des dispositifs de formation. Elles complètent les questionnaires de satisfaction en donnant une voix à ceux qui ne répondent pas, en particulier les apprenants qui abandonnent. Utilisées avec rigueur et dans le respect de l’éthique, elles permettent d’améliorer les dispositifs de session en session.

Et vous ? Quelles données utilisez-vous aujourd’hui pour améliorer vos formations ?

Références

1. Kirkpatrick, D. L., et Kirkpatrick, J. D. (2006). Evaluating training programs: The four levels (3e éd.). Berrett-Koehler.
2. Lockyer, L., Heathcote, E., et Dawson, S. (2013). Informing pedagogical action: Aligning learning analytics with learning design. American Behavioral Scientist, 57(10), 1439–1459.
3. Slade, S., et Prinsloo, P. (2013). Learning analytics: Ethical issues and dilemmas. American Behavioral Scientist, 57(10), 1510–1529.
4. Stufflebeam, D. L. (2003). The CIPP model for evaluation. Dans T. Kellaghan et D. L. Stufflebeam (dir.), International handbook of educational evaluation (p. 31–62). Kluwer.