Ces derniers mois nous ont permis de faire de nombreuses expériences sur OpenClassrooms, en particulier autour des exercices des cours. Les exercices sont l'occasion de faire pratiquer ceux qui apprennent et de vérifier leurs connaissances. Ils les rendent actifs, sollicitant leur réflexion, et permettent par là même de mieux retenir les informations du cours.

Les QCM : la base

Mais quels types d'exercices pouvons-nous envisager en ligne ? Nous connaissons tous les QCM. Ils prennent la forme suivante :Nous utilisons beaucoup les QCM chez OpenClassrooms. Ils permettent de vérifier de façon simple et automatisée les connaissances.Bien sûr, on rétorquera que ce n'est pas très original, que ça existe depuis des années, que ça n'encourage pas franchement l'expression de l'apprenant... Oui, certes. Je suis d'accord avec tout cela. Mais ça n'en fait pas moins un outil très pratique (et apprécié !), qui permet de tester un minimum de connaissances à moindre coût. La correction étant facilement automatisable, cela nous fournit de la matière première pour gérer des exercices en ligne.Les QCM ne présentent pas de nouveauté ou d'originalité, mais ils fonctionnent. Utilisons-les, ils ont un rôle à jouer.

La correction entre pairs : l'avenir ?

Bien entendu, les QCM finissent par être rapidement frustrants. On doit répondre A, B ou C (ou D...), encore et encore. Au final, on peut répondre un peu à l'aveuglette et espérer avoir une bonne note. Rien ne garantit que l'apprenant a vraiment réfléchi aux questions.C'est pour cela que nous avons commencé à envisager d'autres types d'exercices plus riches :

• Ordonnancement d'éléments
• Drag n' drop
• Réponses courtes (nombre, mot...)
• Codes source
• Dissertations
• etc.

Rapidement, nous avons séparé ces nouveaux types d'exercices que nous désirions expérimenter en deux sections :

• Ceux qui peuvent être facilement corrigés automatiquement
• Ceux qui ne peuvent pas être facilement corrigés automatiquement

Corriger automatiquement les codes source...

Nous voulions en particulier expérimenter les exercices de type "Codes source à produire" pour nos cours sur la programmation. Nous les avons rapidement rangés dans la section "ne peuvent pas être facilement corrigés automatiquement".On pourra signaler que des sites proposent de coder dans le navigateur et qu'ils corrigent automatiquement. Codeschool, Codecademy et consorts font un travail formidable à ce niveau. Mais cela reste malgré tout peu expressif : on demande à "coder ici", et cela implique souvent de rajouter une simple ligne de code, voire, au mieux, une fonction. Si la correction automatisée de codes source existe depuis des années, elle en reste encore à l'âge de pierre. On peut indiquer "ça marche, ça ne marche pas". On peut plus difficilement dire pourquoi. On peut encore moins donner des conseils à l'élève pour qu'il s'améliore.Il n'y a pas de doute qu'un jour nous aurons des intelligences artificielles suffisamment évoluées pour faire des retours utiles, mais nous en sommes encore très loin.

... et pourquoi ne pas les corriger manuellement ?

De là nous est venue l'idée de faire participer les élèves au processus de correction. L'idée n'est pas nouvelle en réalité : la correction entre élèves existe depuis des lustres en salle de classe (quoique, de toute ma scolarité, je ne me souviens pas qu'on m'ait demandé une seule fois de corriger le devoir d'un collègue !), et des sites de MOOCs comme Coursera effectuent de la correction entre pairs sur certains devoirs (on les appelle Peer to peer assesssments).Le principe est le suivant :

1. L'élève réalise le devoir qui lui est demandé. Celui-ci peut prendre n'importe quelle forme : fichier PDF contenant une dissertation, code source dans un fichier ZIP ou même dessin réalisé sous Photoshop.
2. Il envoie son devoir sur la plateforme.
3. Il accède ensuite à une correction. Il obtient des instructions du professeur qui lui expliquent comment corriger un autre devoir : combien de points mettre dans quel cas de figure, quelles étaient les différentes façons de répondre à la question...
4. On lui demande de corriger plusieurs devoirs d'autres élèves qui viennent de terminer leur travail en même temps que lui. Dans notre cas, il doit corriger 3 devoirs, en donnant des points en suivant scrupuleusement le barème défini par le professeur. Fait important : on lui demande aussi de donner une appréciation qualitative (sous forme de texte) de chaque devoir.
5. Une fois qu'il a corrigé les autres devoirs, il doit attendre que d'autres élèves corrigent son propre devoir de la même façon. Son devoir doit être corrigé par au moins 3 personnes différentes, qui ne se sont pas consultées et qui ont vu son travail de façon anonyme. Les 3 notes données par les pairs forment une moyenne, qui correspond à la note finale de l'élève.

Au final, chaque élève reçoit 3 corrections. Chaque correction de son devoir prend cette forme : Regardez attentivement la correction :

• A gauche, les points du barème. Les critères ont été définis par le professeur, les points sont donnés par l'élève.
• A droite, les commentaires de l'élève-correcteur. Il a vraiment pris le temps de détailler son analyse du devoir et de donner des conseils.

60 % des correcteurs donnent des commentaires. C'est un bon début ! Tous ne sont certes pas aussi précis. Mais je n'ai pas eu à chercher longtemps pour trouver un correcteur attentif et patient (celui-ci date d'avant-hier). Le travail qu'ils effectuent est vraiment formidable.Chaque devoir reçoit 3 corrections comme celle-ci, ce qui permet d'apprécier les différents points de vue. Regardez notamment cet exemple :A date, nous avons généré près de 4 000 corrections sur le seul cours PHP. Sur l'ensemble de la plateforme, plus de 10 000 corrections ont été enregistrées pour le moment, et ce nombre augmente de jour en jour.

Quelles conclusions ?

Nous sommes très heureux de voir l'enthousiasme pour ce mécanisme de correction entre élèves. Il a de nombreux avantages :

• L'élève doit produire un devoir, pas juste cocher des cases. Cela lui demande plus d'investissement et il doit faire preuve de davantage de réflexion.
• L'élève voit d'autres devoirs réalisés lorsqu'il corrige. Il apprend qu'il y a différentes façons de faire, parfois de certains élèves plus avancés que lui.
• L'élève doit corriger et se place donc dans une toute autre position : celle du professeur. En changeant de perspective, il apprend énormément sur ce qui lui a été demandé et peut mieux comprendre ses propres forces et faiblesses.

Nous n'en sommes qu'aux débuts. De nombreux challenges nous attendent encore :

• Certains correcteurs, minoritaires, n'ont pas compris ce qui leur était demandé et bâclent parfois leurs corrections. Comme chaque devoir est corrigé 3 fois et que nous faisons une moyenne, cela pénalise en fait assez peu l'élève au final. Mais il doit être possible de les repérer et d'agir proactivement. Plusieurs élèves ont eu 2 bonnes corrections et 1 mauvaise, et ils ne retiennent que la mauvaise. Il faut éviter cette situation qui est déceptive pour l'élève.
• Certaines personnes ne corrigent tout simplement pas de devoirs. Elles sont automatiquement pénalisées car leur propre note ne leur est pas délivrée. Mais cela a provoqué des délais d'attente plus longs pour les devoirs qui n'étaient pas corrigés. Au lieu de quelques heures à une journée, il a fallu parfois attendre plus de 10-12 jours. Les algorithmes ont depuis été améliorés pour que cela ne puisse plus se reproduire mais nous devrons rester vigilants sur le délai moyen de correction.

Il n'en reste pas moins formidable de voir que, lorsqu'on fait confiance et responsabilise les élèves, ceux-ci jouent le jeu. Cela décharge le professeur des corrections (aurais-je pu corriger moi-même 3 000 devoirs ? clairement non !) et permet d'obtenir des avis variés sur un devoir.

Bonus track : visualisation des corrections

J'ai cherché à représenter spatialement la correction entre pairs. J'ai utilisé Gephi pour cela. Voici ce que ça donne ! Je n'ai pas encore suffisamment exploité le potentiel du logiciel, débutant moi-même en la matière. Si cela vous intéresse, je mets à votre disposition le fichier Gephi si vous souhaitez effectuer vos propres analyses ! :)