Etude de la correction entre pairs sur OpenClassrooms

Préambule : ce billet a été rédigé par Matthieu Schaller, doctorant en astrophysique, qui a co-écrit avec moi le cours de C++. Il a aussi conçu une partie des activités en correction par les pairs qui accompagnent depuis peu le cours. Nous avons beaucoup échangé ensemble ces dernières semaines sur ce mécanisme de correction entre élèves, ce qui l’a amené à étudier leur comportement. C’est ce qu’il vous partage dans ce billet. :o)

Sur OpenClassrooms, les activités liées aux cours sont corrigées non pas par un ordinateur mais par des humains qui font le cours en même temps que vous. On appelle ça la correction par les pairs (peer to peer assessment).

Contrairement à d’autres fournisseurs de cours online ou à ce qui se fait dans les auditoires universitaires, la correction, ici, n’est pas réalisée par le “professeur” ou rédacteur du cours, mais par d’autres étudiants. Ce système permet à un plus grand nombre d’étudiants de suivre le cours sans que le professeur ne soit submergé par un travail de correction bien trop conséquent. Par ailleurs, vous pouvez être corrigé à tout moment grâce à un algorithme de correction continue. Pas besoin de suivre le cours à une période spécifique de l’année.

Par contre, la question de la qualité de la correction se pose. Des étudiants apprenant le PHP, par exemple, sont-ils capables d’évaluer d’autres étudiants suivant le même cours de manière appropriée ? Peut-on faire confiance aux étudiants ? Ne vont-ils pas assigner un 10/10 aux autres étudiants par solidarité ? Ou au contraire ne vont-ils pas sous-estimer les autres étudiants ? Au moment d’écrire ces lignes, plusieurs milliers de corrections ont été effectuées. Il est donc possible d’analyser les tendances générales et de tirer un premier bilan. Dans ce billet, nous allons nous concentrer sur le cours de PHP, plus précisément sur l’examen de la partie III qui consiste à réaliser un mini-chat. Les éléments présentés ici correspondent aux premiers 1500 étudiants ayant réalisé cet examen, ce qui nous permet d’analyser environ 4500 corrections (chaque devoir étant corrigé par 3 étudiants différents).

Quelles notes reçoivent les élèves ?

La première question que l’on se pose en tant que professeur marquant un cours est souvent la moyenne des élèves et plus généralement la distribution des notes obtenues. C’est ce qui est représenté sur la figure suivante.

L’examen est noté sur 10. L’histogramme bleu montre les 3 notes obtenues par chaque étudiant (donc 4500 notes au total). Comme on peut le voir,  une grande partie des étudiants ont obtenu de bonnes notes puisque la moyenne est de 7,35. On peut se dire que l’examen est peut-être même un peu trop facile puisque l’on ne retrouve pas la distribution habituelle centrée autour de la moyenne avec peu de gens obtenant tous les points. Il est aussi possible que les consignes de correction jouent un rôle et poussent les correcteurs à bien noter. Il sera intéressant de voir si le même phénomène se reproduit pour d’autres examens créés par d’autres auteurs, ou si cela dépend fortement de l’exercice. (note de Mathieu : la tendance sur les autres exercices semble actuellement être la même)

L’autre élément à observer est l’absence de pic aux alentours de 0. Il semblerait donc que la vaste majorité des étudiants a réussi à réaliser quelque chose et à l’envoyer au correcteur sans encombres. De même, les correcteurs ont pu évaluer ces copies sans problèmes. Il ne semblerait donc pas y avoir de correcteurs “vaches” qui mettent 0/10 à tout le monde. Cela est confirmé par la courbe rouge sur le même graphique. Cette ligne représente l’histogramme des moyennes obtenues par les étudiants (1500 moyennes). Elle a globalement la même forme que l’histogramme bleu, ce qui tend à montrer que, en général, la moyenne que chaque étudiant a obtenue est composée de 3 notes similaires.

Pour guider les yeux, les 3 lignes verticales indiquent où se situent 10%, 25% et 50% du total des moyennes. 10% des gens ont donc obtenu moins de 4,6 à cet examen alors que 50% ont obtenu 7,6 ou plus. La courbe rouge est qualitativement plate entre 7/10 et 10/10, ce qui tend à indiquer que les 10/10 obtenus en note individuelle sont potentiellement dus à des correcteurs un poil plus généreux que les autres.

Quelles notes donnent les élèves à leurs collègues ?

Pour tester un peu mieux le comportement des correcteurs, on peut s’intéresser aux 3 notes qu’ils ont données et étudier la moyenne de ces notes. Un correcteur malchanceux peut recevoir trois mauvaise copies, mais ce devrait être rare et la distribution des moyennes données devrait ressembler à celle des moyennes reçues à moins d’avoir affaire à de méchants correcteurs (comme on en a tous eu à l’école :) ). La figure suivante montre cette distribution.

Contrairement à ce qu’on aurait pu craindre, il n’y a pas de correcteurs qui mettent systématiquement des mauvaises notes (ou d’excellentes notes) à leurs étudiants. Il y a un léger pic à 10/10, mais ce n’est pas très significatif.

Les correcteurs sont-ils d’accord entre eux ?

Pour vérifier la validité et l’objectivité du système de correction, on peut aussi s’intéresser à chaque étudiant et voir si les différents correcteurs s’accordent sur la note qu’ils donnent à cette même copie. On peut quantifier le désaccord entre correcteurs en mesurant l’écart-type entre les trois notes données. Plus l’écart-type est grand, plus les correcteurs divergent sur la note à donner. Par exemple, un écart-type de 1 correspond au cas où deux correcteurs ont mis la même note et le troisième a mis deux points de plus ou deux points de moins (4,4,6 ou 5,5,3).

Le graphe suivant montre la distribution des écarts-types. Les lignes grises dans le fond montrent les écarts-types pour quelques cas de figure concrets.

 

Très bonne surprise ! Sur 50% des copies les correcteurs s’accordent à un point près (et sans s’être consultés entre eux !). Il y a très peu de copies pour lesquelles les correcteurs sont en désaccord sérieux.

Cela montre donc que les étudiants ont, en général, la capacité de noter correctement les copies de leurs collègues. L’intervention du professeur externe ayant une connaissance approfondie du sujet ne semble donc pas nécessaire à l’évaluation des élèves.

Les bons élèves donnent-ils de bonnes notes ?

Si les correcteurs semblent généralement s’accorder sur la note à attribuer à une copie, cela ne veut pas dire que toutes les catégories de correcteurs corrigent de la même manière. On voudrait savoir si les “mauvais” élèves corrigent de la même manière que les “bons” ou si leur méconnaissance du sujet tend à les rendre plus généreux ou plus sévères.

Pour tester cela, nous avons créé deux catégories de correcteurs. La première contient les correcteurs ayant obtenu un 9 ou un 10/10 sur cet examen. La deuxième comprend les correcteurs ayant obtenu 5/10 ou moins. Nous avons donc les “bons” élèves et les “mauvais” élèves. Chacun de ces élèves a corrigé 3 examens différents, ce qui nous permet d’évaluer comment chaque élève note en moyenne. Sur la figure suivante, les deux histogrammes correspondent aux moyennes données en correction par les deux groupes d’élèves-correcteurs. En rouge, les “mauvais” élèves et en bleu, les “bons” élèves.

Les mauvais élèves semblent noter en moyenne un peu moins bien que les bons élèves. La différence n’est pas très grande et pas vraiment statistiquement représentative. C’est cependant un point à prendre en compte et probablement important à surveiller dans d’autres épreuves. Il serait dommage que le système de correction ait un biais dû à l’interaction entre élèves de niveaux différents. Sachez néanmoins, qu’il existe des moyens pour corriger ce type de problèmes s’il devait s’avérer significatif dans le futur. Certains d’entre eux sont décrits dans ce papier en anglais sur la correction entre pairs :

• Calibrated Peer Reviews
• Bayesian Post Hoc Stabilization
• Credibility Index
• etc.

On peut par exemple donner un coefficient plus ou moins fort à la note de l’élève après avoir calibré au préalable sa précision. Pour le calibrage, on lui fait noter des devoirs déjà notés par le professeur (dont on connaît la « vraie » note par avance). La notation du professeur est alors prise comme référence.

À vous de jouer !

Après ces premières analyses sur la correction entre pairs, si vous voulez à votre tour faire des recherches et jouer les statisticiens, vous pouvez télécharger un fichier comportant les corrections anonymisées entre les élèves sur plusieurs exercices différents.

OpenClassrooms diffuse ce fichier à tous en Open Data, profitez-en !

Télécharger les corrections entre pairs (CSV, 7250 lignes)

À vous de jouer ! :o)