Fixer un seuil de suffisance pour une épreuve de maîtrise : apports et limites de la méthode d’Angoff

Résumé

La recherche dont nous rendons compte se situe dans le cadre de l’édumétrie, de la mesure des apprentissages scolaires. Lorsqu’on recourt à des tests critériés (criterion referenced tests), un des problèmes qui se posent de façon cruciale est l’élaboration d’un barème, et plus particulièrement la fixation d’un seuil de suffisance (de réussite ou de passage) sur l’échelle de l’épreuve. Les pratiques observées laissent soupçonner une bonne part d’arbitraire dans la détermination de seuils ou de standards, y compris pour des contrôles à enjeux élevés. Pour diminuer cet arbitraire, la méthode d’Angoff modifiée demande à un panel d’experts d’estimer item par item la probabilité de réussite d’apprenants « minimalement compétents » (juste suffisants). La procédure se déroule en deux ou trois étapes (rounds) entre lesquelles les experts reçoivent différentes informations et s’efforcent, lors de la discussion, de diminuer leurs divergences d’estimation.
Pour tester l’intérêt, les problèmes et les limites de cette méthode, nous l’avons appliquée à un examen de grammaire passé par une centaine de futurs instituteurs à la fin de leur formation universitaire. Le panel des experts était constitué de dix formateurs universitaires en didactique de la grammaire. Conformément à la méthode, le seuil final a été calculé à partir de la moyenne des estimations des dix experts en fin de procédure. Dans une discussion conclusive, à la lumière de notre expérience, nous faisons une analyse critique de la méthode à l’intention des chercheurs qui souhaiteraient l’appliquer.