Entre robustesse et fragilité , les résultats et classements PISA à l aune de l effort investi dans le test

Résumé

Les enquêtes internationales en sciences de l’éducation informent les scientifiques, les décideurs politiques et l’opinion publique sur la performance de leur pays, l’exemple le plus connu étant le Programme International pour le Suivi des Acquis des élèves (PISA). Cependant, ces épreuves étant sans enjeu pour les élèves, un manque d’effort peut limiter la validité des résultats des études. Sur base des données PISA 2018 en lecture de 36 pays, cet article quantifie l’effort investi dans le test en se basant sur les temps de réponse aux items. L’impact du manque d’effort sur l’estimation d’un indicateur d’efficacité (performances moyennes) et d’équité (différences filles-garçons de performance) est analysé par le biais d’un filtrage.

Le manque d’effort dans le test entraine une sous-estimation de la performance moyenne des pays, en particulier dans ceux développant le moins d’effort. Ce manque d’effort altère les classements des pays ; cependant, les résultats globaux (en termes de performance supérieure/similaire/inférieure à la moyenne de l’OCDE) ne sont pas substantiellement impactés. Par ailleurs, les garçons étant moins engagés dans le test, les différences de moyenne et de variance en lecture entre les filles et les garçons sont surestimées.

Ces résultats soulignent l’importance de tenir compte de l’effort investi dans les épreuves à faibles enjeux. Ils pointent une des limites d’une lecture basée sur les seuls palmarès internationaux, sans toutefois remettre en cause les grandes tendances dans les résultats. Des implications pour la construction de tests et l’interprétation des résultats sont proposées.