La fiabilité de la notation scolaire par expert comme fonction du mode d'exploitation analytique ou synthétique de la note - article ; n°2 ; vol.81, pg 369-384

L'année psychologique - Année 1981 - Volume 81 - Numéro 2 - Pages 369-384
Summary
The problem of reliability in scholastic evaluation by human operators is no longer defined in terms of inter-judge agreement (or correlation between their evaluations and the scores obtained by the pupils) but as a compatibility between the characteristics of distributions of grades and the characteristics, determined by construction, of the set of products to be evaluated.
Subjects (teachers in the humanities) were asked to evaluate (using the 20-point scale employed in the French scholastic system) essays written in their mother tongue.
Exercises were developed (using real essays) by the experimenter according to two descriptions corresponding to evaluation criteria normally employed by teachers : « correctness of style » and « coherence in the organization of ideas ». Both descriptors were combined orthogonally. The experiment was designed in order to discern under which conditions of statement of explicit response the subjects combine criteria compatible with the combination of descriptors.
The non-additive combination of criteria corresponding to orthogonal descriptors, observed when subjects are only required to formulate a global evaluation of each product, is not found when, in addition to a global evaluation, it is necessary for subjects to provide a detailed evaluation of each criterion involved.
The hypothesis is advanced that the analytic statement of evaluations contributes to an increase in their reliability. Variables which may serve to increase this reliability are examined. These variables are related to response Systems employed in formulating judgments as well as to diffe-rential characteristics of evaluators.
Résumé
Le problème de la fiabilité de la notation scolaire par opérateur humain est posé non plus en termes d'accord entre juges (ou de corrélation entre leurs jugements et les scores à des tests obtenus par les élèves jugés), mais de compatibilité entre les caractéristiques des distributions de notes attribuées et les caractéristiques, déterminées par construction, du lot des productions à évaluer.
La combinaison non additive, dans la notation, de critères correspondant à des descripteurs orthogonaux dans le matériel, observée lorsque les sujets ne doivent expliciter qu'une évaluation globale de chaque production, n'est plus observée lorsqu'ils doivent expliciter, en plus de l'évaluation globale, une évaluation détaillée sur chaque critère concerné.
L'auteur en déduit l'hypothèse — vérifiable dans la seule mesure où les caractéristiques du matériel jugé sont connues — qu'une explicitation analytique des évaluations contribue à leur meilleure fiabilité. Il évoque les variables (liées d'une part aux systèmes de réponse utilisés pour formuler les jugements, d'autre part à des caractéristiques différentielles distinguant les évaluateurs) à étudier pour que cette fiabilité soit encore accrue.
16 pages
Source : Persée ; Ministère de la jeunesse, de l’éducation nationale et de la recherche, Direction de l’enseignement supérieur, Sous-direction des bibliothèques et de la documentation.