Introduction
Le Singapore Examinations and Assessment Board (SEAB), créé en avril 2004, est l'organisme responsable du développement et de l'administration de tous les examens nationaux à Singapour, supervisant la correction d'environ 450 000 copies par an.
Le SEAB et le ministère de l'éducation (MOE) de Singapour sont les autorités conjointes chargées de l'examen de fin d'études primaires (PSLE), un examen national annuel que les candidats passent à la fin de leur dernière année d'études primaires à Singapour afin de faciliter la poursuite de leur scolarité.
Le SEAB, le MOE et Cambridge International Education sont les autorités examinatrices conjointes des examens du Singapore-Cambridge General Certificate of Education (GCE) à Singapour. Il s'agit des examens GCE N(T)-Level, GCE N(A)-Level, GCE O-Level et GCE-A-Level.
Objectifs
En tant qu'organisation tournée vers l'avenir et visant à faire progresser la qualité de l'évaluation dans le monde entier, le SEAB a lancé un projet d'étude de la notation à l'écran (OSM) en 2015 pour voir quels avantages elle pourrait apporter, compte tenu de la qualité de la notation, de la fiabilité, de la sécurité et de l'efficacité en termes de temps pour les correcteurs d'examens. Décrit par M. Yue Lip Sin, directeur général de SEAB, le projet visait à supprimer les processus de correction manuelle laborieux, permettant aux correcteurs de se concentrer sur le travail professionnel de la correction tout en conservant sa rigueur. Le conseil souhaitait procéder à une migration progressive, afin de se familiariser avec le système et de le tester de manière approfondie.
Principaux défis
Temps et ressources importants
Pour corriger les piles de copies d'examen, tous les correcteurs devaient être rassemblés dans des lieux de l'école tels que les salles de classe et les halls. Le correcteur en chef informait tout le monde pour s'assurer que tous les correcteurs comprenaient le barème de notation.
À Singapour, seuls les enseignants à temps plein sont habilités à corriger les copies. Pour les examens de fin d'études primaires (PSLE), la correction doit avoir lieu dans un délai de quatre jours. Cela signifie qu'environ 14 000 correcteurs utilisant les stylos verts, rouges et violets standard ont été chargés de corriger chaque année l'examen le plus important de Singapour.
Logistique
Les copies d'examen ont d'abord été envoyées au SEAB pour être triées et s'assurer que les copies envoyées aux centres de correction sont exemptes de conflits avant d'être acheminées vers les différents centres de correction. Les copies étaient ensuite corrigées, les résultats compilés et enregistrés manuellement dans la feuille de notation de l'examinateur. Les chefs d'équipe procédaient ensuite à la vérification manuelle de chaque copie corrigée en ouvrant et en fermant les enveloppes des copies. L'avancement de la notation était géré par des mises à jour sur un tableau blanc et des formulaires papier.
Des chariots étaient utilisés pour transporter un grand nombre d'enveloppes contenant les copies corrigées vers des armoires de stockage.
Sécurité et fiabilité
Les responsables de l'enregistrement ont vérifié manuellement que les copies corrigées contenues dans les enveloppes de chaque centre avaient bien été prises en compte et que les notes étaient exactes avant d'être scannées.
Avant l'introduction du marquage à l'écran, les responsables de l'enregistrement devaient vérifier que chaque enveloppe de chaque centre était comptabilisée.
Photo : Conseil des examens et de l'évaluation de Singapour
La solution
En mars 2018, à la suite d'un projet pilote réussi de notation à l'écran dans un petit nombre de matières en 2016-17, et d'études approfondies analysant la qualité de la notation en ligne par rapport à la notation traditionnelle sur papier, le SEAB a signé un contrat avec RM pour fournir leur système intégré de numérisation des scripts et de notation électronique (iDSEM).
La livraison réussie de l'iDSEM et les améliorations qu'il a apportées à la qualité de la notation et au retour d'information sur la qualité de l'éducation, ainsi que la façon dont le projet a été géré en collaboration avec les parties prenantes, ont permis à SEAB de remporter trois prix prestigieux en matière d'innovation.
Après chaque examen, les copies sont envoyées au Singapore Examinations and Assessment Board pour être scannées.
Photo : Conseil des examens et de l'évaluation de Singapour
Trois prix de l'innovation pour la mise en œuvre de la notation à l'écran
En juillet 2021, les membres de l'équipe du projet ont reçu un prix d'excellence pour la prestation de services (SDEA) lors des Public Sector Transformation (PST) Awards, une plateforme pangouvernementale qui reconnaît et récompense les fonctionnaires et les organismes publics pour l'excellence de leur travail et de leurs pratiques organisationnelles.
En septembre 2021, SEAB a reçu une médaille d'or aux Innergy Awards du ministère de l'éducation de Singapour (MOE), qui récompensent les personnes et les équipes au niveau ministériel pour avoir développé et mis en œuvre avec succès des innovations qui apportent des avantages et un impact significatifs sur leur lieu de travail.
En 2023, SEAB s'est vu décerner le prix inaugural de l'innovation du ministre de l'éducation, qui est le prix de l'innovation le plus élevé du ministère. Il vise à récompenser les innovations ayant un impact durable à grande échelle et au niveau du système, au sein du siège du ministère de l'éducation, des écoles et des conseils statutaires du ministère de l'éducation.
Lire l'article d'Elisha Tushara dans le Straits Times :
"Les copies du PSLE sont désormais corrigées sur écran d'ordinateur".
We are delighted that SEAB’s ‘Integrated Digitalisation of Scanning & Marking’ (iDSEM) project for the Marking of the National Examinations was presented the Service Delivery Excellence Award (SDEA) at the Public Sector Transformation Awards, while also receiving the highest accolade at the inaugural Ministry of Education Minister’s Innovation Award and MOE Innergy Awards.
Winning not one but three awards in such a short space of time acts as a brilliant reminder to both SEAB and RM project teams of their hard work in creating an intuitive marking experience for SEAB examiners and enhancing the marking efficiency, security, and reliability of Singapore’s national examinations.
By partnering with RM to introduce on screen marking, SEAB has significantly enhanced its markers’ ability to manage their workload more efficiently. Increased security and reliability have ultimately improved its learners’ outcomes.
La notation sur écran pour la qualité, la fiabilité, la sécurité et l'efficacité
Depuis la mise en œuvre de RM Assessor pour la correction à l'écran, les copies d'examen sont corrigées numériquement sur un écran d'ordinateur. Cela a permis au SEAB de réaliser de réels gains d'efficacité.
Tout d'abord, la correction locale de toutes les matières du GCE-Level et du PSLE de Singapore-Cambridge a été effectuée à l'écran. En travaillant avec RM pour mettre en place la gamme complète d'examens en seulement deux ans (passant de 5 en 2019 à 20 en 2020), le SEAB a été en mesure d'accélérer d'un an son calendrier de notation à l'écran de tous les scripts de niveau GCE notés localement.
Pour toutes les matières du PSLE en 2022, le nombre d'enseignants déployés pour les tâches de correction a été divisé par deux, passant de 14 000 à environ 7 000 enseignants.
Avec le système de correction à l'écran, les corrigés sont d'abord découpés (à raison de 16 000 pages, soit 1 000 corrigés par heure avec 2 massicots), puis scannés. Chaque scanner peut scanner 140 scripts par heure. Chaque livret comporte un code-barres unique, un code QR, l'autocollant d'identité du candidat et des guides techniques qui permettent au scanner et à l'application logicielle d'identifier et de traiter les documents.
Le système vérifie automatiquement que chaque texte scanné ne contient pas d'erreurs, ce qui réduit la quantité de travail humain requise par le personnel du SEAB, qui effectue une deuxième série de vérifications. Les copies des candidats sont ensuite attribuées aux correcteurs par le biais du système de notation à l'écran, prêt à commencer la notation.
Une fois qu'une série de questions lui a été attribuée lors de la réunion de standardisation, chaque correcteur doit effectuer une correction d'entraînement via le système de notation à l'écran. Cela permet de rationaliser le processus de standardisation en permettant aux correcteurs de commencer à évaluer plus tôt.
Auparavant, les correcteurs devaient attendre qu'un autre correcteur ait terminé les questions qui lui avaient été attribuées avant de lui transmettre le script. Désormais, deux correcteurs peuvent corriger simultanément des questions différentes sur le même document, ce qui permet de réduire le nombre de correcteurs déployés.
En 2023, le nombre de jours de correction du PSLE a été ramené de quatre à trois jours. Cela a permis de réduire de 25 % le coût de la correction des examens.
Les résultats de l'enquête de satisfaction annuelle du SEAB auprès de ses correcteurs ont donné une note moyenne de 3,9 sur 4 pour le système de notation à l'écran RM Assessor, indiquant qu'il s'agissait d'une grande amélioration. Les correcteurs l'ont trouvé robuste et stable.
En passant à la notation à l'écran, le SEAB a également été en mesure de renforcer ses processus d'assurance qualité.
Les correcteurs expérimentés peuvent envoyer des scripts d'assurance qualité ou effectuer des contrôles aléatoires afin de déterminer si certains correcteurs sont trop indulgents ou trop sévères. Les correcteurs peuvent également consulter plus facilement le personnel d'encadrement grâce aux fonctions de communication du système. Au fur et à mesure que les données de notation sont collectées, les correcteurs principaux peuvent identifier les domaines dans lesquels les membres de leur équipe pourraient avoir besoin d'une formation plus poussée et même envisager de déployer les correcteurs en fonction de leurs points forts. Grâce à ces processus d'assurance qualité et à ces contrôles, SEAB a pu réduire le temps de traitement des copies sans compromettre la qualité de la notation.
L'analyse des données rendue possible par la notation à l'écran n'est pas seulement bénéfique pour l'assurance qualité, mais aussi pour l'élaboration des programmes d'études, en utilisant les données au niveau des items pour voir les modèles de forces et de faiblesses afin d'informer l'enseignement futur. L'un des avantages inégalés de la notation à l'écran est la capture d'énormes quantités de données de notation détaillées in situ, qui peuvent être utilisées pour une analyse ultérieure des données.
