30 миллионов записей об оценках заданий

Учащиеся с более поздними инициалами фамилий получают более низкие оценки

Чжихан Хелен Ван (Zhihan Helen Wang), Цзясинь Пей (Jiaxin Pei), Цзюнь Ли (Jun Li), университет Мичигана, США, напечатали статью "30 миллионов записей об оценках показывают широко распространенную последовательную предвзятость и вызванное системой начальное несоответствие фамилий", журнал "Наука управления" (Management Science), 19 октября 2023.

Системы управления обучением (LMS) - онлайновые программные системы, которые позволяют школам и учителям создавать, управлять и доставлять учебные материалы для образования, предоставляют учителям и учащимся место для управления учебными материалами. К 2023 году более 70 миллионов студентов по всему миру стали пользователями LMS. Самые популярные - Canvas, Blackboard, Moodle. Все они позволяют преподавателям просматривать задания, выставлять оценки и оставлять комментарии в системе. Canvas стала самой популярной системой управления обучением среди высших учебных заведений в США и Канаде. К 2020 году в ней зарегистрировано более 25 миллионов учащихся. При настройках по умолчанию система сортирует задания в порядке возрастания инициалов фамилий. Если фамилия начинается с буквы «А», работа оценивается раньше. Студенты, чьи фамилии начинаются с «Y» или «X», найдут свои работы ближе к концу очереди.

Авторы собрали данные о программах, студентах и заданиях на Canvas с 2014 по 2022 год, более 30 миллионов записей об оценках заданий от 144 405 студентов и 58 162 курсов. Очистив данные от очень маленьких (менее 5) или больших (более 400) курсов,содержащие менее 3 уникальных значений оценок (только зачет/не зачет), и слишком быстрые оценки (менее 5 секунд), получили 10 миллионов записей об оценках.

Набор данных аналитики обучения (LARC) в университете охватывает всех студентов, когда-либо поступивших в университет с осени 1970 года по лето 2022 года, с общим количеством студентов 392 578 человек. Из этих данных получили следующие переменные, идентификаторы студентов и настоящее имя для объединения с данными Canvas, демографические данные, справочная информация, включая пол, этническую принадлежность, национальность, статус меньшинства, статус отечественного и международного учащегося, средний балл средней школы. В основной выборке онлайн-оценки более 40% пакетов заданий и оценщиков следуют режиму первоначального порядка по фамилии, а 20% помечены как режим квазислучайной оценки.

По сравнению с заданиями, оцененными на первых 10 занятиях, задания, оцениваемые позже (с 50 по 60) получают баллы ниже на 0,2 стандартного отклонения (SD). Студентки получают на 0,0814 SD баллов выше, чем студенты, что согласуется с существующими данными о том, что студентки более мотивированы и обычно достигают более высоких академических результатов. Оценки азиатских учащихся выше, чем у белых учащихся, на 0,0255 SD, в то время как чернокожие получают оценки на 0,12 ниже, чем белые ученики. Англоязычные студенты имеют более высокие баллы. Студенты с более высоким средним баллом средней школы получают более высокие оценки за задания.

Фамилии с более поздними инициалами фамилий (UZ) получают более низкие оценки, когда их задания оцениваются в порядке фамилий, по сравнению с режимом квазислучайной оценки. U-Z, как правило, получают баллы на 0,15 SD ниже, чем группа случайных оценок. Инициалы A–Z получают оценки на 0,16 SD выше, чем группа случайных оценок. Эти результаты позволяют предположить, что режим оценивания по инициалам фамилий приводит к тому, что последовательная систематическая ошибка в оценках приводит к различиям в результатах оценок, основанным на фамилиях, что непропорционально влияет на учащихся с инициалами фамилий более низкого ранга.

Не накапливается ли последовательная систематическая ошибка в оценках заданий, приводящая к различиям в итоговых оценках за курс и рейтингах по начальной фамилии? Чтобы ответить на этот вопрос, анализировали результаты на уровне курса - итоговые оценки студентов за курс. Итоговая оценка определяется на основе баллов всех оцениваемых элементов на Canvas и заранее заданного веса каждого элемента. Существует столь же значительная и значимая закономерность: студенты, получившие более низкие оценки, в среднем получают более низкие итоговые баллы и занимают более низкие места в классе. Эффект последовательной систематической ошибки в выставлении оценок накапливается с течением времени и приводит к систематическому несоответствию фамилии и инициала в итоговых оценках студентов, тем самым влияя на их академические достижения и потенциальную конкурентоспособность в последующем. рынки труда выпускников.

Несмотря на все преимущества и удобства, образовательные технологические платформы, такие как Canvas, могут создавать масштабную и серьезную дискриминацию в отношении определенных групп студентов. Как именно сортировать задания учащихся для выставления оценок, может показаться тривиальной и неважной функцией. Однако результаты показывают, что такая, казалось бы, незначительная функция преобразует предвзятость оценок на индивидуальном уровне в крупномасштабные первоначальные различия в оценках.

Для платформ и образовательных учреждений несоответствие оценок по фамилиям, вызванное системой, можно смягчить за счет рандомизации заявок учащихся при выставлении оценок. Кроме того, руководителям школ следует учитывать негативное влияние больших размеров классов с точки зрения усталости преподавательского состава и рассмотреть возможность принятия новых мер по снижению их рабочей нагрузки.

21.04.2024

Комментарий:

Шнобелевская премия - 1993 - психология

В области психологии премию получили Дж. Мэк из Гарвардского медицинского института и Д. Джекобс из университета Темпла, за научно обоснованный вывод о том, что люди, уверенные в том, что их похищали космические прищельцы, вероятно таки и были похищены
подробнее

Шнобелевская премия 2024 по химии

Если вы покажете химикам длинный, тонкий движущийся объект, они могут увидеть его как полимер. Биолог увидит червя или змею, которая движется, потому что ищет пищу. Как физик, вы задаетесь вопросом: а в чем же различие между этими двумя точками зрения?
подробнее

Источник - пресса

Шнобель Процедура Пресса Анналы Архив Статьи Шнобелист