Сибирский федеральный университет

Любая платформа электронного обучения записывает и хранит цифровой след обучающегося — данные о том, какие баллы он получает, какие задания выполняет и какого рода страницы просматривает в период обучения. Эти данные могут информировать об успешности прохождения образовательных треков каждым конкретным студентом. Поскольку профилактировать проблему гораздо эффективнее, чем бороться с негативным результатом, используемый дизайн прогнозирования предполагает, что учёные еженедельно получают данные цифрового следа с обучающей платформы и также еженедельно строят по этим данным прогноз.

Задача прогнозирования успешности — одна из самых популярных задач учебной аналитики с начала 2000-х, когда электронное обучение стало активно развиваться на коммерческих образовательных платформах и широко внедряться в вузах. Было создано огромное число моделей, прогнозирующих результаты обучения, в результате чего обнаружилось — разработать универсальную модель, которая хорошо подошла бы для всех обучающих сред, невозможно. У каждой обучающей платформы свой формат цифрового следа, учебный процесс в различных университетах организован по-разному, отличаются и сами обучающиеся. Поэтому любая подобная модель имеет ограниченную применимость.

«Прогнозные модели мы обучали по цифровому следу с принадлежащей СФУ платформы „ЕКурсы“, соответственно, эти модели „ориентируются“ прицельно на студентов СФУ и учебный процесс, идущий в нашем университете. Алгоритмы, которые мы использовали, являются хорошо интерпретируемыми. Это позволяет одновременно с задачей прогнозирования успешности обучения выявлять особенности электронных курсов, в том числе, их недостатки — например, низкую эффективность оценочных средств или неравномерность учебной нагрузки на студента. Модель становится полезным инструментом педагогического дизайна», — отметила соавтор исследования, доцент кафедры прикладной математики и компьютерной безопасности ИКИТ СФУ Татьяна Кустицкая.

На первом этапе исследования учёные выбрали три хорошо интерпретируемых алгоритма машинного обучения и обучили их на данных цифрового следа, собранных за 3 года в рамках электронного курса «Теория вероятностей и математическая статистика». Далее эксперты определили точность прогноза для каждой модели. Наибольшую точность на ранних этапах показала модель, построенная на основе байесовских сетей. Она и была отобрана для дальнейшей работы.

На втором этапе исследовалось качество прогноза выбранной модели на основе данных цифрового следа студентов, изучавших дисциплину в новом учебном году. Начиная с четвёртой недели обучения, точность прогноза у выбранной модели превысила 80%, с седьмой недели семестра — 85%, а с тринадцатой недели — 90%. Эксперты сочли это хорошим результатом.

«Мы выбрали самую эффективную модель — её можно масштабировать на другие курсы, электронное обучение по которым ведётся в LMS Moodle, а также сформулировали принципы построения подобных прогнозных моделей. Полагаем, основным „потребителем“ этих моделей станут вузы, в которых обучение ведётся по смешанному формату — очно и в электронной среде. Школам такие прогнозные модели тоже могут быть интересны, если для обучения используется какая-то электронная среда, доступная для сбора цифрового следа», — объяснила Татьяна Кустицкая.

Учёные подчёркивают: прогнозная модель — это один из многочисленных инструментов, помогающих предотвращать отчисления в университетах. Для максимальной эффективности необходимы также сервис информирования (самих студентов, преподавателей, администрации) и сервис поддержки (адресных консультаций, тьюторинга и т.п.). В настоящее время у исследователей СФУ есть обнадёживающие результаты пилотного исследования, проведённого в небольшой группе студентов.

«В эксперименте участвовали две группы студентов — контрольная и экспериментальная. Ребята из экспериментальной группы еженедельно получали электронные письма с результатами прогноза модели, студентов контрольной группы с прогнозами не знакомили. В итоге из тех студентов, у которых мы к середине семестра обнаружили проблемы с обучением, сдали экзамен 43% студентов контрольной группы и 75% студентов экспериментальной группы. Различия статистически ощутимы, а это значит, что студенты прислушивались к нашим прогнозам и действительно меняли своё отношение к обучению», — заявил руководитель исследования, профессор кафедры прикладной математики и компьютерной безопасности, руководитель научно-учебной лаборатории методики электронного обучения ИКИТ СФУ Михаил Носков.

Исследование проведено в рамках гранта РНФ (проект № 22-28-00413 «Цифровая образовательная история и её применение в системах поддержки успешности обучения»).