Введение. Объектный принцип формирования учебных материалов в электронной информационно-образовательной среде вуза зарекомендовал себя как достаточно удобный и эффективный. Различные форматы представления данных могут быть повторно использованы, а также осуществляется автоматизация обработки контента на основе сопоставления объекту определенных метаданных, необходимых для целей идентификации и поиска материалов по содержанию. Как правило, в электронный курс дисциплины включаются текстовые, графические, мультимедийные компоненты и компоненты контроля знаний.
В настоящее время актуализировались тенденции развития моделей индивидуализированного, персонализированного и персонифицированного обучения [1; 2]. Поскольку в рамках высшего образования необходимым является соответствие государственным образовательным стандартам, то здесь электронный курс дисциплины необходимо формировать с учетом общих для всех студентов тематических блоков, общих правил оценивания результатов. Фактически применение индивидуализированной модели обучения здесь может быть реализовано только через нестандартные формы тестового контроля знаний. Персонифицированная модель образования наиболее подходит для системы дополнительного образования, где необходимо достигать поставленных целей обучения, но каждый слушатель руководствуется личностными приоритетами через рефлексивную оценку результата [3; 4]. В перспективе развитие персонифицированной модели образования возможно в рамках цифровой экосистемы непрерывных профессионально-образовательных тренингов [5].
Компьютерный тестовый контроль имеет научно-педагогическую основу и призван предоставить количественные характеристики результатов образовательного процесса. Однако целесообразно вместо классических методов тестирования использовать имитационное тестирование, которое позволяет наиболее адекватно отразить реальные компетенции тестируемого на основе его взаимодействия с реальными или симулирующими системами. Здесь важно выявить понимание учащимся сути задачи, стимулировать творческое мышление, стремление к нахождению нестандартных решений. В то же время необходимо использовать адаптацию теста к уровню усвоения учебного материала и личностным особенностям обучаемых [6].
Цель исследования – проанализировать принципы и технологии использования адаптивных тестов для реализации моделей индивидуализации и персонализации обучения.
Методы и материалы исследования. Для данного исследования использованы теоретические материалы, посвященные принципам индивидуализации и персонализации, различным вариантам организации адаптивного тестирования на базе цифровых технологий. Методы исследования: поиск, отбор и систематизация научных публикаций по теме работы, анализ источников научной информации, сопоставление выводов научных трудов с наблюдениями и опытом авторов.
Результаты исследования и их обсуждение
Повсеместное внедрение дистанционного обучения выявило необходимость серьезной модернизации организации компьютерного тестирования для объективности и достоверности результатов контроля уровня компетенций и обоснованность принятия решений по управлению учебным процессом. Как правило, тестовые вопросы и варианты ответов выбираются случайным образом, а затем обрабатываются статистическими методами для получения оценки тестируемых и принятия решения о качестве тестовых вопросов. В работе авторов [7] результаты обработки представлены в бинарной матрице, анализ которой выявляет задания разного уровня на несколько изученных тем, позволяющих дифференцировать индивидуальные пробелы в знаниях испытуемых, низкий уровень знания тем всей группой, а также определить некачественные вопросы в тесте. Рассчитывается вариация (дисперсия) тестовых баллов на каждый вопрос как произведение доли верных и неверных ответов, показывающая дифференцируемость ответов на каждый вопрос, а также дисперсия итоговых тестовых индивидуальных баллов. Величина дисперсии тестовых баллов позволяет судить о качестве теста, о его дифференцирующей способности. Для получения аналитической информации используются также меры центральной тенденции, коэффициент корреляции между заданиями, регрессионная мера связи между столбцами заданий (коэффициент корреляции Пирсона). Предложенная методика расчетов позволила существенно повысить объективность контроля знаний в системе электронного обучения, но даже при правильном соотношении выборки линейное тестирование показывает уязвимость в угадывании ответов, которая особенно проявляется в тестовых вопросах с вариантами ответов, и невыявленную дифференцированность уровня компетенций тестируемых.
В случае же адаптивного тестирования реализуется трехуровневый контроль компетенций: начальный, промежуточный, продвинутый. Тестируемый фактически может управлять процессом тестирования, поскольку подбор заданий и количество вопросов по каждой теме автоматически генерируется с учетом уровня получаемых ответов и сложности вопросов, включенных в тест. Самым ценным результатом является объективность оценки, получаемая с учетом выстроенной индивидуальной траектории контроля.
Наиболее эффективной является многошаговая стратегия подбора заданий, которая подразделяется на стратегии фиксированного и вариативного выбора [8]. В первом случае разрабатывается фиксированный набор заданий, но движение по тесту происходит в зависимости от уровня достижений. В случае вариативного выбора задания выбираются из банка заданий в соответствии с выбранной математической моделью по конкретному алгоритму [9]. Различные математические модели в рамках Item Response Theory (IRT) характеризуют зависимость между свойствами испытуемого и вероятностью правильного ответа на вопрос и позволяют определиться с выбором уровня сложности тестового вопроса в зависимости от проявленного уровня компетенций студента [10; 11].
Адаптивное компьютерное тестирование на основе многошаговой стратегии подбора заданий может быть реализовано по крайней мере двумя способами: с помощью запрограммированного модуля адаптивного компьютерного тестирования и c помощью цифровой платформы для создания персонализированных адаптивных онлайн-курсов, способных интегрироваться в среду электронного обучения вуза.
В большинстве российских вузов используется электронная информационно-образовательная среда на основе LMS Moodle, где компьютерное тестирование реализуется через стандартные элементы «Тест» и «Лекция». Для расширения функциональности компьютерного теста целесообразно разработать отдельный адаптационный модуль, встраиваемый в Moodle [8], реализующий алгоритм перехода к следующему контрольному заданию.
Такой программируемый модуль адаптационного тестирования может быть успешно использован в рамках цифровой образовательной экосистемы вуза (ЦОЭ) как открытой совокупности различных информационных систем, функционал которых определяется педагогической целесообразностью [12]. Акторами экосистемной инфраструктуры являются: студенты, преподаватели вузовской кафедры, вендоры программных систем, сотрудники бизнес-структур. Программными компонентами со стороны вуза сюда входят LMS Moodle в сочетании с коммуникационными системами «Яндекс.Телемост» и «МТС Линк» для интерактивного общения в режиме видео- и аудиосвязи. Электронный курс дисциплины включает все необходимые для образовательного процесса учебно-методические и контрольные материалы с учетом балльно-рейтинговой системы. Взаимодействие с вендорами реализуется на базе использования облачных сервисов, которые представляют собой совокупность вычислительных ресурсов, свободно предоставляемых конечным пользователям в виде программного обеспечения, интернет-сервисов и пространства для размещения информации. Преподаватели и студенты получают доступ к технологическим платформам и программным системам, а сотрудники бизнес-структур проводят обучение их использованию на основе реальных практических кейсов. Успешный опыт организации цифровой образовательной экосистемы реализован на кафедре бизнес-информатики СЗИУ РАНХиГС в сотрудничестве с отечественными вендорами: Sila Union, PIX Robotics, Promease, 1С, BPM soft и Nexign, которые предоставили свои программные системы для использования в учебном процессе и практические задания для адаптивного тестирования. Программный модуль построен на системе алгоритмов ветвления с анализом возможного выбора ответов и предоставления повторных вариантов работы над вопросом по каждой ветви алгоритма.
В случае разработки специализированной цифровой платформы [8] архитектура программной системы должна включать такие основные подсистемы: конструктор электронного курса, репозиторий учебных объектов, подсистема разработки персональной траектории обучения, система адаптивного тестирования и система автоматической проверки практических заданий и проектов.
Конструктор электронного курса должен обеспечивать поддержку экспорта в SCORM/xAPI, то есть совместимость с системами Moodle, 1C и обеспечивающими работу тренажеров. Микросервисная архитектура платформы и веб-интерфейс реализуются с помощью специальных языков программирования, фреймворков и библиотек. База данных онлайн-курса проектируется либо на основе реляционной модели, либо на более востребованной сегодня NoSQL-модели, которая успешно справляется с большими объемами неструктурированных данных. Как правило, база данных MongoDB используется для хранения материалов открытой части репозитория, которые могут быть использованы Конструктором онлайн-курса.
Все большее развитие получают мобильные и облачные системы адаптивного тестирования на основе искусственных нейронных сетей (ИНС) и алгоритмов машинного обучения [13-15], позволяющие учитывать предпочтения тестируемого и уровень его квалификации. Общая схема адаптивного тестирования на основе ИНС, включающая блоки выбора темы и выбора вопроса в соответствии с матрицей связанности тем [13, с. 7], применима для различных фреймворков создания ИНС. Наиболее востребованные – это Keras и PyTorch, достаточно простые в моделировании и тестировании обучающего множества.
Развитие методов машинного обучения (МО) позволило в сфере адаптивного тестирования переместить акцент с подготовки большого количества тестовых заданий в банке данных на персонализацию процесса тестирования под каждого студента. Более того, включение модуля адаптивного тестирования в интеллектуальную систему в рамках ЦОЭ дает возможность использовать данные методы для генерации задач и прогнозирования успеваемости [15].
В исследовании [16] проведена подробная классификация компьютерных методов адаптивного тестирования с точки зрения машинного обучения. В таких системах адаптивного тестирования выделяются четыре основных компонента: когнитивно-диагностическая модель, алгоритм выбора, построение банка вопросов, организация тестового контроля, в рамках которых возможно использование методов МО.
Выбор когнитивно-диагностической модели должен зависеть от конкретных целей оценки, характера данных и имеющихся ресурсов. Здесь главная цель: свести к минимуму погрешность между оценкой и истинным значением при каждом итерационном шаге. Перспективный интерес представляет диагностическая классификационная модель, использующая теорию нечетких множеств для детальной диагностики, основанной как на объективных, так и на субъективных данных тестируемого. Эти модели подчеркивают акцент более тонкого понимания процесса обучения и овладения мастерством с учетом многогранного характера процесса приобретения знаний и адаптивного тестирования. По сравнению с традиционными моделями, методы глубокого обучения больше подходят для когнитивной диагностики в сценариях с использованием крупномасштабных данных (например, на платформах онлайн-обучения) из-за их эффективности и способности изучать сложную схему взаимодействия между испытуемыми и вопросами. Например, используется ИНС для извлечения семантической информации из текстов вопросов для повышения точности оценки, учитывая сложные взаимосвязи между испытуемыми, вопросами и компетенциями.
В алгоритмах выбора вопросов все более популярными становятся подходы, основанные на данных (например, обучение с подкреплением и метаобучение), а также выбор подмножества, что позволяет обеспечить масштабируемое персонализированное тестирование. Метод обучения с подкреплением заслуживает особого внимания, поскольку на каждом этапе агент определяет текущее состояние среды и взаимодействует с ней, выбирая свои действия. Одновременно агент получает «вознаграждение» за эти взаимодействия, влияя на текущее состояние среды или изменяя его. Цель состоит в том, чтобы выбрать наилучшую последовательность действий, которая приведет к наибольшему совокупному вознаграждению. Поэтому большинство таких задач формально описываются как оценка оптимальности поведения агента в заданном состоянии взаимодействия с учащимися, что позволяет избежать необходимости вмешательства эксперта. Другим подходом к машинному обучению, основанному на данных, является метаобучение: оно включает в себя обучение модели различным задачам, чтобы получить знания о межзадачном взаимодействии или научиться эффективному обучению. Алгоритм отбора можно рассматривать как форму проверки общих знаний, поскольку он отражает накопленные знания и опыт, полученные от различных групп испытуемых.
Для разработки высококачественной системы адаптивного тестирования основополагающим этапом является создание высококачественного банка вопросов. Создание банка вопросов можно разделить на два основных этапа: анализ характеристик вопросов и содержание банка вопросов. Анализ характеристик вопросов сначала детально изучает свойства и атрибуты потенциальных вопросов. Затем собирается окончательный банк вопросов.
С развитием технологий обработки естественного языка в последние годы наблюдается тенденция к прямому использованию текстовой информации, содержащейся в вопросах для анализа различных атрибутов. Фактическая сборка банка вопросов направлена на создание сбалансированного и разнообразного банка, который мог бы обслуживать различные уровни квалификации и различные области знаний. Этот этап имеет решающее значение, поскольку качество банка вопросов напрямую влияет на эффективность системы адаптивного тестирования.
При внедрении системы адаптивного тестирования, помимо упомянутых выше компонентов, необходимо учитывать несколько ключевых факторов. К таким факторам относятся контроль контента, честность, надежность и эффективность поиска данных.
Заключение. Таким образом, использование адаптивного компьютерного тестирования позволяет реализовать компетентностно ориентированный подход в подготовке квалифицированных кадров для цифровой экономики в условиях происходящих технологических сдвигов, развития прорывных и перспективных технологий и их влияния на высшее образование. В настоящее время именно исследования по разработке автоматизированной системы генерации, сбора, систематизации и предварительной обработки обучающих наборов для ИНС в модулях выбора тем, вопросов и выставления оценки, представляют значительный интерес. Многообещающим по эффективности практического использования представляется вариант совокупности ИНС «глубокого обучения с подкреплением» с методом МО - кластеризацией параметров. Будущие исследования должны использовать машинное обучение для повышения многомерности оценки. Это направление включает в себя не только традиционные схемы реагирования, но и детальный анализ данных процесса, таких как время отклика работы с интерфейсом, которые могут дать испытуемым представление о стратегиях решения проблем и уровнях вовлеченности. Кроме того, анализ образовательного контента, охватывающего текстовые, визуальные и аудиальные материалы, позволяет глубже понять, как субъекты взаимодействуют с многогранной информацией.
Но не стоит забывать о «неочевидных рисках цифровизации», ведущих к дегуманизации образования как социального института. Поэтому модели индивидуализации и персонализации обучения, в том числе на основе адаптивного тестирования, обязательно должны учитывать следующие принципиальные положения: смешанный формат обучения с постоянным вовлечением обучающихся в реальное взаимодействие в рамках творческой совместной деятельности; экспертную педагогическую оценку разрабатываемых учебных материалов и проектов; активное педагогическое сопровождение образовательного процесса; акцентирование на развитии у обучающихся навыков самоорганизации, реализации намеченных целей.