Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

THE SIMULATION MODELLING AND PROCESS MINING TOOLS TO EVALUATE PROFESSIONAL COMPETENCIES IN SELF-STUDYING

Khaperskaya A.V. 1, 2 Minin M.G. 1
1 Tomsk Polytechnic University
2 Tomsk State University
The purpose of the article is to propose methods for creating adaptive and intelligent educational systems for assessing professional competencies using simulation tools. The article proposes the use of the simulation method to assess professional competencies in the context of socio-economic changes. In addition, the AnyLogic product offers a method for monitoring and adjusting the pace of learning for people with disabilities so that students can conduct joint educational activities on an online platform. The results of the article are that a real-time simulation model has been developed, which proves that electronic didactics can improve pedagogical monitoring in the digital era, while adhering to traditional pedagogical principles. The BPMN notation presents a model of interaction between the employer’s professional requirements and the possibility of fulfilling them. The authors proposed a solution in the form of creating an intelligent diagnostic knowledge apparatus using latent semantic analysis. Based on the application of this method, a comparison was made between the expert opinion and the listener’s result, and a correlation analysis was performed. The result of applying this method was a self-diagnosis of the employee without the involvement of company employees or training personnel, which is reflected in the matrix of relevant values. The work was supported by the Russian Science Foundation grant No. 24-78-10065, https://rscf.ru/project/24-78-10065.
simulating modelling
visualization
artificial intelligence
competence assessment
agent-based model

Введение

С развитием информационных технологий различные области науки смогли лучше адаптироваться к социально-экономическим изменениям. Методы машинного обучения, теории искусственного интеллекта, имитационного моделирования позволили создавать гибкие алгоритмы, адаптированные к конкретным ситуациям. Например, в педагогике роботы и автоматизированные сервисы искусственного интеллекта могут оценивать не только ответы на тестовые задания, но и проводить диагностику более длинных текстовых ответов, так же как и оценивать процесс проектной деятельности, текстовые решения при самообучении, ответы, данные при выполнении бизнес-кейсов, а также заданий курсов повышения квалификации. Кроме того, искусственный интеллект можно использовать не только для диагностики знаний, но и для создания курсов, ориентированных на людей с ограниченными возможностями. Например, аудиоформаты могут быть преобразованы в видео для людей с плохим слухом и наоборот – для людей со слабым зрением. Это лишь некоторые из многих возможностей, которые могут быть использованы для содействия использованию технологий в образовании и эффективного реагирования на социально-экономические изменения в педагогике. Информатизация образования подразумевает интеграцию информационных технологий в образовательный процесс, которая становится все более важной в современном быстро меняющемся социально-экономическом ландшафте.

Зарубежные ученые внесли значительный вклад в такую область исследований, как информатизация в образовании. Насколько удобно и полезно использовать имитационное моделирование в образовании, демонстрирует Л. Беккер в своей работе [1]. Автор также отмечает, что постановка образовательных экспериментов и видение проблем обучения в построенной модели является одной из ключевых задач и целей имитационного моделирования. Авторы отмечают, что это особенно важно для изучения медицинских дисциплин.

Теоретической основой исследования являются работы зарубежных авторов. N. Campos в своих работах приводит данные о широком спектре возможностей использования имитационного моделирования в образовании: повышение мотивации слушателей, развитие критического мышления, повышенный интерес к обучению за счет индивидуального подхода к каждому слушателю [2]. C.J. Brigas отмечает, что имитационное моделирование в образовании хорошо подходит для оценки поведения динамических систем (например, изменяющееся поведение слушателя во время обучения, его результаты и знания) [3]. Методы разработки и создание адаптивных технологий в интеллектуальных образовательных системах в своих работах выносят на обсуждение K.A. Скворчевский, O.В. Дятлова и F. Benkhalfallah [4, 5].

Большинство работ, которые хоть как-то затрагивают тему цифровизации, выделяют одну из основных проблем – отсутствие мотивации обучающихся в электронной среде. Авторы в своей работе также выделяют факторы, которые влияют на возникновение выделенной проблемы: отсутствие качественной обратной связи, невозможность оперативно узнать результат. Авторами был проведен квазиэксперимент, в котором одной группе внедрили чат-бот с использованием ИИ, что дало положительные результаты в процессе обучения, это улучшило академическую успеваемость студентов [6].

Идеей разработки по созданию алгоритма определения релевантных слов для оценки компетенций при прохождении кейса стали предлагаемые модели, которые генерируют определение по ключевому слову. Chaitali Diwan, Srinath Srinivasa, Gandharv Suri, Saksham Agarwal, Prasad Ram описывают в своих работах емкие результаты по сравнению с современными базовыми моделями. В этой работе автоматически сгенерированный учебный контент оценивался с точки зрения качества сгенерированного текста и релевантности фрагментов учебных ресурсов [7].

В своих исследованиях авторы описывают разные сценарии и соответствующие компетенции, которые приобретают слушатели в рамках электронного обучения. Эксперимент был направлен на разную аудиторию. Всего 30 % слушателей дали негативный отзыв по использованию цифровых возможностей, симуляции процессов для модификации сценариев в процессе обучения [8, 9].

Цель исследования – предложение методов создания адаптивных и интеллектуальных образовательных систем для оценки профессиональных компетенций с помощью инструментов имитационного моделирования.

Для достижения поставленной цели были поставлены задачи: продемонстрировать практическую значимость существующих инструментов имитационного моделирования, машинного обучения и искусственного интеллекта в образовании.

Новизной данной статьи является визуализация процесса обучения с помощью моделирования, а также использование агент-ориентированной модели для оценки поведения людей с ограниченными возможностями с целью прогнозирования их непредсказуемого поведения при обучении в онлайн-среде.

Материалы и методы исследования

При разработке метода интеллектуальной оценки профессиональных компетенций в процессе самообучения авторы опирались на основные аспекты информатизации образования в современных условиях: доступ к информации и ресурсам; интерактивные технологии и дистанционное обучение; персонализация образования; государственная поддержка.

Проблема, которая решается авторами, заключается в том, что большинство компаний используют тестовые задания для оценки компетенций сотрудников или проводят собеседование лично. Данная проблема декомпозируется на две других. Во-первых, не все организации могут позволить себе наем сотрудника, который бы проводил собеседования для диагностики профессиональных знаний сотрудников. Во-вторых, тестовые задания не смогут дать комплексный анализ профессиональных компетенций.

В связи с выявленными проблемами авторами было предложено решение в виде создания интеллектуального диагностического аппарата знаний с использованием латентно-семантического анализа (LSA).

Аналитика обучения (LA) и интеллектуальный анализ образовательных данных (EDM) сосредоточены на четырех областях: компьютерная аналитика обучения, включая достижения и оценки учащихся; компьютерная прогнозирующая аналитика, которая включает совместное обучение и самообучение; компьютерная поведенческая аналитика, ориентированная на моделирование обучения учащихся; и аналитика визуализации с компьютерной поддержкой, такая как графические и сетевые методы.

Результаты исследования и их обсуждение

Социально-экономические изменения оказывают глубокое влияние на систему образования, затрагивая как учебные заведения, так и процессы преподавания и обучения. Авторами были рассмотрены ключевые аспекты этого влияния.

1. Социальные и культурные факторы. Например, миграция населения может привести к культурному разнообразию в образовательных учреждениях, что требует реализации программ, направленных на поощрение инклюзивности и толерантности. Кроме того, изменения в роли семьи в образовательном процессе, включая поддержку и вовлечение родителей, могут повлиять на успеваемость учащихся.

2. Технологические изменения, развитие технологий являются социально-экономическим фактором, который существенно трансформирует образование.

Схема BPMN диагностики профессиональных компетенций на платформе работодателя на рис. 1 с применением имитационного моделирования представляет исход различных сценариев в зависимости от тех действий, которые выберет обучающийся сотрудник на платформе работодателя.

Рис. 1. Схема BPMN диагностики профессиональных компетенций на платформе работодателя

Модуль, который использует алгоритмы LSA, может оценивать не только тестовые задания, но и полные развернутые ответы к кейс-заданиям. Также из рис. 1 видно, что слушатель может выбрать через систему «Собеседование с работодателем» и записаться на личный прием для того, чтобы проверить свои профессиональные навыки и договориться об условиях найма. Схема BPMN диагностики профессиональных компетенций на платформе работодателя также может указывать на узкие места в обучающем процессе и на то, как поведение модели будет меняться в связи с изменением определенной операции в процессе. Например, потребуется ли дополнительное время и место встречи для проведения собеседования с руководителем компании лично.

Работа модуля с применением LSA-алгоритма для интеллектуальной диагностики профессиональных компетенций представлена ниже. Результаты матрицы релевантных слов для поиска соответствия между решениями слушателя и решениями эксперта демонстрируются на рис. 3.

Результаты обучения диагностируются и передаются системой оперативно. Так, если кейс-задания составлены на английском языке работодателем, который требует знания языка, то система по такому же алгоритму проводит диагностику. На рис. 2 приведен пример наполненности базы данных ключевыми словами (правый столбец) в соответствии с направлением подготовки (левый столбец).

 

Рис. 2. Пример заполнения базы данных работодателем для автоматической диагностики профессиональных компетенций

Латентно-семантический анализ как раз заключается в том, чтобы провести сравнение экспертного мнения (изначально занесено в базу данных компании) и ответа слушателя. Результатом будет являться самодиагностика сотрудника без привлечения сотрудников компании или обучающего персонала.

Матрица соответствия результатов оценивает корреляцию между требуемой семантикой слов при диагностике ответа (база ответов расположена на платформе работодателя – рис. 1) и той, которую дает слушатель. Чем выше коэффициент корреляции, равный «1» или «-1», тем ближе ответ слушателя был к мнению экспертов. Это позволяет получить ответ на задание досрочно, которое не может быть оценено как тестовое, без помощи преподавателя.


Рис. 3. Матрица соответствия результатов

Созданная база экспертных оценок и применение технологий машинного обучения позволяют автоматически сравнивать результаты обучения, используя не только тестирование, но и естественный язык.

В связи с многочисленными проблемами, возникающими в процессе электронного самообучения и обеспечения эффективного учебного процесса, педагогическая дидактика играет ключевую роль в формировании учебного трека с учетом всех организационных и педагогических условий. Ведь электронное обучение сложно для учащихся в первую очередь из-за отсутствия прямого контакта с преподавателем и другими участниками образовательного процесса. Учащиеся испытывают чувство изоляции: онлайн-обучение также может сопровождаться отсутствием социального взаимодействия, что может повлиять на мотивацию и эффективность обучения.

Следовательно, педагогическая дидактика должна учитывать важность поддержки и мотивации учащихся в процессе обучения. Это может включать в себя мотивационные задания, положительные отзывы и доступность преподавателей для консультаций и поддержки. Таким образом, педагогическая дидактика важна для создания структурированных и интерактивных курсов, которые могут эффективно передавать знания и стимулировать процесс обучения.

Принцип использования имитационного моделирования на электронной платформе особенно эффективен для студентов с ограниченными возможностями. Таким образом, с помощью агентного моделирования в AnyLogic вы можете контролировать время обучения и выполнения конкретного задания для студента с ограничениями. На рис. 3 показан пример использования агентного моделирования для группового кейса. Поскольку у слушателей разные физические ограничения, время, необходимое для обработки информации, содержащейся в задании, также разное, чтобы студенты могли выполнять задание в группе онлайн, необходимо регулировать поток информации для студентов. На рис. 4 показано, что можно проанализировать скорость выполнения заданий (было выбрано нормальное распределение с выполнением задания от 25 до 40 мин). Такой анализ поможет в будущем при формировании курсов и заданий.

Рис. 4. Возможность фиксации темпа обучения

 

На рис. 4 показаны возможности инструментов моделирования от разработки сценария до контроля времени выполнения задания.

Заключение

Поставленная в статье цель отражает текущие потребности и ближайшие перспективы в отношении цифровизации образования, развития цифровой образовательной среды, в том числе в условиях становления цифровой экономики и, как следствие, потребностей рынка труда и задач для образования.

В статье приводится практическое применение метода имитационного моделировании для визуализации процессов оценки компетенций. Авторы также демонстрируют результаты разработанного алгоритма, как показано на рис. 4. В статье не только показано использование имитационного моделирования для построения алгоритмов формирования диагностического аппарата знаний, но и продемонстрирован пример использования агентной модели для людей с ограниченными возможностями, поскольку оценка их поведения очень важна и модель может прогнозировать эти изменения, а также показать адаптацию агентов к новым условиям, те элементы электронного обучения, где это необходимо (например, для контроля темпа обучения людей с различными физическими недостатками). В статье также приводится пример использования машинного обучения для оценки знаний при самостоятельной работе на электронной платформе, метод оценки этих компетенций с использованием семантического ядра и матрицы релевантных слов.