Пандемия 2020 года способствовала бурной цифровизации всех областей жизни и деятельности человека. Одной из них, несомненно, стало образование. За последние несколько лет произошла переоценка роли информационно-коммуникационных технологий в образовательном процессе. [1] Многие программные продукты, которые раньше были недостаточно востребованы в педагогике, сейчас находят новые сферы применения.
Так, современные мессенджеры позволяют постоянно находиться на связи, что, с одной стороны, способно в значительной степени решить проблему информационного голода при удаленном обучении, с другой - «крадет» нерабочее время у педагога. В большинстве случаев учащихся интересуют одни и те же организационные вопросы, и преподавателю приходится раз за разом озвучивать одни и те же ответы каждому из учащихся. Таким образом, реализация информационной поддержки преподаваемой дисциплины становится необходимой частью удаленного образовательного процесса [2]. Данная проблема стала особенно ощутима при всеобщем переходе на дистанционное обучение в период локдаунов, однако и при нормализации эпидемиологической обстановки найденные решения остаются актуальными, особенно для дистанционного обучения, обучения заочников или пропускающих занятия по уважительной причине [3].
Одним из вариантов решения обозначенной проблемы может стать использование преподавателем чат-ботов для информационной поддержки учебного курса.
Виртуальный собеседник, или чат-бот, - программа, имитирующая человеческое общение, алгоритм которой ориентирован на решение поставленных задач посредством ведения диалога [4].
Назначение чат-бота:
1) выяснение проблемы пользователя;
2) предложение варианта ее решения.
Автоматическая коммуникация с учащимся может вестись как с помощью текста, так и голосом [5]. Виртуальный собеседник осуществляет диалог от лица преподавателя или электронного помощника по учебному курсу. Его цель - довести до студента актуальную информацию в наиболее краткие сроки. Чат-бот может быть использован в качестве альтернативы переписке или звонку педагогу.
В современной педагогике общая теория рассматриваемого вопроса еще недостаточно сформирована, однако опубликовано значительное число научных работ, посвящённых методике осуществления автоматизированной информационной поддержки преподаваемой дисциплины [6], в том числе с помощью виртуальных собеседников. Так, различные точки зрения на применение чат-ботов в учебно-воспитательном процессе можно найти в исследованиях Гречихина С.С. [7], Зильбермана Н.Н., Ивановой Е.Г., Кузнецова В.В. [8], Чивилева А.А. и др. [9].
Цель исследования - оценить эффективность использования чат-бота как информационной поддержки преподаваемой дисциплины на примере курса физики.
Материал и методы исследования
Для достижения поставленной цели была применена группа методов теоретического и эмпирического характера:
- анализ научной литературы по рассматриваемой теме;
- изучение передового педагогического опыта;
- педагогический эксперимент;
- методы математической обработки результатов исследования.
В современном образовании применяют различные виды чат-ботов. Они позволяют автоматизировать целый ряд процессов, например проведение консультаций, реализацию контроля знаний посредством тестирования, организацию обратной связи в виде опросов студентов с целью выявления слабых мест в организации образовательного процесса, а также оказывать своевременную информационную поддержку учащимся по различным вопросам.
Обобщим классификацию образовательных чат-ботов и представим ее в виде схемы (рис. 1).
 |
Рис. 1. Классификация образовательных чат-ботов
На практике конкретный чат-бот сложно отнести к какому-либо из видов, поскольку наиболее часто используются смешанные модели. Рассмотрим каждый из видов образовательных виртуальных помощников подробнее.
1. По алгоритму.
1.1. Ограниченный чат-бот взаимодействует с учащимися по заранее разработанному сценарию, содержащему ответы на наиболее часто задаваемые вопросы.
1.2. Саморазвивающийся виртуальный собеседник в своей основе имеет нейронную сеть, которая при достаточном количестве примеров сможет имитировать дискуссию.
2. По внешнему виду.
2.1. Кнопочный онлайн-помощник предоставляет студентам меню, где учащийся выбирает раздел, к которому относится его вопрос, до тех пор, пока не получит необходимый ответ. Большинство ограниченных чат-ботов имеют кнопочный вид.
2.2. Текстовый виртуальный собеседник распознает наиболее часто используемые в запросе слова и выражения, после чего уточняет вопрос или предлагает решение. Большинство саморазвивающихся и смешанных чат-ботов имеют текстовый вид.
3. По функционалу.
3.1. Коммуникационные виртуальные помощники используются для информирования путем получения ответов на интересующий вопрос. Данный вид наиболее удачно подходит для проведения консультаций.
3.2. Функциональные чат-боты позволяют студенту выполнять определенные действия, например переходить по ссылкам, скачивать документы, по идентификационным данным узнавать результаты контрольной работы и т.п.
Для оценки эффективности применения чат-бота как информационной поддержки преподаваемой дисциплины был выбран курс физики, для которого был разработан виртуальный помощник. Внедренный в образовательный процесс чат-бот по алгоритму относится к ограниченным, по внешнему виду - к кнопочным, по функционалу - к смешанным, так как сочетает в себе возможности и коммуникационных, и функциональных виртуальных собеседников. Разработан он был в конструкторе виртуальных помощников Вotmother для Telegram, WhatsApp, Viber, Facebook, Instagram, ВКонтакте и Одноклассников и открыт для использования в Telegram. Стартовая страница представлена на рисунке 2.
Рассматриваемый чат-бот имеет следующее содержание.
1. Раздел новостей, который регулярно пополняет преподаватель.
2. Раздел теоретического материала, содержащий ссылки на видеоконференции, видеофрагменты или тексты лекций, дополнительную литературу по рассматриваемым темам или ссылки на нее.
Рис. 2. Стартовая страница виртуального помощника по курсу физики
3. Практический раздел включает в себя описания лабораторных работ, ссылки на необходимые для выполнения экспериментальной части: имитационные комплексы, видеоматериалы, демонстрирующие процесс выполнения работы и образцы отчетов.
4. В середине семестра проходит контрольная неделя, во время которой студенты получают предварительную оценку своей работы, поэтому в данном разделе описаны критерии получения отметок и сами результаты.
5. Требования к зачету описаны в соответствующем разделе.
6. Раздел «Обратная связь» необходим для получения отзывов студентов о курсе для дальнейшей его корректировки.
7. Категория «Часто задаваемые вопросы» содержит как сами вопросы, так и ответы на них и регулярно дополняется преподавателем.
8. Чат-бот имеет замкнутую структуру, поэтому если учащийся не находит необходимой информации, он может вернуться на стартовую страницу и написать непосредственно педагогу.
Результаты исследования и их обсуждение
В качестве критериев эффективности использования чат-бота для информационной поддержки преподаваемой дисциплины используем метрики для оценки качества виртуальных помощников бизнес-приложений [10], адаптируя их к рассматриваемой предметной области.
Критерии оценки эффективности образовательных виртуальных собеседников разделим на две группы:
1. Образовательные показатели. Они являются наиболее важными с точки зрения учебного процесса, поскольку именно они способны показать, в какой степени чат-бот выполняет свои задачи. Данные критерии могут быть разными и зависят от функций бота.
1.1. Количество обращений к преподавателю в мессенджерах. Значительная часть вопросов типовые, поэтому виртуальные помощники справляются с ними не хуже педагогов, а общение с преподавателем необходимо только в нестандартной ситуации.
1.2. Регулярность выполнения текущих заданий. Информировать учащихся о необходимости своевременного выполнения заданий - это только часть функционала виртуального собеседника, качество его работы оценивается по количеству в срок выполненных требований по учебному курсу.
1.3. Активация учебной деятельности. Одно из преимуществ виртуальных помощников состоит в возможности периодического напоминания о необходимости выполнять задания. Например, сообщения о сроках видеоконференций или окончании приема отчетов по лабораторным работам.
1.4. Количество пользователей. Если число студентов, использующих бот, растет, это означает, что пользователи были удовлетворены ответом бота ранее и охотно выбирают данный канал коммуникации.
2. Технические показатели.
2.1. Результативность общения с виртуальным помощником.
2.2. Длина пути разговора, который приводит к получению искомой информации.
2.3. Интерфейс виртуального помощника.
Проверка эффективности использования чат-бота, как информационной поддержки преподаваемой дисциплины, на примере физики проводилась на базе филиала ФГБОУ ВО «Национальный исследовательский университет «МЭИ» в г. Смоленске. В эксперименте принимали участие 112 студентов и 8 преподавателей, в течение семестра пользующихся разработанным чат-ботом. Испытуемым были предложены анкеты, студентам необходимо было оценить технические показатели, а преподавателям - образовательные.
Проверка эффективности применения чат-бота по физике, как информационной поддержки преподаваемой дисциплины, дала результаты, представленные в таблицах 1, 2.
Таблица 1
Количественные результаты опроса преподавателей по каждому из образовательных критериев (количество положительных оценок в %)
|
|
Критерии оценки образовательных показателей |
|||
|
Количество обращений к преподавателю в мессенджерах |
Регулярность выполнения текущих заданий |
Активация учебной деятельности |
Количество пользователей |
|
|
Преподаватели |
100 |
80 |
90 |
80 |
Таблица 2
Количественные результаты опроса студентов по каждому из технических критериев (количество положительных оценок в %)
|
|
Критерии оценки технических показателей |
||
|
Результативность общения с виртуальным помощником |
Длина пути разговора, который приводит к получению искомой информации |
Интерфейс виртуального помощника |
|
|
Студенты |
70 |
60 |
80 |
Выводы
На основании получившихся результатов и пояснений к ответам испытуемых сделаны следующие заключения.
1. Общий достаточно высокий результат по образовательным показателям, на наш взгляд, обусловлен:
1.1. доступностью информационной поддержки виртуальным помощником в любое удобное для студентов время;
1.2. опосредованное получение информации через бота для некоторых учащихся предпочтительнее, так как часть студентов стесняется задавать вопросы или уточнять ответы педагога, если они были ими не поняты.
Кроме того, преподаватели, участвовавшие в эксперименте, отметили значительное увеличение пользователей виртуального помощника и количества обращений в конце семестра, чему способствовали как формирование определенной привычки к использованию чат-бота, так и близость зачета. Несмотря на удобство использования данной формы коммуникации, отмеченное как педагогами, так и студентами, значительных изменений при сравнении успеваемости за семестр по дисциплине с предыдущими результатами учащихся не произошло.
2. Средний уровень технических показателей используемого бота по физике свидетельствует о необходимости доработки его содержания. С некоторыми вопросами студентам приходилось обращаться к преподавателям, используя чат виртуального помощника. Студентами было также отмечено, что интерфейс возможно было сделать более тематическим.
Целью проводимого исследования было оценить эффективность использования чат-бота как информационной поддержки преподаваемой дисциплины на примере курса физики, и общая положительная оценка всеми испытуемыми демонстрирует допустимость применения данного способа коммуникации в образовательном процессе. При этом задача передачи части организационных проблем от преподавателя к дистанционному помощнику была выполнена успешно, что свидетельствует об эффективности применения чат-бот
Библиографическая ссылка
Быков А.А., Киселева О.М. ОЦЕНКА ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ ЧАТ-БОТА КАК ИНФОРМАЦИОННОЙ ПОДДЕРЖКИ ПРЕПОДАВАЕМОЙ ДИСЦИПЛИНЫ // Современные проблемы науки и образования. – 2022. – № 1. ;URL: https://science-education.ru/ru/article/view?id=31481 (дата обращения: 19.04.2024).