Сетевое издание

Современные проблемы науки и образования

ISSN 2070-7428

"Перечень" ВАК

ИФ РИНЦ = 1,006

Введение

В настоящее время в структуре высшего и среднего профессионального образования большое значение придается оценке полученных знаний и навыков, которые студенты приобретают в ходе изучения любой дисциплины. Контроль успеваемости может проводиться на каждом занятии или по окончании изучения какого-то модуля (текущий контроль), завершать цикл обучения, проводиться в конце семестра или учебного года (зачет, дифференцированный зачет или экзамен – итоговый контроль), осуществляться в конце всего обучения – итоговая аттестация (государственные экзамены) или аккредитация специалиста. В связи с этим каждый преподаватель обязан подготовить по своей дисциплине фонд оценочных средств (ФОС), который состоит из определенного вида обучающих и контролирующих заданий. Обычно ФОС включает в себя следующие виды заданий: тесты с одним вариантом ответов, тесты с несколькими вариантами ответов, тесты на сопоставление и определение логической последовательности, тесты открытой формы. Отдельный блок заданий, входящий в ФОС, – это ситуационные задачи (кейсы) и аналитические вопросы. С учетом нормативов занятости профессорско-преподавательского состава на выполнение методической работы, в которую обязательно включается подготовка ФОС, отводится в среднем 300 часов в год. В это время включена разработка новых ФОС и актуализация уже имеющихся. Поскольку задания, включенные в ФОС, обязательно должны формировать ту или иную общекультурную или профессиональную компетенцию, то обучающие задания должны быть соотнесены с содержанием компетенции и быть разработаны в таком количестве, чтобы охватить весь перечень знаний, умений и навыков, которые она предполагает сформировать у учащихся. Обычно методические рекомендации предполагают следующее количество заданий, которые должны сформировать компетенцию: в среднем необходимо подготовить 15 тестов с одним вариантом ответа, 10 тестов с несколькими вариантами ответа, 10 тестов на соответствие или логическую последовательность, 5 тестов открытой формы, 3-5 ситуационных задач. То есть объем ФОС для формирования одной компетенции составляет примерно 40 тестовых заданий и 3-5 задач. Но обычно общее количество заданий в разы больше, поскольку задания составляются не только по количеству компетенций, но и по количеству тем, которые составляют программу дисциплины.

Для примера, тематический план дисциплины «Патологическая физиология» представлен 34 темами, которые студенты изучают в 5 и 6 семестрах, соответственно, ФОС должен содержать как минимум 1300 тестовых заданий разного вида, а также 100-150 ситуационных задач. И такой объем рассчитан для одной компетенции. Если же дисциплина формирует 2 и более компетенций, то ФОС увеличивается пропорционально их количеству. Разумеется, создать такой объем заданий собственными силами и в сжатые сроки не всегда бывает возможно, поэтому в реалиях современной жизни преподавателю крайне необходима методическая поддержка, которую может оказать искусственный интеллект или нейронные сети. Нейронными сетями называют математическую модель, которая при решении предъявленной интеллектуальной задачи на основе полученных критериев поставленного вопроса анализирует огромное количество данных и составляет наиболее подходящий и верный ответ [1; 2].

Цель исследования: показать возможности искусственного интеллекта в подготовке фонда оценочных средств для дисциплины «Патологическая физиология» и оценить качество обучающих заданий, создаваемых этой системой.

Материалы и методы исследования

При помощи сервиса Al Chat-GPT Chatbot Online были продемонстрированы возможности искусственного интеллекта в создании тестовых заданий и ситуационных задач по избранным темам дисциплины «Патологическая физиология», дана сравнительная характеристика полученных оценочных средств с заданиями, созданными традиционным способом. Полученная база тестов и задач была использована на практических занятиях в качестве оценочных материалов для текущего контроля успеваемости.

Результаты исследования и их обсуждение

В современном мире объем информации возрастает в геометрической прогрессии и полученные данные теряют свою актуальность буквально в течение нескольких лет. Если в прошлом веке преподаватели могли использовать созданные контрольно-измерительные материалы на протяжении длительного времени, не внося существенной коррекции, то сейчас написанные учебники и пособия быстро устаревают и пополняются новыми данными, а созданные на их основе обучающие и контролирующие задания требуют существенного обновления и переработки [3; 4].

О значении искусственного интеллекта в структуре современного образования опубликовано достаточное количество статей, в которых авторы подчеркивают роль нейросетей в облегчении рутинных задач преподавателя, в частности возможности генерации текстов и создания ими банка тестовых заданий [5; 6]. Однако анализ имеющейся литературы показал, что в основном материал статей содержит общую информацию о роли нейросетей в современном обществе, об этической стороне их применения, их прикладная роль описывается в меньшей степени, то есть не содержит готовых алгоритмов работы с искусственным интеллектом [7]. Лишь в немногих статьях авторы описывают применение нейросети для реализации конкретных целей обучения и для решения текущих педагогических задач [8]. Именно реализации конкретной педагогической задачи, то есть созданию банка обучающих заданий по дисциплине «Патологическая физиология», и была посвящена данная статья.

Для создания тестовых заданий и ситуационных задач по дисциплине «Патологическая физиология» был использован сервис Al Chat-GPT Chatbot Online, который имеет ряд преимуществ перед другими нейросетями: это бесплатная версия искусственного интеллекта, которая имеется в свободном доступе в сети Интернет, для ее использования не требуется авторизации, VPN и сим-карты иностранного государства (для многих преподавателей эти требования становятся препятствием для использования искусственного интеллекта в своей работе). При использовании сервиса сразу же открывается чат (диалоговое окно), в котором можно начать беседу с ботом-помощником и сформулировать ему поисковую задачу. Однако в этой системе есть ряд ограничений: в течение дня ему можно отправить только 5 сообщений, что существенно замедляет методическую работу.

Чтобы бот начал генерировать задания, для него необходимо сформулировать поисковую задачу – промт, по которой он будет создавать необходимый текст. Для создания тестов и заданий по дисциплине «Патологическая физиология» было использовано несколько промтов, например:

- Ты – преподаватель по патологической физиологии. Тебе необходимо создать 10 тестовых заданий с одним вариантом ответа по теме «Лихорадка»;

- Ты – преподаватель по патологической физиологии. Тебе необходимо создать 5 ситуационных задач по теме «Анемия»;

- Ты – преподаватель по патологической физиологии. Тебе необходимо написать 5 тестовых заданий открытого типа и т.д.

В целом, бот оперативно выполняет поставленную задачу и генерирует оценочные средства в заданном количестве. Однако при запросе необходимо учитывать объем задания: за один раз он не может генерировать более 10 тестов или 5 простых задач. То есть запрос «Сделай 100 тестов» или «Напиши 30 задач» он выполнить не сможет. Поэтому большое по объему задание необходимо разделить на несколько маленьких запросов.

Ниже представлены варианты тестовых заданий и задач, которые были получены при использовании искусственного интеллекта.

Например, по теме «Лихорадка» по запросу «Ты – преподаватель по патологической физиологии. Тебе необходимо создать 10 тестовых заданий с одним вариантом ответа по теме "Лихорадка"» искусственный интеллект выдал следующие тесты (табл. 1, 2).

Таблица 1

Тесты, созданные нейросетью по теме «Лихорадка», пример 1

Примечание. Составлено автором.

Если прочитать данные тесты, то у преподавателя-патофизиолога сразу же возникнет ряд вопросов по качеству полученного материала: в тесте 1 нет очевидного правильного ответа, поскольку при лихорадке перечисленные симптомы могут отсутствовать; тест 2 необходимо полностью переделывать, поскольку предлагаемые термины не соответствуют русскоязычной медицинской терминологии; тест 3 также нуждается в обработке, поскольку в классической интерпретации фебрильная лихорадка – это повышение температуры до 39°С; тест 4 можно использовать с незначительными правками. То есть из 4 тестовых заданий, взятых за образец, ни одно полностью не соответствует требованиям, которые предъявляются к оценочным средствам по дисциплине «Патологическая физиология», и каждое нуждается в дальнейшей переработке.

Чтобы не показалось, что искусственный интеллект не справился со своей задачей, приводим еще несколько примеров по той же теме.

Таблица 2

Тесты, созданные нейросетью по теме «Лихорадка», пример 2

Примечание. Составлено автором.

В этой подборке тесты уже написаны более корректно: в частности, в тесте 5 правильно указана причина лихорадки, в тесте 6 – приведен метод коррекции, в тесте 7 – средства для лечения (хотя названия препаратов нуждаются в литературной правке).

Временные затраты на создание этих тестов у искусственного интеллекта заняли меньше минуты, но, как видно из представленных образцов, на коррекцию полученного материала придется затратить не меньше часа. Может возникнуть закономерный вопрос: «А в чем тогда преимущество нейросети перед человеческим интеллектом, если все-равно нужно переделывать созданные оценочные средства?». Польза от нейросети есть, поскольку даже если 5 раз задать один и тот же промт, искусственный интеллект сгенерирует разные тесты, они не будут повторяться. Поэтому в течение дня можно получить 50 тестов и скорректировать их (то есть польза от нейросети, в первую очередь, в объеме выдаваемого материала и его разнообразии, но пока еще невысокого качества).

Приведем другой пример сгенерированных искусственным интеллектом контролирующих заданий. Промт для бота был составлен следующим образом: «Ты – преподаватель по патологии. Напиши 3 ситуационные задачи по теме "Анемия", в каждой задаче должно быть по 4 вопроса». Нейросеть сгенерировала следующие задачи (табл. 3).

Таблица 3

Ситуационные задачи, созданные нейросетью по теме «Анемия»

Примечание. Составлено автором.

Как видно из полученного материала, в этом случае нейросеть справилась гораздо лучше. Связано это с тем, что многие темы в «Патологической физиологии» тесно переплетаются с клиническими дисциплинами, и обучение нейросети по данному вопросу идет гораздо быстрее. Как видно из полученного результата, созданы 3 задачи, которые в целом почти без коррекции можно использовать на занятии. Опять присутствует серьезная ошибка в 3-й задаче (анемия при дефиците витамина В12 всегда гиперхромная), но этот недочет легко исправить. Какой недостаток есть у всех этих задач: слишком краткое и довольно примитивное условие, недостаточное количество клинических и лабораторных данных, стереотипные и однозначные для ответа вопросы.

Чтобы понять разницу между задачами, созданными искусственным интеллектом, и задачами, созданными преподавателем-патофизиологом, ниже приведем образцы творческой методической работы.

Задача № 1

Больной М., 34 лет, обратился к врачу с жалобами на слабость, утомляемость, головокружение, а также одышку и сердцебиение, которые появляются при физической нагрузке.

Анализ крови: Нв – 80 г/л, эритроциты – 3,4х1012/л, цветовой показатель – 0,7, ретикулоциты – 0,1%.

Содержание железа в сыворотке крови – 9 мкмоль/л (в норме 13–20 мкмоль/л). Известно, что больной страдает геморроем в течение 10 лет.

Вопросы:

1. О наличии какого вида анемии свидетельствуют анализ крови и жалобы больного? Ответ аргументируйте.

2. Охарактеризуйте анемию у больного по:

- цветовому показателю,

- содержанию ретикулоцитов.

3. Охарактеризуйте анемию у больного по причине, механизму развития и типу кроветворения.

4. Опишите механизмы развития этого заболевания.

Задача № 2

Больной М., 65 лет, поступил в клинику с жалобами на слабость, быструю утомляемость, боли и жжение в области языка, тяжесть в эпигастральной области, понос, одышку, сердцебиение, ощущение онемения и покалывания в конечностях. Кожа и слизистые оболочки бледные, язык ярко-красный, сосочковый слой сглажен. Анализ крови: Нв – 85 г/л, эритроциты – 2,1х1012/л, цветовой показатель – 1,3. В мазке крови определяются антитела к париетальным клеткам желудка и внутреннему фактору Кастла.

Вопросы:

1. О наличии какого вида анемии свидетельствуют анализ крови и жалобы больного? Ответ аргументируйте.

2. Охарактеризуйте анемию у больного по цветовому показателю, типу кроветворения.

3. Укажите причину появления ощущения онемения и покалывания в конечностях.

4. Назовите морфологические особенности эритроцитов, характерные для этого заболевания.

Задача № 3

У больного У., 20 лет, после приема парацетамола по поводу острого бронхита внезапно возникла слабость, головная боль, головокружение, одышка, сердцебиение, боли в мышцах и суставах; появилось желтушное окрашивание кожи и склер, потемнение мочи. Температура 38,5°С.

Анализ крови: Нв – 40 г/л, эритроциты – 1,8х1012/л, цветовой показатель – 0,75, ретикулоциты – 10%. В эритроцитах обнаружено снижение количества фермента глюкозо-6-фосфатдегидрогеназы.

Вопросы:

1. Назовите заболевание, которым страдает больной. Укажите его причину.

2. Опишите механизм развития этого заболевания. Укажите значение приема парацетамола в реализации этого механизма.

3. Назовите причину появления головной боли, слабости, головокружения.

4. Объясните механизм развития одышки и сердцебиения при этом заболевании.

Как видно из представленных примеров, задачи, созданные преподавателем, содержат развернутое и подробное условие, разнообразные вопросы, которые позволят оценить глубину знаний у студентов. Что немаловажно, ответы на подобные вопросы нельзя найти в сети Интернет, просто вбив их в поисковую строку: для ответа нужна хотя бы минимальная теоретическая подготовка и прочтение учебной литературы.

Но, еще раз подчеркнем, при необходимости быстро подготовить нужный объем задач для оценки текущей успеваемости у большого количества студентов, особенно если уровень подготовки находится на среднем уровне или даже ниже среднего, подобные задачи, созданные нейросетью, позволят быстро обновить ФОС и обеспечить индивидуальный подход к каждому учащемуся.

Ниже приведен образец подобных заданий, созданных нейросетью, которые практически без коррекции можно использовать для обсуждения или для контроля на занятии.

Промт был следующий: «Ты – преподаватель патологической физиологии. Тебе нужно сделать 5 ситуационных задач по теме "Патофизиология щитовидной железы"». Полученный результат был следующим:

1. Пациент жалуется на учащенное сердцебиение, потливость, нервозность, наблюдаются симптомы тревожности. При обследовании у пациента обнаруживается повышение уровня тиреоидных гормонов. Какова диагностика и лечение данного состояния?

2. Женщина обратилась к врачу с жалобами на сонливость, утомляемость, проблемы с памятью, увеличение веса и замедленную работу сердца. При обследовании выявлен гипотиреоз. Какие причины и механизмы развития данного состояния?

3. Пациентка находится на первом триместре беременности и обратилась к врачу с жалобами на быструю утомляемость, свербеж и ломкость волос, неспецифические боли в области шеи. Лабораторные данные показали увеличение уровня тиреоидных гормонов. Каковы риски и последствия для плода и как проводить коррекцию состояния?

4. У пациента был обнаружен узелок в щитовидной железе. После проведения дополнительных исследований было выявлено, что узелок является злокачественным образованием. Какова тактика ведения пациента с раком щитовидной железы?

5. У пациента с диагнозом автоиммунный тиреоидит наблюдаются периодические обострения и ремиссии заболевания. Какие факторы могут спровоцировать обострение заболевания и каковы методы лечения и профилактики данного состояния?

Как видно из представленных промтов, роль бота остается неизменной, меняется только тематика, вид заданий и их количество. Для создания контрольных заданий преподаватель может использовать свою дисциплину или специальность.

Однако если с рутинными заданиями нейросеть все-таки справлялась, то задания более сложного уровня сгенерировать не удалось.

Ниже приведены примеры неудачных запросов и вариантов ответа от нейросети.

Первый неудачный вариант. «Ты – преподаватель по патологической физиологии. Тебе нужно составить 10 тестов открытой формы по теме "Воспаление"».

Нейросеть выдала такой ответ:

Какие основные признаки воспаления вы можете наблюдать у пациента?

Какие факторы могут вызвать развитие воспалительной реакции?

Какие типы воспаления существуют и как они различаются друг от друга?

Какие клетки играют ключевую роль в развитии воспаления?

Какие медиаторы воспаления участвуют в процессе образования воспалительного ответа?

Какие методы диагностики воспаления используются в клинической практике?

Какие осложнения могут возникнуть при длительном или неконтролируемом воспалении?

Какие методы лечения воспаления вы можете применить у пациента?

Какие принципы антибиотикотерапии использовать при воспалительных заболеваниях?

В чем отличие между острой и хронической формами воспаления и как это влияет на подход к лечению?

Как видим, вместо тестового задания были сгенерированы вопросы для ответа (хотя, с точки зрения предмета, эти вопросы очень грамотно сформулированы). Возможно, здесь сыграла роль нечетко сформулированная задача, и в дальнейшем нейросети нужно дать конкретный образец задания, которое мы хотим получить.

Второй неудачный вариант выглядит так: «Ты – преподаватель по патологической физиологии. Тебе нужно составить 10 тестов на сопоставление по теме "Патофизиология углеводного обмена"».

Полученный результат представлен в таблице 4.

Таблица 4

Тесты на сопоставление, созданные нейросетью по теме «Патофизиология углеводного обмена»

Примечание. Составлено автором.

То есть здесь тоже пример непонимания поставленной задачи и необходимости корректировки промта. Возможно, нужен образец, по которому нейросеть будет создавать подобные тесты.

Последний неудачный вариант звучал следующим образом: «Ты – преподаватель патологической физиологии. Тебе нужно подготовить 5 экзаменационных билетов, которые будут содержать 1 вопрос из общей патофизиологии, 1 вопрос из частной патофизиологии, 1 ситуационную задачу».

Нейросеть сгенерировать ответ не смогла: скорее всего, ей нужно предоставить базу данных – перечень вопросов и задач, которые она могла бы использовать для создания подобного контролирующего материала. То есть в создании таких комплектов обучающих материалов заменить преподавателя искусственным интеллектом пока не получится.

Заключение

В настоящее время искусственный интеллект является мощнейшим инструментом создания нового обучающего контента. Его возможности можно использовать во всех сферах жизни и во всех областях знаний. С учетом того, что нейросети легко обучаются, те сложности и недочеты, которые были представлены в этой статье на примере создания обучающих заданий по дисциплине «Патологическая физиология», в перспективе будут преодолены, и это лишь дело времени.

Польза искусственного интеллекта состоит в создании большого по объему образовательного контента, совершенствовании качества обучения, индивидуализации образовательного процесса, оптимизации работы преподавателя путем делегирования выполнения рутинных задач нейросети.

Но, несмотря на блестящие перспективы использования искусственного интеллекта, нужно помнить, что создание полноценных, четко сформулированных, имеющих речевую и стилистическую индивидуальность обучающих заданий доступно только человеку – грамотному, эрудированному и знающему свой предмет преподавателю.