В современных вузах актуальна проблема объективизации оценивания знаний выпускников, отражения качества полученных компетенций, исключения факторов случайности и субъективных влияний. Объективности в оценке знаний студентов можно добиться в том случае, когда имеются четкость и полнота в изложении учебных целей, поддерживаются высокие требования к уровню знаний, умений и навыков обучающихся, и при этом имеется полная ясность в проведении контроля и среза знаний, которые соответствуют целям проверки. Другими факторами, оказывающими влияние на объективность оценки, являются условия образовательной среды и контроль осуществления оценочной деятельности преподавателей.
В медицинских вузах необходимо оценить разноплановые аспекты подготовки будущего специалиста – теоретические знания, практические умения, клиническое мышление, коммуникативные навыки, знания законодательных и юридических вопросов, ведение документации.
Качество медицинской помощи оказывает непосредственное влияние на продолжительность и качество жизни людей, и в связи с этим проблема оценки соответствия знаний выпускников медицинского университета требованиям необходимого уровня для самостоятельного труда особенно актуальна. По итогам оценки 10000 выпускников медицинских школ Национальным комитетом по медицинским экзаменам США коэффициент совпадения оценок у 2 независимых экзаменаторов не превышал 0,25. Существенной критике подверглись как устный экзамен по билетам, так и обследование пациента в условиях клиники, так как они не обеспечивали надежной и валидной оценки реальных практических навыков и умений медицинских вузов [1].
Каждый метод контроля имеет определенные особенности, которые выражаются в достоинствах и недостатках метода, а также в области его применения [2].
Тестирование является одним из объективных методов оценивания, так как анализирует знания обучающихся беспристрастно [3]. Тестирование помогает наиболее быстро оценить знания студентов – как в индивидуальном порядке, так и в групповом. Данный метод оценивания достаточно часто используется для определения статистики понимания материала студентами в различные периоды обучения и их соотношения с итоговыми оценками [4]. Однако тест фиксирует только результаты работы, но не ход ее выполнения, возможны угадывание правильного ответа, а также случаи, когда выбор неправильного ответа объясняется невнимательностью сдающего [5]. В исследовании И.Н. Мурадовой по результатам анкетирования преподавателей (53 человека) главным преимуществом тестового контроля является экономия времени – 100%, а недостатками – отсутствие обоснования ответов – 58,5% и элемент случайности – 42,5%. При анкетировании студентов (69 человек) 90% опрошенных отметили преимущество тестового контроля в наличии вариантов ответа, в то же время недостатками метода являются элемент случайности – 40% и некорректность вопросов и ответов – 20% [6].
Решение клинических ситуационных задач, устные ответы (собеседование), сдача практических навыков относятся к субъективным методам оценки знаний. Эти методы помогают оценить практическую подготовку, теоретические знания и уровень клинического мышления выпускников, их способность анализировать и синтезировать учебный и научный материал [7]. Тем не менее, такие факторы, как внешний вид и поведение обучающегося, предшествующий ответ и возникновение споров, несогласий между студентом и преподавателем, могут повлиять на оценку.
По итогам освоения основной профессиональной образовательной программы в ФГБОУ ВО «Уральский государственный медицинский университет» Минздрава РФ проводится государственная итоговая аттестация для определения сформированности у обучающихся основных компетенций, установленных федеральным государственным образовательным стандартом высшего образования (ФГОС ВО), и оценки готовности обучающихся к решению профессиональных задач в соответствии с видами профессиональной деятельности.
ГИА включает в себя три этапа, основанных на различных методах контроля знаний:
1-й этап — междисциплинарное тестирование;
2-й этап — оценка уровня усвоения практических умений и навыков;
3-й этап — собеседование на основе решения междисциплинарных ситуационных задач [8].
Проблема выбора методов оценки знаний студентов волнует многие педагогические умы, в том числе и авторов данного исследования, которые решили провести сравнительный анализ используемых оценочных систем для решения вопроса оптимизации выбора.
Цель исследования – на основании сравнительного анализа различных вариантов субъективной и объективной оценки компетенций выпускников лечебно-профилактического факультета по итогам ГИА в 2023 году предложить оптимальные способы аттестации.
Материалы и методы исследования
Проанализированы результаты трех этапов ГИА студентов 6-го курса лечебно-профилактического факультета.
1-й этап ГИА – междисциплинарное тестирование. Оценочная база включала в себя 4000 вопросов, у всех тестовых заданий четыре варианта ответа, только один из которых правильный. Каждому студенту автоматически формировался вариант из 80 тестовых заданий, максимально допустимое время работы над тестами – 60 минут. Результат формировался автоматически с указанием процента правильных ответов от общего количества тестовых заданий. Студенты, набравшие 91–100%, получали «отлично», 81–90% – «хорошо», 70–80% – «удовлетворительно», 69% и менее – «неудовлетворительно.
2-й этап ГИА – оценка практических навыков «у постели больного» – проводилась на базах ЦГБ № 1, ГКБ № 40, ГКБ № 6 г. Екатеринбурга и включала себя 8 заданий: «сбор жалоб и анамнеза», «физикальное исследование», «предварительный диагноз», «план обследования», «результаты обследования», «клинический диагноз», «план лечения», «неотложная помощь». Каждое задание оценивалось членами государственной экзаменационной комиссии (ГЭК) по 5-балльной шкале. Максимум за этап можно было получить 40 баллов. Студенты, набравшие 37 и более баллов, получали «отлично», 33–36 баллов – «хорошо», 28–32 балла – «удовлетворительно», 27 и менее баллов – «неудовлетворительно».
3-й этап ГИА – собеседование. Общая база включала 252 ситуационные задачи. В каждом варианте содержались две ситуационные задачи. Собеседование оценивалось членами ГЭК по 5-балльной шкале (5 баллов – «отлично», 4 балла – «хорошо», 3 балла – «удовлетворительно», 2 балла – «неудовлетворительно»).
Успеваемость студентов за весь период обучения в вузе было решено принять за эталон для проведения сравнения методов оценки компетенций.
Полученные в результате каждого из этапов ГИА оценки были сопоставлены со средним баллом успеваемости студента за весь период обучения в вузе.
Ввод результатов всех этапов ГИА, первичный анализ данных и построение диаграмм осуществлялись в электронных таблицах Microsoft Office Excel 2019. Статистический анализ проводился в среде IBM SPSS Statistics v.23 (разработчик – IBM Corporation).
Результаты исследования и их обсуждение
Всего допущены к ГИА в 2023 году 339 студентов, успешно выполнивших ученый план.
Успеваемость студентов в период обучения в вузе была определена путем расчета среднего балла за экзаменационные оценки в зачетной книжке. В настоящей выборке средний балл по данным зачетной книжки составил 4,39 балла, медиана 4,41 [4,08; 4,69] балла.
Оценки, полученные студентами за весь период обучения в вузе, включали в себя экзаменационные курсовые отметки за устные экзамены. Однако при формировании курсовых экзаменационных оценок, как правило, учитывался не только ответ на экзамене, но и успеваемость студента по дисциплине, написание контрольных работ и историй болезни, дополнительные баллы за научно-публицистическую и олимпиадную работу. Средний балл по данным зачетной книжки, таким образом, является неким результирующим критерием успеваемости.
Для получения успешного результата тестирования учащиеся имели возможность тренироваться на портале MedSpace неограниченное количество раз с домашнего компьютера или смартфона, вопросы были идентичны тестовым заданиям на итоговом экзамене.
По результатам междисциплинарного тестирования медиана правильных ответов составила 88% [80; 93]. По итогам тестирования оценку «отлично» получили 38,1% студентов (n=129), «хорошо» – 36,0% (n=122), «удовлетворительно» – 17,7% (n=60), «неудовлетворительно» – 8,3% (n=28). Таким образом, при переводе в 5-балльную шкалу средний балл за тестирование составил 4,04, что соответствует оценке «хорошо».
Тестирование является неотъемлемой частью учебного процесса, с его помощью студенты повышают уровень знаний, самостоятельно выявляя ошибки при тренировочных попытках, преподаватели отслеживают динамику успеваемости и корректируют учебный процесс. Все это помогает обеспечить повышение качества образования и уровня развития студентов [9].
Для подготовки ко второму этапу ГИА обучающимся нужно было изучить конспекты к практическим занятиям за последние несколько лет (с упором на клинические дисциплины). На каждом цикле студенты-медики учились собирать анамнез и проводить осмотр пациентов с формированием предварительного диагноза, плана диагностических и лечебных мероприятий. Именно эти навыки нужно было показать членам ГИА.
Оценивание компетенций по каждому из заданий содержало как объективные критерии (анализ конкретной ЭКГ, выполнение физикального обследования, интерпретация имеющихся лабораторных данных), так и субъективные критерии. Коммуникации с пациентом и самим экзаменатором, скорость и характер приятия решений по поводу предварительного и окончательного диагноза, а также индивидуального диагностического и лечебного плана позволили сделать оценку знаний объективной.
По итогам оценки практических навыков медиана составила 35 [32; 38] баллов. На «отлично» данный этап сдали 38,1% студентов (n=129), «хорошо» – 23,9% (n=81), «удовлетворительно» – 35,7% (n=121), «неудовлетворительно» – 2,4% студентов (n=8). При переводе полученных результатов в 5-балльную шкалу средний балл составил 3,98, что соответствует оценке «удовлетворительно».
Результаты выполнения заданий 2 этапа представлены на рисунке 1.
Рис. 1. Результаты проведения 2-го этапа Государственной итоговой аттестации
Наибольшую сложность для студентов составили задание «неотложная помощь», которое не сдали 2,7% студентов (n=9), и задание «план лечения» – 2,7% (n=9).
Для подготовки к 3-му этапу (собеседование) также можно было пользоваться конспектами лекций, практических занятий, методических наработок кафедр, клиническими рекомендациями и приказами. На самом экзамене студенту нужно было продемонстрировать теоретические знания, умение сформулировать и обосновать диагноз, назначить адекватное лечение, разработать план реабилитационных мероприятий, выписать лист нетрудоспособности и ответить на дополнительные вопросы членов комиссии.
По результатам 3-го этапа ГИА за собеседование по ситуационным задачам «отлично» получили 48,4% студентов (n=164), «хорошо» – 33,6% (n=114), «удовлетворительно» – 17,1% (n=58), «неудовлетворительно» – 0,9% (n=3). Таким образом, средний балл по 5-балльной шкале составил 4,29, что соответствует оценке «хорошо».
Решение ситуационных задач стимулирует студентов к поиску научной информации, обсуждению клинических и организационных решений врача, а также научных и правовых оснований для принятия таких решений [10].
Сравнение результирующих оценок итоговой успеваемости и этапов ГИА студентов представлено на рисунке 2.
Рис. 2. Сравнение результирующих оценок итоговой успеваемости и этапов ГИА
Корреляционный анализ показал, что связь между средним баллом зачетной книжки и оценкой за тестирование статистически не значимая (rxy Спирмена = 0,027, p=0,627); связь между средним баллом зачетной книжки и оценкой за практические навыки статистически не значимая (rxy Спирмена = 0,066, p=0,228).
Между средним баллом зачетной книжки и оценкой за собеседование отмечена тенденция к слабой прямой связи (rxy Спирмена = 0,149, p=0,06).
Между результатами за тестирование и практические навыки обнаружена значимая слабая прямая связь (rxy Спирмена = 0,254, p<0,01); между результатами тестирования и собеседования – значимая умеренная прямая связь (rxy Спирмена = 0,349, p<0,01); между оценкой за практические навыки и собеседование – значимая слабая прямая связь (rxy Спирмена = 0,265, p<0,01).
Каждый метод контроля отвечает за разные аспекты системы обучения, и только использование их в комплексе позволяет дать объективную оценку знаний и умений студентов. Таким образом, контроль студентов необходимо проводить систематически на всех этапах обучения и всеми доступными методами оценивания, так как нет одного универсального, который был бы способен оценивать и принимать во внимание все особенности студента. Именно поэтому большинство учебных заведений пользуются комплексным использованием методов оценивания, осваивают и внедряют в образовательный процесс новые программы.
Выводы
1. Среди этапов ГИА студентов результаты очного собеседования по клиническим задачам наиболее приближены к результирующей оценке успеваемости студента за период обучения.
2. Оптимальным способом аттестации студентов остается интеграция тестирования, устного собеседования, решения практических и теоретических ситуационных задач, именно это позволяет получить разноплановую и всеобъемлющую информацию о компетенциях выпускника и объективизировать их оценку.
Библиографическая ссылка
Вишнева Е.М., Гринев А.Г., Попов А.А., Гетманова А.В., Росюк Е.А., Коваль М.В., Никитаева А.П., Шаврина Е.А., Вишнева К.А. МЕТОДЫ ОБЪЕКТИВИЗАЦИИ ИНТЕГРАТИВНОЙ ОЦЕНКИ ЗНАНИЙ ВЫПУСКНИКА МЕДИЦИНСКОГО ВУЗА // Современные проблемы науки и образования. – 2023. – № 6. ;URL: https://science-education.ru/ru/article/view?id=33104 (дата обращения: 09.05.2024).