Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

TEST TECHNIQUES USAGE FOR QUALITY ESTIMATION OF SPECIALISTS QUALI-FICATION

Lyapustina L.V. 1 Zharnikova T.V. 1 Evchenko Yu.M. 1 Shvetsova N.M. 1 Berdnikova T.V. 1 Degtyareva L.V. 1 Mikhaylova M.E. 1 Pisarenko S.V. 1 Kovalev D.A. 1
1 FGHI Stavropol Antiplague Institute of Rospotrebnadsor
Approaches to optimization of training of participants in professional retraining course offered at training of specialists of a bacteriological and epidemiological profile on especially dangerous infections, including imple-mentation of achievement control method in knowledge and skills, performing with the help of test techniques at the stage of listeners basic level estimation, during the training and at the final stage, are proposed. For assessing the quality of students´ knowledge test program designedfor knowledge evaluation "VuzTest" was used." For more objective internal audit of quality of acquired knowledge statistical processing of test results "difference method" is recommended. It most accurately reflects the dynamics of changes in quantitative (qualitative) indica-tors for a group of objects (subjects), which allows you to make a final assessment of the quality of students´ knowledge on specific sections curriculum. The developed system is the automated monitoring of educational pro-cess quality on the basis of computer-based testing allows to perform the process in a closed cycle: Planning - Training - Control - Analysis - Correction.
test techniques.
achievement control
upgrading
postgraduate vocational retraining

Введение

В настоящее время в Российской Федерации происходят существенные изменения в национальной политике образования. Это связано с переходом на позиции личностно-ориентированной педагогики. Решение этих задач невозможно без осуществления вариативности образовательных процессов как в рамках общего, профессионального, так и дополнительного образований.

Одним из путей совершенствования дополнительного профессионального образования считается повышение качества образовательных услуг, что объясняется объективным повышением требований, предъявляемых к профессиональным навыкам специалистов, их образованности [1].

В современных педагогических исследованиях большое внимание уделяется средствам и методам повышения качества образования. В этой связи пересматриваются все основные компоненты педагогического процесса, анализируется их потенциал, создаются новые технологии обучения, основным принципом проектирования которых является соответствие критериям качества.

Средством получения информации об эффективности и качестве профессионального образования является педагогический контроль. В последнее десятилетие в нашем государстве одновременно с существующей традиционной системой оценки результатов обучения начала складываться новая эффективная форма педагогического контроля, основанная на использовании компьютерных тестовых технологий, которая по сравнению с другими формами контроля знаний обеспечивает объективность результатов путем создания равных условий, как в процессе контроля, так и в процессе оценки [3], достоверность информации об объеме и уровне усвоения материала, возможность одновременного тестирования большого количества слушателей и т.д.

Экономическая эффективность данной технологии обусловлена разовым характером основных затрат на разработку качественного инструментария и снижением затрат на проведение тестирования по сравнению с письменным или устным контролями [4, 6]. К недостаткам тестирования следует отнести длительность и трудоемкость процесса, связанного с разработкой качественного тестового инструментария, отсутствие единых регламентированных нормативных требований [6].

Целью настоящего исследования явились оптимизация и повышение качества процесса обучения на курсах профессиональной переподготовки и повышения квалификации по образовательным программам, реализуемым в ФКУЗ Ставропольский противочумный институт Роспотребнадзора на основании внедрения методики непрерывного контроля обученности слушателей с использованием тестовых технологий.

Материалы и методы исследования

Источником информации служили данные тестирования различных категорий слушателей с помощью разработанной тестирующей программы оценки знаний «ВузТест» (свидетельство о регистрации № 2007613996).

При выполнении работы применяли анализ исследований по теории педагогических измерений и тестологии; изучение и обобщение передового опыта тестовых технологий контроля; анализ образовательных программ и государственных требований к уровню подготовки; наблюдение и анализ педагогической деятельности преподавателей и самостоятельной учебной деятельности слушателей, анкетирование, тестирование и экспертные оценки.

Полученные данные обрабатывались с использованием статистических методов [5].

Результаты исследования и их обсуждение

За последнее десятилетие совершенствование дополнительного профессионального образования в ФКУЗ Ставропольский противочумный институт Роспотребнадзора осуществлялось поэтапно в соответствии с принципами инновационной педагогики, реализуемыми путем повышения качества образовательных услуг за счет:

  • экспертизы и подготовки новых редакций образовательных программ;
  • разработки адекватной вопросной базы для используемой тестирующей компьютерной программы «ВузТест»;
  • внедрения системы внутреннего аудита качества знаний слушателей.

Технология контроля учебного процесса предусматривала создание единого инструментария тестирования, обработки и представления результатов. Основные принципы создания теста как инструмента измерения включали в себя: определение цели тестирования и отбор материала для теста; выбор подхода к процессу разработки, создание плана теста и его спецификацию; разработку тестовых заданий и выполнение их экспертного анализа; проведение пробного тестирования и анализ его результатов; выбор критериев оценки качества теста; проведение оценки качества теста в соответствии с выбранными критериями; анализ результатов оценки качества теста и корректировка заданий тестов.

По основным разделам программ дополнительного профессионального образования, реализуемым в институте, были созданы десять тестовых вопросных баз данных, каждая из которых отличалась универсальностью и могла применяться при организации мониторинговых исследований качества результатов образовательного процесса по различным образовательным программам, позволяя осуществлять как простое тестирование по отдельным темам, так и комплексную оценку качества знаний, полученных по всему учебному курсу с проведением соответствующего анализа.

Разработанные и апробированные тесты образовывали соответствующий банк тестовых модулей, который в последующем был использован для проведения внешних и внутренних аудитов качества знаний слушателей. При этом формирование тестовых моделей осуществлялось методом случайной компьютерной выборки по заданным разделам соответствующих программ.

При внедрении системы внутреннего аудита качества знаний слушателей курсов по программам дополнительного профессионального образования с использованием методики компьютерного тестирования были использованы два подхода. Для слушателей курсов по программам повышения квалификации оценивали их базовый уровень знаний и проводили итоговое тестирование. Проведение первого тестирования позволяло составить представление о начальной подготовке специалистов и осуществлять корректировку представления отдельных разделов программ обучения. Для слушателей курсов профессиональной переподготовки оценку качества знаний осуществляли как минимум в форме трех тестирований: первое (базовое), второе (текущее) – в ходе изучения одного из разделов программы, третье (контрольное) – по завершению раздела образовательной программы. При проведении текущего тестирования предлагалось максимальное количество вопросов по изученному разделу образовательной программы.

В результате тестирований формировалась средняя оценка в группе, по которой преподаватель мог определить степень усвоения предложенного учебного материала одним среднестатистическим слушателем. Анализ полученных неудовлетворительных результатов давал возможность проводить корректировку учебного плана за счет дополнительного увеличения объема практической или теоретической частей раздела, кроме этого применялся принцип акцентирования преподавателями тех разделов учебного плана, которые вызывали затруднение в понимании и усвоении слушателями.

Контрольное тестирование, которое проводилось по завершению раздела образовательной программы, позволяло оценить эффективность мероприятий по повышению качества усвоения и формирования объема знаний слушателями.

Как было показано, о качестве знаний в группе можно судить по сравнительному анализу индивидуальных оценок результатов текущего и контрольного тестирований. Увеличение количества положительных оценок (выше 3 баллов) свидетельствовало о повышении качества знаний в группе. Сравнив результаты текущего и контрольного тестирований, преподаватель оценивал качество полученных знаний слушателями по разнице баллов как индивидуально для каждого слушателя, так и по среднему баллу в группе.

Для более объективного внутреннего аудита качества полученных знаний рекомендуется проводить статистическую обработку результатов тестирований «разностным методом» [5], который наиболее точно отражает динамику изменений количественных (качественных) показателей для одной группы объектов (субъектов), что и позволяет сделать окончательную оценку качества знаний слушателей по конкретным разделам учебного плана.

В общем виде система организации учебного процесса с использованием электронных тестовых баз представлена на рисунке 1.

Рисунок 1 – Система организации учебного процесса с использованием тестовых методик

Оперативный комплексный анализ результатов более 2400 тестирований по основным разделам образовательных программ, реализуемым на базе ФКУЗ Ставропольский противочумный институт Роспотребнадзора, позволил по принципу обратной связи оценить адекватность учебных планов и осуществить корректировку процесса обучения в зависимости от базового уровня подготовки слушателей и качества усвоения предлагаемого объема теоретического материала и формирования практических навыков.

Надлежащее управление любым процессом требует получения оперативной информации о состоянии и результатах этого процесса. Рассматривая образование как сложное системное действие предоставления образовательных услуг, возникает необходимость в создании и применении технологий измерений и оперативного контроля его результатов. При этом одним из аспектов успешной реализации этого процесса является мониторинг качества подготовки кадров, который осуществляется в рамках созданной и функционирующей в институте системы менеджмента качества (СМК).

ФКУЗ Ставропольский противочумный институт Роспотребнадзора с 2009 года аттестован на соответствие требованиям ГОСТ Р ИСО 9001-2008 (ИСО 9001:2008) системы менеджмента качества, в том числе применительно к деятельности в области послевузовского и дополнительного образования.

В рамках реализации СМК в области дополнительного профессионального образования разработан и применяется на практике системный мониторинг процесса обучения и оценка его качества на основе автоматизированной диагностики качества знаний с использованием тестовых компьютерных технологий.

Для осуществления данного подхода внесены положения, касающиеся обеспечения данного процесса в области образовательной деятельности в разработанный в институте пакет документов по менеджменту качества.

Внедрение СМК, основанной на автоматизированном способе диагностики качества знаний, позволяет организовать процесс обучения по замкнутой схеме с возможностью оперативных, своевременно корректирующих действий непосредственно на стадиях учебного процесса, а не по конечным результатам традиционных экзаменов или зачётов.

Этот цикл известен в менеджменте качества как цикл Деминга или Шухарда [2], который включает циклически повторяющийся процесс принятия решения, основанный на четырех основных подходах и используемый в управлении качеством: планирование – действие – проверка – корректировка.

Оценить качество знаний, полученных слушателями в процессе обучения, возможно только в динамике. При этом нами была использована технология обратной связи (рисунок 2), которая позволяет по итогам оценки качества знаний как на уровне входного контроля, текущего аудита процесса обучения, так и заключительного итогового тестирования корректировать сам учебный процесс, его интенсивность, акцентуацию отдельных тем и направлений и т.д.

Рисунок 2 – Схема формирования обратных связей в ходе образовательного процесса

Таким образом, разработанная система автоматизированного мониторинга качества образовательного процесса на основе компьютерного тестирования позволила осуществлять процесс по замкнутому циклу: планирование – обучение – контроль – анализ – корректировка. При этом в отличие от известных систем мониторинга, предлагаемая система обеспечивала комплексный оперативный подход, охватывающий весь цикл обучения слушателей по программам дополнительного профессионального образования, включая входную диагностику, внутренний аудит полученных знаний, внешнюю (административную) оценку качества подготовки слушателей и итоговый контроль.

Рецензенты:

Жарникова И.В., д.б.н., ведущий научный сотрудник Федерального казенного учреждения здравоохранения «Ставропольский научно-исследовательский противочумный институт» Федеральной службы по надзору в сфере защиты прав потребителей и благополучия человека, г.Ставрополь.

Ефременко В.И., д.м.н., профессор, главный научный сотрудник Федерального казенного учреждения здравоохранения «Ставропольский научно-исследовательский противочумный институт» Федеральной службы по надзору в сфере защиты прав потребителей и благополучия человека, г.Ставрополь.