Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

METHODS OF ASSESSMENT THE LEVEL FORMED COMPETENCIES BASED ON THE MODERNIZED RASCH MODEL

Gusyatnikov V.N. 1 Bezrukov A.I. 1 Kayukova I.V. 1
1 Saratov Social and Economic Institute (branch) of the Plekhanov Russian University of Economic
The paper studies the process of assessing the quality of education in higher education. The concept of educational quality which is considered from the point of view of all interested parties in the form of indicators sets and which structure included the additional indicators connected with an external assessment from employers, graduates and all society. The Rasch model for educational quality assessment is modernized by introduction of the additional parameters characterizing tests non-standard and their practical importance. That allowed using model for forecasting of probability of manifestation of separate components of competence. The author shows aggregate indicators to measure the level of aggregate formed competencies. The results can be used to assess the quality of the educational process in the transition to the new educational standards.
educational process
competence
education quality evaluation
testing
Rasch model

Образовательные процессы, являясь важной составной частью социально-экономических общественных процессов, определяют сегодня успешность развития отдельных стран и регионов в наступивший период экономики знаний. Значимость этих проблем диктует необходимость коренных преобразований в системах образования ведущих стран мира. Одной из ключевых проблем образовательной системы, в том числе и российской, является повышение качества высшего образования [4]. Важным этапом процесса модернизации российской высшей школы стал переход на компетентностный подход к оценке качества образования, который требует изменения существующих методов оценки качества обучения.

В современных образовательных стандартах дается общее определение компетенции, как способности применять знания, умения и практический опыт для успешной деятельности в определенной области. В настоящее время предложено множество содержательных идей, касающихся уточнения самого понятия компетенции и методов ее оценки (например, [1,5,6]). Однако проблема измерения уровня формируемых в процессе обучения компетенций до сих пор не имеет общепризнанного решения ни в нашей стране, ни за рубежом. Это связано с тем, что сама задача измерения компетенции не может быть решена в рамках только педагогической науки. Она является частью более общей задачи оценки качества трудовых ресурсов как фактора, влияющего на процессы социально-экономического развития, и в ее решении должны участвовать и работодатели, и государственные органы управления, и общественные организации, представляющие все общество. Такая неоднородность субъектов, участвующих в оценке качества образования, приводит к несогласованности предлагаемых методик и невозможности их системного применения. Следствием этого является отсутствие математических моделей для описания сложного и многогранного понятия компетенции, а также методологии измерения уровня компетентности студентов.

Целью работы является разработка метода для количественного измерения и прогнозирования уровня компетенций, формируемых в процессе обучения, основанного на модернизированной модели Раша-Бирнбаума.

Наиболее перспективными средствами оценки компетенций в настоящее время представляются технологии тестирования. Примерами могут служить результаты международных исследований PISA, TIMSS, отечественные исследования в рамках проекта ФЭПО [2], а также предложения о введении в вузах итогового государственного экзамена по типу ЕГЭ. В этих исследованиях для измерения уровня компетентности студентов с помощью тестов предлагается использовать многоуровневые тестовые задания, которые проверяют способности обучаемых на различных уровнях, например, репродуктивном, конструктивном и творческом. Задания последних уровней представляются кейсами и ситуационными заданиями, моделирующими реальные жизненные ситуации, выполнение которых предполагает применение системных знаний и комплексных умений, а также самостоятельное конструирование способа решения. Однако разработка и валидация таких тестов является сложной и дорогостоящей задачей. Кроме этого данный подход является своего рода «взглядом педагогов» на проблему измерения уровня компетентности, так как сами тесты разрабатываются, как правило, преподавателями-предметниками. Вместе с тем специалистам практикам хорошо известно, что далеко не всегда, человек, достигший творческого уровня при выполнении тестовых заданий, будет успешным в своей профессиональной деятельности, особенно, если она напрямую не связана с творчеством.

В работе предлагается другой подход к оценке компетенций, позволяющий максимально использовать возможности существующих банков тестовых заданий. Используемая сегодня стандартная тестовая методика оценки качества обучения, основанная на теории педагогических измерений и моделях Раша и Бирнбаума предполагает, что все задания в тесте равномерно распределены по трудности, измеряемой в логитах. Вероятность выполнения j-го задания трудности βj студентом с уровнем подготовки q  в модели Бирнбаума оценивается следующим образом:

где  – вероятность угадывания правильного ответа j-го задания,  – чувствительность j-го задания, функционально связанная с дисперсией результатов выполнения задания (для единичной дисперсии  ).

Эта методика позволяет оценить уровень подготовки по умению решать трудные задачи. Однако компетентность не сводиться к этому умению. Важным качеством может оказаться умение реагировать на нестандартные ситуации, умение видеть кратчайшие пути к достижению цели, системность знаний и т.д.

Для оценки уровня компетенции характеристику трудности задания предложено дополнить характеристиками нестандартности задания и его практической значимости. Для каждой такой характеристики построена своя модель Раша-Бирнбаума, с помощью которой отдельно оценивается умение выполнять задания: трудные, нестандартные и необходимые в профессиональной деятельности. Т.е. по результатам одного теста испытуемый получает три оценки.

Тогда формулы для вероятности правильного ответа i-го испытуемого на некоторое задание, если не учитывать возможность угадывания, примут вид:

; ; ,

где θi1, θi2, θi3 – уровень подготовленности i-го испытуемого к решению трудных, нестандартных и практически значимых задач соответственно; β1, β2, β3 – уровень трудности, нестандартности и практической значимости данного задания соответственно.

По аналогии с таксономией Блума в работе использована 6-ти уровневая шкала для экспертной оценки уровня нестандарности заданий и 4-х уровневая шкала для экспертной оценки практической значимости тестовых заданий. Экспертные оценки пересчитывались в шкалу логитов по стандартной методике.

Ранее, на примере общекультурной компетенции ОК-13 (ФГОС по направлению «Бизнес-информатика») «владение навыками работы с компьютером как средством управления информацией, способность работать с информацией в глобальных компьютерных сетях» и на выборке результатов тестирования по информатике более 200 студентов, нами было показано, что измеренные таким образом характеристики отражают разные аспекты компетенции студентов [3].

С помощью данного подхода по результатам одного тестирования можно количественно и по отдельности оценить возможности каждого испытуемого решать трудные, нестандартные и практически важные задачи. Каждая из рассмотренных характеристик может быть интерпретирована как проекция многомерной величины уровня компетенции на соответствующую ось.

Еще одной характеристикой, связанной с компетентностью обучаемого, которую можно оценить из результатов тестирования, является структура знаний и навыков обучаемого. При этом измеряемой величиной может быть степень отклонения структуры знаний от некоторой, задаваемой априорно «эталонной» структуры, планируемой как результат обучения. Под структурой в данном случае понимается некоторое обобщающее понятие, которое характеризует как процесс обучения «от простого к сложному», так и наличие в структуре знаний определенных разделов и дидактических единиц конкретной дисциплины.

Для анализа результатов тестирования с точки зрения структуры знаний необходимо результаты тестирования записать в матрицу. При этом результаты тестирования, размещенные в матрице, упорядочены по столбцам в порядке возрастания нестандартности и по строкам в порядке возрастания трудности заданий. Можно предположить, что в матрице с эталонной структурой положительные результаты будут расположены слева от побочной диагонали. В данной работе для оценки степени отклонения реальной структуры знаний от эталонной использован один из вариантов многомерной модели Гуттмана, в которой  мера «правильности» структуры знаний рассчитывалась по следующей формуле:

                                            ,

где Kr, Kw – результат задания, попадающего и непопадающего в границы правильного профиля соответственно, βr, βw – уровень сложности задания, попадающего и непопадающего в границы правильного профиля соответственно.

Кроме структуры знаний в процессе тестирования можно контролировать сам процесс решения и время выполнения каждого задания. Наиболее подходят для этой цели тестовые задания с выбором нескольких правильных ответов, а также задания на соответствия и на упорядочивание. Ход формирования ответа можно проиллюстрировать ступенчатым графиком (Рис. 1), показывающим процесс приближения к правильному ответу, где по оси Х отложен номер клика, по оси Y количество правильных шагов, сделанных в процессе формирования ответа. Предположим, что на каком-то шаге выполнения задания испытуемый ошибся и изменил вариант одного из пунктов задания с правильного на неправильный. Соответствующий ход формирования ответа показан на графике (Рис. 1) пунктирной линией. И в первом и во втором варианте задание выполнено правильно и в существующих системах тестирования разница в траекториях формирования ответа не учитывается. Однако наблюдаемое различие может нести информацию о степени профессионализма и уровне компетенции испытуемого. Мерой отклонения траектории ответа от идеальной можно выбрать площадь фигуры, заключенной между графиком идеального и реального ответов. Анализ хода выполнения задания можно проводить, сравнивая траекторию получения испытуемым конечного результата при выполнении задания с эталонной траекторией, которую демонстрируют при выполнении данного задания люди с известным уровнем компетентности.

Рис. 1. График хода выполнения задания

Таким образом, в ходе одного сеанса тестирования можно получить независимые оценки пяти рассмотренных выше характеристик, каждая из которых некоторым образом связана с уровнем компетенции испытуемого. При этом компетенция может рассматриватся как многомерный объект, а каждая характеристика является проекцией этого объекта на некоторую ось. Т.е. по результатам одного теста испытуемый получает пять оценок, из анализа которых производится оценка его компетентности. Каждая из оценок пересчитывается в единую шкалу логитов по стандартной методике.

В качестве примера применения предлагаемого подхода приведем результаты оценки по этим характеристикам и варианты интерпретации результатов тестирования по дисциплине «Информатика». Тесты для этой дисциплины были сформированы в соответствии с требованиями модели Раша. Каждое задание в тесте получило оценку по трем аспектам. Трудность задания определена из статистики решаемости данного задания. Нестандартность и практическая значимость каждого задания оценивалась экспертно.

На рис. 2 в виде лепестковых диаграмм отображены индивидуальные результаты измерения каждой из пяти характеристик для шести различных студентов (графики а, б, в, г, д, е). Пунктирным многоугольником обозначены усредненные результаты теста по всей выборке студентов. Ниже приведены индивидуальные характеристики подготовленности каждого студента, сделанные из анализа представленных на рисунке результатов.

Студент а). Его можно характеризовать как «обученного троечника». Благодаря качественной системе обучения, студент получил (вернее, заучил) систематизированные знания. Однако применить их он не может.

Студент б). Для этого студента характерен недостаток методических навыков. Несмотря на целостную систему знаний и умение нестандартно мыслить студент не может справиться со сложными заданиями из-за недостатка навыков решения задач. Этому студенту требуется обратить большее внимание на практические занятия.

Студент в). Студент обладает систематизированными знаниями и навыками решения стандартных задач, его можно характеризовать, как «теоретика». Однако практические и нестандартные задачи его мало интересуют. Если не исправить положение, такой выпускник будет испытывать трудности, сталкиваясь с реальными задачами в своей практической деятельности.

Студент г). Умение нестандартно мыслить позволяет данному студенту справляться с достаточно трудными заданиями даже при недостатке знаний и навыков. Это креативный студент, который после восполнения пробелов в знаниях и навыках решения задач сможет справиться с достаточно трудными заданиями.

Рис. 2. Характеристики студентов, полученные по результатам тестирования

Студент д). У данного студента при общем, достаточно высоком уровне знаний и навыков, явно выражена мотивация решения практических задач. Требуется повысить мотивацию к получению систематических знаний и навыков, например, объяснив студенту, что без серьезных знаний и умений он не сможет решить все интересующие его задачи.

Студент е). Скорее всего, данный студент привык к самостоятельному освоению учебной программы без участия преподавателя. Даже не имея системных знаний, практически мотивированный и весьма способный студент справляется с трудными учебными заданиями, возможно интуитивно «нащупав» правильную методику их решения. Требуется мотивировать такого студента на получение систематических знаний, которые, несомненно, потребуются ему в практической деятельности.

Приведенные характеристики напрямую связаны с возможностью успешной профессиональной деятельности данных студентов, т.е. с уровнем их компетентности в исследуемой области. Однако для этого требуется провести дальнейшие лонгитюдные исследования профессиональных траекторий выпускников с привлечением методик, разработанных в области психологии [7].

В отличие от традиционных методов педагогический измерений, рассматривающих уровень подготовленности как одномерную величину, предлагаемая в статье модифицированная модель позволяет получить более полную и разностороннюю  оценку компетентности студентов по результатам тестирования. Проведенный анализ показывает, что использование методов тестирования и статистических и математических методов обработки с использованием предлагаемых подходов позволит решить проблему объективной оценки компетентности обучающихся и выпускников  с требуемой точностью и достоверностью. 

Работа поддержана грантом РФФИ 14-06-00339.

Рецензенты:

Землянухин А.И., д.ф.-м.н., профессор, заведующий кафедрой «Прикладная математика и системный анализ» ФГБОУ ВПО «Саратовский государственный технический университет имени Гагарина Ю.А.», г. Саратов.

Шульга Т.Э., д.т.н., доцент, заведующий кафедрой «Прикладная информатика и программная инженерия» ФГБОУ ВПО «Саратовский государственный технический университет имени Гагарина Ю.А.», г. Саратов.