Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,931

INTEGRAL CRITERIA FOR EVALUATING COMPETENCE OF ENGINEERING STUDENTS

Alekseeva L.F. 1 Berestneva O.G. 2 Shevelev G.E. 2
1 Siberian State Medical University, Tomsk
2 National Research Tomsk Polytechnic University, Tomsk
Статья посвящена актуальной проблеме разработки интегральных показателей и критериев оценки компетентности студентов технических университетов. На основе анализа основных типов методов свертывания используемых в моделях квалиметрии, выбраны методы, наиболее подходящие для формирования интегральных показателей и критериев оценки компетентности. Предлагаемые алгоритмы формирования интегральных показателей и критериев оценки компонентов компетентности студентов рассмотрены на основе формализованных критериев в виде факторных моделей. Возможности данного подхода продемонстрированы на примере задачи формирования обобщенных критериев оценки и анализа структуры специальной компетентности выпускников технического вуза, занимающихся преподавательской деятельностью. Показано, что сформированные нами формализованные критерии могут быть успешно использованы в качестве оценок специальной компетентности выпускников технического университета, занимающихся преподавательской деятельностью, а так же при оценке педагогической практики магистрантов и аспирантов.
The article is devoted to the urgent problem of development of integrated indicators and criteria for assessing the competence of students of technical universities. Based on the analysis of the main types of methods used in the coagulation models qualimetry, selected methods that are most suitable for the formation of integrated indicators and criteria for competency assessment. The proposed algorithms for the formation of integrated indicators and criteria for evaluating the components of competence of students considered on the basis of formal criteria in the form factor models. The possibilities of this approach is exemplified by the formation of the generalized problem of evaluation criteria and analysis of the structure of the special competence of graduates of technical high school engaged in teaching activities. It is shown that shaped our formal criteria can be successfully used as a special assessment of competence of graduates of University of Technology, engaged in teaching activities, as well as in evaluating teaching practice and graduate students.
competence
an integral indicator
criteria for evaluating competence
factor model. competence
an integral indicator
criteria for evaluating competence
factor model. competence
an integral indicator
criteria for evaluating competence
factor model. competence
an integral indicator
criteria for evaluating competence
factor model
В настоящее время для оценки состояния объектов или процессов в различных  областях знаний широко используются разного рода интегральные показатели, основное назначение которых дать комплексную оценку вы­бранных характеристик объекта. Такие показатели просты в применении и служат своего ро­да индикаторами, так как их отклонения от некоторых заданных значений свидетельствуют об изменении состояния объекта и предполагают его дальнейший анализ. Чувствительность показателя к изменениям состояния объекта на различных уровнях его иерархической струк­туры напрямую связана с выбором уровня декомпозиции объекта, на основе которого стро­ится интегральный показатель.

Любой интегральный показатель суммирует все локальные показатели в какой-то области (временной, пространственной, ситуационной). Формально это положение можно записать следующим образом.

Пусть множество точек, на которых рассматривается наша оценка, есть Z набор элементов .   

Локальная оценка h, измеряемая на каждом элементе, есть . Если множество Z непрерывно, то интегральная оценка может быть записана в виде интеграла

Локальные  оценки - это любые количественные оценки, которые делаются на основе однократных измерений в одной точке, будь то какой-то момент времени, точка в геометрическом пространстве или точка в пространстве состояний.

 На основе анализа основных типов методов свертывания используемых в моделях квалиметрии, нами были выбраны методы, наиболее подходящие для формирования интегральных показателей и критериев оценки компетентности [4]. Предложенные интегральные оценки можно разделить на четыре вида в соответствии с используемым типом свертки (табл.1).

      Таблица 1.  Интегральные показатели и критерии оценки компетентности

Виды свертки

Виды

интегральных показателей и критериев

Оцениваемые компоненты компетентности и решаемые задачи

Функциональное свертывание

Формализованные критерии в виде факторных моделей

Интегральные показатели для оценки личностных и деловых качеств (предпринимательские способности, педагогические способности и т.п.)

 

Сепарабельное свертывание

Функции соответствия

в виде свертки функций принадлежности

Аддитивная свертка

Обобщенная свертка в виде линейной регрессии

Интеллектуальный

 потенциал

Альтернативное конъюнктивное свертывание: свертка альтернативных бивалентных мер качества {0; 1} в виде конъюнкции предикатов пригодности («пригодно» - 1; «не пригодно» - 0):

 = 1, если
,

  = 0, если

 

Интегральные критерии в виде продукционных моделей

Интегральные критерии профессиональной пригодности для различных специальностей технического университета

Приведенные в табл.1 критерии могут быть использованы для решения прикладных задач, связанных с оценкой компетентности студентов (например, формирование рейтинга), так и входить в состав решающих правил для диагностики компетентности.

В данной статье предлагаемые алгоритмы формирования интегральных показателей и критериев оценки компонентов компетентности студентов рассмотрены на основе формализованных критериев в виде факторных моделей.

 Использование факторных моделей для формирования интегральных критериев оценки личностных качеств было предложено еще С. А. Айвазяном [1]. Данный подход был использован для формирования интегральных критериев оценки различных видов компетентности (компонентов компетентностной модели) [4].

Широкий интерес к приложению методов факторного анализа связан с тем, что эти методы позволяют решать задачу построения той или иной схемы классификации, т.е. компактного содержательного описания исследуемого явления, на основе обработки больших информационных массивов.

Основная модель факторного анализа записывается следующей системой равенств [5]:

   (1)

То есть полагается, что значения каждого признака  могут быть выражены суммой простых факторов , количество которых меньше числа исходных признаков, и остаточным членом  с дисперсией , действующей только на x i, который называют специфическим фактором.

Коэффициенты  называются нагрузкой i-й переменной на j-й фактор или нагрузкой j-го фактора на i-ю переменную. Максимально возможное количество факторов m при заданном числе признаков p определяется неравенством , которое должно выполняться, чтобы задача не вырождалась в тривиальную. Данное неравенство получается на основании подсчета степеней свободы, имеющихся в задаче [5].

Задачу факторного анализа нельзя решить однозначно. Равенство (1) не поддается непосредственной проверке, так как p исходных признаков задается через (p+m) других переменных - простых и специфических факторов. Поэтому представление корреляционной матрицы факторами можно произвести бесконечно большим числом способов. Если удалось произвести факторизацию корреляционной матрицы с помощью некоторой матрицы факторных нагрузок F, то любое линейное ортогональное преобразование F (ортогональное вращение) приведет к такой же факторизации. Ортогональное вращение факторов осуществлялось методом варимакс, поскольку этот метод позволяет упростить интерпретацию факторов.

Полученные факторы представляют собой линейные функции вида:

  (2)

i = 1... m;   j = 1,2 ... p

где

m - количество факторов;

p - количество переменных;

fij - нагрузка i-го фактора на j-ую переменную;

xj - переменные.

Функцию вида (2) будем использовать в качестве формализованного критерия для оценки компонентов компетентности. Такой подход наиболее эффективен в случае, когда исследуемый компонент характеризуется неким выходным качеством Y, которое априори обуславливается (не обязательно однозначно) набором поддающихся учету и измерению «входных параметров» х1, х2 ,..., хр. Так, например, уровень педагогического мастерства Y характеризуется признаками х1, х2 ,..., хр, которые можно «измерить» по результатам анкетирования студентов.

Рассмотрим возможности данного подхода на примере задачи формирования обобщенных критериев оценки и анализа структуры специальной компетентности выпускников технического вуза, занимающихся преподавательской деятельностью.

Сфера профессиональной деятельности выпускников технических вузов достаточно разнообразна, в том числе часть из них выбирает преподавательскую деятельность (в основном, связанную с преподаванием специальных дисциплин). Рассмотрим оценку и анализ предметно-деятельностной (специальной) компетентности этой категории выпускников (включая магистрантов и аспирантов).

В проведенном исследовании в роли экспертов выступали студенты Института кибернетики Томского политехнического университета. Экспертные оценки представляли собой ответы на анкету «Преподаватель глазами студента» [6]. Для анализа и обработки результатов анкетирования были использованы экспертно-статистические алгоритмы [2]. Студенты оценивали деятельность преподавателей, обеспечивающих учебные дисциплины, связанные с будущей специальностью. Всего было оценено 29 преподавателей по 18 профессионально значимым качествам. В соответствии с используемой методикой оценка проводилась по 9-ти балльной шкале.

Коэффициент конкордации W для исходной группы экспертов составил W=0.437. В результате работы алгоритма выявления «еретиков» из группы было удалено 7 еретиков. Коэффициент конкордации «улучшился» и составил W = 0.719.

В табл. 2 продемонстрирован результат работы алгоритма удаления экспертных оценок «еретиков» для всех 18 оцениваемых показателей.

Таблица 2.  Результат работы алгоритма по выявлению экспертов-«еретиков»

Оцениваемое качество

До исключения «еретиков»

Коли-чество «ерети-ков»

После исключения «еретиков»

Медиана

W0

 

Meдиана

W1

1.Излагают материал ясно, доступно

6

0.437

7

6.5

0.719

2. Разъясняет сложные места

5.5

0.596

3

6

0.620

3. Выделяет главные моменты

5.5

0.611

4

6

0.798

4.Умеет вызвать и поддержать интерес аудитории к предмету

5

0.394

4

5

0.410

5. Следит за реакцией аудитории

5

0.568

6

5.5

0.662

6. Задает вопросы, побуждает к дискуссии

5.5

0.626

1

5.5

0.649

7. Соблюдает логику в изложении

6.5

0.579

1

6.5

0.597

8. Демонстрирует культуру речи, четкость дикции, нормальный темп изложения

6

0.713

1

6

0.719

9. Умеет снять напряжение и усталость аудитории

5

0.632

3

5

0.743

10. Ориентирует на использование изученного материала в будущей деятельности

4.5

0.650

10

5

0.768

11. Творческий подход и интерес к своему делу

6

0.500

5

6.5

0.542

12. Доброжелательность и такт по отношению к студенту

5

0.654

5

6

0.792

13. Терпение

6.5

0.354

6

7

0.425

14. Требовательность

6

0.587

5

7

0.663

15. Заинтересованность в успехах студентов

4.5

0.493

8

6

0.589

16. Объективность в оценке знаний

6

0.608

7

6.5

0.754

17. Уважительное отношение к студентам

6

0.564

8

7

0.654

18. Располагает к себе высокой эрудицией, манерой поведения, внешним видом

6

0.654

8

7

0.754

На основе анализа результатов факторного анализа  имеющихся 18 показателей было выделено 3 фактора [3].

Фактор 1. Педагогическое мастерство. Глубина знания предмета, стремление вызвать к нему интерес; заинтересованность в успехах студентов; четкость и ясность изложения материала; грамотность речи; четкость дикции; доступность, коммуникабельность (контакт с аудиторией); умение снять напряжение и усталость аудитории; побуждает к дискуссии; способность решать противоречия между формальным и личным подходами в обучении.

Фактор 2. Личностные качества. Доброжелательность, тактичность, уважительное отношение к студентам; умение выслушать и понять студента; заинтересованность в успехах студентов, объективность в оценке знаний; широта эрудиции; располагает к себе внешним видом, манерой поведения; ровность характера.

Фактор 3. Профессиональная компетентность. Глубокие необходимые знания по предмету; передает студентам знания по отработанной технологии, соответствующей его личности; ориентирует на использование изученного материала в будущей профессиональной деятельности, творческий подход и интерес к своему делу.

Таким образом, полученные факторы могут быть использованы в качестве формализованных критериев для оценки компетентности преподавателей:

критерий YПедМ - для оценки педагогического мастерства преподавателя:

YПедМ = 0,87х1 + 0,87х2 +0,92х3 +0,83х4 + 0,88х5 + 0,78х6 + 0,89х7 + 0,68х8 + 0,79х14;

критерий YЛичK для оценки личностных качеств преподавателя:

 YЛичК = 0,93х9 + 0,73х12 + 0,60х13 +0,54х18;

критерий YПрофК - для оценки профессиональной компетентности преподавателя:

 YПрофК = 0,86х10 + 0,51х11.

В табл. 3 приведены результаты экспериментальной проверки эффективности разработанных формализованных критериев. В столбцах слева - количественные показатели формализованных критериев для каждого преподавателя, в столбцах справа - обобщенная экспертная оценка указанных качеств. Значение коэффициента корреляции Спирмена, приведенное в нижней строке табл. 3, указывает на высокую  (p<0.01) взаимосвязь оценок, полученных на основе разработанных формализованных критериев и с помощью обобщенных экспертных оценок, что свидетельствует об эффективности предложенного нами алгоритма.

Таблица 3. Определение взаимосвязи разработанных формализованных критериев с результатами экспертного оценивания

Преподаватель

Педагогическое мастерство

Личностные качества

Профессиональная компетентность

YПед_М

Ранг

Обобщенная экспертная оценка (ранг)

YЛич_К

Ранг

Обобщенная экспертная оценка (ранг)

YПроф_К

Ранг

Обобщенная экспертная оценка (ранг)

1

P1

49.93

18

15

15.62

18

21

13.45

7

5

2

P2

56.69

13

14

17.12

9

6

12.25

11

21

3

P3

45.25

21

20

18.45

2

4

10.05

21

11

4

P4

63.47

10

13

17.25

6

1

14.05

2

9

5

P5

57.45

11

16

15.62

14

18

13.25

8

10

6

P6

63.54

9

21

15.62

14

17

12.25

11

19

7

P7

72.25

2

1

14.58

20

13

13.45

6

2

8

P8

56.63

15

12

18.05

4

5

12.25

11

3

 

...

...

...

...

...

...

...

...

...

...

20

P10

56.69

13

4

18.05

4

2

14.25

1

8

21

P11

75.25

1

6

15.62

14

19

14.05

2

7

22

P12

45.65

19

17

16.58

10

12

12.25

11

14

23

P13

65.21

8

2

14.58

20

11

14

5

1

24

P14

68.56

3

5

16.58

10

16

12.25

11

13

25

P15

45.51

20

18

16.35

13

15

13.05

10

15

26

P16

68.56

3

7

15.45

19

14

14.05

2

4

27

P17

65.32

7

3

15.62

14

10

12.05

18

20

28

P18

65.54

5

8

19.5

1

8

11.25

19

17

Коэфф.корр Спирмена

R=0.73

R=0.61

R=0.58

Таким образом, сформированные нами формализованные критерии могут быть успешно использованы в качестве оценок специальной компетентности выпускников технического университета, занимающихся преподавательской деятельностью, а также при оценке педагогической практики магистрантов и аспирантов.

Рецензенты:

  • Иванкина Любовь Ивановна, д.ф.н., профессор кафедры социологии, психологии и права, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск.
  • Коваль Тамара Васильевна, д.ф.-м.н., профессор кафедры прикладной математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск.