Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

ИНТЕГРАЛЬНЫЕ КРИТЕРИИ ОЦЕНКИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ ТЕХНИЧЕСКИХ УНИВЕРСИТЕТОВ

Алексеева Л.Ф. 1 Берестнева О.Г. 2 Шевелев Г.Е. 2
1 ГБОУ ВПО «Сибирский государственный медицинский университет», Томск
2 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», Томск
Статья посвящена актуальной проблеме разработки интегральных показателей и критериев оценки компетентности студентов технических университетов. На основе анализа основных типов методов свертывания используемых в моделях квалиметрии, выбраны методы, наиболее подходящие для формирования интегральных показателей и критериев оценки компетентности. Предлагаемые алгоритмы формирования интегральных показателей и критериев оценки компонентов компетентности студентов рассмотрены на основе формализованных критериев в виде факторных моделей. Возможности данного подхода продемонстрированы на примере задачи формирования обобщенных критериев оценки и анализа структуры специальной компетентности выпускников технического вуза, занимающихся преподавательской деятельностью. Показано, что сформированные нами формализованные критерии могут быть успешно использованы в качестве оценок специальной компетентности выпускников технического университета, занимающихся преподавательской деятельностью, а так же при оценке педагогической практики магистрантов и аспирантов.
компетентность
интегральный показатель
критерии оценки компетентности
факторная модель
1. Айвазян С. А., Бежаев З. И., Староверов О. В. Классификация многомерных наблюдений. - М.: Статистика, 1974. - 240 с.
2. Берестнева О. Г., Марухина О. В., Шевелев Г. Е. Использование результатов экспертного оценивания для измерения компетентности студентов и выпускников технических университетов // Известия ТПУ. - 2009. - Т. 315. - № 5. - С. 199-203.
3. Берестнева О. Г., Муратова Е. А. Компьютерный анализ данных. - Томск: Изд-во Томского государственного педагогического университета, 2010. - 304 с.
4. Вопросы образования: Инвариантный подход. Компетентностный подход / Резник Н. И, Берестнева О. Г., Алексеева Л. Ф., Шевелев Г. Е. - Томск: Изд-во Томского политехнического университета, 2009. - 469 с.
5. Дюк В., Самойленко А. DataMining: учебный курс. - СПб: Питер, 2001.- 368 с.
6. Ковалёва В. Студент и преподаватель глазами друг друга // Высшее образование в России. - 1996. - № 3. - С. 51-54.
В настоящее время для оценки состояния объектов или процессов в различных  областях знаний широко используются разного рода интегральные показатели, основное назначение которых дать комплексную оценку вы­бранных характеристик объекта. Такие показатели просты в применении и служат своего ро­да индикаторами, так как их отклонения от некоторых заданных значений свидетельствуют об изменении состояния объекта и предполагают его дальнейший анализ. Чувствительность показателя к изменениям состояния объекта на различных уровнях его иерархической струк­туры напрямую связана с выбором уровня декомпозиции объекта, на основе которого стро­ится интегральный показатель.

Любой интегральный показатель суммирует все локальные показатели в какой-то области (временной, пространственной, ситуационной). Формально это положение можно записать следующим образом.

Пусть множество точек, на которых рассматривается наша оценка, есть Z набор элементов .   

Локальная оценка h, измеряемая на каждом элементе, есть . Если множество Z непрерывно, то интегральная оценка может быть записана в виде интеграла

Локальные  оценки - это любые количественные оценки, которые делаются на основе однократных измерений в одной точке, будь то какой-то момент времени, точка в геометрическом пространстве или точка в пространстве состояний.

 На основе анализа основных типов методов свертывания используемых в моделях квалиметрии, нами были выбраны методы, наиболее подходящие для формирования интегральных показателей и критериев оценки компетентности [4]. Предложенные интегральные оценки можно разделить на четыре вида в соответствии с используемым типом свертки (табл.1).

      Таблица 1.  Интегральные показатели и критерии оценки компетентности

Виды свертки

Виды

интегральных показателей и критериев

Оцениваемые компоненты компетентности и решаемые задачи

Функциональное свертывание

Формализованные критерии в виде факторных моделей

Интегральные показатели для оценки личностных и деловых качеств (предпринимательские способности, педагогические способности и т.п.)

 

Сепарабельное свертывание

Функции соответствия

в виде свертки функций принадлежности

Аддитивная свертка

Обобщенная свертка в виде линейной регрессии

Интеллектуальный

 потенциал

Альтернативное конъюнктивное свертывание: свертка альтернативных бивалентных мер качества {0; 1} в виде конъюнкции предикатов пригодности («пригодно» - 1; «не пригодно» - 0):

 = 1, если
,

  = 0, если

 

Интегральные критерии в виде продукционных моделей

Интегральные критерии профессиональной пригодности для различных специальностей технического университета

Приведенные в табл.1 критерии могут быть использованы для решения прикладных задач, связанных с оценкой компетентности студентов (например, формирование рейтинга), так и входить в состав решающих правил для диагностики компетентности.

В данной статье предлагаемые алгоритмы формирования интегральных показателей и критериев оценки компонентов компетентности студентов рассмотрены на основе формализованных критериев в виде факторных моделей.

 Использование факторных моделей для формирования интегральных критериев оценки личностных качеств было предложено еще С. А. Айвазяном [1]. Данный подход был использован для формирования интегральных критериев оценки различных видов компетентности (компонентов компетентностной модели) [4].

Широкий интерес к приложению методов факторного анализа связан с тем, что эти методы позволяют решать задачу построения той или иной схемы классификации, т.е. компактного содержательного описания исследуемого явления, на основе обработки больших информационных массивов.

Основная модель факторного анализа записывается следующей системой равенств [5]:

   (1)

То есть полагается, что значения каждого признака  могут быть выражены суммой простых факторов , количество которых меньше числа исходных признаков, и остаточным членом  с дисперсией , действующей только на x i, который называют специфическим фактором.

Коэффициенты  называются нагрузкой i-й переменной на j-й фактор или нагрузкой j-го фактора на i-ю переменную. Максимально возможное количество факторов m при заданном числе признаков p определяется неравенством , которое должно выполняться, чтобы задача не вырождалась в тривиальную. Данное неравенство получается на основании подсчета степеней свободы, имеющихся в задаче [5].

Задачу факторного анализа нельзя решить однозначно. Равенство (1) не поддается непосредственной проверке, так как p исходных признаков задается через (p+m) других переменных - простых и специфических факторов. Поэтому представление корреляционной матрицы факторами можно произвести бесконечно большим числом способов. Если удалось произвести факторизацию корреляционной матрицы с помощью некоторой матрицы факторных нагрузок F, то любое линейное ортогональное преобразование F (ортогональное вращение) приведет к такой же факторизации. Ортогональное вращение факторов осуществлялось методом варимакс, поскольку этот метод позволяет упростить интерпретацию факторов.

Полученные факторы представляют собой линейные функции вида:

  (2)

i = 1... m;   j = 1,2 ... p

где

m - количество факторов;

p - количество переменных;

fij - нагрузка i-го фактора на j-ую переменную;

xj - переменные.

Функцию вида (2) будем использовать в качестве формализованного критерия для оценки компонентов компетентности. Такой подход наиболее эффективен в случае, когда исследуемый компонент характеризуется неким выходным качеством Y, которое априори обуславливается (не обязательно однозначно) набором поддающихся учету и измерению «входных параметров» х1, х2 ,..., хр. Так, например, уровень педагогического мастерства Y характеризуется признаками х1, х2 ,..., хр, которые можно «измерить» по результатам анкетирования студентов.

Рассмотрим возможности данного подхода на примере задачи формирования обобщенных критериев оценки и анализа структуры специальной компетентности выпускников технического вуза, занимающихся преподавательской деятельностью.

Сфера профессиональной деятельности выпускников технических вузов достаточно разнообразна, в том числе часть из них выбирает преподавательскую деятельность (в основном, связанную с преподаванием специальных дисциплин). Рассмотрим оценку и анализ предметно-деятельностной (специальной) компетентности этой категории выпускников (включая магистрантов и аспирантов).

В проведенном исследовании в роли экспертов выступали студенты Института кибернетики Томского политехнического университета. Экспертные оценки представляли собой ответы на анкету «Преподаватель глазами студента» [6]. Для анализа и обработки результатов анкетирования были использованы экспертно-статистические алгоритмы [2]. Студенты оценивали деятельность преподавателей, обеспечивающих учебные дисциплины, связанные с будущей специальностью. Всего было оценено 29 преподавателей по 18 профессионально значимым качествам. В соответствии с используемой методикой оценка проводилась по 9-ти балльной шкале.

Коэффициент конкордации W для исходной группы экспертов составил W=0.437. В результате работы алгоритма выявления «еретиков» из группы было удалено 7 еретиков. Коэффициент конкордации «улучшился» и составил W = 0.719.

В табл. 2 продемонстрирован результат работы алгоритма удаления экспертных оценок «еретиков» для всех 18 оцениваемых показателей.

Таблица 2.  Результат работы алгоритма по выявлению экспертов-«еретиков»

Оцениваемое качество

До исключения «еретиков»

Коли-чество «ерети-ков»

После исключения «еретиков»

Медиана

W0

 

Meдиана

W1

1.Излагают материал ясно, доступно

6

0.437

7

6.5

0.719

2. Разъясняет сложные места

5.5

0.596

3

6

0.620

3. Выделяет главные моменты

5.5

0.611

4

6

0.798

4.Умеет вызвать и поддержать интерес аудитории к предмету

5

0.394

4

5

0.410

5. Следит за реакцией аудитории

5

0.568

6

5.5

0.662

6. Задает вопросы, побуждает к дискуссии

5.5

0.626

1

5.5

0.649

7. Соблюдает логику в изложении

6.5

0.579

1

6.5

0.597

8. Демонстрирует культуру речи, четкость дикции, нормальный темп изложения

6

0.713

1

6

0.719

9. Умеет снять напряжение и усталость аудитории

5

0.632

3

5

0.743

10. Ориентирует на использование изученного материала в будущей деятельности

4.5

0.650

10

5

0.768

11. Творческий подход и интерес к своему делу

6

0.500

5

6.5

0.542

12. Доброжелательность и такт по отношению к студенту

5

0.654

5

6

0.792

13. Терпение

6.5

0.354

6

7

0.425

14. Требовательность

6

0.587

5

7

0.663

15. Заинтересованность в успехах студентов

4.5

0.493

8

6

0.589

16. Объективность в оценке знаний

6

0.608

7

6.5

0.754

17. Уважительное отношение к студентам

6

0.564

8

7

0.654

18. Располагает к себе высокой эрудицией, манерой поведения, внешним видом

6

0.654

8

7

0.754

На основе анализа результатов факторного анализа  имеющихся 18 показателей было выделено 3 фактора [3].

Фактор 1. Педагогическое мастерство. Глубина знания предмета, стремление вызвать к нему интерес; заинтересованность в успехах студентов; четкость и ясность изложения материала; грамотность речи; четкость дикции; доступность, коммуникабельность (контакт с аудиторией); умение снять напряжение и усталость аудитории; побуждает к дискуссии; способность решать противоречия между формальным и личным подходами в обучении.

Фактор 2. Личностные качества. Доброжелательность, тактичность, уважительное отношение к студентам; умение выслушать и понять студента; заинтересованность в успехах студентов, объективность в оценке знаний; широта эрудиции; располагает к себе внешним видом, манерой поведения; ровность характера.

Фактор 3. Профессиональная компетентность. Глубокие необходимые знания по предмету; передает студентам знания по отработанной технологии, соответствующей его личности; ориентирует на использование изученного материала в будущей профессиональной деятельности, творческий подход и интерес к своему делу.

Таким образом, полученные факторы могут быть использованы в качестве формализованных критериев для оценки компетентности преподавателей:

критерий YПедМ - для оценки педагогического мастерства преподавателя:

YПедМ = 0,87х1 + 0,87х2 +0,92х3 +0,83х4 + 0,88х5 + 0,78х6 + 0,89х7 + 0,68х8 + 0,79х14;

критерий YЛичK для оценки личностных качеств преподавателя:

 YЛичК = 0,93х9 + 0,73х12 + 0,60х13 +0,54х18;

критерий YПрофК - для оценки профессиональной компетентности преподавателя:

 YПрофК = 0,86х10 + 0,51х11.

В табл. 3 приведены результаты экспериментальной проверки эффективности разработанных формализованных критериев. В столбцах слева - количественные показатели формализованных критериев для каждого преподавателя, в столбцах справа - обобщенная экспертная оценка указанных качеств. Значение коэффициента корреляции Спирмена, приведенное в нижней строке табл. 3, указывает на высокую  (p<0.01) взаимосвязь оценок, полученных на основе разработанных формализованных критериев и с помощью обобщенных экспертных оценок, что свидетельствует об эффективности предложенного нами алгоритма.

Таблица 3. Определение взаимосвязи разработанных формализованных критериев с результатами экспертного оценивания

Преподаватель

Педагогическое мастерство

Личностные качества

Профессиональная компетентность

YПед_М

Ранг

Обобщенная экспертная оценка (ранг)

YЛич_К

Ранг

Обобщенная экспертная оценка (ранг)

YПроф_К

Ранг

Обобщенная экспертная оценка (ранг)

1

P1

49.93

18

15

15.62

18

21

13.45

7

5

2

P2

56.69

13

14

17.12

9

6

12.25

11

21

3

P3

45.25

21

20

18.45

2

4

10.05

21

11

4

P4

63.47

10

13

17.25

6

1

14.05

2

9

5

P5

57.45

11

16

15.62

14

18

13.25

8

10

6

P6

63.54

9

21

15.62

14

17

12.25

11

19

7

P7

72.25

2

1

14.58

20

13

13.45

6

2

8

P8

56.63

15

12

18.05

4

5

12.25

11

3

 

...

...

...

...

...

...

...

...

...

...

20

P10

56.69

13

4

18.05

4

2

14.25

1

8

21

P11

75.25

1

6

15.62

14

19

14.05

2

7

22

P12

45.65

19

17

16.58

10

12

12.25

11

14

23

P13

65.21

8

2

14.58

20

11

14

5

1

24

P14

68.56

3

5

16.58

10

16

12.25

11

13

25

P15

45.51

20

18

16.35

13

15

13.05

10

15

26

P16

68.56

3

7

15.45

19

14

14.05

2

4

27

P17

65.32

7

3

15.62

14

10

12.05

18

20

28

P18

65.54

5

8

19.5

1

8

11.25

19

17

Коэфф.корр Спирмена

R=0.73

R=0.61

R=0.58

Таким образом, сформированные нами формализованные критерии могут быть успешно использованы в качестве оценок специальной компетентности выпускников технического университета, занимающихся преподавательской деятельностью, а также при оценке педагогической практики магистрантов и аспирантов.

Рецензенты:

  • Иванкина Любовь Ивановна, д.ф.н., профессор кафедры социологии, психологии и права, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск.
  • Коваль Тамара Васильевна, д.ф.-м.н., профессор кафедры прикладной математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск.

Библиографическая ссылка

Алексеева Л.Ф., Берестнева О.Г., Шевелев Г.Е. ИНТЕГРАЛЬНЫЕ КРИТЕРИИ ОЦЕНКИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ ТЕХНИЧЕСКИХ УНИВЕРСИТЕТОВ // Современные проблемы науки и образования. – 2012. – № 3. ;
URL: https://science-education.ru/ru/article/view?id=6383 (дата обращения: 29.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674