Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,972

COMPARATIVE ANALYSIS OF TEACHERS’ PROFESSIONAL PERFORMANCE BASED ON PORTFOLIO AND SELF-RELATIONSHIP

Leus O.V. 1
1 Kuban State University, branch
The article is devoted to the measurement and comparison on the linear scale of teachers’ professional performance based on portfolio and self-relationship. The study involved teachers of mathematics, history, Russian language and literature of all 36 schools of the Slavic region of Krasnodar Krai, 271 teachers in total. The teachers’ professional performance is considered as a latent variable, which is estimated through sets of indicators of questionnaires. The results of the survey are processed based on Rasch model, which made it possible to obtain estimates of teachers’ professional performance on a linear scale. Statistical analysis carried out within the framework of the theory of latent variables showed that the developed questionnaire based on self-relation can be used as a measuring tool. Comparison of estimates of teachers’ professional performance based on the portfolio and self-estimation was performed using analysis of variance. Correlation between these two sets of estimates is revealed. The ranking of teachers of mathematics, history, Russian language and literature turned out to be the same both based on the portfolio and on self-relationship. This confirms the validity of both questionnaires, based on the portfolio and self-relationship to measure teachers’ professional performance. Developed questionnaires can be used to assess the effectiveness of training courses and monitoring the teachers’ professional performance.
latent variables
teachers’ professional performance
portfolio
self-relationship
Rasch model
linear scale
measurement

Потребность в измерении педагогического мастерства необходима на всех этапах развития школы: при определении продуктивности образовательного процесса, при аттестации и переаттестации, кадровом обновлении, определении динамики изменения качественных результатов обучения учащихся.

В данной работе педагогическое мастерство учителя рассматривается как интегральный показатель (латентная переменная), который формируется на основе ответов на пункты опросников портфолио и опросника по самоотношению.

Цель работы состоит в измерении педагогического мастерства учителя на основе самоотношения и в проведении сравнительного анализа полученных оценок с оценками педагогического мастерства учителей, полученными на основе портфолио.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Разработать опросник для оценивания педагогического мастерства учителей на основе самоотношения.

2. Формализовать латентную переменную педагогическое мастерство учителей на основе самоотношения в виде набора индикаторов.

3. Измерить педагогическое мастерство учителей на основе самоотношения.

4. Сравнить оценки педагогического мастерства учителей на основе самоотношения с оценками, полученными на основе портфолио.

Данные

Опрос проводился среди учителей математики, истории, русского языка и литературы всех 36 общеобразовательных школ Славянского района Краснодарского края. Всего в опросе приняли участие 271 учитель.

Метод исследования

В качестве основы для разработки индикаторов самоотношения использовался опросник, представленный в работе Шадрикова В.Д. [1].

Фрагмент разработанного опросника, состоящего из 84 пунктов, представлен в табл. 1.

Таблица 1

Фрагмент опросника «Самоотношение»

№ п/п

Индикатор

Блок 1. Уровень педагогической культуры, цифровая грамотность

1

Свою педагогическую деятельность я организую в соответствии с нормативными требованиями в области образования

2

Я обладаю широким кругозором

3

Я хорошо разбираюсь в педагогической теории

4

Моя речь грамотная и красивая

5

Мой внешний вид может служить учащимся примером для подражания

Блок 2. Гуманные ценностные ориентации и профессиональные качества

1

Считаю, что целью в обучении должно быть развитие ученика, а не выполнение учебной программы

2

Я разбираюсь в текущих событиях, могу на эту тему поддерживать беседу

3

 

4

Я осознаю важность моей профессии

5

Я всегда принимаю участие в выборах

Блок 3. Владение интерактивными технологиями, ИКТ, организацией сотрудничества и силой убеждения

1

Я использую в своей деятельности наглядные пособия

2

Использую на уроках современные технические средства обучения (компьютер, интерактивная доска и т.д.)

3

Активно применяю различные электронные материалы

4

Я владею педагогической техникой и могу строить ровные отношения с учащимися

5

Я легко управляю ходом дискуссии или беседы

Блок 4. Педагогические компетенции: профессиональные знания, креативность, педагогические способности

1

На моих уроках учащиеся делают все под моим руководством. Они не имеют возможности рассуждать и самостоятельно действовать

2

Считаю важным на каждом уроке определять тему, цель и подводить итог урока

3

Я не считаю нужным анализировать степень освоения темы урока учащимися

4

Я считаю, что без инноваций не может быть педмастерства

5

На моих уроках учащиеся рассуждают и творят

 

Индикаторы (84 пункта опросника) оценивались следующим образом:

5 баллов - согласие с утверждением;

4 балла - скорее согласие с утверждением, чем нет;

3 балла - согласие с утверждением при определенных обстоятельствах;

2 балла - скорее несогласие с утверждением, чем согласие;

1 балла - несогласие с утверждением.

Педагогическое мастерство учителя измеряется на основе модели Раша в рамках теории латентных переменных. Выбор этой теории обусловлен следующим.

1. Педагогическое мастерство учителя измеряется на линейной шкале, что необходимо для проведения сравнительного анализа и мониторинга [2].

2. Измерение этого интегрального показателя необходимо для более точного уяснения его смысла, в данном случае что такое «педагогическое мастерство учителя» [3-5].

3. Теория латентных переменных оказалась эффективной прежде всего в области образования при анализе тестовых материалов и измерении качества выпускных квалификационных работ [6; 7]. В рамках этой теории измерены личностные качества обучающихся [8-10]. Отдельно необходимо отметить использование теории латентных переменных в других социальных системах [11; 12]. На русском языке эта теория достаточно детально рассмотрена в монографиях [13; 14].

Анализ оценок педагогического мастерства учителей на основе самоотношения

Для анализа результатов опроса использовалась диалоговая система «Измерение латентных переменных», разработанная в Лаборатории объективных измерений филиала Кубанского государственного университета в г. Славянске-на-Кубани [13].

Прежде всего, отметим, что результаты опроса адекватны модели измерения. Так, эмпирический уровень значимости статистики Хи-квадрат, по которому проверяется адекватность данных модели измерения, равен 0,28, что больше номинального значения 0,05. Кроме того, индекс сепарабельности, который характеризует степень дифференциации объектов по уровню их педагогического мастерства, также высок и равен 0,90. Это свидетельствует о том, что опросник «Самоотношение» хорошо дифференцирует учителей по их педагогическому мастерству.

Результаты измерения педагогического мастерства учителей на основе самоотношения представлены на рис. 1.

Рис. 1. Результаты измерения педагогического мастерства учителей на основе самоотношения

В верхней части рис. 1 показано распределение оценок педагогического мастерства учителей. Например, число учителей с оценками педагогического мастерства в диапазоне от 1,25 до 1,50 логит равно 10 (указано на левой оси ординат), что соответствует 10/271 = 0,037 (3,7%) от общего числа учителей, что и показано на правой оси ординат. В нижней части рисунка находятся оценки индикаторов на той же самой шкале. Аналогично, число индикаторов с оценками в диапазоне от -0,75 до -0,50 логит равно 15 (указано на левой оси ординат), что соответствует 15/84 = 0,179 (17,9%) от общего числа индикаторов, что и показано на правой оси ординат.

Исходя из полученных результатов измерения, можно сделать следующие выводы:

- диапазон варьирования оценок педагогического мастерства учителей достаточно большой и равен 4,00 логит (от -1,00 до +3,00 логит). Это означает, что учителя различаются по педагогическому мастерству, т.е. опросник по самоопределению хорошо дифференцирует учителей по этому интегральному показателю;

- индикаторы варьируются в несколько меньшем диапазоне – 3,25 логит (от -1,50 до +1,75 логит), что обеспечивает требуемую точность измерения латентной переменной;

- между двумя этими наборами оценок (учителей и индикаторов) существует небольшое смещение. Как видно из рис. 1, различие между средних этих оценок равно 0,523 логит. Это означает, что опросник самоопределения адекватен уровню педагогического мастерства учителей.

Представляет интерес сравнить оценки учителей на основе самоотношения и на основе портфолио. Оценки педагогического мастерства учителей на основе портфолио представлены на рис. 2 и подробно рассмотрены в работах [2-4].

Diagram

Рис. 2. Результаты измерения педагогического мастерства учителей на основе портфолио

1. Сравнение этих двух наборов оценок позволяет сделать вывод, что результаты измерения педагогического мастерства учителей стали более компактными:

- разброс оценок педагогического мастерства учителей на основе самоотношения гораздо меньше и составляет 4 логита по сравнению с 6 логитами. В значительной степени этот эффект объясняется тем, что оценки на основе самоотношения были получены после проведения курсов повышения квалификации со всеми учителями;

- набор индикаторов на основе самоотношения также варьируется в меньшем диапазоне 3,25 логит вместо 6 логит в случае портфолио;

- набор индикаторов самоотношения в большей степени соответствует среднему уровню педагогического мастерства учителей. Различие между средними значениями составляет всего 0,523 логит по сравнению с 1,215 логит.

2. Уменьшилось различие между оценками педагогического мастерства учителей математики, истории, русского языка и литературы на основе самоотношения по сравнению с оценками на основе портфолио. Полученные оценки приведены в табл. 2 и 3 соответственно.

Таблица 2

Распределение оценок педагогического мастерства учителей в зависимости от преподаваемых ими дисциплин на основе портфолио

Учебная дисциплина

Среднее значение

Число учителей

Стандартная ошибка

95% доверительный

интервал

Нижняя граница

Верхняя граница

Математика

1,740

97

0,108

1,527

1,954

История

1,709

69

0,091

1,529

1,889

Русский язык и литература

0,414

105

0,088

0,242

-0,587

 

Из табл. 2 следует, что в среднем наивысшее педагогическое мастерство показывают учителя математики (1,740 логит), наименьшее – учителя русского языка и литературы (0,414 логит). Учителя истории занимают промежуточное положение.

Оценки педагогического мастерства учителей, преподающих математику, историю, русский язык и литературу, представлены в табл. 3.

Таблица 3

Распределение оценок педагогического мастерства учителей в зависимости от преподаваемых ими дисциплин на основе самоотношения

Учебная дисциплина

Среднее значение

Число учителей

Стандартная ошибка

95% доверительный

интервал

Нижняя граница

Верхняя граница

Математика

1,472

97

0,126

1,027

1,917

История

1,106

69

0,135

0,645

1,568

Русский язык и литература

0,877

105

0,119

0,445

1,308

 

Из табл. 3 следует, что в среднем по-прежнему наивысшее педагогическое мастерство показывают учителя математики (1,472 логит), наименьшее – учителя русского языка и литературы (0,877 логит). Учителя истории занимают промежуточное положение. Однако необходимо отметить, что различие между оценками учителей этих дисциплин значительно меньше. Можно предположить, что в значительной степени этот эффект обусловлен курсами повышения квалификации педагогов.

В целом оценки измерения педагогического мастерства учителей на основе портфолио и самоопределения хорошо коррелируют друг с другом. Высокая корреляция оценок свидетельствует о валидности портфолио и самоотношения для целей измерения педагогического мастерства учителей.

Выводы

1. Разработанный опросник на основе самоотношения обладает хорошей дифференцирующей способностью, и его можно использовать в качестве измерительного инструмента для оценивания педагогического мастерства учителей.

2. Полученные оценки педагогического мастерства учителей на основе опросника по самоотношению хорошо коррелируют с оценками, полученными на основе портфолио. Ранжирование оценок педагогического мастерства учителей математики, истории, русского языка и литературы одно и то же как на основе портфолио, так и на основе самоотношения.

3. В целом это свидетельствует как о валидности разработанных опросников, так и о целесообразности использования теории латентных переменных для оценивания педагогического мастерства учителей.

4. Разработанные опросники на основе портфолио и на основе самоотношения могут быть использованы для оценки эффективности курсов повышения квалификации учителей и мониторинга их педагогического мастерства.