Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

TERNARY DYNAMICS OF OUTCOMES OF EDUCATIONAL ACTIVITY OF STUDENTS IN HIGH SCHOOL

Filipenko N.M. 1 Mikhalchuk A.A. 1 Arefev V.P. 1
1 National Research Tomsk Polytechnic University
The analysis of variance of outcomes of a dynamic estimation of knowledge on higher mathematics of students of a full-time course of study of Tomsk polytechnic university is spent. Reviewing is spent in system of 4 indicators: EC - outcomes of entering control, CERT - outcomes of current certification, EX - the outcome of classical ex-amination, EX - the corrected outcomes of EX. The conclusion is drawn on highly significant dynamics of progress on a population of indicators. Within the limits of a parametrical analysis of variance with repeated measurements it is estimated also composite ternary (DEBT, SAT, QUAL) dynamics of progress: flowing {EC, CERT} it is characterised by highly significant level on all three components; after examination {EX, EX} - highly significant level on two components the DEBT, SAT and insignificant level on QUAL; examination {CERT, EX} - strongly significant level on the DEBT, statistically significant on SAT at insignificant on QUAL. The conclusion is drawn on highly significant heterogeneity of outcomes of each indicator EC, CERT, EX, EX on a population of groups on the basis of F-criterion of an analysis of variance for independent samples. Nonparametric alternatives of an one-factor analysis of variance for independent samples (criterion of Kraskel-Willis and the median test) confirm these conclusions. In case of EC for each ternary variable the F-criterion estimates a significance level distinction between 3 group clusters: highly significantly on ECD, it is strongly significant on ECQ and statistically it is significant on ECS. Outcomes of the spent statistical analysis can be considered within the limits of passing reform of higher education.
control of progress of students
analysis of variance

Модернизация высшей школы в современных условиях ставит своей целью решение проблем повышения качества образования и оценивания качества обучения [4–9]. Согласно федеральным государственным образовательным стандартам высшего профессионального образования (ФГОС ВПО), приоритетной задачей управления качеством образования выступает оценка качества освоения основных образовательных программ, включающая предварительную, текущую и итоговую формы контроля результатов образовательной деятельности студентов, в рамках рейтинговой системы оценок с дальнейшим переводом их в экзаменационную (зачетную) оценку. Контроль качества образования приобретает характер непрерывного контроля результатов образовательного процесса и предполагает проведение измерения показателей образовательной деятельности студентов в соответствии с ФГОС ВПО. В нашем случае это измерение (оценивание) результатов образовательной деятельности студентов: ВК – результаты входного тестирования по математике в начале текущего семестра, АТТ. – результаты аттестации по математике в конце текущего семестра, ЭКЗ. – результат классического экзамена в конце текущего семестра, ЭКЗ.* – скорректированные результаты ЭКЗ. в середине следующего семестра.

В данной работе (аналогично [2] в системе заочного обучения) проведен в пакете Statistica [10] статистический анализ результатов динамического оценивания знаний по высшей математике (выборка 25-и учебных групп объема n =503) в рамках 1-го семестра студентов очной формы обучения Томского политехнического университета (ТПУ1).

Динамика успеваемости ТПУ1 на уровне средних в переменных {ВК, АТТ., ЭКЗ., ЭКЗ.*} приведена на рис. 1, а соответствующая более детальная составная тернарная динамика – на рис. 2.

Рис. 1. Динамика успеваемости ТПУ1 на уровне средних

Рис. 2. Составная тернарная динамика успеваемости ТПУ1

Для оценки значимости динамики успеваемости применен параметрический дисперсионный анализ повторных измерений. Параметрический F-критерий для зависимых выборок приводит к выводу о высоко значимой (р< 0,0005) динамике успеваемости ТПУ1 по совокупности показателей {ВК, АТТ., ЭКЗ., ЭКЗ.*}. Применение непараметрического (рангового) дисперсионного анализа Фридмана с повторными измерениями подтвердило результаты параметрического дисперсионного анализа повторных измерений.

В рамках параметрического дисперсионного анализа на основании критериев множественного сравнения на уровне средних (рис. 1) сделан вывод о незначимом различии (уровень значимости р> 0,10) между АТТ. (mАТТ≈ 2,87) и ЭКЗ.* (mЭКЗ*≈ 2,78). При этом различие между ВК (mВК≈ 2,36) и ЭКЗ. (mЭКЗ≈ 2,56), а также между ЭКЗ. и ЭКЗ.* оценивается как высоко значимое (р< 0,0005). Полученные результаты подтверждаются ранговым критерием Вилкоксона для зависимых выборок.

Применение F-критерия дисперсионного анализа для независимых выборок приводит к выводу о высоко значимой неоднородности (на уровне значимости р< 0,0005) результатов каждой формы контроля результатов образовательной деятельности студентов ВК., АТТ., ЭКЗ., ЭКЗ.* по совокупности групп. Заметим, что непараметрические альтернативы однофакторного дисперсионного анализа для независимых выборок (критерий Краскела – Уоллиса и медианный тест) подтверждают эти выводы.

Соответствующая рисунку 1 более детальная составная тернарная динамика успеваемости ТПУ1 приведена на рис. 2 в рамках тернарного подхода [1, 3] в системе 3-х показателей формы контроля результатов образовательной деятельности студентов по 5-ти балльной шкале: ДОЛГ – доля сдавших на «неуд.» (в диапазоне [0; 2,5) по 5-ти балльной шкале) и не допущенных, УДОВЛ. – доля сдавших на «удовл.» (в диапазоне [2,5; 3,5)) и КАЧ. – доля сдавших на «хор. + отл.» (в диапазоне [3,5; 5]). При этом ДОЛГ + УДОВЛ. + КАЧ. = 100 % для любой учебной группы.

Согласно рис. 1–2, налицо высоко значимая (р< 0,0005) положительная текущая тернарная динамика успеваемости {ВК, АТТ.}: убывание ДОЛГ с 58 % до 28 % и рост как УДОВ. с 26 % до 42 %, так и КАЧ. с 16 % до 30 %, а также положительная динамика периода после экзаменационной ликвидации задолженностей {ЭКЗ., ЭКЗ.*}: высоко значимое (р< 0,0005) убывание ДОЛГ с 39,5 % до 23 % и высоко значимый (р< 0,0005) рост УДОВ. с 33,5 % до 50 % при стабильном уровне КАЧ. (27 %). Отрицательная динамика успеваемости экзаменационного периода {АТТ., ЭКЗ.}, проявившаяся, в сильно значимом (0,0005<р»0,004< 0,005) росте ДОЛГ. с 28 % до 39,5 % и статистически значимом (0,005<р»0,045< 0,05) убывании УДОВ. с 42 % до 33,5 % при незначимом (р> 0,10) убывании КАЧ. с 30 % до 27 %, объясняется естественной сложностью итоговой семестровой контрольнойдля слабых студентов.

Для геометрической интерпретации составной тернарной (ДОЛГ, УДОВЛ., КАЧ.) динамики в переменных {ВК, АТТ., ЭКЗ., ЭКЗ.*} успеваемости ТПУ1 (рис. 2) использована также тернарная диаграмма рассеяния в 4-х уровневой тернарной (ДОЛГ, УДОВЛ., КАЧ.) системе координат [3] (рис. 3 слева), делящей исходный треугольник на 16 равносторонних маленьких треугольников (D), в которой тернарная динамика успеваемости ТПУ1 представлена в виде последовательности 4-х точек ВК, АТТ., ЭКЗ., ЭКЗ.* на рис. 3 (справа): ВК (0,58; 0,26; 0,16) на границе DДд и DДу, АТТ(0,28; 0,42; 0,3) на границе DЦ и DЦд, ЭКЗ. (0,395; 0,335; 0,27) на границе DЦ и DЦк, ЭКЗ*(0,23; 0,5; 0,27) в общей вершине DЦ и DУк.

Рис. 3. Тернарная динамика успеваемости ТПУ1 (справа) в 4-х уровневой тернарной системе координат (слева)

При этом динамика успеваемости ТПУ1 по совокупности показателей {ВК, АТТ., ЭКЗ., ЭКЗ.*} оценена, как было отмечено выше, высоко значимо (р< 0,0005). Более того, соответствующим уровнем значимости оценена составная тернарная (ДОЛГ, УДОВЛ., КАЧ.) динамика успеваемости ТПУ1: текущая {ВК, АТТ} характеризуется высоко значимым уровнем (р< 0,0005) по всем трем компонентам ДОЛГ, УДОВЛ., КАЧ.; после экзаменационная {ЭКЗ., ЭКЗ.*} характеризуется высоко значимым уровнем (р< 0,0005) по двум компонентам ДОЛГ, УДОВЛ. и незначимым уровнем (р> 0,10) по КАЧ.; экзаменационная {АТТ., ЭКЗ.} характеризуется сильно значимым уровнем(0,0005<р< 0,005) по ДОЛГ, статистически значимым (0,005<р< 0,05)по УДОВ. при незначимом (р> 0,10) по КАЧ.

Положение точек ВК, АТТ., ЭКЗ., ЭКЗ.* в тернарной системе координат на рис. 3 (справа) определяется усредненными значениями (ДОЛГ, УДОВЛ., КАЧ.) по 25-и учебным группам, составляющим выборку ТПУ1. Представление о степени групповой неоднородности ТПУ1 дает контрастная групповая тернарная динамика успеваемости на примере 10-ти из 25-ти учебных групп (рис. 4).

Рис. 4. Тернарная динамика успеваемости 10-ти учебных групп

С одной стороны, аналогично тернарной динамике успеваемости ТПУ1 (рис. 3 справа) можно оценить очень пеструюгрупповую тернарную динамику успеваемости (табл. 1).

Таблица 1

Групповая тернарная динамика успеваемости

Группа

Тернарная характеристика форм контроля результатов образовательной

деятельности студентов группы согласно рис. 3 (слева)

ВК

АТТ.

ЭКЗ.

ЭКЗ.*

С1

Кк

Кк

Ку

Ку

С2

Ку

К

К

К

С3

Ц

У

Уд

У

С4

Цк

Ц

Ц

Ц

С5

Ду

Ц-Цд

Ц

Ук

С6

Ду

Дд

Дд

Ду

С7

Д

Дк

Дд

Цк

С8

Д

Уд

Уд

Уу-У

С9

Д

Ку

Ц

Ц

С10

Д

Уд

Цк

Уу

С другой стороны, проведение кластеризацииучебных групп студентов в 3-х мерном пространстве {ДОЛГ, УДОВЛ. и КАЧ.} дендрограммным методом и методом K-средних [3] приводит к выводу о значимой неоднородности результатов каждой формы контроля результатов образовательной деятельности студентов ВК, АТТ., ЭКЗ., ЭКЗ.* по совокупности компонент {ДОЛГ, УДОВЛ. и КАЧ.}. Например, для ВК значению расстояния объединения, равного 0,75 (красная пунктирнаягоризонтальная прямая), соответствует разбиение 10-ти групп С1-10 на 3 кластера (С1-2, С3-6, С7-10), обладающее устойчивостью относительно вариации мер близости и правил объединения двух кластеров (рис. 5).

Рис. 5. Горизонтальная дендрограмма групп в пространстве {ДОЛГ, УДОВЛ. и КАЧ.} для ВК

Результаты кластеризации учебных групп студентов дендрограммным методом (рис. 5) находятся в точном соответствии с взаимным расположением групп на диаграмме рассеяния в тернарных переменных {ДОЛГ, УДОВЛ. и КАЧ.} (ВК на рис. 4).

В рассматриваемом случае ВК (рис. 4–5) F-критерий показывает, что для каждой тернарной переменной (ВКд, ВКу, ВКк) различие между 3-мя кластерамизначимо: высоко значимо (p»0,0002 < 0,0005) по ВКд, сильно значимо (0,0005<p»0,0007 < 0,005) по ВКк и статистически значимо (0,005<p»0,008 < 0,05) по ВКу.

Выводы

  1. Параметрический F-критерий для зависимых выборок приводит к выводу о высоко значимой (р< 0,0005) динамике успеваемости ТПУ1 по совокупности показателей {ВК, АТТ., ЭКЗ., ЭКЗ.*}. На основании критериев множественного сравнения на уровне средних сделан вывод о незначимом различии (уровень значимости р> 0,10) между АТТ. (mАТТ≈ 2,87) и ЭКЗ.* (mЭКЗ*≈ 2,78). При этом различие между ВК (mВК≈ 2,36) и ЭКЗ. (mЭКЗ≈ 2,56), а такжемежду ЭКЗ. и ЭКЗ.* оценивается как высоко значимое (р< 0,0005). Применение непараметрического (рангового) дисперсионного анализа Фридмана с повторными измерениями подтвердило этот результат.
  2. В рамках параметрического дисперсионного анализа с повторными измерениями соответствующим уровнем значимости оценена составная тернарная (ДОЛГ, УДОВЛ., КАЧ.) динамика успеваемости ТПУ1: текущая {ВК, АТТ.} характеризуется высоко значимым уровнем (р< 0,0005) по всем трем компонентам ДОЛГ, УДОВЛ., КАЧ.; после экзаменационная {ЭКЗ, ЭКЗ*} – высоко значимым уровнем (р< 0,0005) по двум компонентам ДОЛГ, УДОВЛ. и незначимым уровнем (р> 0,10) по КАЧ.; экзаменационная {АТТ., ЭКЗ.} – сильно значимым уровнем (0,0005<р< 0,005) по ДОЛГ, статистически значимым (0,005<р< 0,05) по УДОВ при незначимом (р> 0,10) по КАЧ.
  3. Сделан вывод о высоко значимой неоднородности (на уровне значимости р< 0,0005) результатов каждой формы контроля результатов образовательной деятельности студентов ВК, АТТ., ЭКЗ., ЭКЗ.* по совокупности групп на основании F-критерия дисперсионного анализа для независимых выборок. Непараметрические альтернативы однофакторного дисперсионного анализа для независимых выборок (критерий Краскела – Уоллиса и медианный тест) подтверждают эти выводы.
  4. В случае ВК для каждой тернарной переменной (ВКд, ВКу, ВКк) F-критерий оценивает уровень значимости различия между 3-мя кластерами: высоко значимо (p»0,0002 < 0,0005) по ВКд, сильно значимо (0,0005<p»0,0007 < 0,005) по ВКк и статистически значимо (0,005<p»0,008 < 0,05) по ВКу.
  5. Результаты тернарной динамики показывают роль организации образовательного процесса и могут быть учтены в оценке качества образования и контроля знаний.

Работа выполнена при поддержке Российского научного фонда.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев К.П,, д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.