Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

COMPARATIVE STATISTICAL ANALYSIS OF ENTERING AND CURRENT CONTROL OF MATHEMATICAL KNOWLEDGE WITHIN THE LIMITS OF THE CLASSICAL FORM OF CORRESPONDENCE HIGHER EDUCATION

Arefev V.P. 1 Mikhalchuk A.A. 1 Filipenko N.M. 1
1 National Research Tomsk Polytechnic University
Проведен сравнительный статистический анализ качества заочного технического образования на основе результатов входного (ВК) и текущего экзаменационного (ЭКЗ) контроля по высшей математике в рам-ках классической модели организации заочного обучения на примере Томского политехнического уни-верситета в составе 4-х институтов: природных ресурсов, энергетического, физики высоких технологий и неразрушающего контроля. Отмечена очень слабая корреляция и высоко значимое различие между ре-зультатами ВК и ЭКЗ с существенным превышением результатов ЭКЗ над ВК (в среднем на 1,5 балла). На основании однофакторного дисперсионного анализа (рангового критерия Краскела-Уоллиса и пара-метрического F-критерия) сделан вывод о статистически значимой (0,005 < р < 0,05) неоднородности ре-зультатов ВК и сильно значимой (0,0005 < р < 0,005) неоднородности результатов ЭКЗ по совокупности институтов. Для оценки различий между результатами ВК и ЭКЗ по каждому институту применялись параметрический дисперсионный анализ с повторными измерениями и ранговый критерий Вилкоксона для зависимых выборок. В результате различие между ВК и ЭКЗ оценено как статистически значимое (0,005 < р < 0,05) для институтов неразрушающего контроля и физики высоких технологий, а для инсти-тутов энергетического и природных ресурсов как высоко значимое (р < 0,0005). Обсуждаются причины значимых различий между ВК и ЭКЗ и способы их устранения. Результаты проведенного статистического анализа могут быть учтены в рамках проходящей реформы высшего образования.
The comparative statistical analysis of quality of correspondence technical education on the basis of outcomes entering (EC) and current examination (EXAM) control on higher mathematics within the limits of classical model of the organisation of correspondence course on an example of Tomsk polytechnic university as a part of 4 institutes is spent: natural resources, power, physicists of high process engineerings and not destroying control. Very weak correlation and highly significant distinction between outcomes EC and EXAM with essential excess of outcomes EXAM over EC (on the average on 1,5 points) is noted. On the basis of an one-factor analysis of var-iance (rank criterion of Kraskela-Uollisa and parametrical F-criterion) the conclusion about statistically signifi-cant (0,005 < р < 0,05) heterogeneity of outcomes EC and strongly significant (0,0005 < р < 0,005) heterogeneity of outcomes EXAM on a population of institutes is drawn. To an estimation of distinctions between outcomes EC and EXAM on each institute were applied a parametrical analysis of variance with repeated measurements and rank criterion of Vilkoksona for dependent выборок. As a result distinction between EC and EXAM is estimated as statistically significant (0,005 < р < 0,05) for institutes of not destroying control and physics of high process engineerings, and for institutes power and natural resources as highly significant (р < 0,0005). Reasons of signifi-cant distinctions between EC and EXAM and modes of their elimination are considered. Outcomes of the spent statistical analysis can be considered within the limits of passing reform of higher education.
correspondence education.
entering and current control of mathematical knowledge
The statistical analysis

Главной проблемой современного инженерного образования в условиях модернизации высшей школы является проблема повышения качества образования и оценивания качества обучения в вузах [5, 6] и, в частности, оценка качества образования на этапах приема в вуз и процесса очной формы обучения в вузе [2]. В работах [1, 3, 7] проведен компьютерный статистический сравнительный анализ результатов текущего контроля по математике для студентов-заочников. В Томском политехническом университете (ТПУ) наряду с итоговым семестровым контролем по математике проводится входной контроль (ВК) математических знаний школьной программы на основе аудиторной контрольной работы во время первой сессии с проверкой ее преподавателями. Задание ВК для студентов-заочников содержит 6 задач средней сложности (типа группы В в билетах ЕГЭ). В связи с этим представляет интерес сравнение результатов ВК с результатами итогового семестрового контроля по дифференциальному исчислению (ЭКЗ).

Все числовые результаты ЭКЗ и ВК приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica [4, 9] для статистического анализа данных.

Во ВК набора 2012 г. участвовали 130 студентов первого курса ТПУ классической формы заочного высшего образования 4-х институтов [8]: природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ) и неразрушающего контроля (ИНК).

Статистический анализ начнем с проверки переменных ВК и ЭКЗ на корреляционную зависимость. Матрицы коэффициентов парных корреляций (Пирсона r и Спирмена R) между переменными ВК и ЭКЗ приведены в табл. 1. В круглых скобках указаны соответствующие уровни значимости отличия коэффициентов корреляции от ноля. Согласно табл. 1, корреляцию между ВК и ЭКЗ можно считать в основном незначимой (р > 0,10). Исключение составляют результаты по ИПР: r ≈ 0,26 можно считать слабо значимо (0,05 < р ≈ 0,078 < 0,10), а R ≈ 0,31 статистически значимо (0,005 < р ≈ 0,034 < 0,05), отличными от ноля, хотя весьма далекими от единицы.

Таблица 1. Матрица коэффициентов парных корреляций Пирсона r и ранговых корреляций Спирмена R между переменными ВК и ЭКЗ с соответствующими уровнями значимости (р) отличия от ноля.

 

ТПУ

ИНК

ИФВТ

ЭНИН

ИПР

r

-0,02 (р>0,10)

-0,06 (р>0,10)

0,00 (р>0,10)

-0,23 (р=0,12)

0,26 (р=0,078)

R

0,035 (р>0,10)

0,011 (р>0,10)

0,015 (р>0,10)

-0,19 (р>0,10)

0,31 (р=0,034)

Для оценки значимости отличия результатов ВК и ЭКЗ рассмотрим совместное распределение их выборок (рис. 1) по 5-ти балльной равномерной шкале и показывающее наглядно существенные различия в распределениях ВК и ЭКЗ. При этом результаты ВК намного хуже результатов ЭКЗ. Превышение результатов ЭКЗ над ВК можно объяснить тем, что к экзамену студент готовился, а ВК проводился без предупреждения.

Рис. 1. Составная гистограмма результатов ВК и ЭКЗ

Заметим, что сглаживанию различий результатов ЭКЗ и ВК могло бы способствовать придание официального статуса ВК в целях повышения серьезного отношения к нему.

Для корректного сравнения зависимых выборок ВК и ЭКЗ необходимо предварительно проверить выборку поэлементной разности ЭКЗ – ВК на нормальность распределения (рис.2). Отметим существенный разброс значений разности результатов ЭКЗ – ВК, что также подтверждает отсутствие значимой корреляции между ВК и ЭКЗ. Преобладание положительных значений разности результатов ЭКЗ – ВК (≈88%) свидетельствует о существенном превышении результатов ЭКЗ над ВК (в среднем на 1,54 балла). Критерий хи-квадрат показывает сильно значимое отличие (0,0005 < р ≈ 0,0016 < 0,005) распределения переменной ЭКЗ – ВК от нормального. Поэтому для сравнения зависимых выборок ВК и ЭКЗ следует применять, прежде всего, непараметрические критерии. Аналитические ранговые критерии для зависимых выборок (критерий знаков и критерий Вилкоксона) дают очень высокую статистическую значимость различий результатов ВК и ЭКЗ (на уровне значимости р† 0,0005). Параметрический t – критерий для зависимых выборок также подтверждают эту значимость.

Рис. 2. Гистограмма ЭКЗ – ВК с соответствующей кривой нормального распределения

Выборки ВК и ЭКЗ являются составными. Параметрические (среднее, стандартная ошибка, ±95% границы доверительных интервалов) и непараметрические характеристики выборок (объем n, медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25% процентиль) и верхняя квартиль (75% процентиль)) результатов ВК и ЭКЗ студентов ТПУ и 4-х институтов приведены в табл. 2.

Таблица 2. Параметрические и непараметрические числовые характеристики выборок результатов ВК и ЭКЗ студентов ТПУ и 4-х институтов

   

Среднее

Стд. ош.

-95%

+95%

n

Медиана

Мин

Макс

25%

75%

ИНК

ВК

1,50

0,34

0,83

2,17

10

1,67

0,00

3,33

0,83

1,67

ИНК

ЭКЗ

2,77

0,19

2,39

3,16

10

2,75

2,00

3,00

2,75

3,00

ИФВТ

ВК

2,10

0,21

1,68

2,52

25

2,50

0,00

4,17

0,83

2,50

ИФВТ

ЭКЗ

2,84

0,12

2,60

3,08

25

3,00

2,00

4,00

2,00

3,00

ЭНИН

ВК

1,27

0,15

0,96

1,57

48

0,83

0,00

4,17

0,83

1,67

ЭНИН

ЭКЗ

3,17

0,09

2,99

3,34

48

3,00

2,00

5,00

3,00

3,00

ИПР

ВК

1,70

0,16

1,39

2,01

47

1,67

0,00

3,33

0,83

2,50

ИПР

ЭКЗ

3,35

0,09

3,17

3,53

47

3,50

1,65

4,55

2,80

3,75

ТПУ

ВК

1,60

0,10

1,41

1,79

130

1,67

0,00

4,17

0,83

2,50

ТПУ

ЭКЗ

3,14

0,06

3,03

3,25

130

3,00

1,65

5,00

3,00

3,50

Наблюдаемые распределения (диаграммы размаха) этих выборок результатов ВК и ЭКЗ изображены на рис.3.

 

Рис. 3. Диаграммы размаха результатов ВК (слева) и ЭКЗ (справа) по институтам ТПУ 2012 года: медианы (квадраты) с квартилями (прямоугольники) и размахами (усы)

Значения средних баллов результатов ВК и ЭКЗ по институтам с указанием 95 % доверительного интервала приведены на рис. 4.

Рис. 4. Линейные графики среднего балла с 95 % доверительным интервалом результатов ВК и ЭКЗ по совокупности институтов

На основании однофакторного дисперсионного анализа оценивается значимость неоднородности результатов ВК и ЭКЗ по совокупности институтов. Ранговый критерий Краскела-Уоллиса приводит к выводу о статистически значимых различиях (на уровне значимости рКУ ≈ 0,025) результатов ВК и сильно значимых различиях (на уровне значимости рКУ ≈ 0,0018) результатов ЭКЗ по совокупности институтов. Заметим, что применение параметрического F-критерия дисперсионного анализа приводит также к выводу о статистически значимой неоднородности (на уровне значимости рF ≈ 0,016) результатов ВК и сильно значимых различиях (на уровне значимости рF ≈ 0,0024) результатов ЭКЗ по совокупности институтов.

Для оценки различий между результатами ВК и ЭКЗ по каждому институту применялся дисперсионный анализ с повторными измерениями (рис. 5). Переменные ВК и ЭКЗ составляют при этом 2-х уровневый фактор повторных измерений (ФПИ). Применение F-критерия однофакторного дисперсионного анализа с повторными измерениями позволило выявить сильно значимые (на уровне р ≈ 0,002) различия между результатами ВК и ЭКЗ по совокупности институтов. Значимость различий между ВК и ЭКЗ по каждому институту оценивалась с помощью параметрического апостериорного критерия наименьших значений разности и рангового критерия Вилкоксона для зависимых выборок. В результате различие между ВК и ЭКЗ оценено как статистически значимое (0,005 < р < 0,05) для ИНК и ИФВТ, а для ЭНИН и ИПР как высоко значимое ( р < 0,00005).

Рис. 5. Линейные графики среднего балла с 95 % доверительным интервалом результатов ВК и ЭКЗ по каждому институту

Заметим, что примененные ранговые и соответствующие параметрические критерии [2, 4, 7] для оценки значимости различий между ВК и ЭКЗ приводят к сопоставимым по значимости результатам.

Выводы

1. Корреляционная зависимость результатов ВК и ЭКЗ является незначимой, за исключением результатов по ИПР, что можно объяснить более высоким конкурсом при наборе студентов в ИПР.

2. Отличия результатов ВК по математике в ТПУ 2012 года от соответствующих результатов ЭКЗ являются высоко значимыми для классической формы заочного образования ТПУ. При этом результаты ВК хуже результатов ЭКЗ в среднем на »1,5 балла, что может быть объяснено снижением уровня требований на итоговом семестровом контроле. Рекомендуется придание официального статуса ВК и внедрение в учебный процесс для студентов-заочников выравнивающего курса по школьной математике.

3. Выборки ВК и ЭКЗ по институтам являются неоднородными: результаты ВК различаются статистически значимо, а результаты ЭКЗ – сильно значимо.

4. Результаты ВК и ЭКЗ по каждому институту различаются значимо: статистически значимо для ИНК и ИФВТ, а для ЭНИН и ИПР высоко значимо.

5. Ранговые и соответствующие параметрические критерии, примененные для оценки значимости различий между ВК и ЭКЗ, приводят к сопоставимым по значимости результатам.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.