Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

СРАВНИТЕЛЬНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ ВХОДНОГО И ТЕКУЩЕГО КОНТРОЛЯ МАТЕМАТИЧЕСКИХ ЗНАНИЙ В РАМКАХ КЛАССИЧЕСКОЙ ФОР-МЫ ЗАОЧНОГО ВЫСШЕГО ОБРАЗОВАНИЯ

Арефьев В.П. 1 Михальчук А.А. 1 Филипенко Н.М. 1
1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»
Проведен сравнительный статистический анализ качества заочного технического образования на основе результатов входного (ВК) и текущего экзаменационного (ЭКЗ) контроля по высшей математике в рам-ках классической модели организации заочного обучения на примере Томского политехнического уни-верситета в составе 4-х институтов: природных ресурсов, энергетического, физики высоких технологий и неразрушающего контроля. Отмечена очень слабая корреляция и высоко значимое различие между ре-зультатами ВК и ЭКЗ с существенным превышением результатов ЭКЗ над ВК (в среднем на 1,5 балла). На основании однофакторного дисперсионного анализа (рангового критерия Краскела-Уоллиса и пара-метрического F-критерия) сделан вывод о статистически значимой (0,005 < р < 0,05) неоднородности ре-зультатов ВК и сильно значимой (0,0005 < р < 0,005) неоднородности результатов ЭКЗ по совокупности институтов. Для оценки различий между результатами ВК и ЭКЗ по каждому институту применялись параметрический дисперсионный анализ с повторными измерениями и ранговый критерий Вилкоксона для зависимых выборок. В результате различие между ВК и ЭКЗ оценено как статистически значимое (0,005 < р < 0,05) для институтов неразрушающего контроля и физики высоких технологий, а для инсти-тутов энергетического и природных ресурсов как высоко значимое (р < 0,0005). Обсуждаются причины значимых различий между ВК и ЭКЗ и способы их устранения. Результаты проведенного статистического анализа могут быть учтены в рамках проходящей реформы высшего образования.
заочное образование.
входной и текущий контроль математических знаний
Статистический анализ
1. Арефьев В. П. , Михальчук А. А. , Филипенко Н. М. Кластерный анализ результатов оценивания знаний в системе заочного обучения с использованием дистанционных образовательных технологий [Электронный ресурс] // Современные проблемы науки и образования. – 2013 - №. 3. – C. 1-8. – Режим доступа: http://www.science-education.ru/109-9506
2. Арефьев В.П., Михальчук А.А., Болтовский Д.В., Арефьев П.В. Дисперсионный анализ результатов усвоения математических знаний в техническом вузе // Открытое и дистанцион-ное образование. – 2011. - № 1. – С. 43-50.
3. Арефьев В.П., Михальчук А.А., Филипенко Н.М. Дисперсионный анализ качества со-временного заочного технического образования [Электронный ресурс] // Современные про-блемы науки и образования. – 2013. - № 2; URL: http://www.science-education.ru/108-8626 (да-та обращения: 19.03.2013).
4. Боровиков В.П. STATISTICA. Искусство анализа данных на компьютере: Для професси-оналов. – СПб.: Питер, 2003. – 688 с.
5. Гурьянова С.Ю. Качество образования в контексте модернизации высшей школы // Ка-чество. Инновации. Образование. – 2013. - № 1. – С. 3-14.
6. Кон Е.Л., Фрейман В.И., Южаков А.А. Проблема оценки качества обучения в вузах с системой подготовки «бакалавр - магистр» (на примере технических направлений) // Открытое образование. – 2013. - № 1. – С. 23-31.
7. Михальчук А.А., Арефьев В.П., Филипенко Н.М. Сравнительный статистический анализ параметрических и непараметрических методов оценивания знаний в системе заочного обучения [Электронный ресурс] // Современные проблемы науки и образования. – 2013. - № 3; URL: http://www.science-education.ru/109-9553 (дата обращения: 03.09.2013).
8. Образование в ТПУ: итоги 2011/12 учебного года /под ред. А.И. Чучалина, М.А. Соловь-ева. – Томск: Изд-во ТПУ, 2012. – 356 с.
9. Халафян А.А. STATISTICA 6. Статистический анализ данных. Учебник – М: ООО «Би-ном-Пресс», 2008 г. – 512 с.

Главной проблемой современного инженерного образования в условиях модернизации высшей школы является проблема повышения качества образования и оценивания качества обучения в вузах [5, 6] и, в частности, оценка качества образования на этапах приема в вуз и процесса очной формы обучения в вузе [2]. В работах [1, 3, 7] проведен компьютерный статистический сравнительный анализ результатов текущего контроля по математике для студентов-заочников. В Томском политехническом университете (ТПУ) наряду с итоговым семестровым контролем по математике проводится входной контроль (ВК) математических знаний школьной программы на основе аудиторной контрольной работы во время первой сессии с проверкой ее преподавателями. Задание ВК для студентов-заочников содержит 6 задач средней сложности (типа группы В в билетах ЕГЭ). В связи с этим представляет интерес сравнение результатов ВК с результатами итогового семестрового контроля по дифференциальному исчислению (ЭКЗ).

Все числовые результаты ЭКЗ и ВК приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica [4, 9] для статистического анализа данных.

Во ВК набора 2012 г. участвовали 130 студентов первого курса ТПУ классической формы заочного высшего образования 4-х институтов [8]: природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ) и неразрушающего контроля (ИНК).

Статистический анализ начнем с проверки переменных ВК и ЭКЗ на корреляционную зависимость. Матрицы коэффициентов парных корреляций (Пирсона r и Спирмена R) между переменными ВК и ЭКЗ приведены в табл. 1. В круглых скобках указаны соответствующие уровни значимости отличия коэффициентов корреляции от ноля. Согласно табл. 1, корреляцию между ВК и ЭКЗ можно считать в основном незначимой (р > 0,10). Исключение составляют результаты по ИПР: r ≈ 0,26 можно считать слабо значимо (0,05 < р ≈ 0,078 < 0,10), а R ≈ 0,31 статистически значимо (0,005 < р ≈ 0,034 < 0,05), отличными от ноля, хотя весьма далекими от единицы.

Таблица 1. Матрица коэффициентов парных корреляций Пирсона r и ранговых корреляций Спирмена R между переменными ВК и ЭКЗ с соответствующими уровнями значимости (р) отличия от ноля.

 

ТПУ

ИНК

ИФВТ

ЭНИН

ИПР

r

-0,02 (р>0,10)

-0,06 (р>0,10)

0,00 (р>0,10)

-0,23 (р=0,12)

0,26 (р=0,078)

R

0,035 (р>0,10)

0,011 (р>0,10)

0,015 (р>0,10)

-0,19 (р>0,10)

0,31 (р=0,034)

Для оценки значимости отличия результатов ВК и ЭКЗ рассмотрим совместное распределение их выборок (рис. 1) по 5-ти балльной равномерной шкале и показывающее наглядно существенные различия в распределениях ВК и ЭКЗ. При этом результаты ВК намного хуже результатов ЭКЗ. Превышение результатов ЭКЗ над ВК можно объяснить тем, что к экзамену студент готовился, а ВК проводился без предупреждения.

Рис. 1. Составная гистограмма результатов ВК и ЭКЗ

Заметим, что сглаживанию различий результатов ЭКЗ и ВК могло бы способствовать придание официального статуса ВК в целях повышения серьезного отношения к нему.

Для корректного сравнения зависимых выборок ВК и ЭКЗ необходимо предварительно проверить выборку поэлементной разности ЭКЗ – ВК на нормальность распределения (рис.2). Отметим существенный разброс значений разности результатов ЭКЗ – ВК, что также подтверждает отсутствие значимой корреляции между ВК и ЭКЗ. Преобладание положительных значений разности результатов ЭКЗ – ВК (≈88%) свидетельствует о существенном превышении результатов ЭКЗ над ВК (в среднем на 1,54 балла). Критерий хи-квадрат показывает сильно значимое отличие (0,0005 < р ≈ 0,0016 < 0,005) распределения переменной ЭКЗ – ВК от нормального. Поэтому для сравнения зависимых выборок ВК и ЭКЗ следует применять, прежде всего, непараметрические критерии. Аналитические ранговые критерии для зависимых выборок (критерий знаков и критерий Вилкоксона) дают очень высокую статистическую значимость различий результатов ВК и ЭКЗ (на уровне значимости р† 0,0005). Параметрический t – критерий для зависимых выборок также подтверждают эту значимость.

Рис. 2. Гистограмма ЭКЗ – ВК с соответствующей кривой нормального распределения

Выборки ВК и ЭКЗ являются составными. Параметрические (среднее, стандартная ошибка, ±95% границы доверительных интервалов) и непараметрические характеристики выборок (объем n, медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25% процентиль) и верхняя квартиль (75% процентиль)) результатов ВК и ЭКЗ студентов ТПУ и 4-х институтов приведены в табл. 2.

Таблица 2. Параметрические и непараметрические числовые характеристики выборок результатов ВК и ЭКЗ студентов ТПУ и 4-х институтов

   

Среднее

Стд. ош.

-95%

+95%

n

Медиана

Мин

Макс

25%

75%

ИНК

ВК

1,50

0,34

0,83

2,17

10

1,67

0,00

3,33

0,83

1,67

ИНК

ЭКЗ

2,77

0,19

2,39

3,16

10

2,75

2,00

3,00

2,75

3,00

ИФВТ

ВК

2,10

0,21

1,68

2,52

25

2,50

0,00

4,17

0,83

2,50

ИФВТ

ЭКЗ

2,84

0,12

2,60

3,08

25

3,00

2,00

4,00

2,00

3,00

ЭНИН

ВК

1,27

0,15

0,96

1,57

48

0,83

0,00

4,17

0,83

1,67

ЭНИН

ЭКЗ

3,17

0,09

2,99

3,34

48

3,00

2,00

5,00

3,00

3,00

ИПР

ВК

1,70

0,16

1,39

2,01

47

1,67

0,00

3,33

0,83

2,50

ИПР

ЭКЗ

3,35

0,09

3,17

3,53

47

3,50

1,65

4,55

2,80

3,75

ТПУ

ВК

1,60

0,10

1,41

1,79

130

1,67

0,00

4,17

0,83

2,50

ТПУ

ЭКЗ

3,14

0,06

3,03

3,25

130

3,00

1,65

5,00

3,00

3,50

Наблюдаемые распределения (диаграммы размаха) этих выборок результатов ВК и ЭКЗ изображены на рис.3.

 

Рис. 3. Диаграммы размаха результатов ВК (слева) и ЭКЗ (справа) по институтам ТПУ 2012 года: медианы (квадраты) с квартилями (прямоугольники) и размахами (усы)

Значения средних баллов результатов ВК и ЭКЗ по институтам с указанием 95 % доверительного интервала приведены на рис. 4.

Рис. 4. Линейные графики среднего балла с 95 % доверительным интервалом результатов ВК и ЭКЗ по совокупности институтов

На основании однофакторного дисперсионного анализа оценивается значимость неоднородности результатов ВК и ЭКЗ по совокупности институтов. Ранговый критерий Краскела-Уоллиса приводит к выводу о статистически значимых различиях (на уровне значимости рКУ ≈ 0,025) результатов ВК и сильно значимых различиях (на уровне значимости рКУ ≈ 0,0018) результатов ЭКЗ по совокупности институтов. Заметим, что применение параметрического F-критерия дисперсионного анализа приводит также к выводу о статистически значимой неоднородности (на уровне значимости рF ≈ 0,016) результатов ВК и сильно значимых различиях (на уровне значимости рF ≈ 0,0024) результатов ЭКЗ по совокупности институтов.

Для оценки различий между результатами ВК и ЭКЗ по каждому институту применялся дисперсионный анализ с повторными измерениями (рис. 5). Переменные ВК и ЭКЗ составляют при этом 2-х уровневый фактор повторных измерений (ФПИ). Применение F-критерия однофакторного дисперсионного анализа с повторными измерениями позволило выявить сильно значимые (на уровне р ≈ 0,002) различия между результатами ВК и ЭКЗ по совокупности институтов. Значимость различий между ВК и ЭКЗ по каждому институту оценивалась с помощью параметрического апостериорного критерия наименьших значений разности и рангового критерия Вилкоксона для зависимых выборок. В результате различие между ВК и ЭКЗ оценено как статистически значимое (0,005 < р < 0,05) для ИНК и ИФВТ, а для ЭНИН и ИПР как высоко значимое ( р < 0,00005).

Рис. 5. Линейные графики среднего балла с 95 % доверительным интервалом результатов ВК и ЭКЗ по каждому институту

Заметим, что примененные ранговые и соответствующие параметрические критерии [2, 4, 7] для оценки значимости различий между ВК и ЭКЗ приводят к сопоставимым по значимости результатам.

Выводы

1. Корреляционная зависимость результатов ВК и ЭКЗ является незначимой, за исключением результатов по ИПР, что можно объяснить более высоким конкурсом при наборе студентов в ИПР.

2. Отличия результатов ВК по математике в ТПУ 2012 года от соответствующих результатов ЭКЗ являются высоко значимыми для классической формы заочного образования ТПУ. При этом результаты ВК хуже результатов ЭКЗ в среднем на »1,5 балла, что может быть объяснено снижением уровня требований на итоговом семестровом контроле. Рекомендуется придание официального статуса ВК и внедрение в учебный процесс для студентов-заочников выравнивающего курса по школьной математике.

3. Выборки ВК и ЭКЗ по институтам являются неоднородными: результаты ВК различаются статистически значимо, а результаты ЭКЗ – сильно значимо.

4. Результаты ВК и ЭКЗ по каждому институту различаются значимо: статистически значимо для ИНК и ИФВТ, а для ЭНИН и ИПР высоко значимо.

5. Ранговые и соответствующие параметрические критерии, примененные для оценки значимости различий между ВК и ЭКЗ, приводят к сопоставимым по значимости результатам.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.


Библиографическая ссылка

Арефьев В.П., Михальчук А.А., Филипенко Н.М. СРАВНИТЕЛЬНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ ВХОДНОГО И ТЕКУЩЕГО КОНТРОЛЯ МАТЕМАТИЧЕСКИХ ЗНАНИЙ В РАМКАХ КЛАССИЧЕСКОЙ ФОР-МЫ ЗАОЧНОГО ВЫСШЕГО ОБРАЗОВАНИЯ // Современные проблемы науки и образования. – 2013. – № 5.;
URL: http://science-education.ru/ru/article/view?id=10676 (дата обращения: 06.12.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074