Главной проблемой современного инженерного образования в условиях модернизации высшей школы является проблема повышения качества образования и оценивания качества обучения в вузах [5, 6] и, в частности, оценка качества образования на этапах приема в вуз и процесса очной формы обучения в вузе [2]. В работах [1, 3, 7] проведен компьютерный статистический сравнительный анализ результатов текущего контроля по математике для студентов-заочников. В Томском политехническом университете (ТПУ) наряду с итоговым семестровым контролем по математике проводится входной контроль (ВК) математических знаний школьной программы на основе аудиторной контрольной работы во время первой сессии с проверкой ее преподавателями. Задание ВК для студентов-заочников содержит 6 задач средней сложности (типа группы В в билетах ЕГЭ). В связи с этим представляет интерес сравнение результатов ВК с результатами итогового семестрового контроля по дифференциальному исчислению (ЭКЗ).
Все числовые результаты ЭКЗ и ВК приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica [4, 9] для статистического анализа данных.
Во ВК набора 2012 г. участвовали 130 студентов первого курса ТПУ классической формы заочного высшего образования 4-х институтов [8]: природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ) и неразрушающего контроля (ИНК).
Статистический анализ начнем с проверки переменных ВК и ЭКЗ на корреляционную зависимость. Матрицы коэффициентов парных корреляций (Пирсона r и Спирмена R) между переменными ВК и ЭКЗ приведены в табл. 1. В круглых скобках указаны соответствующие уровни значимости отличия коэффициентов корреляции от ноля. Согласно табл. 1, корреляцию между ВК и ЭКЗ можно считать в основном незначимой (р > 0,10). Исключение составляют результаты по ИПР: r ≈ 0,26 можно считать слабо значимо (0,05 < р ≈ 0,078 < 0,10), а R ≈ 0,31 статистически значимо (0,005 < р ≈ 0,034 < 0,05), отличными от ноля, хотя весьма далекими от единицы.
Таблица 1. Матрица коэффициентов парных корреляций Пирсона r и ранговых корреляций Спирмена R между переменными ВК и ЭКЗ с соответствующими уровнями значимости (р) отличия от ноля.
|
|
ТПУ |
ИНК |
ИФВТ |
ЭНИН |
ИПР |
|
r |
-0,02 (р>0,10) |
-0,06 (р>0,10) |
0,00 (р>0,10) |
-0,23 (р=0,12) |
0,26 (р=0,078) |
|
R |
0,035 (р>0,10) |
0,011 (р>0,10) |
0,015 (р>0,10) |
-0,19 (р>0,10) |
0,31 (р=0,034) |
Для оценки значимости отличия результатов ВК и ЭКЗ рассмотрим совместное распределение их выборок (рис. 1) по 5-ти балльной равномерной шкале и показывающее наглядно существенные различия в распределениях ВК и ЭКЗ. При этом результаты ВК намного хуже результатов ЭКЗ. Превышение результатов ЭКЗ над ВК можно объяснить тем, что к экзамену студент готовился, а ВК проводился без предупреждения.
Рис. 1. Составная гистограмма результатов ВК и ЭКЗ
Заметим, что сглаживанию различий результатов ЭКЗ и ВК могло бы способствовать придание официального статуса ВК в целях повышения серьезного отношения к нему.
Для корректного сравнения зависимых выборок ВК и ЭКЗ необходимо предварительно проверить выборку поэлементной разности ЭКЗ – ВК на нормальность распределения (рис.2). Отметим существенный разброс значений разности результатов ЭКЗ – ВК, что также подтверждает отсутствие значимой корреляции между ВК и ЭКЗ. Преобладание положительных значений разности результатов ЭКЗ – ВК (≈88%) свидетельствует о существенном превышении результатов ЭКЗ над ВК (в среднем на 1,54 балла). Критерий хи-квадрат показывает сильно значимое отличие (0,0005 < р ≈ 0,0016 < 0,005) распределения переменной ЭКЗ – ВК от нормального. Поэтому для сравнения зависимых выборок ВК и ЭКЗ следует применять, прежде всего, непараметрические критерии. Аналитические ранговые критерии для зависимых выборок (критерий знаков и критерий Вилкоксона) дают очень высокую статистическую значимость различий результатов ВК и ЭКЗ (на уровне значимости р† 0,0005). Параметрический t – критерий для зависимых выборок также подтверждают эту значимость.
Рис. 2. Гистограмма ЭКЗ – ВК с соответствующей кривой нормального распределения
Выборки ВК и ЭКЗ являются составными. Параметрические (среднее, стандартная ошибка, ±95% границы доверительных интервалов) и непараметрические характеристики выборок (объем n, медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25% процентиль) и верхняя квартиль (75% процентиль)) результатов ВК и ЭКЗ студентов ТПУ и 4-х институтов приведены в табл. 2.
Таблица 2. Параметрические и непараметрические числовые характеристики выборок результатов ВК и ЭКЗ студентов ТПУ и 4-х институтов
|
Среднее |
Стд. ош. |
-95% |
+95% |
n |
Медиана |
Мин |
Макс |
25% |
75% |
||
|
ИНК |
ВК |
1,50 |
0,34 |
0,83 |
2,17 |
10 |
1,67 |
0,00 |
3,33 |
0,83 |
1,67 |
|
ИНК |
ЭКЗ |
2,77 |
0,19 |
2,39 |
3,16 |
10 |
2,75 |
2,00 |
3,00 |
2,75 |
3,00 |
|
ИФВТ |
ВК |
2,10 |
0,21 |
1,68 |
2,52 |
25 |
2,50 |
0,00 |
4,17 |
0,83 |
2,50 |
|
ИФВТ |
ЭКЗ |
2,84 |
0,12 |
2,60 |
3,08 |
25 |
3,00 |
2,00 |
4,00 |
2,00 |
3,00 |
|
ЭНИН |
ВК |
1,27 |
0,15 |
0,96 |
1,57 |
48 |
0,83 |
0,00 |
4,17 |
0,83 |
1,67 |
|
ЭНИН |
ЭКЗ |
3,17 |
0,09 |
2,99 |
3,34 |
48 |
3,00 |
2,00 |
5,00 |
3,00 |
3,00 |
|
ИПР |
ВК |
1,70 |
0,16 |
1,39 |
2,01 |
47 |
1,67 |
0,00 |
3,33 |
0,83 |
2,50 |
|
ИПР |
ЭКЗ |
3,35 |
0,09 |
3,17 |
3,53 |
47 |
3,50 |
1,65 |
4,55 |
2,80 |
3,75 |
|
ТПУ |
ВК |
1,60 |
0,10 |
1,41 |
1,79 |
130 |
1,67 |
0,00 |
4,17 |
0,83 |
2,50 |
|
ТПУ |
ЭКЗ |
3,14 |
0,06 |
3,03 |
3,25 |
130 |
3,00 |
1,65 |
5,00 |
3,00 |
3,50 |
Наблюдаемые распределения (диаграммы размаха) этих выборок результатов ВК и ЭКЗ изображены на рис.3.
Рис. 3. Диаграммы размаха результатов ВК (слева) и ЭКЗ (справа) по институтам ТПУ 2012 года: медианы (квадраты) с квартилями (прямоугольники) и размахами (усы)
Значения средних баллов результатов ВК и ЭКЗ по институтам с указанием 95 % доверительного интервала приведены на рис. 4.
Рис. 4. Линейные графики среднего балла с 95 % доверительным интервалом результатов ВК и ЭКЗ по совокупности институтов
На основании однофакторного дисперсионного анализа оценивается значимость неоднородности результатов ВК и ЭКЗ по совокупности институтов. Ранговый критерий Краскела-Уоллиса приводит к выводу о статистически значимых различиях (на уровне значимости рКУ ≈ 0,025) результатов ВК и сильно значимых различиях (на уровне значимости рКУ ≈ 0,0018) результатов ЭКЗ по совокупности институтов. Заметим, что применение параметрического F-критерия дисперсионного анализа приводит также к выводу о статистически значимой неоднородности (на уровне значимости рF ≈ 0,016) результатов ВК и сильно значимых различиях (на уровне значимости рF ≈ 0,0024) результатов ЭКЗ по совокупности институтов.
Для оценки различий между результатами ВК и ЭКЗ по каждому институту применялся дисперсионный анализ с повторными измерениями (рис. 5). Переменные ВК и ЭКЗ составляют при этом 2-х уровневый фактор повторных измерений (ФПИ). Применение F-критерия однофакторного дисперсионного анализа с повторными измерениями позволило выявить сильно значимые (на уровне р ≈ 0,002) различия между результатами ВК и ЭКЗ по совокупности институтов. Значимость различий между ВК и ЭКЗ по каждому институту оценивалась с помощью параметрического апостериорного критерия наименьших значений разности и рангового критерия Вилкоксона для зависимых выборок. В результате различие между ВК и ЭКЗ оценено как статистически значимое (0,005 < р < 0,05) для ИНК и ИФВТ, а для ЭНИН и ИПР как высоко значимое ( р < 0,00005).
Рис. 5. Линейные графики среднего балла с 95 % доверительным интервалом результатов ВК и ЭКЗ по каждому институту
Заметим, что примененные ранговые и соответствующие параметрические критерии [2, 4, 7] для оценки значимости различий между ВК и ЭКЗ приводят к сопоставимым по значимости результатам.
Выводы
1. Корреляционная зависимость результатов ВК и ЭКЗ является незначимой, за исключением результатов по ИПР, что можно объяснить более высоким конкурсом при наборе студентов в ИПР.
2. Отличия результатов ВК по математике в ТПУ 2012 года от соответствующих результатов ЭКЗ являются высоко значимыми для классической формы заочного образования ТПУ. При этом результаты ВК хуже результатов ЭКЗ в среднем на »1,5 балла, что может быть объяснено снижением уровня требований на итоговом семестровом контроле. Рекомендуется придание официального статуса ВК и внедрение в учебный процесс для студентов-заочников выравнивающего курса по школьной математике.
3. Выборки ВК и ЭКЗ по институтам являются неоднородными: результаты ВК различаются статистически значимо, а результаты ЭКЗ – сильно значимо.
4. Результаты ВК и ЭКЗ по каждому институту различаются значимо: статистически значимо для ИНК и ИФВТ, а для ЭНИН и ИПР высоко значимо.
5. Ранговые и соответствующие параметрические критерии, примененные для оценки значимости различий между ВК и ЭКЗ, приводят к сопоставимым по значимости результатам.
Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.
Рецензенты:
Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.
Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.