Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

ANALYSIS OF VARIANCE OF OUTCOMES OF ENTERING TESTING OF MATHEMATICAL KNOWLEDGE IN TECHNICAL COLLEGE

Mikhalchuk A.A. 1 Arefev V.P. 1 Filipenko N.M. 1
1 National Research Tomsk Polytechnic University
Проведен статистический анализ результатов входного тестирования (ВТ) по математике набора 2011-2013 гг., в котором участвовали студенты-очники первого курса семи институтов Томского политехни-ческого университета (ТПУ). В рамках 2-х факторной дисперсионной модели ВТ (3-х уровневый фактор «ГОД» и 7-и уровневый фактор «ИНСТИТУТ») исследовано влияние факторов «ГОД» и «ИНСТИТУТ» на ВТ. Результаты ВТ ТПУ являются высоко значимо неоднородными по институтам за счет значимого размаха средних баллов результатов ВТ институтов от 1,4 до 2,5. Для каждого года выделены однородные (различающиеся незначимо) группы институтов. Результаты ВТ математических знаний студентов ТПУ имеют положительную динамику. Различие результатов ВТ ТПУ по годам оценивается как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ 2011г. (средний балл 1,724) от 2012-2013гг. при незначимом (р > 0,10) различии результатов ВТ ТПУ 2012г. (средний балл 2,261) и 2013г. (средний балл 2,268). Оценена динамика качества приема на 1 курс по институтам в широком диа-пазоне значимости: незначимая в период 2012-2013гг. для одного из семи институтов, для остальных ин-ститутов в период 2011-2012гг. значимая положительная, но в период 2012-2013гг. три института имеют положительную незначимую динамику, один имеет отрицательную незначимую динамику, а два – отри-цательную статистически значимую динамику. Результаты проведенного статистического анализа могут быть учтены в рамках проходящей реформы высшего образования.
The statistical analysis of outcomes of entering testing (ЕТ) on the mathematician of a gang 2011-2013 in which students-resident of the first course of seven institutes of Tomsk polytechnic university (ТPU) participated is spent. Within the limits of 2 factor dispersing models EТ (3 level of the factor "YEAR" and 7 level of the factor "INSTITUTE") influence of factors "YEAR" and "INSTITUTE" on ВТ is investigated. Outcomes of ET ТPU are highly significantly inhomogeneous on institutes at the expense of significant scope of mean scores of outcomes EТ of institutes from 1,4 to 2,5. For each year are selected homogeneous (differing not significant) groups of institutes. Outcomes EТ of mathematical knowledge of students ТPU have positive dynamics. Distinction of outcomes of ET ТPU on years is estimated as highly significant (р < 0,0005) at the expense of highly significant difference of outcomes of ET ТPU 2011г. (mean score 1,724) from 2012-2013гг. at insignificant (р > 0,10) dis-tinction of outcomes of ET ТPU 2012г. (mean score 2,261) and 2013г. (mean score 2,268). Dynamics of quality of reception on 1 course on institutes in a wide range of the importance is estimated: insignificant in phase 2012-2013гг. for one of seven institutes, for remaining institutes in phase 2011-2012гг. significant positive, but in phase 2012-2013гг. three institutes have the positive not significant dynamics, one has negative not significant dynamics, and two - negative statistically significant dynamics. Outcomes of the spent statistical analysis can be considered within the limits of passing reform of higher education.
the higher technical education.
entering testing of mathematical knowledge
analysis of variance

Одной из главных проблем современного инженерного образования в условиях модернизации высшей школы является проблема повышения качества образования и оценивания качества обучения в вузах [6, 8] и, в частности, анализ результатов входного тестирования в вузе [5, 7, 10]. В работах [1–3] проведен компьютерный статистический сравнительный анализ результатов входного контроля математических знаний школьной программы на основе аудиторной контрольной работы с проверкой ее преподавателями. Задание входного контроля в Томском политехническом университете (ТПУ) до 2011г. содержало 6 задач средней сложности (типа группы «В» в билетах ЕГЭ). В ТПУ, начиная с 2011г., наряду с вступительными испытаниями на основе результатов ЕГЭ по математике проводится входное тестирование (ВТ) математических знаний школьной программы на основе аудиторной контрольной работы в начале первого семестра. Задание ВТ для студентов-очников содержит 20 задач средней сложности (типа группы «В» в билетах ЕГЭ). В связи с этим представляет интерес статистический анализ результатов ВТ.

Все числовые результаты ВТ приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica [4] для статистического анализа данных.

Во ВТ набора 2011-2013 гг. участвовали студенты-очники первого курса ТПУ семи институтов [9]: кибернетики (ИК), природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ), физико-технического (ФТИ), неразрушающего контроля (ИНК) и социально-гуманитарных технологий (ИСГТ).

Таким образом, в данной работе рассматривается 2-х факторная дисперсионная модель ВТ (3-х уровневый фактор «ГОД» и 7-и уровневый фактор «ИНСТИТУТ»).

Для оценки значимости отличия результатов ВТ математических знаний студентов ТПУ рассмотрим совместное распределение их выборок по годам 2011-2013 (рис. 1) по 5-ти балльной равномерной шкале. Согласно рис.1, очевидна положительная динамика результатов ВТ не только «абсолютная» (для 2012-2013 на фоне 2011 в интервале (3;5)), но и «качественная» (для 2013 на фоне 2012 в интервале (4;5)).

Рис.1. Составная гистограмма результатов ВТ ТПУ по годам 2011-2013

Значимость неоднородности результатов ВТ ТПУ по годам 2011-2013 (рис. 2, слева) оценивалась на основании однофакторного дисперсионного анализа фактора «ГОД», а по институтам - фактора «ИНСТИТУТ» (рис. 2, справа).

Рис. 2. Линейные графики средних ВТ ТПУ (круги) с ±95% доверительными интервалами (усы) по годам (слева:) и по институтам (справа)

Параметрический F-критерий оценивает различие результатов ВТ ТПУ по годам как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ 2011г. (средний балл 1,724) от 2012-2013гг. при незначимом (р > 0,10) различии результатов ВТ ТПУ 2012г. (средний балл 2,261) и 2013г. (средний балл 2,268). Иными словами, влияние фактора «ГОД» на результаты ВТ ТПУ является высоко значимым. Аналогичная ситуация наблюдается с влиянием фактора «ИНСТИТУТ» на результаты ВТ ТПУ: результаты ВТ ТПУ являются высоко значимо неоднородными за счет, например, высоко значимого различия результатов ВТ институтов ИК (средний балл 2,496) и ИСГТ (средний балл 1,444).

Графики годовых средних баллов результатов ВТ по институтам с указанием 95 % доверительного интервала приведены на рис. 3.

Рис. 3. Линейные графики годовых средних результатов ВТ по институтам

На основании однофакторного дисперсионного анализа оценена значимость неоднородности результатов ВТ для каждого года по совокупности институтов. Применение параметрического F-критерия дисперсионного анализа приводит к выводу о высоко значимой неоднородности результатов ВТ по совокупности институтов для любого года (и даже для наименее неоднородного 2011г.).

Параметрические (среднее, стандартная ошибка, ±95% границы доверительных интервалов, объем n) числовые характеристики выборок результатов ВТ студентов 7-и институтов ТПУ 2011-2013гг. приведены в табл. 1.

Таблица 1. Числовые характеристики выборок результатов ВТ по годам и институтам

   

Среднее

Стд. ош.

-95%

+95%

n

2011

ИК

2,023

0,079

1,869

2,178

217

2011

ИНК

1,844

0,083

1,682

2,007

196

2011

ИПР

1,684

0,061

1,565

1,803

364

2011

ИФВТ

1,824

0,087

1,654

1,995

178

2011

ФТИ

1,724

0,071

1,584

1,863

265

2011

ЭНИН

1,690

0,054

1,584

1,796

461

2011

ИСГТ

1,360

0,080

1,203

1,516

210

2012

ИК

2,662

0,068

2,528

2,796

289

2012

ИНК

2,346

0,089

2,173

2,520

171

2012

ИПР

2,020

0,050

1,921

2,118

535

2012

ИФВТ

2,168

0,087

1,996

2,339

176

2012

ФТИ

2,533

0,072

2,392

2,674

260

2012

ЭНИН

2,551

0,054

2,444

2,658

454

2012

ИСГТ

1,523

0,073

1,380

1,666

253

2013

ИК

2,803

0,070

2,667

2,939

278

2013

ИНК

2,075

0,087

1,904

2,247

176

2013

ИПР

2,136

0,052

2,035

2,237

507

2013

ИФВТ

2,032

0,093

1,849

2,216

154

2013

ФТИ

2,672

0,070

2,535

2,809

276

2013

ЭНИН

2,366

0,054

2,260

2,472

460

2013

ИСГТ

1,451

0,081

1,292

1,610

205

Согласно апостериорному критерию наименьшей значимой разности, эквивалентному t-критерию для числа независимых выборок больше двух, выделены для каждого года однородные (различающиеся незначимо, то есть на уровне значимости р > 0,10) группы институтов, расположенные в порядке убывания средних:

  • 2011г.: {ИК, ИНК, ИФВТ}, {ИНК, ИФВТ, ФТИ, ЭНИН, ИПР}, {ИСГТ}. При этом ИК слабо значимо (0,05 < p=0,09 < 0,10) отличается от ИФВТ, но статистически значимо (0,005 < p=0,006 < 0,05) отличается от ФТИ, а ИНК незначимо (р = 0,12 > 0,10) отличается от ИПР, но высоко значимо (p < 0,0005) отличается от ИСГТ, который даже от ИПР отличается сильно значимо (0,0005 < p=0,001 < 0,005).
  • 2012г.: {ИК, ЭНИН, ФТИ}, {ФТИ, ИНК}, {ИНК, ИФВТ}, {ИФВТ, ИПР}, {ИСГТ}. При этом ИК незначимо (р = 0,19 > 0,10) отличается от ФТИ, но статистически значимо (0,005 < p=0,006 < 0,05) отличается от ИНК. Аналогично ФТИ и ИФВТ, а также ИНК и ИПР, различаются сильно значимо (0,0005 < p=0,001 < 0,005). ИСГТ даже от ИПР отличается высоко значимо (p= < 0,0005).
  • 2013г.: {ИК, ФТИ}, {ЭНИН}, {ИПР, ИНК, ИФВТ}, {ИСГТ}. При этом ФТИ незначимо (р = 0,18 > 0,10) отличается от ИК, но статистически значимо (0,005 < p=0,006 < 0,05) отличается от ЭНИН.

Графики средних баллов результатов ВТ по математике с указанием 95 % доверительного интервала для каждого института по годам, приведенные на рис. 4, дают представление о динамике качества приема на 1 курс.

Рис. 4. Средние ВТ институтов по годам с ±95% доверительными интервалами

Заметим, что динамика качества приема ИСГТ является незначимой: даже результаты ВТ 2011г. (средний балл 1,36) и 2012г. (средний балл 1,52) различаются незначимо (р = 0,13 > 0,10).

Согласно рис.4, все остальные институты имеют значимую положительную динамику в период 2011-2012гг. Далее ИК, ФТИ и ИПР имеют положительную незначимую динамику в период 2012-2013гг.: даже в случае самой сильной положительной динамики в ИПР результаты ВТ 2012г. (средний балл 2,020) и 2012г. (средний балл 2,136) различаются незначимо (р = 0,105 > 0,10). Среди остальных институтов в период 2012-2013гг. ИФВТ имеет отрицательную незначимую динамику, а ИНК и ЭНИН – отрицательную статистически значимую (0,005 < p < 0,05) динамику.

Проведенный статистический анализ результатов входного тестирования по математике студентов-первокурсников позволяет преподавателю выяснить реальную подготовленность первокурсников к изучению курса высшей математики. Результаты тестирования использовались при формировании групп для дополнительных занятий по математике и для составления программы работы с этими группами, включавшей в себя, помимо текущей тематики, ряд разделов из элементарной математики.

Выводы

1. Результаты ВТ математических знаний студентов ТПУ имеют положительную динамику не только «абсолютную» (для 2012-2013 на фоне 2011 в интервале (3;5) 5-ти балльной шкалы), но и «качественную» (для 2013 на фоне 2012 в интервале (4;5)).

2. Различие результатов ВТ ТПУ по годам оценивается как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ 2011г. (средний балл 1,724) от 2012-2013гг. при незначимом (р > 0,10) различии результатов ВТ ТПУ 2012г. (средний балл 2,261) и 2013г. (средний балл 2,268).

3. Результаты ВТ ТПУ являются высоко значимо неоднородными по институтам за счет, например, высоко значимого различия результатов ВТ институтов ИК (средний балл 2,496) и ИСГТ (средний балл 1,444). Для каждого года выделены однородные (различающиеся незначимо) группы институтов.

4. Оценена динамика качества приема на 1 курс по институтам: незначимая по ИСГТ, для остальных институтов в период 2011-2012гг. значимая положительная, но в период 2012-2013гг. ИК, ФТИ и ИПР имеют положительную незначимую динамику, ИФВТ имеет отрицательную незначимую динамику, а ИНК и ЭНИН – отрицательную статистически значимую динамику.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.