Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,813

COMPARATIVE STATISTICAL ANALYSIS OF OUTCOMES OF ENTERING TESTING ON THE MATHEMATICIAN, THE PHYSICIST AND CHEMISTRY IN TECHNICAL COLLEGE

Filipenko N.M. 1 Mikhalchuk A.A. 1 Arefev V.P. 1
1 National Research Tomsk Polytechnic University
Проведен сравнительный статистический анализ результатов входного тестирования (ВТ) по математи-ке, физике и химии набора 2013 г., в котором участвовали студенты-очники первого курса шести инсти-тутов Томского политехнического университета (ТПУ). Результаты ВТ ТПУ являются высоко значимо неоднородными как по предметам, так и по институтам. Для каждого предмета выделены однородные (различающиеся незначимо) группы институтов. Различие результатов ВТ ТПУ по предметам оценива-ется как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ по мате-матике от физики и химии при сильно значимом (0,0005 < p=0,001 < 0,005) различии результатов физики и химии. На основании критерия хи-квадрат выявлено высоко значимое отличие распределений резуль-татов ВТ предметов от нормального закона. Корреляция между результатами ВТ предметов высоко зна-чимо отличается от ноля, хотя далека от единицы. При этом коэффициенты парных корреляций Пирсона r отличаются от соответствующих ранговых корреляций Спирмена R не значимо. В рамках кластерного анализа методом K-средних 6 институтов разделены на 3 кластера, один из которых содержит два института, однородных по совокупности высоких результатов по всем предметам, промежуточный по результатам моно кластер и кластер из трех институтов, однородных по совокупности низких результа-тов по математике и физике. Результаты проведенного статистического анализа могут быть учтены в рамках проходящей реформы высшего образования.
The comparative statistical analysis of outcomes of entering testing (ЕТ) on the mathematician, the physicist and chemistry of a gang of 2013 in which students-resident students of the first course of six institutes of Tomsk poly-technic university (ТPU) participated is spent. Outcomes of ЕT ТPU are highly significantly inhomogeneous both in subjects, and on institutes. For each subject are selected homogeneous (differing not significantly) groups of institutes. Distinction of outcomes of ЕT ТPU in subjects is estimated as highly significant (р <0,0005) at the expense of highly significant difference of outcomes of ЕT ТPU on the mathematician from physics and chemistry at strongly significant (0,0005 < p = 0,001 < 0,005) distinction of outcomes of physics and chemistry. On the basis of criterion a chi-square highly significant difference of distributions of outcomes EТ of subjects from the normal law is revealed. Correlation between outcomes EТ of subjects highly significantly differs from a zero though it is far from unit. Thus factors of conjugate correlations of Pirson r differ from corresponding grade correlations of Spirmen R not significantly. Within the limits of the cluster analysis the method of K-averages of 6 institutes divides into 3 clusters, one of which containing two institutes, good results homogeneous for a population in all subjects, intermediate by results mоnо a cluster and a cluster from three institutes homogeneous for a population of low outcomes after the mathematician and the physicist. Outcomes of the spent statistical analysis can be considered within the limits of passing reform of higher education.
the higher technical education.
entering testing
the cluster analysis
analysis of variance

В контексте происходящих процессов реформирования всей системы высшего образования в России одной из главных является проблема повышения качества образования и оценивания качества обучения в вузах [5, 7] и, в частности, анализ результатов входного контроля в вузе в основном по математике [1, 2, 4, 10], реже по физике [9] и химии [6]. В связи с этим представляет интерес сравнительный статистический анализ результатов входного контроля по математике, физике и химии на базе данных результатов входного тестирования (ВТ), проведенного в Томском политехническом университете (ТПУ) по математике (МАТЕМ), физике (ФИЗИКА) и химии (ХИМИЯ) наряду с вступительными испытаниями на основе результатов ЕГЭ в начале первого семестра 2013-2014 учебного года. Задание ВТ для студентов-очников по математике и химии содержали 20, а по физике – 16 задач средней сложности (типа группы «В» в билетах ЕГЭ).

Все числовые результаты ВТ приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica [3] для статистического анализа данных.

Распределения (гистограммы) по всем предметам приведены на рис. 1.

Рис.1. Составная гистограмма результатов ВТ ТПУ 2013г. по предметам с соответствующими кривыми нормального распределения

Согласно χ2-критерию Пирсона, распределения (гистограммы) по всем предметам высоко значимо (на уровне значимости р<0,0005) отличаются от соответствующих теоретических нормальных распределений (кривые) по МАТЕМ, ФИЗИКА и ХИМИЯ с параметрами (N – объем выборки, m – выборочное среднее, σ – выборочное стандартное отклонение), указанными на рис.1 в формате ПРЕДМЕТ = N*normal(x, m, σ).

Дисперсионный анализ (параметрический F-критерий и ранговый критерий Краскела-Уоллиса) оценивает различие результатов ВТ ТПУ по предметам как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ по МАТЕМ от ФИЗИКА и ХИМИЯ при сильно значимом (0,0005 < p=0,001 < 0,005) различии результатов ФИЗИКА и ХИМИЯ.

Корреляционную зависимость МАТЕМ, ФИЗИКА и ХИМИЯ характеризуют коэффициенты парной корреляции (параметрический Пирсона r и ранговый Спирмена R). Матрицы коэффициентов парных корреляций переменных приведены в табл. 1 (Пирсона r – в право-верхнем треугольнике над диагональю и Спирмена R – в лево-нижнем треугольнике под диагональю). Все корреляции можно считать высоко значимо ( р < 0,0005) отличающуюся от ноля, тем не менее далекими от единицы. При этом коэффициенты парных корреляций Пирсона r отличаются от соответствующих ранговых корреляций Спирмена R незначимо. Согласно табл. 1, наиболее сильной корреляционной зависимостью связаны МАТЕМ и ФИЗИКА. В рамках кластерного анализа проведена иерархическая классификация предметов по совокупности институтов, отражающая корреляционную зависимость предметов (в качестве меры близости выбрано корреляционное расстояния 1 – r) и построена дендрограмма предметов (рис. 2).

Таблица 1. Матрица коэффициентов парных корреляций: Пирсона r – в право-верхнем треугольнике и Спирмена R – в лево-нижнем треугольнике под диагональю

 

М

Ф

Х

 

МАТЕМ

1,000

0,595

0,494

r

ФИЗИКА

0,600

1,000

0,475

ХИМИЯ

0,488

0,457

1,000

 

R

 

Рис. 2. Дендрограмма предметов

Во ВТ по предметам участвовали студенты-очники первого курса ТПУ набора 2013 г. 6-и институтов [8]: кибернетики (ИК), природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ), физико-технического (ФТИ) и неразрушающего контроля (ИНК).

Таким образом, в данной работе рассматривается 2-х факторная дисперсионная модель ВТ (3-х уровневый фактор «ПРЕДМЕТ» и 6-и уровневый фактор «ИНСТИТУТ»).

Графики предметных средних баллов результатов ВТ по институтам с указанием 95 % доверительного интервала приведены на рис. 3.

Рис. 3. Линейные графики предметных средних результатов ВТ 2013г. по институтам

Применение параметрического F-критерия дисперсионного анализа приводит к выводу о высоко значимой неоднородности результатов ВТ по совокупности институтов для любого предмета.

Параметрические (среднее, стандартная ошибка, ±95% границы доверительных интервалов, объем n) числовые характеристики выборок результатов ВТ студентов 6-и институтов ТПУ по 3-м предметам приведены в табл. 2.

Таблица 2. Характеристики выборок результатов ВТ по предметам и институтам

ПРЕДМЕТ

ИНСТИТУТ

Среднее

Стд. ош.

-95%

+95%

n

МАТЕМ

ИК

2,803

0,066

2,674

2,932

278

МАТЕМ

ИНК

2,075

0,083

1,913

2,237

176

МАТЕМ

ИПР

2,145

0,049

2,049

2,240

505

МАТЕМ

ИФВТ

2,032

0,088

1,859

2,205

154

МАТЕМ

ФТИ

2,682

0,066

2,552

2,811

275

МАТЕМ

ЭНИН

2,366

0,051

2,266

2,466

460

ФИЗИКА

ИК

1,938

0,066

1,809

2,067

278

ФИЗИКА

ИНК

1,655

0,083

1,493

1,817

176

ФИЗИКА

ИПР

1,747

0,050

1,649

1,846

475

ФИЗИКА

ИФВТ

1,544

0,088

1,371

1,717

154

ФИЗИКА

ФТИ

2,162

0,069

2,027

2,296

255

ФИЗИКА

ЭНИН

1,959

0,051

1,859

2,059

460

ХИМИЯ

ИК

1,857

0,079

1,702

2,013

191

ХИМИЯ

ИНК

1,506

0,095

1,320

1,691

134

ХИМИЯ

ИПР

1,871

0,052

1,769

1,972

446

ХИМИЯ

ИФВТ

1,744

0,101

1,545

1,942

117

ХИМИЯ

ФТИ

1,959

0,068

1,825

2,093

257

ХИМИЯ

ЭНИН

1,511

0,051

1,411

1,611

460

Диаграмма рассеяния институтских средних ВТ по предметам изображена на рис. 4.

Рис. 4. Диаграмма рассеяния институтских средних ВТ по предметам

Согласно апостериорному критерию наименьшей значимой разности, эквивалентному t-критерию для числа независимых выборок больше двух, выделены для каждого предмета однородные (различающиеся незначимо, то есть на уровне значимости р > 0,10) группы институтов, расположенные в порядке убывания средних:

  • МАТЕМ: {ИК, ФТИ}, {ЭНИН}, {ИПР, ИНК, ИФВТ}. При этом ЭНИН сильно значимо (0,0005 < p=0,002 < 0,005) отличается от ИПР и высоко значимо (p < 0,0005) отличается от ФТИ.
  • ФИЗИКА: {ФТИ}, {ЭНИН, ИК}, {ИПР, ИНК}, {ИНК, ИФВТ}. При этом ИПР статистически значимо (0,005 < p=0,045 < 0,05) отличается от ИФВТ.
  • ХИМИЯ: { ФТИ, ИПР, ИК, ИФВТ}, {ЭНИН, ИНК}. При этом ФТИ слабо значимо ((0,05 < p=0,08 < 0,10)) отличается от ИФВТ, но высоко значимо (p < 0,0005) отличается от ЭНИН, который статистически значимо (0,005 < p=0,04 < 0,05) отличается от ИФВТ.

В данной работе на базе данных выборки ВТ проведен кластерный анализ институтов по совокупности предметов. В рамках кластерного анализа методом K-средних, проводящим классификацию институтов по заданному количеству кластеров, рассмотрена 3-х (толстая красная горизонтальная прямая на рис. 5 слева) кластерная модель: К1 = {ИК, ФТИ} по совокупности высоких результатов по всем предметам, промежуточный моно кластер К21 = {ЭНИН} и К22 = {ИФВТ, ИНК, ИПР} по совокупности низких результатов по математике и физике. Заметим, что деление 6-ти институтов на 3 кластера является устойчивым как по отношению к выбору мер близости (евклидового, манхеттенского или чебышевского расстояния), так и правилам объединения кластеров (метода полной связи, метода Уорда (Варда) и т.д.), реализованным в пакете Statistica. По рассчитанным кластерным средним для наглядного оценивания значимости различий построены их линейные графики на рис. 5 справа.

 

Рис. 5. Дендрограмма институтов (слева) и графики кластерных средних институтов по предметам в случае 3-х кластерной модели (справа)

При этом, согласно параметрическому F-критерию (табл. 3), 6 институтов разделены на 3 кластера по математике сильно значимо (0,0005 < p» 0,004 < 0,005); по физике – слабо значимо (0,05 < p» 0,075 < 0,10); по химии – незначимо (0,10 < p) вследствие широкого размаха средних по химии для институтов кластера К22 = {ИФВТ, ИНК, ИПР}. Как следует из рис. 5 слева, на уровне деление 6-ти институтов на 4 кластера из кластера К22 выделяется в моно кластер ИНК, наиболее отличающийся по химии от ИФВТ и ИПР (рис. 4).

Таблица 3. Результаты дисперсионного анализа качества 3-х кластерной модели институтов

Проведенный статистический анализ результатов входного тестирования по предметам позволяет выяснить реальную подготовленность первокурсников к изучению дисциплины и использовать их при формировании групп для дополнительных занятий.

Выводы

1. На основании критерия хи-квадрат выявлено высоко значимое отличие распределений результатов ВТ предметов от нормального закона.

2. Корреляция между результатами ВТ предметов высоко значимо отличается от ноля, хотя далека от единицы. При этом коэффициенты парных корреляций Пирсона r отличаются от соответствующих ранговых корреляций Спирмена R не значимо.

3. Дисперсионный анализ (параметрический F-критерий и ранговый критерий Краскела-Уоллиса) оценивает различие результатов ВТ ТПУ по предметам как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ по математике от физики и химии при сильно значимом (0,0005 < p=0,001 < 0,005) различии результатов физики и химии.

4. Различие результатов ВТ ТПУ для любого предмета оценивается на основании параметрического F-критерия дисперсионного анализа как высоко значимое (р < 0,0005) по совокупности институтов. Для каждого предмета выделены однородные (различающиеся незначимо) группы институтов.

5. В рамках кластерного анализа методом K-средних 6 институтов разделены на 3 кластера, один из которых содержит два института, однородных по совокупности высоких результатов по всем предметам, промежуточный по результатам моно кластер и кластер из трех институтов, однородных по совокупности низких результатов по математике и физике.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.