Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

СРАВНИТЕЛЬНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ РЕЗУЛЬТАТОВ ВХОДНОГО ТЕСТИРОВАНИЯ ПО МАТЕМАТИКЕ, ФИЗИКЕ И ХИМИИ ВО ВТУЗЕ

Филипенко Н.М. 1 Михальчук А.А. 1 Арефьев В.П. 1
1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»
Проведен сравнительный статистический анализ результатов входного тестирования (ВТ) по математи-ке, физике и химии набора 2013 г., в котором участвовали студенты-очники первого курса шести инсти-тутов Томского политехнического университета (ТПУ). Результаты ВТ ТПУ являются высоко значимо неоднородными как по предметам, так и по институтам. Для каждого предмета выделены однородные (различающиеся незначимо) группы институтов. Различие результатов ВТ ТПУ по предметам оценива-ется как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ по мате-матике от физики и химии при сильно значимом (0,0005 < p=0,001 < 0,005) различии результатов физики и химии. На основании критерия хи-квадрат выявлено высоко значимое отличие распределений резуль-татов ВТ предметов от нормального закона. Корреляция между результатами ВТ предметов высоко зна-чимо отличается от ноля, хотя далека от единицы. При этом коэффициенты парных корреляций Пирсона r отличаются от соответствующих ранговых корреляций Спирмена R не значимо. В рамках кластерного анализа методом K-средних 6 институтов разделены на 3 кластера, один из которых содержит два института, однородных по совокупности высоких результатов по всем предметам, промежуточный по результатам моно кластер и кластер из трех институтов, однородных по совокупности низких результа-тов по математике и физике. Результаты проведенного статистического анализа могут быть учтены в рамках проходящей реформы высшего образования.
высшее техническое образование.
входное тестирование
кластерный анализ
дисперсионный анализ
1. Арефьев В.П., Михальчук А.А., Кулебакина Н.Н. Компьютерный статистический анализ качества инженерного образования. Входной контроль математических знаний // Известия Томского политехнического университета. – 2005. – Т. 308. - № 2. – С. 201-205.
2. Арефьев В.П., Михальчук А.А., Лазарева Л.И.. Сравнительный статистический анализ результатов вступительных испытаний и входного контроля математических знаний. // Открытое и дистанционное образование. – 2007. - №4 (28). – С. 41–51.
3. Боровиков В.П. STATISTICA. Искусство анализа данных на компьютере: Для профессионалов. – СПб.: Питер, 2003. – 688 с.
4. Головина Л.Н., Борисенко И.Г. Анализ результатов входного контроля студентов пер-вого курса машиностроительных специальностей // Сибирский педагогический журнал. – 2013. - № 2. – С. 135-138.
5. Гурьянова С.Ю. Качество образования в контексте модернизации высшей школы // Качество. Инновации. Образование. – 2013. - № 1. – С. 3-14.
6. Князева Е.М., Юрмазова Т.А. Входной контроль знаний студентов технического уни-верситета по химии // Современные проблемы науки и образования. – 2013. - № 1.; URL: http://www.science-education.ru/107-8326 (дата обращения: 03.09.2013).
7. Кон Е.Л., Фрейман В.И., Южаков А.А. Проблема оценки качества обучения в вузах с системой подготовки «бакалавр - магистр» (на примере технических направлений) // Откры-тое образование. – 2013. - № 1. – С. 23-31.
8. Образование в ТПУ: итоги 2011/12 учебного года /под ред. А.И. Чучалина, М.А. Со-ловьева – Томск: Изд-во ТПУ, 2012. – 356 с.
9. Поршнева Е.Г., Туманов А.Ю. Методика анализа результатов тестирования студентов по физике при зачислении на факультет военного обучения СПбГПУ // Научно-технические ведомости СПбГПУ. – 2013. - № 171. – С. 332-335.
10. Хватов Ю.А., Счисляева Е.Р. Анализ результатов входного тестирования по техноло-гии IRT // Строительство уникальных зданий и сооружений. – 2013. - № 4. – С. 123-132.

В контексте происходящих процессов реформирования всей системы высшего образования в России одной из главных является проблема повышения качества образования и оценивания качества обучения в вузах [5, 7] и, в частности, анализ результатов входного контроля в вузе в основном по математике [1, 2, 4, 10], реже по физике [9] и химии [6]. В связи с этим представляет интерес сравнительный статистический анализ результатов входного контроля по математике, физике и химии на базе данных результатов входного тестирования (ВТ), проведенного в Томском политехническом университете (ТПУ) по математике (МАТЕМ), физике (ФИЗИКА) и химии (ХИМИЯ) наряду с вступительными испытаниями на основе результатов ЕГЭ в начале первого семестра 2013-2014 учебного года. Задание ВТ для студентов-очников по математике и химии содержали 20, а по физике – 16 задач средней сложности (типа группы «В» в билетах ЕГЭ).

Все числовые результаты ВТ приведены к единой 5-балльной шкале (делением результата на соответствующий максимальный результат и умножением на пять). Созданная таким образом в MS Excel база данных использовалась далее в пакете Statistica [3] для статистического анализа данных.

Распределения (гистограммы) по всем предметам приведены на рис. 1.

Рис.1. Составная гистограмма результатов ВТ ТПУ 2013г. по предметам с соответствующими кривыми нормального распределения

Согласно χ2-критерию Пирсона, распределения (гистограммы) по всем предметам высоко значимо (на уровне значимости р<0,0005) отличаются от соответствующих теоретических нормальных распределений (кривые) по МАТЕМ, ФИЗИКА и ХИМИЯ с параметрами (N – объем выборки, m – выборочное среднее, σ – выборочное стандартное отклонение), указанными на рис.1 в формате ПРЕДМЕТ = N*normal(x, m, σ).

Дисперсионный анализ (параметрический F-критерий и ранговый критерий Краскела-Уоллиса) оценивает различие результатов ВТ ТПУ по предметам как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ по МАТЕМ от ФИЗИКА и ХИМИЯ при сильно значимом (0,0005 < p=0,001 < 0,005) различии результатов ФИЗИКА и ХИМИЯ.

Корреляционную зависимость МАТЕМ, ФИЗИКА и ХИМИЯ характеризуют коэффициенты парной корреляции (параметрический Пирсона r и ранговый Спирмена R). Матрицы коэффициентов парных корреляций переменных приведены в табл. 1 (Пирсона r – в право-верхнем треугольнике над диагональю и Спирмена R – в лево-нижнем треугольнике под диагональю). Все корреляции можно считать высоко значимо ( р < 0,0005) отличающуюся от ноля, тем не менее далекими от единицы. При этом коэффициенты парных корреляций Пирсона r отличаются от соответствующих ранговых корреляций Спирмена R незначимо. Согласно табл. 1, наиболее сильной корреляционной зависимостью связаны МАТЕМ и ФИЗИКА. В рамках кластерного анализа проведена иерархическая классификация предметов по совокупности институтов, отражающая корреляционную зависимость предметов (в качестве меры близости выбрано корреляционное расстояния 1 – r) и построена дендрограмма предметов (рис. 2).

Таблица 1. Матрица коэффициентов парных корреляций: Пирсона r – в право-верхнем треугольнике и Спирмена R – в лево-нижнем треугольнике под диагональю

 

М

Ф

Х

 

МАТЕМ

1,000

0,595

0,494

r

ФИЗИКА

0,600

1,000

0,475

ХИМИЯ

0,488

0,457

1,000

 

R

 

Рис. 2. Дендрограмма предметов

Во ВТ по предметам участвовали студенты-очники первого курса ТПУ набора 2013 г. 6-и институтов [8]: кибернетики (ИК), природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ), физико-технического (ФТИ) и неразрушающего контроля (ИНК).

Таким образом, в данной работе рассматривается 2-х факторная дисперсионная модель ВТ (3-х уровневый фактор «ПРЕДМЕТ» и 6-и уровневый фактор «ИНСТИТУТ»).

Графики предметных средних баллов результатов ВТ по институтам с указанием 95 % доверительного интервала приведены на рис. 3.

Рис. 3. Линейные графики предметных средних результатов ВТ 2013г. по институтам

Применение параметрического F-критерия дисперсионного анализа приводит к выводу о высоко значимой неоднородности результатов ВТ по совокупности институтов для любого предмета.

Параметрические (среднее, стандартная ошибка, ±95% границы доверительных интервалов, объем n) числовые характеристики выборок результатов ВТ студентов 6-и институтов ТПУ по 3-м предметам приведены в табл. 2.

Таблица 2. Характеристики выборок результатов ВТ по предметам и институтам

ПРЕДМЕТ

ИНСТИТУТ

Среднее

Стд. ош.

-95%

+95%

n

МАТЕМ

ИК

2,803

0,066

2,674

2,932

278

МАТЕМ

ИНК

2,075

0,083

1,913

2,237

176

МАТЕМ

ИПР

2,145

0,049

2,049

2,240

505

МАТЕМ

ИФВТ

2,032

0,088

1,859

2,205

154

МАТЕМ

ФТИ

2,682

0,066

2,552

2,811

275

МАТЕМ

ЭНИН

2,366

0,051

2,266

2,466

460

ФИЗИКА

ИК

1,938

0,066

1,809

2,067

278

ФИЗИКА

ИНК

1,655

0,083

1,493

1,817

176

ФИЗИКА

ИПР

1,747

0,050

1,649

1,846

475

ФИЗИКА

ИФВТ

1,544

0,088

1,371

1,717

154

ФИЗИКА

ФТИ

2,162

0,069

2,027

2,296

255

ФИЗИКА

ЭНИН

1,959

0,051

1,859

2,059

460

ХИМИЯ

ИК

1,857

0,079

1,702

2,013

191

ХИМИЯ

ИНК

1,506

0,095

1,320

1,691

134

ХИМИЯ

ИПР

1,871

0,052

1,769

1,972

446

ХИМИЯ

ИФВТ

1,744

0,101

1,545

1,942

117

ХИМИЯ

ФТИ

1,959

0,068

1,825

2,093

257

ХИМИЯ

ЭНИН

1,511

0,051

1,411

1,611

460

Диаграмма рассеяния институтских средних ВТ по предметам изображена на рис. 4.

Рис. 4. Диаграмма рассеяния институтских средних ВТ по предметам

Согласно апостериорному критерию наименьшей значимой разности, эквивалентному t-критерию для числа независимых выборок больше двух, выделены для каждого предмета однородные (различающиеся незначимо, то есть на уровне значимости р > 0,10) группы институтов, расположенные в порядке убывания средних:

  • МАТЕМ: {ИК, ФТИ}, {ЭНИН}, {ИПР, ИНК, ИФВТ}. При этом ЭНИН сильно значимо (0,0005 < p=0,002 < 0,005) отличается от ИПР и высоко значимо (p < 0,0005) отличается от ФТИ.
  • ФИЗИКА: {ФТИ}, {ЭНИН, ИК}, {ИПР, ИНК}, {ИНК, ИФВТ}. При этом ИПР статистически значимо (0,005 < p=0,045 < 0,05) отличается от ИФВТ.
  • ХИМИЯ: { ФТИ, ИПР, ИК, ИФВТ}, {ЭНИН, ИНК}. При этом ФТИ слабо значимо ((0,05 < p=0,08 < 0,10)) отличается от ИФВТ, но высоко значимо (p < 0,0005) отличается от ЭНИН, который статистически значимо (0,005 < p=0,04 < 0,05) отличается от ИФВТ.

В данной работе на базе данных выборки ВТ проведен кластерный анализ институтов по совокупности предметов. В рамках кластерного анализа методом K-средних, проводящим классификацию институтов по заданному количеству кластеров, рассмотрена 3-х (толстая красная горизонтальная прямая на рис. 5 слева) кластерная модель: К1 = {ИК, ФТИ} по совокупности высоких результатов по всем предметам, промежуточный моно кластер К21 = {ЭНИН} и К22 = {ИФВТ, ИНК, ИПР} по совокупности низких результатов по математике и физике. Заметим, что деление 6-ти институтов на 3 кластера является устойчивым как по отношению к выбору мер близости (евклидового, манхеттенского или чебышевского расстояния), так и правилам объединения кластеров (метода полной связи, метода Уорда (Варда) и т.д.), реализованным в пакете Statistica. По рассчитанным кластерным средним для наглядного оценивания значимости различий построены их линейные графики на рис. 5 справа.

 

Рис. 5. Дендрограмма институтов (слева) и графики кластерных средних институтов по предметам в случае 3-х кластерной модели (справа)

При этом, согласно параметрическому F-критерию (табл. 3), 6 институтов разделены на 3 кластера по математике сильно значимо (0,0005 < p» 0,004 < 0,005); по физике – слабо значимо (0,05 < p» 0,075 < 0,10); по химии – незначимо (0,10 < p) вследствие широкого размаха средних по химии для институтов кластера К22 = {ИФВТ, ИНК, ИПР}. Как следует из рис. 5 слева, на уровне деление 6-ти институтов на 4 кластера из кластера К22 выделяется в моно кластер ИНК, наиболее отличающийся по химии от ИФВТ и ИПР (рис. 4).

Таблица 3. Результаты дисперсионного анализа качества 3-х кластерной модели институтов

Проведенный статистический анализ результатов входного тестирования по предметам позволяет выяснить реальную подготовленность первокурсников к изучению дисциплины и использовать их при формировании групп для дополнительных занятий.

Выводы

1. На основании критерия хи-квадрат выявлено высоко значимое отличие распределений результатов ВТ предметов от нормального закона.

2. Корреляция между результатами ВТ предметов высоко значимо отличается от ноля, хотя далека от единицы. При этом коэффициенты парных корреляций Пирсона r отличаются от соответствующих ранговых корреляций Спирмена R не значимо.

3. Дисперсионный анализ (параметрический F-критерий и ранговый критерий Краскела-Уоллиса) оценивает различие результатов ВТ ТПУ по предметам как высоко значимое (р < 0,0005) за счет высоко значимого отличия результатов ВТ ТПУ по математике от физики и химии при сильно значимом (0,0005 < p=0,001 < 0,005) различии результатов физики и химии.

4. Различие результатов ВТ ТПУ для любого предмета оценивается на основании параметрического F-критерия дисперсионного анализа как высоко значимое (р < 0,0005) по совокупности институтов. Для каждого предмета выделены однородные (различающиеся незначимо) группы институтов.

5. В рамках кластерного анализа методом K-средних 6 институтов разделены на 3 кластера, один из которых содержит два института, однородных по совокупности высоких результатов по всем предметам, промежуточный по результатам моно кластер и кластер из трех институтов, однородных по совокупности низких результатов по математике и физике.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.


Библиографическая ссылка

Филипенко Н.М., Михальчук А.А., Арефьев В.П. СРАВНИТЕЛЬНЫЙ СТАТИСТИЧЕСКИЙ АНАЛИЗ РЕЗУЛЬТАТОВ ВХОДНОГО ТЕСТИРОВАНИЯ ПО МАТЕМАТИКЕ, ФИЗИКЕ И ХИМИИ ВО ВТУЗЕ // Современные проблемы науки и образования. – 2013. – № 5.;
URL: http://science-education.ru/ru/article/view?id=10692 (дата обращения: 14.12.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074