Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,931

STATISTICAL ESTIMATION OF THE IMPORTANCE OF QUALITY ELITE TECHNICAL EDUCATION

Zadorozhnyy V.N. 1
1 National Research Tomsk Polytechnic University
Проведен дисперсионный статистический анализ результатов семестрового экзаменационного (ЭКЗ) контроля знаний по дисциплинам математика, химия и начертательная геометрия, в котором участвовали студенты-очники первого курса шести институтов Томского политехнического университета. Выборка ЭКЗ каждой учебной группы разбита на ЭКЗЭТО студентов, отделенных в подгруппу элитного технического образования, и подгруппу остальных ЭКЗБЭ. Каждая из выборок ЭКЗБЭ и ЭКЗЭТО является однородной как по дисциплинам, так и по институтам (на уровне значимости p > 0,05). Различие результатов ЭКЗБЭ и ЭКЗЭТО (суммарные по дисциплинам и институтам) оценивается как высоко значимое (р < 0,0005) согласно различным параметрическим и непараметрическим критериям множественного сравнения. При этом результаты ЭКЗБЭ и ЭКЗЭТО различаются высоко значимо по каждой дисциплине и по трем из шести институтов. Результаты проведенного статистического анализа могут быть учтены при принятии управленческих решений в рамках проходящей реформы высшего образования.
ANOVA of outcomes semestrial examination (EX) control of knowledge on disciplines of the mathematician, chemistry and descriptive geometry in which students-resident students of the first course 6 institutes of Tomsk polytechnic university participated is spent. Sample EX of each educational group is divided on EXETE the students separated in a subgroup of elite technical education, and a subgroup remaining EXNE. Each of выборок EXNE and EXETE is homogeneous both on disciplines, and on institutes (on a significance level p> 0,05). Distinction of outcomes EXNE and EXETE (summarised on disciplines and institutes) is estimated as highly significant (р <0,0005) according to various parametrical and nonparametric criteria of plural comparison. Thus outcomes EXNE and EXETE differ highly significantly on each discipline and on three of six institutes. Outcomes of the spent statistical analysis can be considered at acceptance of administrative solutions within the limits of passing reform of higher education.
ANOVA
elite technical education
examination

В условиях перехода к инновационной модели экономического развития активно обсуждаются наиболее острые и актуальные проблемы модернизации отечественной системы инженерного образования, повышения его качества и оценки эффективности его реформирования [1; 4; 5], создания элитного сектора высшей школы после малоконтролируемого процесса университизации 1990-х гг. [2; 6; 7; 10], в частности в Национальном исследовательском Томском политехническом университете (ТПУ) [3; 9], являющемся одним из ведущих конкурентоспособных российских вузов – получателей субсидий для повышения конкурентоспособности на мировой арене и реализующем систему элитного технического образования (ЭТО) с 2004 года. В настоящее время программа подготовки элитных специалистов в области техники и технологий в ТПУ развивается и совершенствуется для повышения международной конкурентоспособности университета и его выпускников, в том числе с использованием опыта и лучших практик подготовки элитных специалистов в ведущих отечественных и зарубежных вузах, а также с учетом особенностей инженерной деятельности в постиндустриальном обществе, основанном на знании. В связи с этим представляет интерес статистический анализ оценивания значимости качества обучения в системе ЭТО на фоне системы стандартного базового обучения.

Исходная база данных представляет собой категориальные (количество в группе «Отл», «Хор», «Уд», «Неуд» и «Недоп») результаты суммарного осеннего семестрового экзаменационного (ЭКЗ) контроля знаний по дисциплинам математика (МАТ), химия (ХИМ), начертательная геометрия (НАЧ), в котором участвовали студенты-очники первого курса ТПУ набора 2013 г. шести институтов: кибернетики (ИК), природных ресурсов (ИПР), энергетического (ЭНИН), физики высоких технологий (ИФВТ), физико-технического (ФТИ) и неразрушающего контроля (ИНК). При этом выборка ЭКЗ каждой учебной группы разбита на подгруппу ЭКЗЭТО результатов контроля знаний студентов, отделенных в подгруппу ЭТО, и подгруппу остальных ЭКЗБЭ. Заметим, что в случае ХИМ и НАЧ элитники учатся вместе с остальными, что позволяет провести корректное сравнение результатов ЭКЗЭТО и ЭКЗБЭ, а в случае МАТ элитники учатся отдельно от остальных по усложненной программе. Таким образом, рассмотрение проводится в рамках 3-факторной модели результативного признака ЭКЗ: ЭЛИТ*ДИСЦ*ИНСТ (фактор ЭЛИТ с 3-мя уровнями ЭКЗ, ЭКЗБЭ и ЭКЗЭТО; фактор ДИСЦ с 3-мя уровнями МАТ, ХИМ и НАЧ; фактор ИНСТ с 6-ю уровнями ИК, ИПР, ЭНИН, ИФВТ, ФТИ и ИНК). Для каждой группы (подгруппы) было рассчитано значение выборочного среднего (m) по категориальной исходной базе данных (табл. 1).

Таблица 1

Фрагмент категориальной исходной базы данных выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО

Созданная таким образом в MS Excel база данных выборочного среднего (m) использовалась далее в пакете Statistica 6.1 [8] для статистического анализа результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО.

Числовые характеристики выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО (среднее m, стандартная ошибка m , границы ±95% доверительного интервала m и объем выборки N - число учебных дисциплино-групп) приведены в табл. 2.

Таблица 2

Числовые характеристики выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО

Средний балл ЭКЗЭТО составил 3,935 по 5-балльной шкале, что почти на балла выше среднего балла 3,209 выборки ЭКЗБЭ. Графики числовых характеристик выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО приведены на рис. 1 (параметрических) и рис. 2 (непараметрических).

Рис. 1. Линейный график среднего балла с 95%-ным доверительным интервалом результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО .

Рис. 2. Диаграммы размаха результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО: медианы (квадраты) с квартилями (прямоугольники) и размахами (усы).

Для наглядной оценки значимости отличия результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО приведено также совместное распределение (гистограммы) их выборок (рис. 3) по 5-балльной равномерной шкале и показывающее наглядно существенные различия в распределениях ЭКЗБЭ и ЭКЗЭТО.

Рис. 3. Составная гистограмма результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО ТПУ набора 2013 г.

В случае сравнения средних более чем двух выборок (ЭКЗ, ЭКЗБЭ и ЭКЗЭТО) применяется однофакторный (фактор элитности ЭЛИТ) дисперсионный анализ. В рассматриваемом случае (табл. 3) F-критерий показывает (F ≈ 17,89 / 0,21 ≈ 86,94), что различие между средними баллами m ЭКЗ, ЭКЗБЭ и ЭКЗЭТО высоко значимо (значимо на уровне p < 0,0005).

Таблица 3

Результаты однофакторного дисперсионного анализа влияния фактора ЭЛИТ на переменную ЭКЗ на основе параметрического F-критерия

Дисперсионный анализ (параметрический F-критерий (табл. 3) и ранговый критерий Краскела-Уоллиса) оценивает различие по совокупности результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО как высоко значимое (на уровне значимости р < 0,0005) за счет высоко значимого отличия результатов ЭКЗЭТО как от ЭКЗ, так и от ЭКЗБЭ согласно различным апостериорным критериям (параметрическим: наименьших значений разности (НЗР), Шеффе, Тьюки и непараметрическому: Краскела-Уоллиса) множественного сравнения, которые обычно применяют после установления неоднородности по совокупности результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО. Все критерии множественного сравнения выборок единодушны в оценке высоко значимого (на уровне значимости р < 0,0005) отличия результатов ЭКЗЭТО как от ЭКЗ, так и от ЭКЗБЭ, но разнятся в оценке различия результатов ЭКЗ и ЭКЗБЭ: слабо значимого (0,050 < p=0,066 < 0,100) по НЗР и незначимого (0,10 < p) по остальным критериям. Здесь и в дальнейшем выберем промежуточный вариант – критерий Тьюки ДЗР, согласно которому ЭКЗ и ЭКЗБЭ различаются не значимо, что объяснимо малым числом элитников, а ЭКЗЭТО и ЭКЗБЭ различаются высоко значимо.

В случае сравнения средних выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО (влияние фактора элитности ЭЛИТ на переменную ЭКЗ) по дисциплинам (фактор ДИСЦ с тремя уровнями: ХИМ, НАЧ и МАТ) применяется двухфакторный дисперсионный анализ, позволяющий исследовать взаимодействия между факторами и выявлять влияния различных сочетаний факторов друг с другом на результативный признак (переменную ЭКЗ). В общем случае взаимодействие между факторами описывается в виде изменения влияния одного фактора на результативный признак под воздействием другого.

Ниже рассмотрен один из простейших вариантов парного взаимодействия между факторами ЭЛИТ и ДИСЦ (рис. 4), описанный в виде изменения влияния фактора ЭЛИТ на результативный признак ЭКЗ (сравнения средних выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО) под воздействием другого фактора ДИСЦ.

Рис. 4. Линейные графики среднего балла с 95%-ным доверительным интервалом результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО по дисциплинам.

Согласно критерию Тьюки ДЗР выборки ЭКЗ, ЭКЗБЭ и ЭКЗЭТО являются однородными по дисциплинам, то есть результаты ЭКЗ, ЭКЗБЭ и ЭКЗЭТО демонстрируют незначимое (на уровне p > 0,99) различие по дисциплинам. При этом результаты ЭКЗБЭ и ЭКЗЭТО различаются высоко значимо (р < 0,0005) по каждой дисциплине: по ХИМ mХИМ*БЭ = 3,166 и mХИМ*ЭТО = 3,901; по НАЧ mНАЧ *БЭ = 3,273 и m НАЧ *ЭТО = 3,936; по МАТ mМАТ*БЭ = 3,180 и mМАТ*ЭТО = 3,954. Учитывая, что в случае ХИМ и НАЧ элитники учатся вместе с остальными, что позволяет сделать корректный вывод о высоко значимом различии mБЭ и mЭТО по этим дисциплинам, а в случае МАТ элитники учатся отдельно от остальных по усложненной программе, то есть mМАТ*ЭТО является заниженным по сравнению с mМАТ*БЭ, то по МАТ различие mБЭ и mЭТО ожидаемо еще более высоко значимым в случае, если бы элитники учились вместе с остальными по одной программе.

Далее рассмотрен еще один простейший вариант парного взаимодействия между факторами ЭЛИТ и ИНСТ (рис. 5), описанный в виде изменения влияния фактора ЭЛИТ на результативный признак ЭКЗ (сравнения средних выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО) под воздействием другого фактора ИНСТ, то есть для разных институтов.

Рис. 5. Линейные графики среднего балла с 95%-ным доверительным интервалом результатов ЭКЗ, ЭКЗБЭ и ЭКЗЭТО по институтам.

На рис. 5 ширина доверительного интервала, определяющая погрешность измерения среднего, обратно пропорциональна . Таким образом, более широкие доверительные интервалы m для ИНК (N=11) и, в большей степени, ИФВТ (N=7) объясняются в большей мере сравнительно малыми объемами этих выборок. Однородность независимых выборок ЭКЗ, ЭКЗБЭ и ЭКЗЭТО по институтам была оценена посредством двухфакторного дисперсионного анализа применительно к выборке ЭКЗ. Применение F-критерия, обобщающего t-критерий на число выборок больше двух, привело к выводу о слабой неоднородности сравниваемых институтов. Значимость различий между средними m по институтам оценивалась с помощью апостериорного критерия Тьюки ДЗР, согласно которому выборки ЭКЗ и ЭКЗБЭ являются однородными по институтам, то есть результаты ЭКЗ, ЭКЗБЭ демонстрируют незначимое (на уровне p > 0,93) различие по институтам, а выборка ЭКЗЭТО – слабо значимую неоднородность: mИК*ЭТО = 3,784 и mИПР*ЭТО = 4,256 различаются слабо значимо (0,050 < p=0,061 < 0,100).

Согласно критерию Тьюки результаты ЭКЗБЭ и ЭКЗЭТО различаются высоко значимо (на уровне значимости р < 0,0005) по ЭНИН, ИПР и ФТИ; статистически значимо ((0,005 < p=0,007 < 0, 05) по ИК; незначимо (p > 0,10) по ИНК и в большей степени по ИФВТ.

Результаты проведенного статистического анализа могут быть учтены при принятии управленческих решений в рамках проходящей реформы высшего образования, например дополнительного финансового стимулирования не только по входным результатам ЕГЭ и категории вуза, но и за текущую успешную учебу в вузе.

Выводы

1. Различие результатов ЭКЗБЭ (средний балл mБЭ = 3,209) и ЭКЗЭТО (mЭТО = 3,935) по ТПУ (суммарные по дисциплинам и институтам) оценивается как высоко значимое (на уровне значимости р < 0,0005) согласно различным апостериорным критериям (параметрическим: наименьших значений разности (НЗР), Шеффе, Тьюки и непараметрическому: Краскела-Уоллиса) множественного сравнения.

2. Выборки ЭКЗБЭ и ЭКЗЭТО являются однородными по дисциплинам, то есть результаты ЭКЗБЭ (mХИМ*БЭ = 3,166; mНАЧ *БЭ = 3,273; mМАТ*БЭ = 3,180) и ЭКЗЭТО (mХИМ*ЭТО = 3,901; m НАЧ *ЭТО = 3,936; mМАТ*ЭТО = 3,954) демонстрируют незначимое (на уровне p > 0,99) различие по дисциплинам. Результаты ЭКЗБЭ и ЭКЗЭТО различаются высоко значимо (на уровне значимости р < 0,0005) по каждой дисциплине: по ХИМ mХИМ*БЭ = 3,166 и mХИМ*ЭТО = 3,901; по НАЧ mНАЧ *БЭ = 3,273 и m НАЧ *ЭТО = 3,936; по МАТ mМАТ*БЭ = 3,180 и mМАТ*ЭТО = 3,954.

3. Выборка ЭКЗБЭ является однородной по институтам, то есть демонстрирует незначимое (на уровне p > 0,93) различие по институтам, а выборка ЭКЗЭТО – слабо значимую неоднородность: mИК*ЭТО = 3,784 и mИПР*ЭТО = 4,256 различаются слабо значимо (0,050 < p=0,061 < 0,100). Результаты ЭКЗБЭ и ЭКЗЭТО различаются высоко значимо (на уровне значимости р < 0,0005) по ЭНИН, ИПР и ФТИ; статистически значимо ((0,005 < p=0,007 < 0, 05) по ИК; слабо незначимо (на уровне p = 0,157 > 0,10) по ИНК и в большей степени высоко незначимо (на уровне p = 1,000 > 0,10) по ИФВТ.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск;

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск.