Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

ANALYSIS OF VARIANCE OF QUALITY OF MODERN CORRESPONDENCE TECHNICAL EDUCATION

Arefev V.P. 1, 1 Mikhalchuk A.A. 1 Filipenko N.M. 1
1 National Research Tomsk Polytechnic University
The nonparametric analysis of variance of quality of correspondence technical education on the basis of exami-nation outcomes of three semesters on higher mathematics depending on classical and distant network model of the organisation of correspondence course on an example of Institute of distant formation of Tomsk polytechnic university is spent. The basic two samples of examination outcomes of students participated in the comparative analysis: 1) trained on classical mode of study with case-technology use (КТ) all three semesters and 2) trained on a network process engineering of training with use of modern distant educational technologies (DET) during 2nd and 3rd semesters and under the classical form during 5th semester. On the basic points of the conducted research on the basis of a nonparametric analysis of variance conclusions are drawn: Strongly significant distinction (0,00005 <р <0,001) between the DET and КТ in the examination outcomes averaged on 2 and 3 semesters, further negative dynamics (comparison of the examination outcomes averaged on 2 and 3 semesters, with 5th) highly significant for the DET and poorly significant for КТ, led insignificant (on a significance level р > 0,10) to distinction between the DET and КТ in 5th semester. Reasons of significant distinctions between the DET and КТ and modes of their elimination are considered. Outcomes of the spent analysis of variance can be considered within the limits of passing reform of higher education.
correspondence education
distant educational technologies
analysis of variance

Среди проблем инновационной модернизации современного высшего заочного образования [8–10] особенно активно обсуждается внедрение современных информационных образовательных интернет-технологий в организацию заочного обучения, совершенствование содержания учебного процесса и контроля знаний [4–5]. Сегодня самым современным и перспективным средством технологической поддержки дистанционного обучения являются сетевые интернет-технологии в форме сервера дистанционного обучения, обеспечивающего интерактивную среду управления процессом познавательной деятельности, связь с учащимися через интернет, в том числе в режиме реального времени, и доступ к современным информационно-коммуникационным ресурсам. Такие сетевые интернет-технологии вытесняют в последнее время другие формы технологий, в частности, традиционную классическую кейс-технологию.

В Томском политехническом университете (ТПУ) [6] начиная с 2008 г. в учебном процессе применяются элементы телекоммуникационной и сетевой технологий (on-line трансляция лекций в режиме live-video, вебинары, on-line тестирования студентов, образовательные форумы). Использование информационно-коммуникационных технологий способствовало введению в современный процесс обучения для части студентов-заочников первого курса новой формы обучения, использующей современные дистанционные образовательные технологии (ДОТ) на платформе обучающей электронной среды Moodle, позволяющей студенту активно взаимодействовать с преподавателем через интернет. При этом для обучения большей части студентов-заочников продолжала применяться классическая форма обучения с использованием кейс-технологии (КТ), предполагавшей преимущественно самостоятельную работу студента с комплексом учебно-методических материалов по дисциплине. Таким образом, в переходный период в Институте дистанционного образования ТПУ были реализованы две модели организации заочного обучения по техническим направлениям: КТ, в рамках которой экзаменационные сессии проходили традиционно в Томске, и ДОТ, в рамках которой сессии проходили через интернет посредством on-line тестирования. Студенты технических направлений, обучавшиеся первые два курса в рамках модели ДОТ, начиная с 3-го курса, были переведены на КТ модель организации заочного обучения. Данное обстоятельство позволило провести сравнительный статистический анализ (аналогично [1–3, 7]) качества успеваемости студентов разных заочных форм обучения (ЗФО). В статистическом анализе использованы экзаменационные результаты (в 100-балльной шкале, приведенной к 5-балльной шкале) по высшей математике II, III и V семестров (ЭКЗII, ЭКЗIII и ЭКЗV) студентов-заочников Энергетического института ТПУ. Отдельной выборкой оформлены экзаменационные результаты студентов, академически восстановленных (АВ) до V-го семестра. Для сравнения динамики экзаменационных результатов (ЭКЗII, ЭКЗIII и ЭКЗV) в зависимости от ЗФО (КТ, ДОТ и АВ) введен 3-х уровневый фактор ЭКЗ (ЭКЗII, ЭКЗIII и ЭКЗV) повторных измерений и применен однофакторный (3-х уровневый фактор ЗФО) дисперсионный анализ с 3-х уровневым фактором ЭКЗ повторных измерений.

Заметим, что, согласно теории измерительных шкал, балльная шкала относится к типу порядковых шкал, позволяющих ранжировать (упорядочить) результаты оценивания качества усвоения знаний студентов. Поэтому в балльной шкале оперирование средним баллом является некорректным, а обоснованным является использование медиан вместо средних баллов. В связи с этим для сравнения рассматриваемых выборок предлагается использовать ранговые (непараметрические) критерии, основанные на рангах, а не на средних значениях.

Для каждой выборки взаимодействия факторов ЗФО*ЭКЗ кроме объема n рассчитаны числовые непараметрические характеристики: медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25 % процентиль) и верхняя квартиль (75% процентиль), приведенные в табл. 1.

Таблица 1. Числовые характеристики выборок ЗФО*ЭКЗ

ЗФО

ЭКЗ

n

Ме

Мин

Макс

25%

75%

АВ

ЭКЗII

15

2,75

2,75

4,50

2,75

3,50

АВ

ЭКЗIII

15

2,75

2,75

4,50

2,75

3,50

АВ

ЭКЗV

15

2,75

1,25

3,50

2,75

3,00

ДОТ

ЭКЗII

46

3,00

2,60

4,50

2,85

3,50

ДОТ

ЭКЗIII

46

3,50

2,70

4,50

2,75

3,80

ДОТ

ЭКЗV

46

2,75

1,50

3,25

2,75

2,95

КТ

ЭКЗII

90

2,75

2,75

4,50

2,75

3,50

КТ

ЭКЗIII

90

2,75

1,25

4,50

2,75

3,50

КТ

ЭКЗV

90

2,75

0,50

4,00

2,75

3,00

Применение непараметрического (рангового) дисперсионного анализа Фридмана с повторными измерениями позволило оценить различия между результатами ЭКЗII, ЭКЗIII и ЭКЗV по их совокупности, то есть динамику экзаменационных результатов, для ДОТ (взаимодействие ДОТ*ЭКЗ) как высоко значимые (на уровне значимости р < 0,00005) , а для КТ (КТ*ЭКЗ) или АВ (АВ*ЭКЗ) как незначимые (на уровне значимости р > 0,10). Заметим для сравнения, что в случае КТ результаты ЭКЗV и ЭКЗIII различаются согласно парному непараметрическому критерию Вилкоксона слабо незначимо (на уровне значимости р ≈ 0,12 > 0,10). При этом согласно парным непараметрическим критериям знаков и Вилкоксона для зависимых выборок в случае ДОТ результаты ЭКЗV отличаются как от ЭКЗII, так и от ЭКЗIII высоко значимо (на уровне значимости р < 0,00005), а ЭКЗII и ЭКЗIII различаются статистически значимо (на уровне 0,001 < р < 0,05). Последнее различие (нестабильность ЭКЗII и ЭКЗIII в случае ДОТ) можно объяснить, по-видимому, в значительной степени несовершенством технического обеспечения процесса проведения и оформления результатов новой формы обучения ДОТ на начальном этапе ее внедрения в учебный процесс. С другой стороны, в рамках однофакторного дисперсионного анализа независимых выборок с помощью непараметрического критерия Краскела-Уоллиса можно оценить различия между экзаменационными результаты разных ЗФО (КТ, ДОТ и АВ) как незначимые (р > 0,10) в случае ЭКЗV (ЗФО*ЭКЗV), как статистически значимые (на уровне 0,001 < р < 0,05) в случае ЭКЗII (ЗФО*ЭКЗII) за счет различий между КТ*ЭКЗII (или АВ*ЭКЗII) и ДОТ*ЭКЗII и, наконец, как сильно значимые (на уровне 0,00005 < р < 0,001) в случае ЭКЗIII (ЗФО*ЭКЗIII) за счет различий между КТ*ЭКЗIII (или АВ*ЭКЗIII) и ДОТ*ЭКЗIII. Графические числовые непараметрические характеристики (диаграммы размаха) выборок экзаменационных результатов разных ЗФО представлены на рис. 1.

Рис. 1. Медианные диаграммы размаха выборок экзаменационных результатов ЗФО*ЭКЗ

Обозначения: метки «квадрат», «ромб», «треугольник» - медианы; метка «круг» – выбросы; ящик – квартильный размах (25 % – 75 %); отрезки – размах без выбросов

Полученные результаты оценки значимости различий разных выборок взаимодействия факторов ЗФО*ЭКЗ, а также дополнительные обстоятельства однородности отдельных выборок взаимодействия факторов ЗФО*ЭКЗ, позволяют сократить их количество.

С одной стороны, не значимость (на основании непараметрического дисперсионного анализа Фридмана с повторными измерениями) различия динамик экзаменационных результатов (ЭКЗII, ЭКЗIII и ЭКЗV) для КТ и АВ, а также близость выборки АВ по форме обучения к КТ, допускает возможность объединить две выборки АВ и КТ в одну выборку АВ+КТ.

С другой стороны, учитывая однородность экзаменационных результатов ЗФО*ЭКЗII и ЗФО*ЭКЗIII в смысле форм обучения, а также выше полученные результаты оценки значимости различий ЭКЗII и ЭКЗIII для разных ЗФО (ДОТ и КТ), можно вместо двух выборок ЗФО*ЭКЗII и ЗФО*ЭКЗIII рассмотреть одну выборку ЗФО*ЭКЗII+III, построенную усреднением экзаменационных результатов ЗФО*ЭКЗII и ЗФО*ЭКЗIII .

Таким образом, речь идет о сравнении выборок взаимодействия 2-х уровневого фактора экзаменационных результатов ЭКЗ2 (ЭКЗII+III и ЭКЗV) повторных измерений с 2-х уровневым фактором ЗФО2 форм обучения (ДОТ и АВ+КТ), то есть об оценивании различия динамики экзаменационных результатов (сравнение ЭКЗII+III с ЭКЗV) для разных форм обучения (ДОТ и АВ+КТ). Диаграммы размаха выборок экзаменационных результатов ЭКЗ2 разных форм обучения ЗФО2 представлены на рис. 2.

Рис. 2. Медианные диаграммы размаха выборок экзаменационных результатов ЗФО2*ЭКЗ2

Обозначения: метки «ромб», «треугольник» – медианы; метка «круг» – выбросы; ящик – квартильный размах (25 % – 75 %); отрезки – размах без выбросов

На основании дисперсионного анализа Фридмана различия между результатами ЭКЗII+III и ЭКЗV оценены как высоко значимые (р < 0,00005) в случае ДОТ и как незначимые (р ≈0,25 > 0,10) для АВ+КТ. С другой стороны, на основании критерия Краскела-Уоллиса различия между экзаменационными результатами разных форм обучения ДОТ и АВ+КТ оценены как незначимые (р > 0,10) в случае ЭКЗV и как сильно значимые (0,00005 < р ≈ 0,0005 < 0,001) в случае ЭКЗII+III .

Таким образом, на основании непараметрического дисперсионного анализа экзаменационных результатов трех семестров по высшей математике в зависимости от формы заочного обучения сделаны следующие выводы: сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усредненных по 2-му и 3-му семестрам, в результате дальнейшей отрицательной динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимой для ДОТ и не значимой для КТ, привело к незначимому (р > 0,10) различию между ДОТ и КТ в 5-ом семестре.

В связи с аномально высокими экзаменационными результатами ДОТ в 3-ем семестре можно заметить, что стадия оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий может иметь специфический нюанс идентификации студента: преподаватель должен быть уверен, что на другом конце телекоммуникационной цепочки находится именно тот человек, который претендует на получение не только определенных знаний, но и документа (диплома, свидетельства, удостоверения, сертификата) об освоении соответствующей образовательной программы [4]. При дистанционном обучении стадия оценивания качества учебных достижений студентов («Контроль и оценка») в определенном смысле является центральной. Здесь очень важен вопрос о защите данных и средствах идентификации студента, не допускающих подмену и искажение результатов тестирования. В случае дистанционного обучения эти трудности могут быть преодолены за счет проведения контрольных испытаний студента в специально оборудованных учебных помещениях либо в присутствии лиц, находящихся в полном доверии у преподавателя и администрации учебного центра [4], либо в режиме видеотелефонной связи через интернет посредством Skype. Альтернативой может быть проведение экзаменационного контроля заключительного этапа дистанционного изучения дисциплины в классической форме, позволяющей преподавателю-экзаменатору оценить достигнутый студентом уровень усвоения материала посредством экзамена в письменной форме под контролем преподавателя с обязательным собеседованием.

Одной из значимых составляющих ДОТ является система тестирования в среде дистанционного обучения Moodle [5]. Она должна обеспечивать текущий контроль знаний, а на завершающей стадии дать объективную оценку знаний студента, на основании которой происходит выдача сертификатов, дипломов и пр. К сожалению, качество формы самих контрольно-измерительных тестовых материалов, технического обеспечения процесса проведения и оформления результатов тестирования оставляет желать лучшего, требует постоянного совершенствования, что ограничивает применение системы тестирования рамками текущего контроля знаний и, в лучшем случае, базового итогового контроля знаний (на уровне «зачтено – не зачтено»).

Немаловажным обстоятельством на стадии «Контроль и оценка» является оптимизация рейтинговой системы оценивания разных составляющих (вебинары, рубежный тестовый контроль, индивидуальные домашние задания) процесса дистанционного обучения.

В целом же, совершенствование ДОТ должно быть направлено на приближение дистанционное образование к апробированному столетиями традиционному очному, на использование Интернета и других систем передачи данных для обеспечения возможности непосредственного общения преподавателя со студентом, на совершенствование системы управления самостоятельной деятельностью студентов-заочников в семестре и модернизации методики проведения итогового контроля.

Реализация инновационных ДОТ должна решить ряд существенных проблем, связанных с разработкой, а также техническим и программным сопровождением принципиально новой методики преподавания, учитывающей особенности данного вида коммуникации и обеспечивающей проведение всех форм занятий для удаленной аудитории. К таким проблемам относятся, прежде всего, организация в режиме реального времени (on-line) видеоконференцсвязи при чтении лекций с возможностью текущего опроса, проведение интерактивных занятий в компьютерном классе удаленной аудитории, позволяющее в режиме реального времени управлять работой студентов на компьютерах, проведение различных форм контроля (в том числе и итогового) в режиме реального времени.

Результаты проведенного статистического анализа классической и сетевой дистанционной моделей организации заочного обучения могут быть учтены в рамках проходящей реформы высшего образования.

Выводы

1. В рамках дисперсионного анализа экзаменационных результатов студентов-заочников, обучавшихся по классической КТ и дистанционной сетевой ДОТ формам, выявлено сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усредненных по 2-му и 3-му семестрам, которое в ходе дальнейшей отрицательной динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимой для ДОТ и не значимой для КТ, привело к незначимому (на уровне значимости р > 0,10) различию между ДОТ и КТ в 5-ом семестре.

2. Предложены способы устранения значимых различий между ДОТ и КТ в рамках проходящей реформы высшего образования.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов Андрей Юрьевич, д-р физ.-мат. наук, профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев Константин Петрович, д-р физ.-мат. наук, профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.