Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,737

ДИСПЕРСИОННЫЙ АНАЛИЗ КАЧЕСТВА СОВРЕМЕННОГО ЗАОЧНОГО ТЕХНИЧЕСКОГО ОБРАЗОВАНИЯ

Арефьев В.П. 1, 1 Михальчук А.А. 1 Филипенко Н.М. 1
1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»
Проведен непараметрический дисперсионный анализ качества заочного технического образования на основе экзаменационных результатов трех семестров по высшей математике в зависимости от классиче-ской и дистанционной сетевой модели организации заочного обучения на примере Института дистанци-онного образования Томского политехнического университета. В сравнительном анализе участвовали основные две выборки экзаменационных результатов студентов: 1) обучавшихся по классической форме обучения с использованием кейс-технологии (КТ) все три семестра и 2) обучавшихся по сетевой техноло-гии обучения с использованием современных дистанционных образовательных технологий (ДОТ) в те-чение 2-го и 3-го семестров и по классической форме в течение 5-го семестра. По основным пунктам про-веденного исследования на основании непараметрического дисперсионного анализа сделаны выводы: сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усред-ненных по 2-му и 3-му семестрам, дальнейшие отрицательные динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимая для ДОТ и слабо значимая для КТ, приведшие к незначимому (на уровне значимости р > 0,10) различию между ДОТ и КТ в 5-ом семестре. Обсуждаются причины значимых различий между ДОТ и КТ и способы их устранения. Резуль-таты проведенного дисперсионного анализа могут быть учтены в рамках проходящей реформы высшего образования.
заочное образование
дистанционные образовательные технологии
дисперсионный анализ
1. Акерман Е. Н. , Михальчук А. А. , Трифонов А. Ю. Дисперсионный анализ качества мно-гопрофильного потенциального экономического образования // Современные проблемы науки и образования. – 2012 – №. 6; URL: http://www.science-education.ru/106-7850 (дата об-ращения: 21.12.2012).
2. Арефьев В. П., Михальчук А. А., Болтовский Д. В., Арефьев П.В. Дисперсионный ана-лиз результатов усвоения математических знаний в техническом вузе // Открытое и дистан-ционное образование. – 2011. – № 1. – С. 43–50.
3. Киреев М. Л., Алексеенко И. А. Оценка эффективности заочного инженерно-технического образования взрослых на основе методов педагогических измерений // Человек и образование. – 2010. – № 1. – С. 106–110.
4. Лазутин С. Б. Новые информационные технологии в системе дистанционного обучения // Вестник Тамбовского университета. Серия: Естественные и технические науки. – 2012. – Т. 17. – № 1. – С. 161–164.
5. Медведева С. Н., Тутубалин П. И. Информационные технологии контроля и оценки зна-ний в системе дистанционного обучения Мoodle // Образовательные технологии и общество (Educational Technology & Society). – 2012. – Т. 15. – № 1. – С. 555–566.
6. Образование в ТПУ: итоги 2011/12 учебного года / под ред. А. И. Чучалина, М. А. Соло-вьева. – Томск: Изд-во ТПУ, 2012. – 356 с.
7. Резниченко Н. С., Таптыгина Е. В., Морозова Т. Д. Сравнительный анализ качества ди-станционного обучения студентов // Сибирское медицинское обозрение. – 2011. – Т. 70. – № 4. – С. 99–103.
8. Смехнова Г. П. Профессиональная подготовка студентов по заочной форме обучения в контексте реформы высшего образования // Профессиональное образование в современном мире. – 2012. – № 4. – С. 63–67.
9. Староверова Н. А. Проблемы заочного обучения в сфере профессионального образова-ния // Вестник Казанского технологического университета. – 2012. – Т. 15. – № 23. – С. 237–239.
10. Хузиахметов А. Н., Насибуллов Р. Р. Учебная деятельность студентов вуза в условиях дистанционного образования // Высшее образование в России. – 2012. – № 4. – С. 98–102.

Среди проблем инновационной модернизации современного высшего заочного образования [8–10] особенно активно обсуждается внедрение современных информационных образовательных интернет-технологий в организацию заочного обучения, совершенствование содержания учебного процесса и контроля знаний [4–5]. Сегодня самым современным и перспективным средством технологической поддержки дистанционного обучения являются сетевые интернет-технологии в форме сервера дистанционного обучения, обеспечивающего интерактивную среду управления процессом познавательной деятельности, связь с учащимися через интернет, в том числе в режиме реального времени, и доступ к современным информационно-коммуникационным ресурсам. Такие сетевые интернет-технологии вытесняют в последнее время другие формы технологий, в частности, традиционную классическую кейс-технологию.

В Томском политехническом университете (ТПУ) [6] начиная с 2008 г. в учебном процессе применяются элементы телекоммуникационной и сетевой технологий (on-line трансляция лекций в режиме live-video, вебинары, on-line тестирования студентов, образовательные форумы). Использование информационно-коммуникационных технологий способствовало введению в современный процесс обучения для части студентов-заочников первого курса новой формы обучения, использующей современные дистанционные образовательные технологии (ДОТ) на платформе обучающей электронной среды Moodle, позволяющей студенту активно взаимодействовать с преподавателем через интернет. При этом для обучения большей части студентов-заочников продолжала применяться классическая форма обучения с использованием кейс-технологии (КТ), предполагавшей преимущественно самостоятельную работу студента с комплексом учебно-методических материалов по дисциплине. Таким образом, в переходный период в Институте дистанционного образования ТПУ были реализованы две модели организации заочного обучения по техническим направлениям: КТ, в рамках которой экзаменационные сессии проходили традиционно в Томске, и ДОТ, в рамках которой сессии проходили через интернет посредством on-line тестирования. Студенты технических направлений, обучавшиеся первые два курса в рамках модели ДОТ, начиная с 3-го курса, были переведены на КТ модель организации заочного обучения. Данное обстоятельство позволило провести сравнительный статистический анализ (аналогично [1–3, 7]) качества успеваемости студентов разных заочных форм обучения (ЗФО). В статистическом анализе использованы экзаменационные результаты (в 100-балльной шкале, приведенной к 5-балльной шкале) по высшей математике II, III и V семестров (ЭКЗII, ЭКЗIII и ЭКЗV) студентов-заочников Энергетического института ТПУ. Отдельной выборкой оформлены экзаменационные результаты студентов, академически восстановленных (АВ) до V-го семестра. Для сравнения динамики экзаменационных результатов (ЭКЗII, ЭКЗIII и ЭКЗV) в зависимости от ЗФО (КТ, ДОТ и АВ) введен 3-х уровневый фактор ЭКЗ (ЭКЗII, ЭКЗIII и ЭКЗV) повторных измерений и применен однофакторный (3-х уровневый фактор ЗФО) дисперсионный анализ с 3-х уровневым фактором ЭКЗ повторных измерений.

Заметим, что, согласно теории измерительных шкал, балльная шкала относится к типу порядковых шкал, позволяющих ранжировать (упорядочить) результаты оценивания качества усвоения знаний студентов. Поэтому в балльной шкале оперирование средним баллом является некорректным, а обоснованным является использование медиан вместо средних баллов. В связи с этим для сравнения рассматриваемых выборок предлагается использовать ранговые (непараметрические) критерии, основанные на рангах, а не на средних значениях.

Для каждой выборки взаимодействия факторов ЗФО*ЭКЗ кроме объема n рассчитаны числовые непараметрические характеристики: медиана Ме, минимум Мин, максимум Макс, нижняя квартиль (25 % процентиль) и верхняя квартиль (75% процентиль), приведенные в табл. 1.

Таблица 1. Числовые характеристики выборок ЗФО*ЭКЗ

ЗФО

ЭКЗ

n

Ме

Мин

Макс

25%

75%

АВ

ЭКЗII

15

2,75

2,75

4,50

2,75

3,50

АВ

ЭКЗIII

15

2,75

2,75

4,50

2,75

3,50

АВ

ЭКЗV

15

2,75

1,25

3,50

2,75

3,00

ДОТ

ЭКЗII

46

3,00

2,60

4,50

2,85

3,50

ДОТ

ЭКЗIII

46

3,50

2,70

4,50

2,75

3,80

ДОТ

ЭКЗV

46

2,75

1,50

3,25

2,75

2,95

КТ

ЭКЗII

90

2,75

2,75

4,50

2,75

3,50

КТ

ЭКЗIII

90

2,75

1,25

4,50

2,75

3,50

КТ

ЭКЗV

90

2,75

0,50

4,00

2,75

3,00

Применение непараметрического (рангового) дисперсионного анализа Фридмана с повторными измерениями позволило оценить различия между результатами ЭКЗII, ЭКЗIII и ЭКЗV по их совокупности, то есть динамику экзаменационных результатов, для ДОТ (взаимодействие ДОТ*ЭКЗ) как высоко значимые (на уровне значимости р < 0,00005) , а для КТ (КТ*ЭКЗ) или АВ (АВ*ЭКЗ) как незначимые (на уровне значимости р > 0,10). Заметим для сравнения, что в случае КТ результаты ЭКЗV и ЭКЗIII различаются согласно парному непараметрическому критерию Вилкоксона слабо незначимо (на уровне значимости р ≈ 0,12 > 0,10). При этом согласно парным непараметрическим критериям знаков и Вилкоксона для зависимых выборок в случае ДОТ результаты ЭКЗV отличаются как от ЭКЗII, так и от ЭКЗIII высоко значимо (на уровне значимости р < 0,00005), а ЭКЗII и ЭКЗIII различаются статистически значимо (на уровне 0,001 < р < 0,05). Последнее различие (нестабильность ЭКЗII и ЭКЗIII в случае ДОТ) можно объяснить, по-видимому, в значительной степени несовершенством технического обеспечения процесса проведения и оформления результатов новой формы обучения ДОТ на начальном этапе ее внедрения в учебный процесс. С другой стороны, в рамках однофакторного дисперсионного анализа независимых выборок с помощью непараметрического критерия Краскела-Уоллиса можно оценить различия между экзаменационными результаты разных ЗФО (КТ, ДОТ и АВ) как незначимые (р > 0,10) в случае ЭКЗV (ЗФО*ЭКЗV), как статистически значимые (на уровне 0,001 < р < 0,05) в случае ЭКЗII (ЗФО*ЭКЗII) за счет различий между КТ*ЭКЗII (или АВ*ЭКЗII) и ДОТ*ЭКЗII и, наконец, как сильно значимые (на уровне 0,00005 < р < 0,001) в случае ЭКЗIII (ЗФО*ЭКЗIII) за счет различий между КТ*ЭКЗIII (или АВ*ЭКЗIII) и ДОТ*ЭКЗIII. Графические числовые непараметрические характеристики (диаграммы размаха) выборок экзаменационных результатов разных ЗФО представлены на рис. 1.

Рис. 1. Медианные диаграммы размаха выборок экзаменационных результатов ЗФО*ЭКЗ

Обозначения: метки «квадрат», «ромб», «треугольник» - медианы; метка «круг» – выбросы; ящик – квартильный размах (25 % – 75 %); отрезки – размах без выбросов

Полученные результаты оценки значимости различий разных выборок взаимодействия факторов ЗФО*ЭКЗ, а также дополнительные обстоятельства однородности отдельных выборок взаимодействия факторов ЗФО*ЭКЗ, позволяют сократить их количество.

С одной стороны, не значимость (на основании непараметрического дисперсионного анализа Фридмана с повторными измерениями) различия динамик экзаменационных результатов (ЭКЗII, ЭКЗIII и ЭКЗV) для КТ и АВ, а также близость выборки АВ по форме обучения к КТ, допускает возможность объединить две выборки АВ и КТ в одну выборку АВ+КТ.

С другой стороны, учитывая однородность экзаменационных результатов ЗФО*ЭКЗII и ЗФО*ЭКЗIII в смысле форм обучения, а также выше полученные результаты оценки значимости различий ЭКЗII и ЭКЗIII для разных ЗФО (ДОТ и КТ), можно вместо двух выборок ЗФО*ЭКЗII и ЗФО*ЭКЗIII рассмотреть одну выборку ЗФО*ЭКЗII+III, построенную усреднением экзаменационных результатов ЗФО*ЭКЗII и ЗФО*ЭКЗIII .

Таким образом, речь идет о сравнении выборок взаимодействия 2-х уровневого фактора экзаменационных результатов ЭКЗ2 (ЭКЗII+III и ЭКЗV) повторных измерений с 2-х уровневым фактором ЗФО2 форм обучения (ДОТ и АВ+КТ), то есть об оценивании различия динамики экзаменационных результатов (сравнение ЭКЗII+III с ЭКЗV) для разных форм обучения (ДОТ и АВ+КТ). Диаграммы размаха выборок экзаменационных результатов ЭКЗ2 разных форм обучения ЗФО2 представлены на рис. 2.

Рис. 2. Медианные диаграммы размаха выборок экзаменационных результатов ЗФО2*ЭКЗ2

Обозначения: метки «ромб», «треугольник» – медианы; метка «круг» – выбросы; ящик – квартильный размах (25 % – 75 %); отрезки – размах без выбросов

На основании дисперсионного анализа Фридмана различия между результатами ЭКЗII+III и ЭКЗV оценены как высоко значимые (р < 0,00005) в случае ДОТ и как незначимые (р ≈0,25 > 0,10) для АВ+КТ. С другой стороны, на основании критерия Краскела-Уоллиса различия между экзаменационными результатами разных форм обучения ДОТ и АВ+КТ оценены как незначимые (р > 0,10) в случае ЭКЗV и как сильно значимые (0,00005 < р ≈ 0,0005 < 0,001) в случае ЭКЗII+III .

Таким образом, на основании непараметрического дисперсионного анализа экзаменационных результатов трех семестров по высшей математике в зависимости от формы заочного обучения сделаны следующие выводы: сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усредненных по 2-му и 3-му семестрам, в результате дальнейшей отрицательной динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимой для ДОТ и не значимой для КТ, привело к незначимому (р > 0,10) различию между ДОТ и КТ в 5-ом семестре.

В связи с аномально высокими экзаменационными результатами ДОТ в 3-ем семестре можно заметить, что стадия оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий может иметь специфический нюанс идентификации студента: преподаватель должен быть уверен, что на другом конце телекоммуникационной цепочки находится именно тот человек, который претендует на получение не только определенных знаний, но и документа (диплома, свидетельства, удостоверения, сертификата) об освоении соответствующей образовательной программы [4]. При дистанционном обучении стадия оценивания качества учебных достижений студентов («Контроль и оценка») в определенном смысле является центральной. Здесь очень важен вопрос о защите данных и средствах идентификации студента, не допускающих подмену и искажение результатов тестирования. В случае дистанционного обучения эти трудности могут быть преодолены за счет проведения контрольных испытаний студента в специально оборудованных учебных помещениях либо в присутствии лиц, находящихся в полном доверии у преподавателя и администрации учебного центра [4], либо в режиме видеотелефонной связи через интернет посредством Skype. Альтернативой может быть проведение экзаменационного контроля заключительного этапа дистанционного изучения дисциплины в классической форме, позволяющей преподавателю-экзаменатору оценить достигнутый студентом уровень усвоения материала посредством экзамена в письменной форме под контролем преподавателя с обязательным собеседованием.

Одной из значимых составляющих ДОТ является система тестирования в среде дистанционного обучения Moodle [5]. Она должна обеспечивать текущий контроль знаний, а на завершающей стадии дать объективную оценку знаний студента, на основании которой происходит выдача сертификатов, дипломов и пр. К сожалению, качество формы самих контрольно-измерительных тестовых материалов, технического обеспечения процесса проведения и оформления результатов тестирования оставляет желать лучшего, требует постоянного совершенствования, что ограничивает применение системы тестирования рамками текущего контроля знаний и, в лучшем случае, базового итогового контроля знаний (на уровне «зачтено – не зачтено»).

Немаловажным обстоятельством на стадии «Контроль и оценка» является оптимизация рейтинговой системы оценивания разных составляющих (вебинары, рубежный тестовый контроль, индивидуальные домашние задания) процесса дистанционного обучения.

В целом же, совершенствование ДОТ должно быть направлено на приближение дистанционное образование к апробированному столетиями традиционному очному, на использование Интернета и других систем передачи данных для обеспечения возможности непосредственного общения преподавателя со студентом, на совершенствование системы управления самостоятельной деятельностью студентов-заочников в семестре и модернизации методики проведения итогового контроля.

Реализация инновационных ДОТ должна решить ряд существенных проблем, связанных с разработкой, а также техническим и программным сопровождением принципиально новой методики преподавания, учитывающей особенности данного вида коммуникации и обеспечивающей проведение всех форм занятий для удаленной аудитории. К таким проблемам относятся, прежде всего, организация в режиме реального времени (on-line) видеоконференцсвязи при чтении лекций с возможностью текущего опроса, проведение интерактивных занятий в компьютерном классе удаленной аудитории, позволяющее в режиме реального времени управлять работой студентов на компьютерах, проведение различных форм контроля (в том числе и итогового) в режиме реального времени.

Результаты проведенного статистического анализа классической и сетевой дистанционной моделей организации заочного обучения могут быть учтены в рамках проходящей реформы высшего образования.

Выводы

1. В рамках дисперсионного анализа экзаменационных результатов студентов-заочников, обучавшихся по классической КТ и дистанционной сетевой ДОТ формам, выявлено сильно значимое различие (0,00005< р < 0,001) между ДОТ и КТ в экзаменационных результатах, усредненных по 2-му и 3-му семестрам, которое в ходе дальнейшей отрицательной динамики (сравнение экзаменационных результатов, усредненных по 2-му и 3-му семестрам, с 5-ым), высоко значимой для ДОТ и не значимой для КТ, привело к незначимому (на уровне значимости р > 0,10) различию между ДОТ и КТ в 5-ом семестре.

2. Предложены способы устранения значимых различий между ДОТ и КТ в рамках проходящей реформы высшего образования.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов Андрей Юрьевич, д-р физ.-мат. наук, профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев Константин Петрович, д-р физ.-мат. наук, профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.


Библиографическая ссылка

Арефьев В.П., Михальчук А.А., Арефьев В.П., Филипенко Н.М. ДИСПЕРСИОННЫЙ АНАЛИЗ КАЧЕСТВА СОВРЕМЕННОГО ЗАОЧНОГО ТЕХНИЧЕСКОГО ОБРАЗОВАНИЯ // Современные проблемы науки и образования. – 2013. – № 2.;
URL: http://science-education.ru/ru/article/view?id=8626 (дата обращения: 19.05.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252