Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

СТАТИСТИЧЕСКИЕ МЕТОДЫ МОНИТОРИНГА КАЧЕСТВА РЕЗУЛЬТАТОВ ЭЛЕКТРОННОГО И ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ВУЗЕ

Арефьев В.П. 1 Михальчук А.А. 1 Филипенко Н.М. 1
1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»
Проведен статистический анализ результатов успеваемости первых трех семестров по высшей математике студентов заочной формы обучения с использованием дистанционных образовательных технологий Томского политехнического университета. Рассмотрение проведено в системе 2-х показателей: ИДЗ – сумма баллов за выполнение 4-х индивидуальных домашних заданий в течение каждого семестра; ЭКЗ – баллы, полученные в результате семестрового тест-экзамена. Проведена гистограммная динамика результатов успеваемости студентов. Согласно ранговому дисперсионному анализу Фридмана с повторными измерениями динамика успеваемости оценивается как высоко значимая по совокупности трех семестров за счет отличия, например, ЭКЗ2 от ЭКЗ1 и ИДЗ1 – высоко значимо, от ИДЗ2 и ЭКЗ3 – статистически значимо при незначимом отличии от ИДЗ3. С помощью непараметрического критерия Краскела – Уоллиса все выборки показателей успеваемости оценены на однородность: слабо значимую в случае ИДЗ1, высоко значимую – ИДЗ2 и ИДЗ3, незначимую – ЭКЗ1 и ЭКЗ3, а в случае ЭКЗ2 как статистически значимую за счет статистически значимых отличий группы Б12 от Г2 и А3. Сделан вывод о том, что результаты параметрического дисперсионного анализа в более мягкой форме полностью подтверждают результаты непараметрического дисперсионного анализа как относительно динамики успеваемости, так и однородности составных выборок. На основании параметрического дисперсионного анализа повторных испытаний проведены оценки статистической значимости нестабильности динамики групповых средних. Результаты проведенного анализа оценивания знаний студентов-заочников в режиме дистанционных образовательных технологий могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию электронного и дистанционного обучения для обеспечения качества образования и контроля знаний.
качество обучения.
мониторинг
электронное и дистанционное обучение
дистанционные образовательные технологии
дисперсионный анализ
1. Арефьев В. П., Михальчук А. А., Филипенко Н. М. Дисперсионный анализ качества современного заочного технического образования // Современные проблемы науки и образования. – 2013. – №. 2. (Электронный журнал) URL: www.science-education.ru/108-8626 (дата обращения: 22.02.2014).
2. Багаутдинова С.Ф., Левшина Н.И., Санникова Л.Н., Турченко В.И. Разработка и организация системы мониторинга качества образовательной деятельности студентов в высшем учебном заведении // Фундаментальные исследования. – 2014. – № 1-1. – С. 109-114.
3. Башарина О.В. Мониторинг процесса формирования профессиональных компетенций как элемент мультикомпонентной информационно-образовательной среды (на основе LMS MOODLE) // Современные проблемы науки и образования. – 2014. – № 1; URL: www.science-education.ru/115-11914 (дата обращения: 31.03.2015).
4. Гайворонская Т.В., Шадрина Э.М. Мониторинг результатов диагностического тестирования студентов первого курса - важный механизм внутри вузовской системы качества образовательного процесса // Международный журнал экспериментального образования. – 2014. – № 4-1. – С. 15-19.
5. Карпенко О.М., Абрамова А.В., Широкова М.Е., Басов В.А. Обзор средств организации электронного обучения и перспективы их развития // Дистанционное и виртуальное обучение. – 2015. – № 2 (92). – С. 4-24.
6. Лазутин С.Б. Новые информационные технологии в системе дистанционного обучения // Вестник Тамбовского университета. Серия: Естественные и технические науки. – 2012. – Т. 17. – № 1. – С. 161-164.
7. Морозова Н.Н., Проскурякова Л.К. Мониторинг качества математической подготовки в техническом вузе // Психология образования в поликультурном пространстве. – 2014. – № 27 (3). – С. 87-95.
8. Никулина Т.В. Электронное и дистанционное обучение: сущность и качество // Theoretical & Applied Science. – 2015. – № 1 (21). – С. 134-138.
9. Солодовник Е.В. Электронные образовательные ресурсы в системе электронного обучения в вузе // Проблемы высшего образования. – 2014. – № 1. – С. 279-282.
10. Фотина О.В. К проблеме идентификации личности в учебной онлайн среде //Дистанционное и виртуальное обучение. – 2015. – № 1 (91). – С. 26-33.
К основным направлениям модернизации современного высшего заочного образования можно отнести внедрение инновационных (электронных и дистанционных)  форм обучения [5, 6, 8, 9], автоматизацию мониторинга качества образования, контроля результата обучения и знаний студентов с применением дистанционных образовательных технологий [2–4, 7]. В связи с этим представляет интерес использование статистических методов анализа мониторинговых исследований качества образовательного процесса в вузе и, в частности, качества математической подготовки.

В данной работе аналогично [1] проведен статистический анализ в пакете Statistica результатов оценивания знаний по высшей математике в объеме первых трех семестров 128-ми студентов 7-ми групп института электронного обучения Томского политехнического университета. Рассмотрение было проведено в системе 2-х показателей: ИДЗ – сумма баллов за выполнение 4-х индивидуальных домашних заданий в течение каждого семестра (по 60-ти балльной шкале); ЭКЗ – баллы, полученные в результате семестрового тест-экзамена (по 40-а балльной шкале). Гистограммная динамика положительных результатов ИДЭК (ИДЗk; ЭКЗk) по семестрам (k = 1, 2, 3) отражена на рис.1.

Рис. 1. Составная гистограмма ИДЭК (фрагмент положительных результатов)

Согласно рис.1, наиболее представительным является интервал слабых хорошистов [3,5; 4].  Здесь результаты текущей (ИДЗ) успеваемости стабильны на уровне 45–46 % в течение 1-го года обучения, но затем уменьшились почти в 2 раза (до 26 %) в 3-ем семестре. При этом результаты экзаменационной (ЭКЗ) успеваемости сначала выросли с 31 % в 1-ом семестре до 50 % во 2-ом семестре, а затем уменьшились до 38 % в 3-ем семестре. Заметим, что, если в 1-ом семестре динамика (сравнение ЭКЗ с ИДЗ) отрицательная, то в 3-ем семестре – положительная. В интервале сильных хорошистов [4; 4,5] продолжилась отрицательная динамика текущей успеваемости (уменьшение ИДЗ с 22 % в 1-ом семестре до 16 % во 2-ом семестре и 10 % в 3-ем семестре). При этом результаты экзаменационной успеваемости, наоборот, сначала уменьшились почти в 3 раза с 44 % в 1-ом семестре до 16 % во 2-ом семестре, а затем выросли до 32 % в 3-ем семестре. В интервале отличников [4,5; 5] наблюдается расслоение результатов текущей и экзаменационной успеваемости: если ЭКЗ стабильны на уровне 5–6 %, то ИДЗ, превышая ЭКЗ в »3 раза, демонстрируют положительную динамику роста с 13 % во 2-ом семестре до 22 % в 3-ем семестре.

Согласно теории измерительных шкал балльная шкала измерения ИДЗ и ЭКЗ относится к типу порядковых шкал, позволяющих ранжировать (упорядочить) результаты оценивания качества усвоения знаний студентов. Поэтому для сравнения рассматриваемых выборок предлагается использовать прежде всего более корректные непараметрические характеристики (рис. 2, слева), а также привычные параметрические  (рис. 2, справа).

Рис. 2. Медианные диаграммы размаха (слева: квадрат – медианы; ящик – квартильный размах; усы – полный размах без выбросов; ромб – выбросы, треугольник – крайние точки) и линейные графики средних (справа: круг – средние; усики – 95 % границы доверительных интервалов) ИДЭК

Согласно ранговому дисперсионному анализу Фридмана с повторными измерениями динамика ИДЭК (рис. 2, слева) оценивается как высоко значимая (на уровне значимости р < 0,0005) по совокупности трех семестров за счет отличия, например, ЭКЗ2 от ЭКЗ1 и ИДЗ1 – высоко значимо (р< 0,0005), от ИДЗ2 и ЭКЗ3 – статистически значимо (0,005<р< 0,050) при незначимом (р > 0,1)  отличии от ИДЗ3.

По параметрическому дисперсионному анализу с повторными измерениями динамика ИДЭК (рис. 2, справа) оценивается как статистически значимая (0,005<р »0,007< 0,050) по совокупности трех семестров за счет отличия, например, ЭКЗ2 от ЭКЗ1 и ИДЗ1 – сильно значимо (0,0005< р < 0,005), от ЭКЗ3 – слабо значимо (0,05<р< 0,10) при незначимом (р > 0,1) отличии от ИДЗ2 и ИДЗ3.

С другой стороны, в рамках однофакторного дисперсионного анализа независимых выборок с помощью непараметрического критерия Краскела – Уоллиса все выборки показателей текущей и экзаменационной успеваемости (ИДЗk; ЭКЗk, k = 1, 2, 3) оценены на однородность, то есть на различия между результатами 7-ми групп: слабо значимую в случае ИДЗ1, высоко значимую – ИДЗ2 и ИДЗ3, незначимую – ЭКЗ1 и ЭКЗ3, а в случае ЭКЗ2 как статистически значимую (на уровне 0,005 < р »0,018 < 0,050) за счет статистически значимых отличий Б12 от Г2 и А3 (рис. 3, слева). По параметрическому F-критерию различия 7-ми групп оцениваются как слабо значимые в случае ИДЗ1, высоко значимые – ИДЗ2 и ИДЗ3,  незначимые – ЭКЗ1 и ЭКЗ3, а в случае ЭКЗ2 как слабо значимые (на уровне 0,050 < р »0,058 < 0,100) за счет слабо значимых отличий Б12 от остальных групп, кроме А1 (рис. 3, справа).

Рис. 3. Медианные диаграммы размаха (слева) и линейные графики средних (справа)

 групп ЭКЗ2

Таким образом, результаты параметрического дисперсионного анализа в более мягкой форме полностью подтверждают результаты непараметрического (рангового) дисперсионного анализа как относительно динамики ИДЭК, так и однородности составных выборок (ИДЗk; ЭКЗk, k = 1, 2, 3). Составная динамика групповых средних ИДЭК представлена на рис. 4.

 

Рис. 4. Динамика групповых средних ИДЭК

На основании параметрического дисперсионного анализа повторных испытаний (рис. 4) можно заключить, что группа Г1 является единственной, имеющей стабильную (незначимую) динамику ИДЭК. Почти стабильную динамику имеют Б12 (только ИДЗ2 и ЭКЗ3 различаются статистически значимо на уровне значимости р » 0,02) и Г3 (ИДЗ3 отличается от всех остальных статистически значимо). Нестабильную статистически значимую динамику имеет Г2 (средние ЭКЗ1, ИДЗ2 и ЭКЗ3 отличаются статистически значимо от средних ИДЗ1, ЭКЗ2 и ИДЗ3). Остальные группы имеют более нестабильную динамику: А1 (ИДЗ3 отличается высоко значимо от ИДЗ2 и ЭКЗ3, сильно значимо от ЭКЗ2 и статистически значимо от ЭКЗ1; при этом статистически значимо различаются также ИДЗ1 и ИДЗ2, ЭКЗ1 и ЭКЗ3, а ИДЗ1 и ЭКЗ3 различаются сильно значимо), А2 (ИДЗ3 отличается высоко значимо от ИДЗ2 и ЭКЗ2, сильно значимо от ИДЗ1 и ЭКЗ1 и статистически значимо от ЭКЗ3; при этом ИДЗ2 отличается статистически значимо от ИДЗ1 и ЭКЗ1  и сильно значимо от ЭКЗ3), А3 (ИДЗ2 и ИДЗ3 отличаются высоко значимо от остальных; при этом статистически значимо различаются ИДЗ1 и ЭКЗ2). 

Характерной чертой нестабильной высоко значимой динамики ИДЭК является наличие аномальных отклонений (особенно ИДЗ2 и ИДЗ3 (рис. 2) для группы А3 (рис. 4)). Данный результат свидетельствует о нарушении правил проведения тест-экзамена (без фактического допуска по результатам ИДЗ), что тем не менее практически не сказывается на стабильном уровне тест-экзаменационной динамики (рис. 4).

По-прежнему острой проблемой оценивания усвоенных студентом-заочником знаний в режиме ДОТ является чрезмерное увлечение автоматизацией (практически без участия преподавателя) итогового контроля знаний обучаемых в условиях несовершенства содержания и формы тестовых заданий, что приводит к завышению на целый балл (по 5-ти балльной шкале) результатов оценивания усвоенных студентом-заочником знаний в режиме ДОТ по сравнению с классическим режимом [1]. Можно заметить, что стадия оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий порождает проблему идентификации личности в учебной on-line среде [1, 6, 10].

Результаты проведенного анализа оценивания знаний студентов-заочников в режиме ДОТ могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию электронного и дистанционного обучения для обеспечения качества образования и контроля знаний.

Выводы

1.    Проведена гистограммная динамика положительных результатов текущей (ИДЗ) и экзаменационной (ЭКЗ)  успеваемости студентов электронного обучения по высшей математике в объеме первых трех семестров.

2.    Согласно ранговому дисперсионному анализу Фридмана с повторными измерениями динамика ИДЭК оценивается как высоко значимая (р < 0,0005) по совокупности трех семестров за счет отличия, например, ЭКЗ2 от ЭКЗ1 и ИДЗ1 – высоко значимо (р < 0,0005), от ИДЗ2 и ЭКЗ3 – статистически значимо (0,005<р< 0,050) при незначимом (р > 0,1)  отличии от ИДЗ3.

3.    С помощью непараметрического критерия Краскела – Уоллиса все выборки показателей текущей и экзаменационной успеваемости оценены на однородность: слабо значимую в случае ИДЗ1, высоко значимую – ИДЗ2 и ИДЗ3, незначимую – ЭКЗ1 и ЭКЗ3, а в случае ЭКЗ2 как статистически значимую (на уровне р »0,018) за счет статистически значимых отличий группы Б12 от Г2 и А3.

4.    Сделан вывод о том, что результаты параметрического дисперсионного анализа в более мягкой форме полностью подтверждают результаты непараметрического (рангового) дисперсионного анализа как относительно динамики ИДЭК, так и однородности составных выборок.

5.    На основании параметрического дисперсионного анализа повторных испытаний проведены оценки статистической значимости нестабильности динамики групповых средних ИДЭК.

Работа выполнена при поддержке Российского научного фонда.


Рецензенты:

Трифонов А.Ю., д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет», г. Томск;

Арефьев К.П., д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.



Библиографическая ссылка

Арефьев В.П., Михальчук А.А., Филипенко Н.М. СТАТИСТИЧЕСКИЕ МЕТОДЫ МОНИТОРИНГА КАЧЕСТВА РЕЗУЛЬТАТОВ ЭЛЕКТРОННОГО И ДИСТАНЦИОННОГО ОБУЧЕНИЯ В ВУЗЕ // Современные проблемы науки и образования. – 2015. – № 1-1. ;
URL: https://science-education.ru/ru/article/view?id=19200 (дата обращения: 18.09.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074