Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

КЛАСТЕРНЫЙ АНАЛИЗ РЕЗУЛЬТАТОВ ОЦЕНИВАНИЯ ЗНАНИЙ В СИСТЕМЕ ЗАОЧНОГО ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ

Арефьев В.П. 1 Михальчук А.А. 1 Филипенко Н.М. 1
1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»
Проведен кластерный анализ качества заочного технического образования на основе экзаменационных результатов четвертого семестра по высшей математике при дистанционной сетевой модели организации заочного обучения на примере Института дистанционного образования Томского политехнического университета. Кроме экзаменационных результатов (ЭКЗ – набранные баллы за тест-экзамен в режиме online), в анализе использованы еще два показателя: DT – разность моментов окончания и начала экза-мена и ИДЗ – набранные баллы за 4 индивидуальных домашних задания. В рамках кластерного анализа методом K-средних получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике, различающая высоко значимо 10 кластеров не только по совокупности показа-телей DT, ЭКЗ, ИДЗ, но и по каждому показателю. В рамках дисперсионного анализа выделены для каж-дого показателя однородные (различающиеся незначимо) группы кластеров. Проведена качественная классификация результатов оценивания знаний по высшей математике в номинальной шкале измере-ний, детальным образом прописывающая структуру результатов оценивания усвоенных студентом зна-ний при заочной форме обучения с использованием современных дистанционных образовательных тех-нологий (ДОТ). Результаты подобной кластеризации результатов оценивания знаний могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию заочного обучения для обеспечения качества образования и контроля знаний.
заочное обучение.
дистанционные образовательные технологии
дисперсионный анализ
кластерный анализ
1. Акерман Е.Н., Михальчук А.А., Трифонов А.Ю. Кластерная динамика развития потенци-ального экономического образования // Вестник Томского государственного университета. – 2012. - № 365. - C. 112-115.
2. Арефьев В.П., Михальчук А.А. Статистический анализ профильного высшего образова-ния на основе вступительных испытаний [Электронный ресурс] // Современные проблемы науки и образования. – 2012. - № 6. - C. 1-9. - Режим доступа: http://www.science-education.ru/106-7343 (дата обращения: 27.05.2013).
3. Арефьев В.П., Михальчук А.А., Филипенко Н.М. Дисперсионный анализ качества совре-менного заочного технического образования [Электронный ресурс] // Современные пробле-мы науки и образования. – 2013. - № 2. - C. 1-9. - Режим доступа: http://www.science-education.ru/108-8626 (дата обращения: 27.05.2013).
4. Железняк Н.С. Требования к текстовым заданиям как элементу контроля в системе ди-станционного образования // Вестник Алтайской академии экономики и права. – 2012. – № 3. – С. 135-138.
5. Колгатин А.Г., Колгатина Л.С. Вопросы качества процедур тестирования и интерпрета-ции тестовых результатов в информационно-коммуникационной педагогической среде // Образовательные технологии и общество (Educational Technology & Society). – 2013. – Т. 16. – № 1. – С. 575-585.
6. Лазутин С.Б. Новые информационные технологии в системе дистанционного обучения // Вестник Тамбовского университета. Серия: Естественные и технические науки. – 2012. – Т. 17. – № 1. – С. 161-164.
7. Медведева С.Н., Тутубалин П.И. Информационные технологии контроля и оценки зна-ний в системе дистанционного обучения Мoodle // Образовательные технологии и общество (Educational Technology & Society). - 2012. - Т. 15. - № 1. - С. 555-566.
8. Михальчук А.А., Арефьев В.П. Кластерный анализ современного архитектурного образования на основе вступительных испытаний [Электронный ресурс] // Современные проблемы науки и образования. – 2012. - №. 6 - C. 1-8. - Режим доступа: http://www.science-education.ru/106-7483 (дата обращения: 27.05.2013).
9. Романенкова Д.Ф. Mетоды педагогического контроля качества учебной деятельности в системе дистанционного обучения // Вестник Южно-Уральского государственного универ-ситета. Серия: Образование. Педагогические науки. – 2013. – Т. 5. – № 1. – С. 121-126.
10. Староверова Н.А. Проблемы заочного обучения в сфере профессионального образова-ния // Вестник Казанского технологического университета. – 2012. – Т. 15. – № 23. – С. 237-239.

Особенностью современного этапа развития системы высшего заочного образования является внедрение современных информационных образовательных интернет-технологий в организацию заочного обучения [6; 10]. При обучении с использованием дистанционных образовательных технологий (ДОТ) актуальными являются вопросы обеспечения качества образования и контроля знаний [3; 7; 9]. Одним из основных методов контроля знаний при дистанционном обучении является тестирование, эффективность результатов которого во многом определяется качеством тестовых заданий [4; 5].

В Томском политехническом университете последние 5 лет применяется форма заочного обучения с использованием ДОТ. В данной работе проведен кластерный анализ (аналогично [1; 2; 8]) результатов оценивания знаний по высшей математике (выборка ЭНИН4) в объеме 4-го семестра (дифференциальные уравнения, ряды, комплексный анализ, операционный метод) студентов Энергетического института. Рассмотрение проведено в системе 3-х переменных (рис. 1):

DT – разность моментов окончания и начала экзамена (в минутах),

ЭКЗ – набранные баллы за тест-экзамен в режиме online (из 40 – max),

ИДЗ – набранные баллы за 4 индивидуальных домашних задания (из 60 – max).

Рис. 1. Диаграммы рассеяния с гистограммами переменных выборки ЭНИН4

Из 130 участвовавших «неуд» (баллы ЭКЗ < 22) получили 25,4%, то есть каждый четвертый.

Особенностью полученных результатов является выделение многочисленной аномальной группы получивших положительный экзаменационный результат за минимальное время. Установленный рекорд составляет DT = 5 мин. Оказывается, что для пятой части (20%, рис. 2) сдавших для выполнения и оформления положительной экзаменационной работы по высшей математике достаточно было не более 20 минут из выделенных 3 часов.

Рис. 2. Гистограмма DT по всем сдавшим ЭКЗ (97 студ.)

Выявленное аномальное обстоятельство лишний раз подчеркивает несовершенство стадии оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий, создающее проблему идентификации студента: преподаватель должен быть уверен, что на другом конце телекоммуникационной цепочки находится именно тот человек, который претендует на получение не только определенных знаний, но и документа (диплома, свидетельства, удостоверения, сертификата) об освоении соответствующей образовательной программы [3; 6].

В данной работе на базе данных выборки ЭНИН4 проведен кластерный анализ результатов оценивания знаний по высшей математике в абсолютной и стандартизированной шкалах.

В рамках кластерного анализа методом K-средних, проводящим классификацию объектов по заданному количеству кластеров, получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике (рис. 3), различающая 10 кластеров по совокупности показателей DT, ЭКЗ, ИДЗ высоко значимо (на уровне значимости р < 0,00005) согласно λ-критерию Уилкса.

Рис. 3. Диаграмма рассеяния кластерных средних в системе {DT, ЭКЗ, ИДЗ}

При этом согласно параметрическому F-критерию (табл. 1), ранговому критерию Краскела-Уоллиса и медианному тесту высоко значимо (на уровне значимости р < 0,00005) различаются 10 кластеров также по каждому показателю.

Таблица 1. Результаты дисперсионного анализа качества кластеризации в системе {DT, ЭКЗ, ИДЗ}

Рассчитанные средние значения показателей по каждому кластеру представлены в табл. 2 в абсолютной и стандартизированной шкалах.

Таблица 2. Кластерные средние m в системе {DT, ЭКЗ, ИДЗ}

Кластер

Абсолютная шкала

Объем

кластера

Стандартизированная шкала

DT

ЭКЗ

ИДЗ

DT

ЭКЗ

ИДЗ

К1

99,00

18,94

30,00

3

0,28

-1,01

-1,03

К2

91,29

29,61

52,71

17

0,15

0,85

0,46

К3

123,25

23,66

52,58

12

0,71

-0,19

0,45

К4

153,77

30,95

56,69

13

1,24

1,09

0,72

К5

25,48

27,75

47,93

29

-1,00

0,53

0,14

К6

28,48

20,66

49,70

23

-0,94

-0,71

0,26

К7

158,07

25,95

46,87

15

1,31

0,21

0,07

К8

41,00

8,72

18,20

5

-0,73

-2,79

-1,81

К9

149,40

13,39

53,40

5

1,16

-1,98

0,50

К10

88,25

23,49

0,00

8

0,10

-0,22

-3,00

ЭНИН4

82,69

24,72

45,75

130

0,00

0,00

0,00

Для наглядного оценивания значимости различий кластерных средних по показателям построены их линейные графики на рис. 4.

Рис. 4. Линейные графики кластерных средних в системе {DT, ЭКЗ, ИДЗ} по стандартизированной шкале

В рамках дисперсионного анализа можно выделить для каждого показателя однородные (различающиеся незначимо, то есть на уровне значимости р > 0,10) группы кластеров, расположенные в порядке убывания кластерных средних:

  • DT: {К7, К4, К9}, {К3, К1}, {К1, К2, К10}, {К8, К6, К5}.
  • ЭКЗ: {К4, К2}, {К5}, {К7}, {К3, К10}, {К6, К1}, {К9}, {К8}.
  • ИДЗ: {К4, К9, К2, К3}, {К9, К2, К3, К6}, {К6, К5, К7}, {К1}, {К8}, {К10}.

Полученные результаты кластерного анализа (рис. 4 и табл. 2) позволяют провести качественную классификацию результатов оценивания знаний по высшей математике (выборка ЭНИН4) в номинальной шкале измерений (табл. 3), полагая при этом в качестве уровня «средний» - стандартизированный интервал (-0,5; +0,5) для показателей. Аномально высокие значения (> +1,5) определяют уровень «Лидер», а аномально низкие значения (< -1,5) определяют уровень «Аутсайдер». Промежуточные значения между средними и аномальными определяют уровень «выше среднего» и «ниже среднего» соответственно.

Таблица 3. Качественная классификация результатов оценивания знаний по высшей математике (выборка ЭНИН4)

Кластер

Характеристика уровня кластера

на фоне среднего по показателю

DT

ЭКЗ

ИДЗ

К1

Средний

Ниже среднего

Ниже среднего

К2

Средний

Выше среднего

Средний

К3

Выше среднего

Средний

Средний

К4

Выше среднего

Выше среднего

Выше среднего

К5

Ниже среднего

Выше среднего –Средний

Средний

К6

Ниже среднего

Ниже среднего

Средний

К7

Выше среднего

Средний

Средний

К8

Ниже среднего

Аутсайдер

Аутсайдер

К9

Выше среднего

Аутсайдер

Выше среднего –Средний

К10

Средний

Средний

Аутсайдер

Согласно рис. 4 и табл. 2-3, кластерная модель результатов оценивания знаний по высшей математике имеет спектральную структуру. Даже среди не сдавших экзамен (баллы ЭКЗ < 22) выделяются разные кластеры, значимо различающиеся по DT и ИДЗ: 8 условно допущенных (не сдавших все ИДЗ) имеют разное DT (mDT ≈ 40 для К8 и mDT ≈ 100 для К1) и 28 допущенных с разным DT (mDT ≈ 30 для К6 и mDT ≈ 150 для К9). Зона риска (mЭКЗ < 24) представлена двумя кластерами, разительно отличающимися по ИДЗ (mИДЗ = 0 для К10 и mИДЗ ≈ 53 для К3). Остальные 4 кластера допущенных и сдавших в разной степени успешно экзамен разнятся в большей степени значением DT: от «тугодумов» (mDT ≈ 160 для К7) до «легкодумов» (mDT ≈ 25 для К5). Одним из последних 29 (К5) является вышеотмеченный рекордсмен с DT = 5 мин. Связанную с этим аномальным обстоятельством проблему идентификации студента мы уже отметили.

Другой острой проблемой оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий является чрезмерное увлечение автоматизацией итогового контроля знаний обучаемых в условиях несовершенства содержания и формы тестовых заданий: сдачи зачетов и экзаменов в форме компьютерного тестирования практически без участия преподавателя в оценивании полученных знаний.

Выводы

1. Получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике, различающая высоко значимо 10 кластеров не только по совокупности показателей DT, ЭКЗ, ИДЗ, но и по каждому показателю.

2. В рамках дисперсионного анализа выделены для каждого показателя однородные (различающиеся незначимо) группы кластеров.

3. Проведена качественная классификацию результатов оценивания знаний по высшей математике в номинальной шкале измерений, детальным образом прописывающая структуру результатов оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий.

4. Результаты подобной кластеризации результатов оценивания знаний могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию заочного обучения для обеспечения качества образования и контроля знаний.

Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.

Рецензенты:

Трифонов Андрей Юрьевич, д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.

Арефьев Константин Петрович, д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.


Библиографическая ссылка

Арефьев В.П., Михальчук А.А., Филипенко Н.М. КЛАСТЕРНЫЙ АНАЛИЗ РЕЗУЛЬТАТОВ ОЦЕНИВАНИЯ ЗНАНИЙ В СИСТЕМЕ ЗАОЧНОГО ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ // Современные проблемы науки и образования. – 2013. – № 3. ;
URL: https://science-education.ru/ru/article/view?id=9506 (дата обращения: 29.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674