Особенностью современного этапа развития системы высшего заочного образования является внедрение современных информационных образовательных интернет-технологий в организацию заочного обучения [6; 10]. При обучении с использованием дистанционных образовательных технологий (ДОТ) актуальными являются вопросы обеспечения качества образования и контроля знаний [3; 7; 9]. Одним из основных методов контроля знаний при дистанционном обучении является тестирование, эффективность результатов которого во многом определяется качеством тестовых заданий [4; 5].
В Томском политехническом университете последние 5 лет применяется форма заочного обучения с использованием ДОТ. В данной работе проведен кластерный анализ (аналогично [1; 2; 8]) результатов оценивания знаний по высшей математике (выборка ЭНИН4) в объеме 4-го семестра (дифференциальные уравнения, ряды, комплексный анализ, операционный метод) студентов Энергетического института. Рассмотрение проведено в системе 3-х переменных (рис. 1):
DT – разность моментов окончания и начала экзамена (в минутах),
ЭКЗ – набранные баллы за тест-экзамен в режиме online (из 40 – max),
ИДЗ – набранные баллы за 4 индивидуальных домашних задания (из 60 – max).
Рис. 1. Диаграммы рассеяния с гистограммами переменных выборки ЭНИН4
Из 130 участвовавших «неуд» (баллы ЭКЗ < 22) получили 25,4%, то есть каждый четвертый.
Особенностью полученных результатов является выделение многочисленной аномальной группы получивших положительный экзаменационный результат за минимальное время. Установленный рекорд составляет DT = 5 мин. Оказывается, что для пятой части (20%, рис. 2) сдавших для выполнения и оформления положительной экзаменационной работы по высшей математике достаточно было не более 20 минут из выделенных 3 часов.
Рис. 2. Гистограмма DT по всем сдавшим ЭКЗ (97 студ.)
Выявленное аномальное обстоятельство лишний раз подчеркивает несовершенство стадии оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий, создающее проблему идентификации студента: преподаватель должен быть уверен, что на другом конце телекоммуникационной цепочки находится именно тот человек, который претендует на получение не только определенных знаний, но и документа (диплома, свидетельства, удостоверения, сертификата) об освоении соответствующей образовательной программы [3; 6].
В данной работе на базе данных выборки ЭНИН4 проведен кластерный анализ результатов оценивания знаний по высшей математике в абсолютной и стандартизированной шкалах.
В рамках кластерного анализа методом K-средних, проводящим классификацию объектов по заданному количеству кластеров, получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике (рис. 3), различающая 10 кластеров по совокупности показателей DT, ЭКЗ, ИДЗ высоко значимо (на уровне значимости р < 0,00005) согласно λ-критерию Уилкса.
Рис. 3. Диаграмма рассеяния кластерных средних в системе {DT, ЭКЗ, ИДЗ}
При этом согласно параметрическому F-критерию (табл. 1), ранговому критерию Краскела-Уоллиса и медианному тесту высоко значимо (на уровне значимости р < 0,00005) различаются 10 кластеров также по каждому показателю.
Таблица 1. Результаты дисперсионного анализа качества кластеризации в системе {DT, ЭКЗ, ИДЗ}
Рассчитанные средние значения показателей по каждому кластеру представлены в табл. 2 в абсолютной и стандартизированной шкалах.
Таблица 2. Кластерные средние m в системе {DT, ЭКЗ, ИДЗ}
Кластер |
Абсолютная шкала |
Объем кластера |
Стандартизированная шкала |
||||
DT |
ЭКЗ |
ИДЗ |
DT |
ЭКЗ |
ИДЗ |
||
К1 |
99,00 |
18,94 |
30,00 |
3 |
0,28 |
-1,01 |
-1,03 |
К2 |
91,29 |
29,61 |
52,71 |
17 |
0,15 |
0,85 |
0,46 |
К3 |
123,25 |
23,66 |
52,58 |
12 |
0,71 |
-0,19 |
0,45 |
К4 |
153,77 |
30,95 |
56,69 |
13 |
1,24 |
1,09 |
0,72 |
К5 |
25,48 |
27,75 |
47,93 |
29 |
-1,00 |
0,53 |
0,14 |
К6 |
28,48 |
20,66 |
49,70 |
23 |
-0,94 |
-0,71 |
0,26 |
К7 |
158,07 |
25,95 |
46,87 |
15 |
1,31 |
0,21 |
0,07 |
К8 |
41,00 |
8,72 |
18,20 |
5 |
-0,73 |
-2,79 |
-1,81 |
К9 |
149,40 |
13,39 |
53,40 |
5 |
1,16 |
-1,98 |
0,50 |
К10 |
88,25 |
23,49 |
0,00 |
8 |
0,10 |
-0,22 |
-3,00 |
ЭНИН4 |
82,69 |
24,72 |
45,75 |
130 |
0,00 |
0,00 |
0,00 |
Для наглядного оценивания значимости различий кластерных средних по показателям построены их линейные графики на рис. 4.
Рис. 4. Линейные графики кластерных средних в системе {DT, ЭКЗ, ИДЗ} по стандартизированной шкале
В рамках дисперсионного анализа можно выделить для каждого показателя однородные (различающиеся незначимо, то есть на уровне значимости р > 0,10) группы кластеров, расположенные в порядке убывания кластерных средних:
- DT: {К7, К4, К9}, {К3, К1}, {К1, К2, К10}, {К8, К6, К5}.
- ЭКЗ: {К4, К2}, {К5}, {К7}, {К3, К10}, {К6, К1}, {К9}, {К8}.
- ИДЗ: {К4, К9, К2, К3}, {К9, К2, К3, К6}, {К6, К5, К7}, {К1}, {К8}, {К10}.
Полученные результаты кластерного анализа (рис. 4 и табл. 2) позволяют провести качественную классификацию результатов оценивания знаний по высшей математике (выборка ЭНИН4) в номинальной шкале измерений (табл. 3), полагая при этом в качестве уровня «средний» - стандартизированный интервал (-0,5; +0,5) для показателей. Аномально высокие значения (> +1,5) определяют уровень «Лидер», а аномально низкие значения (< -1,5) определяют уровень «Аутсайдер». Промежуточные значения между средними и аномальными определяют уровень «выше среднего» и «ниже среднего» соответственно.
Таблица 3. Качественная классификация результатов оценивания знаний по высшей математике (выборка ЭНИН4)
Кластер |
Характеристика уровня кластера на фоне среднего по показателю |
||
DT |
ЭКЗ |
ИДЗ |
|
К1 |
Средний |
Ниже среднего |
Ниже среднего |
К2 |
Средний |
Выше среднего |
Средний |
К3 |
Выше среднего |
Средний |
Средний |
К4 |
Выше среднего |
Выше среднего |
Выше среднего |
К5 |
Ниже среднего |
Выше среднего –Средний |
Средний |
К6 |
Ниже среднего |
Ниже среднего |
Средний |
К7 |
Выше среднего |
Средний |
Средний |
К8 |
Ниже среднего |
Аутсайдер |
Аутсайдер |
К9 |
Выше среднего |
Аутсайдер |
Выше среднего –Средний |
К10 |
Средний |
Средний |
Аутсайдер |
Согласно рис. 4 и табл. 2-3, кластерная модель результатов оценивания знаний по высшей математике имеет спектральную структуру. Даже среди не сдавших экзамен (баллы ЭКЗ < 22) выделяются разные кластеры, значимо различающиеся по DT и ИДЗ: 8 условно допущенных (не сдавших все ИДЗ) имеют разное DT (mDT ≈ 40 для К8 и mDT ≈ 100 для К1) и 28 допущенных с разным DT (mDT ≈ 30 для К6 и mDT ≈ 150 для К9). Зона риска (mЭКЗ < 24) представлена двумя кластерами, разительно отличающимися по ИДЗ (mИДЗ = 0 для К10 и mИДЗ ≈ 53 для К3). Остальные 4 кластера допущенных и сдавших в разной степени успешно экзамен разнятся в большей степени значением DT: от «тугодумов» (mDT ≈ 160 для К7) до «легкодумов» (mDT ≈ 25 для К5). Одним из последних 29 (К5) является вышеотмеченный рекордсмен с DT = 5 мин. Связанную с этим аномальным обстоятельством проблему идентификации студента мы уже отметили.
Другой острой проблемой оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий является чрезмерное увлечение автоматизацией итогового контроля знаний обучаемых в условиях несовершенства содержания и формы тестовых заданий: сдачи зачетов и экзаменов в форме компьютерного тестирования практически без участия преподавателя в оценивании полученных знаний.
Выводы
1. Получена 10-кластерная высококачественная модель результатов оценивания знаний по высшей математике, различающая высоко значимо 10 кластеров не только по совокупности показателей DT, ЭКЗ, ИДЗ, но и по каждому показателю.
2. В рамках дисперсионного анализа выделены для каждого показателя однородные (различающиеся незначимо) группы кластеров.
3. Проведена качественная классификацию результатов оценивания знаний по высшей математике в номинальной шкале измерений, детальным образом прописывающая структуру результатов оценивания усвоенных студентом знаний при дистанционном обучении с использованием информационных образовательных интернет-технологий.
4. Результаты подобной кластеризации результатов оценивания знаний могут быть учтены при внедрении современных информационных образовательных интернет-технологий в организацию заочного обучения для обеспечения качества образования и контроля знаний.
Работа выполнена в рамках государственного задания «Наука» № 1.604.2011 и поддержана ФЦП «Научные и научно-педагогические кадры инновационной России» по контрактам П691.
Рецензенты:
Трифонов Андрей Юрьевич, д.ф.-м.н., профессор кафедры высшей математики и математической физики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.
Арефьев Константин Петрович, д.ф.-м.н., профессор кафедры высшей математики, ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет, г. Томск.
Библиографическая ссылка
Арефьев В.П., Михальчук А.А., Филипенко Н.М. КЛАСТЕРНЫЙ АНАЛИЗ РЕЗУЛЬТАТОВ ОЦЕНИВАНИЯ ЗНАНИЙ В СИСТЕМЕ ЗАОЧНОГО ОБУЧЕНИЯ С ИСПОЛЬЗОВАНИЕМ ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ // Современные проблемы науки и образования. – 2013. – № 3. ;URL: https://science-education.ru/ru/article/view?id=9506 (дата обращения: 13.10.2024).