Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,737

РАЗРАБОТКА МЕТОДИКИ ИЗМЕРЕНИЯ ПО ШКАЛЕ УСПЕВАЕМОСТЬ-МОТИВАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ С ТЕСТОВЫМИ СИСТЕМАМИ В ЦИФРОВОЙ ОБРАЗОВАТЕЛЬНОЙ СРЕДЕ

Зайчикова Н.А. 1
1 ФГБОУ ВО «Самарский Государственный экономический университет»
В статье рассмотрена задача научения студента по тестам в цифровой образовательной среде (ЦОС). Конструируется методика измерения по шкале успеваемость-мотивация результатов работы с тестовыми системами в ЦОС. Методика создана на основе социометрического метода анализа эффективности взаимодействия внутри малой группы, разработанного Дж. Морено. Результаты взаимодействия «Студенты-ЦОС» определяется с применением методов дискретной математики, матричной алгебры и теории графов. Определяются базовые понятия и структуры: матрицы, индексы, графы объектов исследования. Обработка собранных статистических данных происходит в три этапа: табличный, графический и индексологический. Введены понятия персональных и групповых индексов. Основными персональными индексами являются: индекс успеваемости студента, индекс мотивационной активности студента, научениеметрический индекс студента по тесту, научениеметрический индекс студента, научениеметрический статус студента. Основными групповыми индексами являются: индекс успешности группы, индекс мотивационной активности группы, научениеметрический индекс группы. Отдельно идут понятия, касающиеся тестов: индекс оценки теста, научениеметрический индекс теста. Проводится анализ результатов научения студентов по предложенной методике, делаются выводы и прогнозы по освоению дисциплины. Предлагается программа исследования преподавателя, работающего со студентами над освоением дисциплины в ЦОС.
цифровая образовательная среда
шкала успеваемость-мотивация
измерение эффективности обучения
научениеметрия
1. Двенадцать решений для нового образования // Доклад Центра стратегических разработок Высшей школы экономики (Я. Кузьминов,  И. Фрумин, Л. Овчарова). - М.: ВШЭ, 2018. - URL: http://www.hse.ru (дата обращения: 13.07.2018).
2. Гнездилова Л.Б., Гнездилов М.А. Учебная мотивация как основа эффективного образовательного процесса в вузе // Вестник Кемеровского государственного университета. Сер.: Гуманитарные и общественные науки. – 2017. – № 2. – С. 4-11.
3. Овсянникова Т.Л. Зарубежный опыт дистанционного обучения математике // Ученые записки Орловского государственного университета. – 2014. – № 1 (57). – С. 389-392.
4. Морено Я.Л. Социометрия: экспериментальный метод и наука об обществе / пер. с англ. А. Боковикова. - М.: Академический Проект, 2001. – 384 с.
5. Зайчикова Н.А. Социометрия студенческих групп экономических специальностей // В мире научных открытий: материалы VI Международной научно-практической конференции «Социально-гуманитарные проблемы современности: человек, общество и культура» (г. Красноярск 10 октября 2015 г.). – 2015. – № 9.2 (69). – С. 501-516.
6. Yerkes R.M., Dodson J.D. The relation of strength of stimulus to rapidity of habit-formation // Journal of comparative neurology and psychology. - 1908. - V. 18. - P. 459– 482.

В последнее время в исследованиях российских и зарубежных ученых пристальное внимание уделяется проблеме эффективности обучения и реализации целей образования в цифровой образовательной среде (ЦОС). Это обусловлено тем, что ЦОС занимает все больше места в современном образовательном пространстве. Специалистами различных направлений ведутся споры об изменившейся роли преподавателя  при интеграции процесса обучения в ЦОС. Различные тестовые системы получили повсеместное распространение и широко применяются в ЦОС в высших учебных заведениях. В докладе  «Двенадцать решений для нового образования» Центра стратегических разработок Высшей школы экономики, вышедшем в апреле 2018 года [1], большое внимание уделено новому цифровому формату образования, и в частности проблеме уменьшения мотивации в обучении при переходе к нему. Как утверждают авторы [2], учебная мотивация является одним из решающих факторов эффективности учебного процесса в вузе, представляя собой совокупность мотивов, вызывающих активность студентов в учебной деятельности. В этой связи актуальным является измерение эффективности обучения, с поправкой на мотивацию,  в процессе освоения дисциплин в ЦОС.

Целью работы является определение эффективности обучения при работе с тестовыми системами студентов в ЦОС. Задачей – создание экспериментальной методики определения эффективности научения в ЦОС, на основе оценки по шкале успеваемость-мотивация результатов работы студентов с тестовыми системами.  Методика может быть использована преподавателями высшей школы для определения результатов по шкале успеваемость-мотивация и прогнозирования работы студентов в тестовых системах в ЦОС на долгосрочную перспективу. Элементы научения в ЦОС автором внедрялись в рамках преподавания математических дисциплин.

Вопросам повышения эффективности и мотивации в обучении математике посвящены работы Марковой А.К., Матис Т.А., Орловой А.Б., Родионова М.А., Смирновой О.Б., Стукалова В.А., Асланова Р.М., Ольневой А.Б., Марченко В.М., Янович В.И.  Взаимодействию участников образовательного процесса в ЦОС, применительно к обучению математике, посвящены статьи ученых: Снегуровой В.И., Миндеевой С.В., Богуна В.В., Смирнова Е.И.,  Масликовой Т.И., Поленова В.С., Гербекова Х.А., Кубековой Б.С., Чанкаевой Н.М., Сурхаева М.А., Хакимовой А.А., Петрякова Е.П., Русакова А.А., Батаевой М.Т., Везирова Т.Г., Рагимовой Т.Т. Сравнение с зарубежным опытом дистанционного обучения математике проведено, например, в работах Овсянниковой Т.Л., Капитоновой Т.А., Полупановой Е.Г. Отмечается, что в последние годы растет тенденция повышения внимания к текущему контролю знаний и усилению контакта обучающихся с преподавателем [3], следовательно, актуальна задача определения эффективности деятельности в ЦОС и ее корректировки преподавателем.

Тестовая система возникла и традиционно применялась как система контроля знаний. В условиях ЦОС тестовые системы все чаще рассматриваются как системы когнитивного научения, а также как системы текущего или итогового контроля знаний. Если задача теста не только оценить, но и научить, то возникает другая шкала измерения, двумерная, для которой важны и успеваемость, и мотивация студента.

Для анализа результатов анкетирования по шкале успеваемость-мотивация будем использовать новую методику, созданную автором на основе социометрического метода анализа эффективности взаимодействия внутри малой группы, разработанного Дж. Морено и усовершенствованного Д. Картрайтом и Ф. Харари [4]. Результаты взаимодействия «Студенты-ЦОС» определяются с применением методов дискретной математики, матричной алгебры и теории графов.  Предлагаемая методика не только  визуализирует структуру научения в ЦОС, но и связывает ее с понятиями ролей в обучении, мотивации и успешности при освоении учебного материала. Для удобства работы с методикой введем термин «научениеметрия» – методика изучения эффективности результатов когнитивного научения по шкале успеваемость-мотивация.

Проведем описание процедуры исследования, аналогичной социометрической процедуре, приведенной в [5]. Студентам, прошедшим тестирование по ряду тестов определенной образовательной дисциплины в ЦОС, для каждого теста предлагается ответить на вопросы анкеты следующего вида.

1. Какова ваша оценка по тесту по пятибалльной шкале?

2. Насколько тест вам понравился, какова ваша оценка тесту (по пятибалльной шкале: 5 – отличный тест, 4 – хороший тест, 3 – удовлетворительный тест, 2 – плохой тест)?

Следует отметить, что в ЦОС результаты прохождения тестов испытуемыми обычно фиксируются и находятся в доступе у преподавателя, поэтому можно ограничиться только вторым вопросом, получив ответ на первый из базы данных ЦОС. Ответы фиксируются либо на заранее подготовленных карточках, либо в свободной форме, с точным указанием номера вопроса, вопросы в этом случае лучше написать на доске.  Анкету можно проводить по результатам прохождения одного или нескольких тестов. В последнем случае для каждого из них задается указанная выше пара вопросов. Опросные листы обязательно подписываются: либо с указанием фамилии, либо шифром – специальным порядковым номером, который присваивается всем членам группы.

После того как карточки заполнены и собраны, начинается их обработка. Обычно она имеет три этапа: табличный, графический и индексологический. Для соблюдения этических норм в таблицах и в описательной части исследования фамилии испытуемых заменены на шифр или порядковый номер. Заполненная матрица по вопросу № 1 имеет вид, представленный в таблице 1, с которой удобно работать в Microsoft Excel. Здесь и далее i=1..n, j=1..m,  в таблице n=8, m=5.

Таблица 1

Анкетные данные «Максимальные баллы за тесты»

студента (i)

Тест (j)

1

2

3

4

5

Всего

Средний балл i-го студента

1.

5

4

4

5

5

23

4,6

2.

4

4

3

5

4

20

4

3.

3

3

3

4

3

16

3,2

4.

5

3

3

5

4

20

4

5.

3

4

3

5

4

19

3,8

6.

3

5

4

4

4

20

4

7.

5

5

5

5

5

25

5

8.

3

3

2

3

2

13

2,6

Всего

31

31

27

36

31

156

3,9

 

Пример заполненной матрицы по вопросу № 2 приведен в таблице 2.

Таблица 2

Анкетные данные «Баллы тестам»

студента (i)

Тест (j)

 

1

2

3

4

5

Всего

Средний балл тестам  i-го  студента

1.

5

4

2

5

3

19

3,8

2.

5

5

3

3

2

18

3,6

3.

5

4

4

5

2

20

4

4.

4

4

3

4

2

17

3,4

5.

5

5

5

5

3

23

4,6

6.

5

3

2

4

3

17

3,4

7.

4

4

3

5

3

19

3,8

8.

5

3

2

2

2

14

2,8

Всего

38

32

24

33

20

147

3,7

Средний балл j-му тесту

4,75

4

3

4,125

2,5

 

 

 

Для визуализации статусов студентов и тестов будем использовать граф соотношений. Пусть «научениеграмма» – это графическое изображение (граф) соотношения статусов объектов исследования (студентов или тестов), выделенных по различным основаниям. Согласно традиционному расположению, внутренний круг соответствует оценке «отлично», второй – «хорошо», третий – «удовлетворительно», внешний – «неудовлетворительно». Как и в социометрической процедуре, юноши обозначаются треугольниками, девушки – кружками, для тестов введем обозначение квадратиком. На рисунке 1 приведена общая научениеграмма по основанию средняя оценка студента по тестам. Для научениеграммы по отдельному тесту стрелочками или отрезками можно соединять студентов с идентичным мнением о пройденном тесте. Таким образом, видны микрогруппы по мотивационной активности в  научении по тестам конкретной тематики.

Рис. 1. Научениеграмма по основанию средняя оценка студента

 

На рисунке 2 представлена научениеграмма результатов студентов по тесту № 1  и научениеграмма тестов (по основанию оценка теста).

 

Рис. 2. Научениеграмма успеваемости студентов по тесту № 1 с микрогруппами по мотивации в научении (слева) и научениеграмма тестов (справа)

 

Далее рассчитываются научениеметрические индексы, которые служат для выявления количественных характеристик по шкале успеваемость-мотивация. Различают индексы персональные (ПНИ) и групповые (ГНИ). Основными ПНИ являются: индекс успеваемости студента, индекс мотивационной активности студента, научениеметрический индекс студента по тесту,  научениеметрический индекс студента, научениеметрический статус студента. Основными ГНИ являются: индекс успешности группы, индекс мотивационной активности группы, научениеметрический индекс группы. Отдельно стоят понятия, касающиеся тестов: индекс оценки теста, научениеметрический индекс теста. Ниже введем определения основных характеристик.

Индекс успеваемости студента, Student Perfomance Index (SPI) – это характеристика позиции члена группы по успеваемости, рассчитанная как средний балл, полученный при прохождении тестов (табл. 1). Индекс мотивационной активности студента, Index of Student Motivational Activity (ISMA) – это характеристика позиции члена группы, характеризующая в целом отношение к тестам и желание осваивать материал, рассчитывается как средний балл тестам, которые подвергались оценке со стороны студентов (табл. 2). Индекс оценки теста, Index of Test (IT) – это характеристика позиции теста, полученная как средний балл, выставленный конкретному тесту различными членами учебной группы (табл. 2). Научениеметрический индекс студента по тесту, Lerning Students Index of Test () – это отношение величины балла, выставленного тесту к величине балла, полученного студентом при прохождении этого теста. Научениеметрический индекс студента по тесту определяется по формуле:  ,

где  – это величина балла, выставленного j-му тесту i-тым студентом, а  – это величина балла, полученного i-тым студентом при прохождении  j-го теста. По аналогии с коэффициентом удовлетворенности общением этот индекс - своеобразная мера удовлетворенности-неудовлетворенности результатом обучения с помощью тестов, описание которой приведено в таблице 3.

Таблица 3

Характеристика значений научениеметрического индекса

Группа значений

Значение научениеметрического индекса

Описание

I группа

Мотивация ниже успешности в обучении, низкая потребность в достижении

II группа

Мотивация соответствует успешности в обучении, средняя потребность в достижении

III группа

Мотивация выше успешности в обучении, высокая потребность в достижении

 

Из теории общей педагогики и психологии известно, что если мотивация слишком сильна, увеличивается уровень активности и напряжения, вследствие чего в деятельности и в поведении наступают определённые разлады, то есть эффективность работы, особенно при долгосрочных проектах, ухудшается. В таком случае высокий уровень мотивации вызывает нежелательные эмоциональные реакции (напряжение, волнение, стресс и т.п.), что приводит к ухудшению деятельности [6]. Слишком высокая мотивация при недостаточной успешности довольно быстро приводит к истощению. В то же время незначительное уменьшение мотивации в долгосрочной перспективе дает лучший результат при стабильной работе.

В  случае  эффективной работы по освоению материала дисциплины область,  оптимальная по соотношению успеваемость-мотивация, изображена на рисунке 3. В качестве оптимума здесь отмечен оптимум удовлетворенности студента результатом обучения, когда желание  и приложенные усилия по освоению материала пропорциональны результату обучения. Также отмечены зоны развития – квадраты I и II, квадрат III – зона деградации, квадрат IV – зона стабильной (рутинной) работы. Так как квадрат II соотносится с низкой результативностью при высокой затрате усилий, то квадрат II при долгосрочных видах деятельности без изменения условий можно назвать зоной повышенного риска истощения, перегрузки и эмоционального выгорания.

Рис. 3. Оптимальная область для эффективного освоения материала дисциплины по соотношению успеваемость-мотивация

 

Научениеметрический индекс студента, Lerning Student's Index () – это среднеее научениеметрических индексов , вычисленных по каждому тесту j=1..m: . Научениеметрический статус студента, Lerning Students Status () – это характеристика позиции члена группы, рассчитанная как ранг в зависимости от  . Индекс успеваемости группы, Group Performance Index (GPI) – средний балл, полученный студентами группы при прохождении тестов.  Индекс мотивационной активности группы, Group Motivational Activity Index (GMAI) – средний балл тестам по дисциплине, которые подвергались оценке в данной учебной группе. Научениеметрический индекс теста, Learning Test Index ( – среднее от «научениеметрических» индексов тестов по студентам учебной группы i=1..n: . Научениеметрический индекс группы, Learning Group Index (LGI) – среднее от научениеметрических индексов студентов учебной группы. 

Результаты расчета научениеметрических индексов представим в таблице 4.

Таблица 4

Расчетные значения индексов

студента (i)

 

 

LSIT(i,j)

 

 

 

1

2

3

4

5

LSI (i)

1.

1

1

0,5

1

0,6

0,82

2.

1,25

1,25

1

0,6

0,5

0,92

3.

1,67

1,33

1,33

1,25

0,67

1,25

4.

0,80

1,33

1,00

0,80

0,50

0,89

5.

1,67

1,25

1,67

1,00

0,75

1,27

6.

1,67

0,60

0,50

1,00

0,75

0,90

7.

0,8

0,8

0,6

1

0,6

0,76

8.

1,67

1,00

1,00

0,67

1,00

1,07

LTI (j)

1,31

1,07

0,95

0,91

0,67

LGI=0,98

 

Рассмотрим для примера результаты анализа работы по тестам студентов № 3, № 7 и № 8. Несмотря на то что успеваемость студента № 3 – 3,2, что ниже среднегрупповой успеваемости, =1,25>1, ISMA=4, следовательно, согласно схеме на рис. 3, показатели студента № 3 находятся в зоне развития I, близко к оптимуму, и можно ожидать прогресса в его знаниях по предмету и улучшение его успеваемости. У студента № 7 средний балл 5 выше среднегруппового  – 3,9;  IMA=3,8; точка с такими координатами также находится в зоне развития I, но не в зоне оптимума и близко к квадрату IV, зоне стабильной или рутинной работы, которая несет в себе опасность дальнейшей потери интереса к выполняемой деятельности. А так как LSI=0,76, то можно отметить довольно низкий уровень мотивации по отношению к успеваемости, и ждать динамичного развития в этом случае не приходится.  У студента № 8 средний балл 2,6; IMA =2,8, что соответствует квадрату III и зоне деградации, но так как LSI=1,07>1, следовательно, можно сказать, что еще не все потеряно для этого студента, и возможно улучшение его результатов в учебе.

В целом по группе следует отметить, что по градации, приведенной в таблице 3, научениеметрический индекс группы LGI входит в I группу значений с пониженной мотивацией, так как значение 0,98 меньше 1.  Согласно рисунку 3, точка с групповой успешностью 3,9 и групповой мотивацией 3,7 находится в зоне оптимального соответствия эффективному научению. Следовательно, можно сделать благоприятный прогноз в освоении группой в целом, при этом работа отдельных студентов требует особого внимания и корректировки. 

Итак, можно составить следующую программу исследования преподавателя, работающего со студентами над освоением дисциплины в ЦОС. В качестве первого этапа исследования можно выделить сбор статистических данных, для получения которых используется анкетирование студентов, прошедших в ЦОС определенный вид тестов по изучаемой дисциплине. Вторым этапом исследования является обработка данных, согласно описанной методике научениеметрии. Построение матрицы научениеметрии и статус-графов, определение микрогрупп по мотивационной активности в изучении материала дисциплины. На третьем этапе производится анализ полученных результатов, определяется зона ближайшего развития как отдельного студента, так и группы в целом, и делается прогноз по эффективности научения материала дисциплины по тестам и удовлетворенности результатами учебной деятельности.

В заключение можно отметить, что на основе социометрического метода анализа эффективности взаимодействия внутри малой группы, разработанного Дж. Морено, создана методика измерения результатов работы студентов с тестовыми системами в ЦОС по шкале успеваемость-мотивация, в которой использованы методы дискретной математики, матричной алгебры и теории графов; структурированы этапы обработки статистических данных; введены базовые понятия. Предложенная методика может стать удобным средством работы преподавателя для определения эффективности научения студентов в ЦОС и прогнозирования результатов их дальнейшей деятельности по освоению учебного материала.


Библиографическая ссылка

Зайчикова Н.А. РАЗРАБОТКА МЕТОДИКИ ИЗМЕРЕНИЯ ПО ШКАЛЕ УСПЕВАЕМОСТЬ-МОТИВАЦИЯ РЕЗУЛЬТАТОВ РАБОТЫ С ТЕСТОВЫМИ СИСТЕМАМИ В ЦИФРОВОЙ ОБРАЗОВАТЕЛЬНОЙ СРЕДЕ // Современные проблемы науки и образования. – 2018. – № 4.;
URL: http://science-education.ru/ru/article/view?id=27902 (дата обращения: 22.08.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252