Для организации всех форм контроля знаний студентов в образовательный процесс учебных заведений активно внедряются средства автоматизированного тестирования, которые позволяют объективно и быстро оценить уровень усвоения требуемых стандартами компетенций, а также значительно упрощают процесс оценивания [1]. Данное внедрение обусловлено реформированием системы образования и необходимостью повышения качества подготовки студентов за счет применения современных форм, технологий и методов обучения, а также реализации компетентностного подхода в образовании. При этом предполагается сократить контактное взаимодействие студентов и преподавателей и увеличить долю самостоятельной работы студентов [2; 3].
Целью настоящей статьи является выполнение анализа, применяемых в университете средств автоматизированной проверки знаний и предоставление практических рекомендаций по созданию банка тестовых заданий и конструированию тестов в LMS Moodle на примере организации системы тестирования по дисциплине «Интеллектуальный анализ данных».
Материалы и методы исследования
В данном исследовании принимали участие студенты, обучающиеся по направлению подготовки 09.03.03 «Прикладная информатика» и изучающие дисциплину «Интеллектуальный анализ данных».
Для анализа результатов исследования применялись количественные и качественные показатели – академические оценки студентов, полученные при тестировании с использованием автоматизированных систем тестирования, а также количество тестовых заданий, применяемых при проверке знаний студентов в используемых системах тестирования.
Анализ используемых в учебном процессе ХГУЭП систем тестирования выявил, что наряду с системами тестирования ФЭПО, АСТ-тестами, программой для создания тестов и онлайн-тестирования Indigo, в вузе применяется собственная разработка программистов Центра компьютерных технологий, а также тестирование, встроенное в систему дистанционного обучения Moodle. Проверка знаний студентов с использованием автоматизированных систем тестирования выполняется не только в рамках изучения отдельных учебных дисциплин, но и при проведении курсов повышения квалификации и различных интернет-олимпиад [4; 5]. Результат выполненного анализа количества тестов по дисциплинам ХГУЭП, реализованных в различных системах тестирования, приведён на рис. 1.
Рис. 1. Анализ количества тестов по дисциплинам ХГУЭП, реализованных в различных системах тестирования
Наибольшее количество тестов в университете реализовано в системе АСТ тестирования и в системе тестирования ХГУЭП, так как LMS Moodle применяется в университете два года, а программа тестирования Indigo один год. В настоящее время в ХГУЭП предпочтение при выборе средства автоматизации тестирования отдается LMS Moodle и программе Indigo. Также внедряется информационная система автоматизации управления учебным процессом лаборатории ММИС, которая, наряду с программными продуктами, применяемыми для организации всех этапов образовательной деятельности, включает в себя систему визуального контроля знаний с помощью компьютерного тестирования [6].
При разработке банка тестовых заданий необходимо учитывать ряд требований, которые позволят повысить качество системы проверки знаний. Кроме того, требуется принимать во внимание технические возможности средств автоматизации тестирования, применяемых в организации.
При составлении вопросов тестовых заданий по дисциплине «Интеллектуальный анализ данных» авторы статьи руководствовались следующими требованиями.
1. Общее количество вопросов должно быть не менее 300.
2. Тестовые задания должны быть сгруппированы по модулям (в курсе должно быть не менее 3 модулей).
3. База тестовых заданий должна охватывать все дидактические единицы курса и предусматривать проверку всех приобретаемых студентами компетенций.
4. Необходимо использовать тестовые задания различных типов (открытого, закрытого типа, на соответствие, верно-неверно, эссе и др.)
5. Кроме текста, в вопросы должны быть включены рисунки, графики, диаграммы, схемы, видео- или аудиофрагменты.
6. В каждом вопросе должно быть не более 25 слов.
7. Необходимо предусматривать от 4 до 6 вариантов ответов, из которых правильным может быть только один.
8. Время на ответ на один вопрос не должно превышать одной минуты.
9. Тестовые задания должны быть представлены в форме краткого суждения, сформулированы ясным, чётким языком и исключать неоднозначность заключения тестируемого на требования задания.
10. Все задания в банке тестовых заданий должны быть уникальны, самостоятельны и логически не связаны друг с другом.
11. Задания и варианты ответов не должны содержать подсказки к правильному ответу.
12. В вариантах ответов не допускается использование выражений типа «все ответы верны», «нет правильных вариантов ответа» и т.п.
При организации тестирования по дисциплине «Интеллектуальный анализ данных» для студентов очной формы обучения была выбрана система Moodle, так как именно в ней была ранее организована электронная образовательная среда (ЭОС) по данной дисциплине. Технические возможности Moodle превосходят возможности системы АСТ-тестирования и системы тестирования ХГУЭП. Они позволяют конструировать тесты, включающие в себя вопросы одиннадцати типов, среди которых имеются вопросы открытого и закрытого типа, с вложенными ответами, вычисляемые, на соответствие и др. [7; 8]. Интерфейс Moodle при добавлении вопросов в банк вопросов представлен на рис. 2.
Рис. 2. Интерфейс Moodle при добавлении вопросов в банк вопросов
Банк тестовых заданий по дисциплине в среде Moodle приведён на рис. 3.
Рис. 3. Банк тестовых заданий в Moodle
Из банка тестовых заданий можно создать неограниченное число тестов по всем модулям и темам учебного курса. По дисциплине «Интеллектуальный анализ данных» были сконструированы тесты самопроверки, промежуточного по модулям и итогового контроля знаний. Настройки тестов LMS Moodle производятся в зависимости от их назначения. Они позволяют использовать систему проверки знаний не только для оценивания уровня усвоения студентами учебного материала, но и для их самообучения и самоконтроля. Система Moodle позволяет выполнять настройки периода и времени тестирования, количества попыток, метода оценивания, расположения, свойств вопроса, просмотра, внешнего вида, дополнительных ограничений на попытки, итогового отзыва в виде текстового описания в зависимости от количества набранных баллов, общих настроек модуля и ограничения доступа.
При настройке теста самопроверки в него было включено двадцать вопросов, количество попыток и время тестирования не ограничивались. Также был установлен наиболее мягкий метод оценивания – высший балл. При такой настройке в результате прохождения теста у студента сохранялся наилучший результат его тестирования. Настройки просмотра результата тестирования позволяли студентам увидеть допущенные ими ошибки, правильные варианты ответов и лучше подготовиться к промежуточному и итоговому контролю знаний.
Тесты итогового контроля включают тридцать вопросов, которые случайным образом выбираются из трехсот вопросов банка тестовых заданий. Время на ответы теста ограничено тридцатью минутами. При тестировании промежуточного контроля имеется три попытки тестирования и используется метод оценивания – средняя оценка. Для теста итогового контроля знаний студентам предоставляется две попытки тестирования, метод оценивания – последняя попытка. После завершения теста студенты видят только итоговую оценку и процент правильных ответов.
Элемент системы «Тест» позволяет использовать в учебном процессе балльно-рейтинговую систему оценки знаний. Прохождение теста самопроверки в курсе «Интеллектуальный анализ данных» оценивается в балльно-рейтинговой системе пятью баллами. За тестирование промежуточного контроля по модулям курса студенты получают оценку по десятибалльной шкале, а прохождение итогового контроля знаний оценивается по двадцатибалльной шкале. В совокупности с оценками за выполненные самостоятельные и лабораторные работы, участие в семинаре и активное поведение на занятиях студент может получить сто баллов.
Настройки тестирования итогового контроля знаний приведены на рисунках 4 и 5.
Рис. 4. Настройка времени тестирования, количества попыток
и метода оценивания теста итогового контроля в Moodle
Рис. 5. Настройка просмотра результатов теста итогового контроля в Moodle
Результаты исследования и их обсуждение
Организация тестирования в LMS Moodle на примере дисциплины «Интеллектуальный анализ данных» показала, что 82% студентов прошли тестирование итогового контроля знаний на «хорошо» и «отлично», а 18% получили оценку «удовлетворительно». 78% студентов получили положительную оценку по тестам с первой попытки. Наименьшее количество правильных ответов было по теме базовые методы интеллектуального анализа данных. Меньше затруднений вызвала тема «Искусственные нейронные сети». По ней студенты показали более высокий процент правильных ответов. Следовательно, при работе со студентами по данной дисциплине требуется уделить больше внимания теме, вызывающей затруднения.
Заключение
На основании вышеизложенного можно сделать вывод о том, что использование автоматизированного тестирования, реализованного в LMS Moodle, позволяет повысить эффективность процесса обучения за счет более широких возможностей, предоставляемых всем участникам образовательного процесса. Применение тестов самопроверки дает возможность правильно организовать самостоятельную работу студентов по усвоению и закреплению изученного материала. Итоговое тестирование позволяет студентам получить объективную оценку полученных знаний, а преподавателям облегчить задачу разработки тестов, организации проверки знаний, просмотра и анализа результата своей работы. За небольшой промежуток времени можно одновременно оценить большое количество студентов, увидеть то, как они ответили на каждый вопрос теста, оценить их уровень подготовки и качество тестовых материалов.