Введение
Компьютерное тестирование как один из современных методов контроля знаний играет важную роль при реализации компетентностного подхода в сфере высшего образования. Его использование в условиях ограничения времени тестирования позволяет увеличить объем проверяемых знаний и значительно повысить объективность оценки благодаря стандартизации тестов и самой процедуры тестирования.
К настоящему времени в вузах создано и активно используется достаточно большое число компьютерных тестирующих систем, как автономных, так и входящих в состав автоматизированных обучающих систем. В большинстве из них содержание теста определяется преподавателем исходя из его опыта и субъективных предпочтений с учетом особенностей модели тестирования, используемой в конкретной системе. Стремление максимально расширить объем проверяемого учебного материала обычно ведет к перегруженности теста по содержанию и увеличению времени тестирования.
При создании компьютерных систем контроля знаний важными являются проблемы разработки тестовых заданий, определения содержания теста и автоматической генерации вариантов тестов непосредственно во время сеанса тестирования. Наряду с созданием универсальных систем, на наш взгляд, актуальной является разработка технологии создания специализированных систем компьютерного тестирования по дисциплинам высшего профессионального образования, которые входят в базовые разделы программ подготовки специалистов многих направлений. В частности, специфика заданий по математическим дисциплинам, позволяющая генерировать их во время сеанса тестирования в соответствии с некоторыми алгоритмами, открывает широкие перспективы для автоматизации процессов создания тестов и непосредственно самого тестирования. Проблема определения содержания теста, т.е. отражения учебного курса в системе тестовых заданий, может быть решена с применением моделей и методов дискретной оптимизации [1; 2].
В данной работе мы описываем методику создания специализированных компьютерных тестирующих систем на примере системы EMM_test, разработанной авторами для учебного курса «Экономико-математические методы». Ее важной особенностью является использование модели целочисленного линейного программирования (ЦЛП) для формирования в зависимости от текущих целей тестов с оптимальной структурой, которые при ограниченном времени тестирования позволяют получать достаточно объективную оценку знаний отдельного студента. Другой особенностью системы является технология автоматической генерации вариантов тестовых заданий в режиме on-line, которая практически обеспечивает индивидуальность формируемых тестов и избавляет от необходимости шифрования и хранения их данных. Система EMM_test прошла апробацию и успешно используется в течение ряда лет на экономическом факультете Омского государственного университета им. Ф.М. Достоевского.
Формирование оптимальной структуры теста
При создании системы EMM_test проблема определения содержания теста решалась нами на основе задачи формирования оптимальной структуры теста (ОСТ). Остановимся на этом подробнее.
В соответствии с методикой, предложенной в [2; 4; 6], для проверяемого учебного курса вначале определяются элементы знаний, т.е. основные понятия, свойства, утверждения и т.п. Ключевые элементы дисциплины образуют базовое множество, а остальные – дополнительное. Под типовым тестовым заданием далее понимается задание, которое направлено на проверку определенного подмножества элементов знаний. Оно включает как формулировку задания в общем виде, так и способы конструирования предлагаемых ответов. Структурой теста будем называть набор типовых заданий, включенных в тест, а оптимальной структурой – набор заданий, выполнение которых позволяет сделать объективный вывод о степени усвоения испытуемым рассматриваемой дисциплины и удовлетворяет некоторому критерию.
При программной реализации каждому типовому заданию (ТЗ) соответствует определенная процедура, с помощью которой в процессе тестирования происходит формирование варианта ТЗ. Таким образом, тест образуют варианты типовых заданий, включенных в оптимальную структуру. Размер теста – это количество ТЗ в его структуре. Отметим, что сгенерированные тесты имеют равное число заданий и одинаковую сложность.
В [4] задача формирования ОСТ нами была поставлена следующим образом. Требуется найти набор фиксированного числа типовых тестовых заданий, который обеспечивает проверку знаний всех элементов базового множества и максимального числа элементов дополнительного множества. Для этой задачи там же построена модель ЦЛП, в которой размер теста является входным параметром, опосредованно зависящим от времени тестирования. Входящие в модель ограничения также гарантируют разнообразие формируемого теста по типам заданий (теоретические, аналитические, графические, алгоритмические и др.). Кроме того, в [4] нами предложена более общая постановка задачи формирования ОСТ, в которой учитываются сложность заданий, важность проверки каждого из элементов дополнительного множества и некоторые другие требования.
Компьютерная система контроля знаний EMM_test
Система компьютерного тестирования EMM_test для проведения контроля знаний по учебной дисциплине «Экономико-математические методы» создана в интегрированной среде разработки программного обеспечения Embarcadero Delphi 2010. При проектировании сетевого варианта системы были учтены возможности и специфика архитектуры компьютерных классов ОмГУ им. Ф.М. Достоевского.
Для раздела «Линейное программирование» указанного курса тесты формируются на основе предложенной методики с использованием построенных моделей и методов ЦЛП. Поскольку этот раздел составляет важную часть таких дисциплин, как «Теория игр и исследование операций», «Системный анализ», «Методы оптимизации» и др., система EMM_test может иметь широкое применение при подготовке студентов математических, экономических, технических и ряда других специальностей.
Разработанная система состоит из двух независимых приложений: модуля преподавателя и модуля тестирования. Ниже приведена общая схема системы, на которой показано взаимодействие ее основных блоков (рис. 1).
Рис. 1. Схема системы EMM_test.
Модуль преподавателя Pedagog_emm предназначен для настройки системы к сеансу тестирования в зависимости от поставленных целей, подготовки начальных данных многоэтапных заданий и обработки результатов тестирования. Главное меню приложения содержит пункты «Управляющий блок», «Задания» и «Результаты», соответствующие этим функциям. Важнейшей частью описываемого модуля является Управляющий блок, диалоговое окно которого представлено на рис. 2. Для формирования теста по теме «Линейное программирование» преподавателю необходимо ввести значение размера теста и отметить в списке всех элементов знаний базовые, т.е. подлежащие обязательной проверке. Для полученных данных в системе строится модель ЦЛП для задачи формирования ОСТ [4], которая далее решается алгоритмом перебора L-классов [3]. В качестве результата на экран выводятся номера заданий, включенных в оптимальную структуру теста, в соответствии с которой далее будут генерироваться тесты.
Если задача ЦЛП для введенных данных (базовых элементов знаний и размера теста) неразрешима, то необходимо увеличить количество заданий в тесте. Заметим, что для любого выделенного множества базовых элементов существует значение размера теста, при котором построенная задача ЦЛП имеет оптимальное решение [3].
Для данных, представленных на рис. 2, системой сформирована структура теста, содержащая 12 из 35 типовых заданий, разработанных ранее по линейному программированию (ЛП). Соответствующий тест при проверке всех элементов базового множества обеспечивает проверку 67% элементов дополнительного множества, что составляет 75% всех элементов знаний по указанной теме.
Для проведения итогового контроля знаний по всему учебному курсу у преподавателя имеется дополнительная возможность включения в тест заданий по темам «Транспортная задача», «Задача коммивояжера» и «Динамическое программирование».
Рис. 2. Окно Управляющего блока.
Блок «Задания» отвечает за создание в полуавтоматическом режиме начальных данных для некоторых многоэтапных ТЗ и сохранение их в текстовых файлах. Работа этого блока более подробно описана далее.
Блок «Результаты» позволяет просмотреть протоколы с итогами тестирования отдельного студента по каждому заданию теста или его этапу (в баллах), а также – статистику выполнения заданий потоком или группой студентов (в процентах).
Модуль тестирования M_test отвечает за регистрацию студентов, генерирование теста, проведение сеанса тестирования и сохранение протоколов работы. Студенту предъявляется тест, сгенерированный в соответствии со структурой, сформированной Управляющим блоком модуля Pedagog_emm. Например, для входных данных, представленных на рис. 2, тест содержит 18 заданий. Среди них – 12 заданий по ЛП, в том числе задания по математическому моделированию, теории ЛП, симплекс-методу, теории двойственности и экономической интерпретации задачи ЛП.
Тестируемый имеет возможность просмотреть все задания и определить наиболее удобный для него порядок их выполнения. Интерфейс системы прост и удобен, не вызывает затруднений при работе. Предусмотрена возможность получения справочной информации по работе с системой. После окончания сеанса тестирования студенту предоставляется возможность ознакомления с протоколом выполнения заданий.
Формирование типовых тестовых заданий и их вариантов
При разработке специализированных компьютерных тестирующих систем одним из наиболее трудоемких этапов создания тестов является подготовка типовых заданий и определение подмножеств элементов знаний, проверяемых каждым из них. Отметим, что при формировании различных вариантов типовых заданий эти подмножества не должны изменяться. В системе EMM_test ТЗ представляют собой упражнения и задачи, при помощи которых проводится проверка элементов знаний на уровне воспроизведения информации по памяти и применения ее в типовых ситуациях. Для каждого задания используется наиболее подходящая для него форма.
Остановимся подробнее на способах, с помощью которых ТЗ реализованы в системе:
1) разработка алгоритмов генерации исходных числовых данных ТЗ (входные параметры алгоритмов генерируются с использованием датчика случайных чисел);
2) формирование исходных данных многоэтапных ТЗ при помощи специальных процедур и сохранение их в базе данных.
При первом способе обеспечивается полная автоматизация процесса формирования варианта тестового задания. Количество различных генерируемых вариантов зависит от заданных диапазонов изменения значений входных параметров соответствующих алгоритмов. Отметим некоторые положительные стороны такого способа:
- участие преподавателя-предметника требуется только при создании системы, а именно при разработке типовых ТЗ и алгоритмов генерации их вариантов;
- варианты ТЗ формируются в момент тестирования при помощи специальных процедур, реализующих эти алгоритмы, без последующего хранения в базе данных;
- генерирование входных данных случайным образом при достаточно больших диапазонах их изменения практически обеспечивает предъявление студентам индивидуальных тестов.
Второй способ разработан для многоэтапных заданий. Это относится, прежде всего, к проверке знания и навыков применения алгоритмов решения ряда оптимизационных задач, которые являются итерационными. Для формирования вариантов таких заданий мы предлагаем создавать специальные процедуры, позволяющие преподавателю в диалоговом режиме отбирать подходящие для тестирования данные и сохранять их в базе данных без участия программиста. Например, для ТЗ «Решение задачи ЛП прямым симплекс-методом» в состав блока «Задания» входит процедура F_SimMethod, которая формирует в соответствии с рядом правил исходные данные задачи ЛП, а также позволяет преподавателю в диалоговом режиме отбирать из них наиболее удобные для вычислений.
Заметим, что в описываемой версии системы EMM_test при конструировании вариантов некоторых ТЗ, в постановках которых используются рисунки, требуется обращение к базе данных, содержащей набор необходимых графических файлов.
Заключение
В работе описана специализированная компьютерная система контроля знаний EMM_test по дисциплине «Экономико-математические методы», разработанная с использованием моделей и методов дискретной оптимизации и технологии генерации тестовых заданий в соответствии с разработанными алгоритмами.
Данная система прошла апробацию и используется в течение шести лет для проведения зачета на заочном отделении экономического факультета Омского государственного университета им. Ф.М. Достоевского. В тестировании приняли участие более 400 студентов. Сравнительный анализ результатов проведения зачета в традиционной форме и с помощью системы EMM_test подтверждает заметное повышение качества и объективности проверки знаний при одновременном сокращении в несколько раз временных затрат преподавателя на проведение контроля. При этом этап подготовки преподавателя к зачету с использованием разработанной системы занимает незначительное время.
Кроме того, система успешно использовалась для проведения тематического контроля на дневном отделении экономического факультета, генерирования заданий при проведении бланкового и дистанционного тестирования, а также составления контрольных работ.
Тесты, генерируемые системой в соответствии с одной полученной оптимальной структурой, позволяют достаточно объективно оценить знания каждого студента, т.е. являются нормативно ориентированными [9]. В то же время часть элементов дополнительного множества может оказаться непроверенной ни в одном из заданий теста, а, следовательно, преподаватель не получит полную информацию о результатах обучения. В связи с этим в [5] нами предложены математические модели формирования оптимального комплекта структур тестов, обеспечивающего полноту проверки усвоения учебного материала группой обучаемых, что соответствует целям критериально-ориентированных тестов [9]. Формирование тестов на основе таких комплектов структур является перспективным направлением развития автоматизированных систем контроля знаний.
Следует отметить, что подход к формированию тестов на основе дискретной оптимизации, использованный при создании системы EMM_test, развивается в Омском филиале ИМ СО РАН и на кафедре прикладной и вычислительной математики ОмГУ им. Ф.М. Достоевского. В частности, на его основе сформированы тесты по курсу «Информатика» для гуманитарных специальностей вузов [7; 8]. Особенно целесообразно, на наш взгляд, применение этого подхода к дисциплинам естественно-научного цикла.
Рецензенты:
Колоколов Александр Александрович, д.ф.-м.н., профессор, заведующий кафедрой прикладной и вычислительной математики ФГБОУ ВПО «ОмГУ им. Ф.М. Достоевского», Министерство образования и науки РФ, г. Омск.
Филимонов Вячеслав Аркадьевич, д.т.н., профессор, кафедры программного обеспечения ЭВМ ФГБОУ ВПО «ОмГУ им. Ф.М. Достоевского», Министерство образования и науки РФ, г. Омск.