Перечень параметров контроля. Цена вопроса обычно задается количеством баллов. Начальное значение цены вопроса принимается равным 1. Для выделения особо значимых вопросов в составе раздела/темы/дисциплины цена вопроса может быть увеличена до 99.
Оценка результатов обучения подготовки осуществляется на основе частных (текущих) результатов. На рис. 1 представлена структура алгоритма текущей оценки результата.
Рис. 1. Структура текущей оценки результата.
Вес варианта ответа задается в процентах (100 - абсолютно правильный ответ, 0 - категорично неверный ответ). Сетка весов ответов может включать два крайних случая - 0 и 100, или несколько, например - 0, 25, 50, 75 и 100, а также задаваться с дискретностью, равной 1 - 0, 1, 2, ..., 99, 100. Последний (третий) случай является более универсальным по сравнению с первыми двумя, так как они могут быть реализованы на универсальной сетке. Так, первый вариант сетки может быть получен из третьего, если записать алгоритм определения веса в виде таблицы (табл. 1).
Таблица 1 - Первый вариант сетки весов ответов
|
Интервал |
Вес |
|
0 - 50 |
0 |
|
51-100 |
100 |
Второй вариант сетки представлен в таблице 2.
Таблица 2 - Второй вариант сетки весов ответов
|
Интервал |
Вес |
|
0 - 12,5 |
0 |
|
12,5-37,5 |
25 |
|
37,5-62,5 |
50 |
|
62,5-87,5 |
75 |
|
87,5-100 |
100 |
Учет времени обдумывания ответа заключается в изменении (снижении) результата с увеличением периода подготовки и ввода ответа (принятия решения). Снижение результата может быть реализовано по заданному закону - F(T), где F - функция, принимающая значение в пределах от 1 до 0, а T - период времени начиная с момента предъявления вопроса на экране до ввода ответа (команды на анализ ответа, определение и регистрацию текущего результата) или принятия решения. Как правило, функция F - дискретная или непрерывно убывающая. На рис. 2 приведена таблица способов учета времени подготовки и ввода ответа, реализованных в программно-инструментальной системе.
Рис. 2. Функции изменения результата.
Для учета времени обдумывания ответа на текущий вопрос необходимо указать (выбрать) вид функции и ввести численные значения параметров функции.
Структура алгоритма оценки. С учетом указанных выше параметров структура выражения для формирования текущего результат имеет вид:
, (1)
где Ci - цена вопроса; Wi - вес варианта ответа, выбранного или введенного обучаемым; Fi(T) - функция изменения текущей оценки от продолжительности ответа; Pi - признак включения текущего результата в интегральную оценку за учебное занятие в целом.
Признак Pi может принимать два значения - 1 или 0. В первом случае частный результат включается в интегральную оценку, а во втором результат не учитывается при формировании оценки результата обучения. Для формирования интегральной оценки применяются различные способы и алгоритмы:
- абсолютный нарастающий итог;
- абсолютная сумма штрафных баллов (очков);
- относительно максимального результата;
- относительно максимального текущего результата.
Абсолютный нарастающий итог формируется как сумма баллов для конечного числа контрольных вопросов или заданного N:
|
|
(2) |
Абсолютная сумма штрафных баллов
|
|
(3) |
Оценка относительно максимального результата проводится по формуле:
|
|
(4) |
Оценка относительно максимального текущего результата проводится по формуле:
|
|
(5) |
Выбор способа формирования оценки определяется задачей контроля и задается автором учебного материала, контрольно-измерительных показателей качества обучения.
Нормировка результата. Для обеспечения корректного формирования оценки в программно-инструментальной системе предусмотрена нормировка результата перед его интерпретацией. Наиболее целесообразной нормировкой является приведение результатов к шкале 0-100. Это позволяет более детально оценить результат и построить достаточно гибкую систему оценок качества знаний. Кроме того, при такой норме оценки облегчается переход к относительным оценкам, например - от 0,0 до 1,0 или 1-100%. Нормировка осуществляется по формуле приведения:
|
|
(6) |
где Smax - максимально возможный результат, численное значение которого зависит от способа формирования интегрального результата - выражения (2) - (5).
Интерпретация результата (оценки). Под интерпретацией результата здесь понимается определение оценки в формате, принятом как стандартный. В частности, в школьной педагогической практике применяется 5-балльная шкала - от 2 до 5 (2 - неудовлетворительно, 3 - удовлетворительно, 4 - хорошо, 5 - отлично) - традиционная оценочная шкала. График зависимости оценки от результата представлен на рис. 3.
Рис. 3. График R(S) при традиционной оценочной шкале.
Выражение, по которому осуществляется автоматизированное формирование оценки, может быть записано в виде:
, (7)
где S0 - минимальный уровень результата (минимальное значение оценки).
Существуют и в настоящее время используются другие методы интерпретации, например - 10- или 12-балльная оценка. Это позволяет более детально и качественно оценить результат контроля. Такая система принята в рейтинговой оценке. В системах специальной подготовки персонала нашла применение 100-балльная система, когда минимальный результат составляет 0 баллов, а максимальный - 100. При этом оценка формируется как 0 или 1 (незачет - зачет, не допущен - допущен), как показано на рис. 4.
Рис. 4. Зависимость квалификационной оценки.
В данном варианте интерпретации результата оказывается возможным задать (указать) квалификационный уровень оценки S = 85. Указанный уровень определяется из условий допуска к выполнению определенных операций управления и эксплуатации технологических систем. Предполагается, что оператор, достигший указанного уровня знаний и умений, может быть допущен к выполнению операций управления технологическим объектом в соответствии со штатным расписанием. Соответствующее выражение для вычисления оценки имеет вид:
(8)
Известны варианты интерпретации, основанные на обратной шкале, когда наилучший результат оценивается в 1 балл, а наихудший - в 100 баллов. Такая система подобна интерпретатору с оценкой количества штрафных баллов (очков). Система интерпретации результата может быть представлена в виде таблицы, имеющей три столбца и количество строк, соответствующее количеству оценок в шкале (табл. 3).
Таблица 3 - Интерпретация результата
|
Мин. |
Макс. |
Оценка |
|
0 |
12,5 |
1,0 |
|
12,5 |
37,5 |
2,0 |
|
37,5 |
62,5 |
3,0 |
|
62,5 |
87,5 |
4,0 |
|
87,5 |
100 |
5,0 |
В строке таблицы 3 представлены минимальное и максимальное значение результата после нормировки и соответствующая оценка. В программно-инструментальной системе реализован конструктор таблицы и возможность редактирования как числа строк таблицы, так и численных значений пределов оценки - «Мин.», «Макс.», «Оценка». При этом в таблице могут быть представлены две строки с оценками «0» и «1».
Интерпретация оценки результатов контроля. В представленной выше таблице оценка формируется в виде числа. В педагогической практике кроме числовой оценки применяется качественная - «Зачет -Незачет», «Сдал - Не сдал», «Допущен - Не допущен» и т.д. Кроме того, в компьютерных программах применяются экранные формы интерпретации оценки в виде графического образа. Для обеспечения такого режима таблица интерпретатора должна быть дополнена столбцом качественной интерпретации оценки и ссылкой на графический объект в заданном формате, как показано в таблице 4.
Таблица 4 - Интерпретация результатов контроля
|
Мин. |
Макс. |
Оценка |
Интерпретация |
Графический объект (имя) |
|
0 |
12,5 |
1,0 |
Плохо |
1.bmp |
|
12,5 |
37,5 |
2,0 |
Неудовлетворительно |
2.bmp |
|
37,5 |
62,5 |
3,0 |
Удовлетворительно |
3.bmp |
|
62,5 |
87,5 |
4,0 |
Хорошо |
4.bmp |
|
87,5 |
100 |
5,0 |
Отлично |
5.bmp |
Элементы четвертого и пятого столбцов являются редактируемыми. В столбце «Графический объект (имя)» указывается имя файла с изображением (с заданным расширением и координатами вывода графического объекта на экран). В комплексе УРОК интерпретация результата и оценки может быть выполнена как в виде оригинального графического объекта, так и средствами мультимедиа или в виде звукового фрагмента.
Алгоритмы организации тест-контроля с использованием двухуровневой схемы формирования квалификационной оценки могут быть использованы при организации контроля профессиональной подготовки специалистов. Оценка результатов содержит продолжительность процесса формирования и ввода ответа на указанный вопрос и продолжительность процесса тестирования в выделенном сеансе контроля, а также параметр, который обеспечивает учет значения выделенного учебного вопроса в составе дисциплины или учебного плана. Это позволяет обеспечить корректную оценку результатов тестирования в соответствии с выбранной или заданной моделью качества профессиональной подготовки работников предприятий. Система квалификационной оценки представляется для использования при управлении качеством подготовки, выраженном в показателях компетенций, которые отражены в соответствующих государственных требованиях к квалификации работников и специалистов предприятий реального сектора экономики.
Рецензенты
- Торшина Ирина Павловна, доктор технических наук, декан факультета оптико-информационных систем и технологий, Московский государственный университет геодезии и картографии, г. Москва.
- Якушенков Юрий Григорьевич, доктор технических наук, заведующий кафедрой оптико-электронных приборов, Московский государственный университет геодезии и картографии, г. Москва.