Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

THE QUALIFICATION VERIFICATION THE QUALITY OF TRAINING OF SPECIALISTS

Knyazeva M.D. 1 Trapeznikov S.N. 2, 1 Trapeznikov A.S. 2, 1
1 Plekhanov Russian University of Economics
2 DeSoft (LLC)
This paper proposes a specification description of testing results evaluation system, including current and output (qualifying) that is implemented in hardware-tool system. The control system consists of the execution results of the trainee´s action in accordance with the training sessions on the selected topic, subject area preparation section. The results of the estimation algorithm is enabled for the selected value posting academic issue of discipline or curriculum, as well as the duration of the process of forming and entering the answer to the question and the duration of the testing process in the selected session. This approach to the test control provides the correct assessment of the results of the test in accordance with the specified model quality training to enterprises. Results of the assessment can be used in assessing the quality of training and qualifying the performance of the educational system.
knowledge management
interpretation of the results of training
characteristics and evaluation of algorithm parameters
monitoring and assessing learning outcomes
Введение. В основу текущей оценки - оценки ответа на представленный обучаемому вопрос полагается результат сравнения ответа с некоторым заданным эталоном. В качестве эталонов могут приниматься варианты ответов, предусмотренные автором, наборы символов и чисел, активные области экрана или их совокупность. Результат сравнения зависит от ответа и формируется по алгоритму, реализованному автором. Основными параметрами контроля в системе оценки являются цена вопроса (максимальное количество баллов), вес варианта ответа (степень правильности варианта ответа), время ответа (период времени от предъявления вопроса до ввода ответа, время принятия решения).

Перечень параметров контроля. Цена вопроса обычно задается количеством баллов. Начальное значение цены вопроса принимается равным 1. Для выделения особо значимых вопросов в составе раздела/темы/дисциплины цена вопроса может быть увеличена до 99.

Оценка результатов обучения подготовки осуществляется на основе частных (текущих) результатов. На рис. 1 представлена структура алгоритма текущей оценки результата.

Рис. 1. Структура текущей оценки результата.

Вес варианта ответа задается в процентах (100 - абсолютно правильный ответ, 0 - категорично неверный ответ). Сетка весов ответов может включать два крайних случая - 0 и 100, или несколько, например - 0, 25, 50, 75 и 100, а также задаваться с дискретностью, равной 1 - 0, 1, 2, ..., 99, 100. Последний (третий) случай является более универсальным по сравнению с первыми двумя, так как они могут быть реализованы на универсальной сетке. Так, первый вариант сетки может быть получен из третьего, если записать алгоритм определения веса в виде таблицы (табл. 1).

Таблица 1 - Первый вариант сетки весов ответов

Интервал

Вес

0 - 50

0

51-100

100

Второй вариант сетки представлен в таблице 2.

Таблица 2 - Второй вариант сетки весов ответов

Интервал

Вес

0 - 12,5

0

12,5-37,5

25

37,5-62,5

50

62,5-87,5

75

87,5-100

100

Учет времени обдумывания ответа заключается в изменении (снижении) результата с увеличением периода подготовки и ввода ответа (принятия решения). Снижение результата может быть реализовано по заданному закону - F(T), где F - функция, принимающая значение в пределах от 1 до 0, а T - период времени начиная с момента предъявления вопроса на экране до ввода ответа (команды на анализ ответа, определение и регистрацию текущего результата) или принятия решения. Как правило, функция F - дискретная или непрерывно убывающая. На рис. 2 приведена таблица способов учета времени подготовки и ввода ответа, реализованных в программно-инструментальной системе.

Рис. 2. Функции изменения результата.

Для учета времени обдумывания ответа на текущий вопрос необходимо указать (выбрать) вид функции и ввести численные значения параметров функции.

Структура алгоритма оценки. С учетом указанных выше параметров структура выражения для формирования текущего результат имеет вид:

  ,  (1)

где Ci - цена вопроса; Wi - вес варианта ответа, выбранного или введенного обучаемым; Fi(T) - функция изменения текущей оценки от продолжительности ответа; Pi - признак включения текущего результата в интегральную оценку за учебное занятие в целом.  

Признак Pi может принимать два значения - 1 или 0. В первом случае частный результат включается в интегральную оценку, а во втором результат не учитывается при формировании оценки результата обучения. Для формирования интегральной оценки применяются различные способы и алгоритмы:

  • абсолютный нарастающий итог;
  • абсолютная сумма штрафных баллов (очков);
  • относительно максимального результата;
  • относительно максимального текущего результата.

Абсолютный нарастающий итог формируется как сумма баллов для конечного числа контрольных вопросов или заданного N:

(2)

Абсолютная сумма штрафных баллов

(3)

Оценка относительно максимального результата проводится по формуле:

(4)

Оценка относительно максимального текущего результата проводится по формуле:

(5)

Выбор способа формирования оценки определяется задачей контроля и задается автором учебного материала, контрольно-измерительных показателей качества обучения.

Нормировка результата. Для обеспечения корректного формирования оценки в программно-инструментальной системе предусмотрена нормировка результата перед его интерпретацией. Наиболее целесообразной нормировкой является приведение результатов к шкале 0-100. Это позволяет более детально оценить результат и построить достаточно гибкую систему оценок качества знаний. Кроме того, при такой норме оценки облегчается переход к относительным оценкам, например - от 0,0 до 1,0 или 1-100%. Нормировка осуществляется по формуле приведения:

(6)

где Smax - максимально возможный результат, численное значение которого зависит от способа формирования интегрального результата - выражения (2) - (5).

Интерпретация результата (оценки). Под интерпретацией результата здесь понимается определение оценки в формате, принятом как стандартный. В частности, в школьной педагогической практике применяется 5-балльная шкала - от 2 до 5 (2 - неудовлетворительно, 3 - удовлетворительно, 4 - хорошо, 5 - отлично) - традиционная оценочная шкала. График зависимости оценки от результата представлен на рис. 3.

Рис. 3. График R(S) при традиционной оценочной шкале.

Выражение, по которому осуществляется автоматизированное формирование оценки, может быть записано в виде:

   ,   (7)

где S0 - минимальный уровень результата (минимальное значение оценки).

Существуют и в настоящее время используются другие методы интерпретации, например - 10- или 12-балльная оценка. Это позволяет более детально и качественно оценить результат контроля. Такая система принята в рейтинговой оценке. В системах специальной подготовки персонала нашла применение 100-балльная система, когда минимальный результат составляет 0 баллов, а максимальный - 100. При этом оценка формируется как 0 или 1 (незачет - зачет, не допущен - допущен), как показано на рис. 4.

Рис. 4. Зависимость квалификационной оценки.

В данном варианте интерпретации результата оказывается возможным задать (указать) квалификационный уровень оценки S = 85. Указанный уровень определяется из условий допуска к выполнению определенных операций управления и эксплуатации технологических систем. Предполагается, что оператор, достигший указанного уровня знаний и умений, может быть допущен к выполнению операций управления технологическим объектом в соответствии со штатным расписанием. Соответствующее выражение для вычисления оценки имеет вид:

   (8)

Известны варианты интерпретации, основанные на обратной шкале, когда наилучший результат оценивается в 1 балл, а наихудший - в 100 баллов. Такая система подобна интерпретатору с оценкой количества штрафных баллов (очков). Система интерпретации результата может быть представлена в виде таблицы, имеющей три столбца и количество строк, соответствующее количеству оценок в шкале (табл. 3).

Таблица 3 - Интерпретация результата

Мин.

Макс.

Оценка

0

12,5

1,0

12,5

37,5

2,0

37,5

62,5

3,0

62,5

87,5

4,0

87,5

100

5,0

В строке таблицы 3 представлены минимальное и максимальное значение результата после нормировки и соответствующая оценка. В программно-инструментальной системе реализован конструктор таблицы и возможность редактирования как числа строк таблицы, так и численных значений пределов оценки - «Мин.», «Макс.», «Оценка». При этом в таблице могут быть представлены две строки с оценками «0» и «1».

Интерпретация оценки результатов контроля. В представленной выше таблице оценка формируется в виде числа. В педагогической практике кроме числовой оценки применяется качественная - «Зачет -Незачет», «Сдал - Не сдал», «Допущен - Не допущен» и т.д. Кроме того, в компьютерных программах применяются экранные формы интерпретации оценки в виде графического образа. Для обеспечения такого режима таблица интерпретатора должна быть дополнена столбцом качественной интерпретации оценки и ссылкой на графический объект в заданном формате, как показано в таблице 4.

Таблица 4 - Интерпретация результатов контроля

Мин.

Макс.

Оценка

Интерпретация

Графический объект (имя)

0

12,5

1,0

Плохо

1.bmp

12,5

37,5

2,0

Неудовлетворительно

2.bmp

37,5

62,5

3,0

Удовлетворительно

3.bmp

62,5

87,5

4,0

Хорошо

4.bmp

87,5

100

5,0

Отлично

5.bmp

Элементы четвертого и пятого столбцов являются редактируемыми. В столбце «Графический объект (имя)» указывается имя файла с изображением (с заданным расширением и координатами вывода графического объекта на экран). В комплексе УРОК интерпретация результата и оценки может быть выполнена как в виде оригинального графического объекта, так и средствами мультимедиа или в виде звукового фрагмента.

Алгоритмы организации тест-контроля с использованием двухуровневой схемы формирования квалификационной оценки могут быть использованы при организации контроля профессиональной подготовки специалистов. Оценка результатов содержит продолжительность процесса формирования и ввода ответа на указанный вопрос и продолжительность процесса тестирования в выделенном сеансе контроля, а также параметр, который обеспечивает учет значения выделенного учебного вопроса в составе дисциплины или учебного плана. Это позволяет обеспечить корректную оценку результатов тестирования в соответствии с выбранной или заданной моделью качества профессиональной подготовки работников предприятий. Система квалификационной оценки представляется для использования при управлении качеством подготовки, выраженном в показателях компетенций, которые отражены в соответствующих государственных требованиях к квалификации работников и специалистов предприятий реального сектора экономики.

Рецензенты

  • Торшина Ирина Павловна, доктор технических наук, декан факультета оптико-информационных систем и технологий, Московский государственный университет геодезии и картографии, г. Москва.
  • Якушенков Юрий Григорьевич, доктор технических наук, заведующий кафедрой оптико-электронных приборов, Московский государственный университет геодезии и картографии, г. Москва.