Сетевое издание

Современные проблемы науки и образования

ISSN 2070-7428

"Перечень" ВАК

ИФ РИНЦ = 1,006

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Князева М.Д. 1 Трапезников С.Н. 2, 1 Трапезников А.С. 2, 1

---

1 ГОУ ВПО «Российский экономический университет им. Г.В. Плеханова», Москва

2 ООО "НПФ ДиСофт"

В данной работе предлагается описание спецификации системы оценки результатов контроля, включая текущий и выходной – квалификационный контроль, реализованной в программно-инструментальной системе. Основу организации контроля в системе составляют результаты выполнения действий обучаемого в соответствии со сценарием учебного занятия по выделенной теме, разделу предметной области подготовки. В алгоритм оценки результатов включен параметр, обеспечивающий учет значения выделенного учебного вопроса в составе дисциплины или учебного плана, а так же продолжительность процесса формирования и ввода ответа на указанный вопрос и продолжительность процесса тестирования в выделенном сеансе контроля. Такой подход к организации тест-контроля обеспечивает корректную оценку результатов тестирования в соответствии с заданной моделью качества профессиональной подготовки работников предприятий. Результаты оценки могут быть использованы в квалификационной оценке качества обучения и показателей деятельности образовательной системы.

Статья в формате PDF

553 KB

управление знаниями

интерпретация результатов подготовки

характеристики и параметры алгоритмов формирования оценки

контроль и оценка результатов обучения

1. Князева М.Д. Организация системы оценки результатов профессиональной подготовки // Известия высших учебных заведений. Геодезия и аэрофотосъемка. - 2010. - № 4. - С. 106-108.

2. Князева М.Д., Трапезников С.Н., Трапезников А.С. УРОК для тех, кто создает компьютерные учебные программы : учебник / под ред. М.Д. Князевой. - М. : РЭУ им. Г.В. Плеханова, 2011. - 288 с.

3. Скальский И.А., Трапезников С.Н. Эффективность компьютерных средств обучения - КСО // Дополнительное профессиональное образование. - 2007. - № 7 (51). - С. 26-28.

4. Телемтаев М.М., Нурахов Н.Н. Концепция формирования продуктивной целостности мышления и практики обучаемого // Вестник высшей школы «Альма-Матер». - 2010. - № 11. - С. 51-55.

5. Трапезников С.Н., Князева М.Д., Машников Н.Н. Контроль уровня компетентности специалистов // Научные труды Вольного экономического общества России. - 2010. - Т. 143. - С. 307-314.

Перечень параметров контроля. Цена вопроса обычно задается количеством баллов. Начальное значение цены вопроса принимается равным 1. Для выделения особо значимых вопросов в составе раздела/темы/дисциплины цена вопроса может быть увеличена до 99.

Оценка результатов обучения подготовки осуществляется на основе частных (текущих) результатов. На рис. 1 представлена структура алгоритма текущей оценки результата.

Рис. 1. Структура текущей оценки результата.

Вес варианта ответа задается в процентах (100 - абсолютно правильный ответ, 0 - категорично неверный ответ). Сетка весов ответов может включать два крайних случая - 0 и 100, или несколько, например - 0, 25, 50, 75 и 100, а также задаваться с дискретностью, равной 1 - 0, 1, 2, ..., 99, 100. Последний (третий) случай является более универсальным по сравнению с первыми двумя, так как они могут быть реализованы на универсальной сетке. Так, первый вариант сетки может быть получен из третьего, если записать алгоритм определения веса в виде таблицы (табл. 1).

Таблица 1 - Первый вариант сетки весов ответов

Второй вариант сетки представлен в таблице 2.

Таблица 2 - Второй вариант сетки весов ответов

Учет времени обдумывания ответа заключается в изменении (снижении) результата с увеличением периода подготовки и ввода ответа (принятия решения). Снижение результата может быть реализовано по заданному закону - F(T), где F - функция, принимающая значение в пределах от 1 до 0, а T - период времени начиная с момента предъявления вопроса на экране до ввода ответа (команды на анализ ответа, определение и регистрацию текущего результата) или принятия решения. Как правило, функция F - дискретная или непрерывно убывающая. На рис. 2 приведена таблица способов учета времени подготовки и ввода ответа, реализованных в программно-инструментальной системе.

Рис. 2. Функции изменения результата.

Для учета времени обдумывания ответа на текущий вопрос необходимо указать (выбрать) вид функции и ввести численные значения параметров функции.

Структура алгоритма оценки. С учетом указанных выше параметров структура выражения для формирования текущего результат имеет вид:

  ,  (1)

где C_i - цена вопроса; W_i - вес варианта ответа, выбранного или введенного обучаемым; F_i(T) - функция изменения текущей оценки от продолжительности ответа; P_i - признак включения текущего результата в интегральную оценку за учебное занятие в целом.  

Признак P_i может принимать два значения - 1 или 0. В первом случае частный результат включается в интегральную оценку, а во втором результат не учитывается при формировании оценки результата обучения. Для формирования интегральной оценки применяются различные способы и алгоритмы:

• абсолютный нарастающий итог;
• абсолютная сумма штрафных баллов (очков);
• относительно максимального результата;
• относительно максимального текущего результата.

Абсолютный нарастающий итог формируется как сумма баллов для конечного числа контрольных вопросов или заданного N:

Абсолютная сумма штрафных баллов

Оценка относительно максимального результата проводится по формуле:

Оценка относительно максимального текущего результата проводится по формуле:

Выбор способа формирования оценки определяется задачей контроля и задается автором учебного материала, контрольно-измерительных показателей качества обучения.

Нормировка результата. Для обеспечения корректного формирования оценки в программно-инструментальной системе предусмотрена нормировка результата перед его интерпретацией. Наиболее целесообразной нормировкой является приведение результатов к шкале 0-100. Это позволяет более детально оценить результат и построить достаточно гибкую систему оценок качества знаний. Кроме того, при такой норме оценки облегчается переход к относительным оценкам, например - от 0,0 до 1,0 или 1-100%. Нормировка осуществляется по формуле приведения:

где S_max - максимально возможный результат, численное значение которого зависит от способа формирования интегрального результата - выражения (2) - (5).

Интерпретация результата (оценки). Под интерпретацией результата здесь понимается определение оценки в формате, принятом как стандартный. В частности, в школьной педагогической практике применяется 5-балльная шкала - от 2 до 5 (2 - неудовлетворительно, 3 - удовлетворительно, 4 - хорошо, 5 - отлично) - традиционная оценочная шкала. График зависимости оценки от результата представлен на рис. 3.

Рис. 3. График R(S) при традиционной оценочной шкале.

Выражение, по которому осуществляется автоматизированное формирование оценки, может быть записано в виде:

   ,   (7)

где S₀ - минимальный уровень результата (минимальное значение оценки).

Существуют и в настоящее время используются другие методы интерпретации, например - 10- или 12-балльная оценка. Это позволяет более детально и качественно оценить результат контроля. Такая система принята в рейтинговой оценке. В системах специальной подготовки персонала нашла применение 100-балльная система, когда минимальный результат составляет 0 баллов, а максимальный - 100. При этом оценка формируется как 0 или 1 (незачет - зачет, не допущен - допущен), как показано на рис. 4.

Рис. 4. Зависимость квалификационной оценки.

В данном варианте интерпретации результата оказывается возможным задать (указать) квалификационный уровень оценки S = 85. Указанный уровень определяется из условий допуска к выполнению определенных операций управления и эксплуатации технологических систем. Предполагается, что оператор, достигший указанного уровня знаний и умений, может быть допущен к выполнению операций управления технологическим объектом в соответствии со штатным расписанием. Соответствующее выражение для вычисления оценки имеет вид:

   (8)

Известны варианты интерпретации, основанные на обратной шкале, когда наилучший результат оценивается в 1 балл, а наихудший - в 100 баллов. Такая система подобна интерпретатору с оценкой количества штрафных баллов (очков). Система интерпретации результата может быть представлена в виде таблицы, имеющей три столбца и количество строк, соответствующее количеству оценок в шкале (табл. 3).

Таблица 3 - Интерпретация результата

В строке таблицы 3 представлены минимальное и максимальное значение результата после нормировки и соответствующая оценка. В программно-инструментальной системе реализован конструктор таблицы и возможность редактирования как числа строк таблицы, так и численных значений пределов оценки - «Мин.», «Макс.», «Оценка». При этом в таблице могут быть представлены две строки с оценками «0» и «1».

Интерпретация оценки результатов контроля. В представленной выше таблице оценка формируется в виде числа. В педагогической практике кроме числовой оценки применяется качественная - «Зачет -Незачет», «Сдал - Не сдал», «Допущен - Не допущен» и т.д. Кроме того, в компьютерных программах применяются экранные формы интерпретации оценки в виде графического образа. Для обеспечения такого режима таблица интерпретатора должна быть дополнена столбцом качественной интерпретации оценки и ссылкой на графический объект в заданном формате, как показано в таблице 4.

Таблица 4 - Интерпретация результатов контроля

Элементы четвертого и пятого столбцов являются редактируемыми. В столбце «Графический объект (имя)» указывается имя файла с изображением (с заданным расширением и координатами вывода графического объекта на экран). В комплексе УРОК интерпретация результата и оценки может быть выполнена как в виде оригинального графического объекта, так и средствами мультимедиа или в виде звукового фрагмента.

Алгоритмы организации тест-контроля с использованием двухуровневой схемы формирования квалификационной оценки могут быть использованы при организации контроля профессиональной подготовки специалистов. Оценка результатов содержит продолжительность процесса формирования и ввода ответа на указанный вопрос и продолжительность процесса тестирования в выделенном сеансе контроля, а также параметр, который обеспечивает учет значения выделенного учебного вопроса в составе дисциплины или учебного плана. Это позволяет обеспечить корректную оценку результатов тестирования в соответствии с выбранной или заданной моделью качества профессиональной подготовки работников предприятий. Система квалификационной оценки представляется для использования при управлении качеством подготовки, выраженном в показателях компетенций, которые отражены в соответствующих государственных требованиях к квалификации работников и специалистов предприятий реального сектора экономики.

Рецензенты

• Торшина Ирина Павловна, доктор технических наук, декан факультета оптико-информационных систем и технологий, Московский государственный университет геодезии и картографии, г. Москва.
• Якушенков Юрий Григорьевич, доктор технических наук, заведующий кафедрой оптико-электронных приборов, Московский государственный университет геодезии и картографии, г. Москва.

Библиографическая ссылка