Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

СТРУКТУРИРОВАНИЕ И ОЦЕНКА КАЧЕСТВА БАНКА ЗАДАНИЙ В ТЕСТОВОЙ ФОРМЕ ПО ДИСЦИПЛИНЕ «ЭЛЕКТРИЧЕСКИЕ МАШИНЫ»

Игнатович В.М. 1 Муратова Е.А. 1
1 ФГБОУ ВПО «Национальный исследовательский Томский политехнический университет»
Излагается реализованный подход при формировании банка заданий в тестовой форме по дисциплине «Электрические машины», который повышает доступность и оперативность самоконтроля учебных достижений студентов, активизирует процесс их познавательной деятельности. Разработанные задания обладают различной трудностью, представлены в виде двух форм: с выбором одного правильного ответа из предложенных и на установление соответствия. Приведены результаты оценки качества заданий, использованных при проведении одной из олимпиад по дисциплине. Изображены распределения заданий по трудности на примере первой части теста. Эти распределения наглядно показывают пути увеличения дифференцирующей способности теста, повышения его качества. Коэффициент надежности теста 0.7 и ошибка измерений в 2.4 балла убеждают, что нельзя использовать для олимпиад любые задания из имеющегося банка, необходим специальный отбор. Работа направлена на обеспечение эффективности организации учебного процесса и получения информативной обратной связи по результатам оценивания.
эффективность учебного процесса
оценка качества заданий
самоконтроль учебных достижений
задания в тестовой форме
кодификатор
структурирование банка заданий
1. Аванесов В. С. Основы научной организации педагогического контроля в высшей школе. — М. : МИСИС, 1987. — 167 с.
2. Игнатович В.М. Асинхронные машины. Задания в тестовой форме по дисциплине «Электрические машины» : учебное пособие / В.М. Игнатович, Т.В. Усачева, Е.А. Муратова; Томский политехнический университет. — Томск : Изд-во Томского политехнического университета, 2011. — 112 с.
3. Игнатович В.М. Синхронные машины. Задания в тестовой форме по дисциплине «Электрические машины» : учебное пособие / В.М. Игнатович, Т.В. Усачева, Е.А. Муратова; Томский политехнический университет. — Томск : Изд-во Томского политехнического университета, 2012. — 143 с.
4. Игнатович В.М. Трансформаторы. Задания в тестовой форме по дисциплине «Электрические машины» : учебное пособие / В.М. Игнатович, Т.В. Усачева, Е.А. Муратова; Томский политехнический университет. — Томск : Изд-во Томского политехнического университета, 2010. — 168 с.
5. Михайлова Н.С., Минин М.Г., Муратова Е.А. Разработка фонда оценочных средств в проектировании образовательных программ. — Томск : Изд-во Томского политехнического университета, 2008. — 204 с.
6. Муратова Е.А. Игнатович В.М. Оценка качества заданий региональной студенческой олимпиады по дисциплине «Электрические машины» // Уровневая подготовка специалистов: государственные и международные стандарты инженерного образования : сборник тр. научно-методич. конф.
7. Челышкова М.Б. Теория и практика конструирования педагогических тестов : учеб. пособие. — М. : Логос, 2002. —432 с.
8. Электрические машины. Тесты для контроля остаточных знаний по дисциплине «Электрические машины» для студентов ТПУ / сост. А.И. Верхотуров, В.В. Големгрейн, В.М. Игнатович, Ш.С. Ройз. — Томск : Изд-во Томского политехнического университета, 2007. — 74 с.

Введение

«Электрические машины» – общепрофессиональная учебная дисциплина при подготовке бакалавров по направлению «Электроэнергетика и электротехника». Многолетний опыт преподавания позволил накопить большое количество заданий в традиционной форме, используемых в разных видах контроля. Разработка заданий в тестовой форме была начата относительно недавно, сначала для междисциплинарного экзамена [8].

Увеличение количества часов, выделяемых на самостоятельную работу, конечно же, изменяет характер взаимоотношений студента с преподавателем, но не снижает роли преподавателя в учебном процессе. Пожалуй, эта роль становится еще более весомой, более ответственной. Управлять самостоятельной работой, повышать ее эффективность возможно при условии наличия у преподавателя оперативной информации по количеству и правильности выполненных заданий, по систематичности самостоятельной работы, активности студента при изучении теоретических и практических материалов по дисциплине, выносимых на самостоятельное изучение. Это можно организовать, например, при помощи интернет-тренажеров, что является важной составляющей учебного процесса, существенным подспорьем для студента.

Однако автоматизацию контроля и проверки результатов выполнения заданий не реализовать без должной их структуризации и систематизации, без создания мощного банка заданий. Для его формирования нужно разработать не просто как можно большее их количество. Нужны такие задания, которые соответствуют требованиям современных образовательных технологий и теории педагогических измерений [1; 7], обеспечивая объективное и надежное оценивание.

В процессе многолетнего применения задания в тестовой форме постоянно совершенствуются как по содержанию, так и по форме. Наиболее существенным изменениям они подверглись в результате объединения усилий специалистов по дисциплине и специалистов в области педагогических измерений [6]. Эти задания активно используются для проведения олимпиад университетского, регионального уровней по дисциплине. Опыт их применения убеждает, что структурирование и формирование банка заданий в тестовой форме должны обязательно предусматривать оценку их качества.

Структурирование и систематизация содержания дисциплины и результатов обучения

Дисциплина «Электрические машины» состоит из четырех последовательно излагаемых блоков: «Трансформаторы», «Асинхронные машины», «Синхронные машины», «Машины постоянного тока», которые, в свою очередь, состоят из учебных элементов (дидактических единиц). При проектировании учебного процесса, направленного на достижение целей и результатов учебной дисциплины, для обеспечения эффективного планирования, измерения результативности необходимо предусмотреть на разных этапах учебного процесса непосредственно измеряемые индикаторы достижения, которые характеризовали бы степень сформированности запланированных результатов.

Индикаторы достижения представляют собой конкретные практические действия, которые будут фиксироваться у студентов в момент оценивания, как результат успешного обучения. Индикаторы достижения формулируются с глагола, который находится в центре внимания в момент оценивания и обозначает действие (деятельность, способность). Глаголы, определяющие действие, авторами выбирались с учетом шести уровней познавательной области таксономии Б. Блума [5]. Фиксирование уровня усвоения каждого индикатора позволяет составлять уровневые оценочные средства, которые помогают преподавателю обеспечить информативную обратную связь по результатам оценивания и своевременно устранять низкий уровень усвоения запланированных результатов.

На основе систематизации результатов обучения, их соотнесения с содержанием дисциплины и распределения по разным видам контроля оформляются таблицы, где каждый индикатор достижения результата обучения имеет свой код, который отражает связь с содержанием обучения. Подобные таблицы получили название «Кодификаторы». Формирование кодификаторов позволяет оценить трудоемкость учебной нагрузки, распределить нагрузку аудиторных занятий и самостоятельной работы, а также исключить возможное дублирование результатов обучения. В табл. 1 представлен фрагмент кодификатора по дидактической единице «Конструкция и принцип действия» блока «Трансформаторы» [4].

Таблица 1

Фрагмент кодификатора по дисциплине «Электрические машины»

Тема (блок)

Дидактическая единица

Индикатор достижения результата обучения

Уровень усвоения

Вид контроля

Метод, форма контроля

Уровень значимости

1. Трансформаторы

1.1. Конструкция и принцип действия

1.2. Электрические схемы замещения

1.3. Уравнение рав­но­весия напря­же­ний, токов

1.4. Векторные диаграммы

1.1.1. Называть основные составляющие конструкции

Знание

Текущий

Устный опрос, ЛБ

Базовый

Рубежный

Контрольная

Итоговый

Экзамен

1.1.2. Объяснять назначение составляющих конструкции

Понимание

Текущий

Устный опрос, ЛБ

Средний

Рубежный

Контрольная

Итоговый

Экзамен

1.1.3. Распознавать активные, конструкционные, изоляционные материалы среди используемых

Понимание

Текущий

Устный опрос

Базовый

Каждый индикатор достижения запланированного результата обучения (табл. 1, столбец 3) соотносится как минимум с одним методом контроля и оценочным средством, позволяющим зафиксировать формируемую деятельность обучающегося. Оценочные средства необходимо планировать в письменном виде, чтобы для студента предусмотреть возможность апелляции результатов оценивания, а для третьих лиц (работодатели, администрация вуза, контролирующие органы) – доказательство сформированности запланированных результатов обучения.

В 7-м столбце кодификатора (табл. 1) определяется значимость формируемого результата обучения: 1) базовый – компоненты, составляющие минимальный уровень – базис учебной дисциплины; 2) средний – компоненты, развивающие и дополняющие базис – требуются при изучении дисциплин, имеющих постреквизиты; 3) системный – компоненты повышенного уровня, формирующие профессиональные и личностные компетенции [4]. Уровень значимости определяет степень важности каждой деятельности, представленной индикатором, и позволяет оценить вклад формируемого результата обучения в общей подготовке и будущей профессиональной деятельности.

Кодификаторы учебной дисциплины являются основой системы контроля (мониторинга) и находятся в открытом доступе для всех заинтересованных сторон. Студенты знакомятся и учатся с ними работать на первом занятии. Разработка кодификаторов является нормированием качества обучения по дисциплине. Заданные результаты обучения, преподаватель должен обязательно сформировать и оценить (подтвердить). Для осуществления внешнего контроля третьими лицами разработанные кодификаторы могут быть использованы при составлении структуры и содержания оценочного средства для проведения внешнего независимого оценивания.

Составленные кодификаторы рассматриваются авторами как самостоятельные оценочные средства для самооценки студентом степени достижения и уровня сформированности запланированных результатов обучения и тем самым выступают в роли мотивационного фактора при изучении дисциплины «Электрические машины».

В настоящее время опубликованы учебные пособия, соответствующие первым трем блокам дисциплины [2-4], и подготовлено к печати пособие по четвертому. Структура каждого пособия содержит три раздела. В первом разделе представлены кодификаторы по всем дидактическим единицам соответствующего блока. Во втором разделе приведены примеры выполнения заданий в тестовой форме по каждой дидактической единице. В третьем разделе приведен разработанный авторами банк заданий. В конце пособий представлены ответы на все задания.

Оценивание качества разработанных заданий

Статистическая оценка характеристик заданий проведена на примере результатов Региональной студенческой олимпиады. В первый день участникам были предъявлены 111 заданий с выбором одного правильного ответа из предложенных (ВО), на выполнение которых отводится 3 часа. Во второй день –28 заданий на установление соответствия (УС), также в рамках 3 часов. Поскольку задания УС предполагают несколько ответов тестируемого (3-5 соответствий), то каждый ответ рассматривался как отдельное задание с целью оценивания их работоспособности, поэтому по 3 и 4 части общее количество ответов составило 103. Каждый правильный ответ оценивался 1 баллом. Максимально возможный тестовый балл составил 214. Изначально предполагалось, что общая вариация тестовых баллов от 0 до 214 баллов должна обеспечить организаторам олимпиады дифференциацию участников по разным уровням подготовки в рамках оцениваемой дисциплины.

Задания, с которыми справлялись более 70% тестируемых (коэффициент трудности от 0 до 0,3), авторами было предложено считать легкими; средней трудности – с заданием справляются более 30%, но менее 70% (коэффициент трудности от 0,3 до 0,7); трудными – с заданием справляются менее 30% (коэффициент трудности от 0,7 до 1,0). Как видно из рис. 1, в первой части из 55 заданий нет таких, которые бы представляли особую трудность.

Рис. 1. Распределение заданий по трудности (1 часть)

Из рис. 1 видно, что задания не представляют трудность для участников олимпиады, поэтому разработчикам теста рекомендуется увеличить трудность используемых заданий и тем самым улучшить дифференцирующую способность (ДС) теста.

На рис. 2 представлены задания первой части, которые упорядочены по трудности: от наиболее трудного до наименее легкого. Присутствующая ступенчатость графика говорит о том, что в предлагаемом тесте присутствуют задания одинаковой трудности (определяется длиной «ступеньки»), а также неравномерность распределения заданий по трудности (определяется высотой «ступеньки»). Поскольку основной задачей олимпиады является ранжирование тестируемых по уровню подготовленности, то из группы заданий с одинаковым уровнем трудности надо оставить только одно задание, имеющее наибольшую ДС, либо расширить шкалу трудности заданий. Это позволит сократить время, отводимое на тестирование, и увеличить общую ДС теста. Кроме того, считаем целесообразным «сдвинуть» шкалу трудности заданий, т.е. включить в тест задания, начиная, например, с уровня трудности среднего (0,3 и выше) до самого высокого (0,9 и выше).

Далее была определена дифференцирующая способность заданий, как разность между долями правильных ответов хорошо подготовленной и слабо подготовленной группами тестируемых. В 1-й части теста 42% (23) заданий с хорошей дифференцирующей ДС заданий, а 48% требуют дальнейшей доработки; во 2-й части – 57% (32) и 43%; в 3-й части – 31% (16) и 69%; в 4-й части – 27% (14) и 73%. Дальнейшая доработка предполагает проведение содержательной (предметной) и тестологической экспертиз с целью устранения выявленной неработоспособности заданий. Кроме того, для 3 и 4 частей теста предлагается оценивать не каждое найденное соответствие, а только те, которые имеют высокое значение ДС. Это позволит увеличить общую дифференцирующую способность теста, что является основной задачей оценочного средства олимпиады.

Вычисление коэффициента надежности теста позволяет судить о том, насколько можно доверять полученным результатам. Результаты тестирования получены с высокой надежностью, если коэффициент корреляции ответов с итоговым тестовым баллом выше 0,8 [7]. Коэффициент надежности теста, вычисленный по формуле Кьюдера-Ричардсона, для данного теста составил 0,7, что указывает на необходимостьего улучшения. При существующих условиях будет достаточно большая ошибка измерения, величиной в 2,4 балла. При определении рейтинга тестируемых это достаточно большой диапазон доверительного интервала.

Из заданий, которые включены в анализируемый тест, сформированы три набора, разных по количеству и качеству: «Исходные» – первоначальная совокупность заданий; «Валидные» – имеющие высокий коэффициент корреляции с итоговым тестовым баллом, «работающие» на общую цель теста; «Качественные» – имеющие разницу между долями правильных ответов хорошо подготовленной и слабо подготовленной групп тестируемых 20% и выше. В табл. 2 представлены вариации их тестовых баллов, как показатель дифференцирующей способности теста в целом.

Таблица 2

Сравнение вариации тестовых баллов

Часть теста

Характеристика заданий

Средний тестовый балл

стандартное отклонение

коэффициент вариации

Часть 1,

Часть 2

Исходные (111 заданий)

72,50

14,34

20%

валидные (28 заданий)

21,36

8,38

39%

качественные (42 задания)

33,79

11,61

34%

Часть 3,

Часть 4

Исходные (103 задания)

87,68

8,66

10%

валидные (19 заданий)

19,93

6,60

33%

качественные (30 заданий)

19,93

6,60

33%

Весь тест

Исходные (214 заданий)

160,18

21,15

13%

валидные (47 заданий)

34,71

10,66

31%

качественные (72 задания)

53,71

14,61

27%

Наибольший разброс баллов обеспечивают валидные задания (31%), а исходная совокупность заданий характеризуется низкой изменчивостью результатов тестирования, следовательно, низкой дифференцирующей способностью теста при определении рейтинга тестируемых. Коэффициент вариации дает количественную оценку однородности значений и при значении более 30% указывает на высокую разнородность результатов тестирования. Наибольший разброс результатов обеспечивают валидные задания.

Полученные количественные характеристики заданий позволили выявить типичные ошибки при составлении заданий. По результатам статистической оценки выявленные несоответствия были устранены и задания, прошедшие содержательную и тестологическую экспертизу, составили основу опубликованного банка заданий.

Заключение

Подробное структурирование содержания дисциплины, формирование банка заданий в тестовой форме позволяют обеспечить эффективность организации учебного процесса, организовать самостоятельную работу студентов при подготовке к тестированию.

Предложенный алгоритм структурирования и оценки качества заданий в тестовой форме может быть применен и для заданий в традиционной форме (вопросы, задачи, упражнения, которые предполагают свободно конструируемый ответ обучающегося).

Приведенные результаты статистического анализа демонстрируют необходимость оценки работоспособности оценочных средств по результатам проведения мероприятия, что позволит повысить объективность и надежность результатов оценивания.

Рецензенты:

Соколова Ирина Юрьевна, д.п.н., профессор Института теории образования Томского государственного педагогического университета, г. Томск.

Обрусник Валентин Петрович, д.т.н., профессор кафедры промышленной электроники Томского государственного университета систем управления и радиоэлектроники, г. Томск.


Библиографическая ссылка

Игнатович В.М., Муратова Е.А. СТРУКТУРИРОВАНИЕ И ОЦЕНКА КАЧЕСТВА БАНКА ЗАДАНИЙ В ТЕСТОВОЙ ФОРМЕ ПО ДИСЦИПЛИНЕ «ЭЛЕКТРИЧЕСКИЕ МАШИНЫ» // Современные проблемы науки и образования. – 2013. – № 3. ;
URL: https://science-education.ru/ru/article/view?id=9271 (дата обращения: 20.09.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074