Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

DISADVANTAGES AND ERRORS OF COMPUTER-BASED TESTING IN HEIS (IN TERMS OF “JURISPRUDENCE” DISCIPLINE)

Янюшкин С.А., Янюшкин А.С.
The article contains the information about advantages and disadvantages of government testing, they being presented on the basis of data analysis got at the Bratsk State University, when testing about 30 groups of students representing more than 10 specialties on the “Jurisprudence” discipline.

Национальное аккредитационное агентство в сфере образования (РОСАККРЕДАГЕНТСТВО) предложило ВУЗам поучаствовать в программе «Федеральный интернет-экзамен в сфере профессионального образования». Официальный сайт www.fepo.ru. Анализ участия обучающихся подобного предложения мы осуществили на протяжении 3 семестров в период 2007-2008 годов в государственном образовательном учреждении высшего профессионального образования «Братский государственный университет». За это время в тестировании приняло участие около 30 групп студентов, более 10 специальностей (это только те группы непосредственными руководителями (преподавателями) которых мы являлись). Такие группы как: «Энергетические системы и сети», «Энергоснабжение предприятий», «Лесоинженерное дело», «Технология деревообработки», «Технология машиностроения», «Информационные системы и технологии», «Вычислительная техника», «Прикладная математика и информатика», «Математика», «Городское строительство и хозяйство», «Строительные технологии», «Промышленное и гражданское строительство», «Экспертиза и управление недвижимостью» и др.

Вначале немного теории [1]. Компьютерное тестирование все шире используется в педагогической практике. Возможно, вскоре оно почти вытеснит традиционные методы (типа "карандаш – бумага"). И вот почему.

1) Компьютерное тестирование экономит много времени (это, вероятно, самое главное). Задача тестируемого – просто нажимать клавишу, соответствующую выбранному ответу. В результате компьютер выдает готовый результат. На всю процедуру, включая обработку результатов, уходит значительно меньше времени, чем при обычном тестировании. Такая экономия времени особенно ценна при работе с группой тестируемых. Можно одновременно усадить за компьютер большое число людей и оперативно получить нужные данные.

2) Экономятся силы тестирующего – ему не приходится заниматься рутинной работой (заготовка бланков, инструктаж тестируемого, выдача заданий, ведение протокола, подсчет и обработка результатов).

3) При наличии хорошо отлаженной программы компьютерное тестирование практически исключает ошибки при обработке результатов – машина всегда использует один и тот же алгоритм, она не отвлекается и не утомляется.

4) Появляется возможность накопления и сохранения электронной базы данных. Унифицированная база данных удобна для анализа и заменяет собой огромные кипы экспериментальных бланков, отчетов и заключений.

5) При использовании стандартизованной компьютерной программы условия проведения тестирования не зависят от индивидуальных особенностей и психологического состояния экспериментатора, что, несомненно, повышает "чистоту" диагностической процедуры.

6) Тестируемому, некого стесняться – компьютер не может ни оценочно, ни эмоционально реагировать на не самые удачные ответы.

Как мы видим, достоинств у компьютерного тестирования немало. Но наряду с преимуществами у компьютерных методов есть и свои недостатки.

 1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых – эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

 2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.

Так что результатам, полученным с помощью компьютерного тестирования, следует доверять с некоторыми оговорками [1].

Что мы увидели на практике. Такая несовершенная система пока не может применяться в ВУЗах для оценки знаний студентов, в силу ее не объективности. И вот почему.

Во-первых, тестирование, например по дисциплине «Правоведение», не соответствует государственному образовательному стандарту (ГОС).

В качестве примера рассмотрим специальность «Технология машиностроения».

Требования государственного образовательного стандарта высшего профессионального образования к обязательному минимуму содержания основной образовательной программы.

Таблица 1. Дисциплина: Правоведение ООП: 151001.65 «Технология машиностроения»

ГСЭ.Ф

Федеральный компонент

1260

ГСЭ. Ф.06

Правоведение:

Государство и право. Их роль в жизни общества. Норма права и нормативно-правовые акты. Основные правовые системы современности. Международное право как особая система права. Источники российского права. Закон и подзаконные акты. Правовое государство. Конституция Российской Федерации – основной закон государства. Особенности федеративного устройства России. Система органов государственной власти в Российской Федерации. Понятие гражданского правоотношения. Физические и юридические лица. Право собственности. Обязательства в гражданском праве и ответственность за их нарушение. Трудовой договор (контракт). Трудовая дисциплина и ответственность за ее нарушение. Административные правонарушения и административная ответственность. Понятие преступления. Уголовная ответственность за совершение преступлений. Экологическое право. Особенности правового регулирования будущей профессиональной деятельности. Правовые основы защиты государственной тайны. Законодательные и нормативно-правовые акты в области защиты информации и государственной тайны.

70

* Прим. Дисциплина «Правоведение», для специальности 151001.65 «Технология машиностроения» ведется в объеме 70 часов, в том числе: лекций-17 часов, практических занятий 9 часов, самостоятельных 44 часа.

А вот тематика интернет-тестирования требует значительно больших затрат при освоении этой дисциплины (табл. 2).

Как видно из приведенных таблиц примерно половина вопросов тестирования не соответствует ГОС (не соответствие выделено жирным шрифтом и курсивом), т.е. преподаватель не обязан объяснять содержание тех или иных вопросов тестирования, но спрашивают его по ним обязательно.

Таблица 2. Структура аттестационных педагогических измерительных материалов дисциплины «Правоведение» ООП: 151001.65 «Технология машиностроения»

Номер задания

Наименование темы задания

ДЕ 1. Общая теория права и государства 
(критерий освоения ДЕ: 2 правильно выполненных задания)

1

Понятие и признаки права. Система Российского права и ее структурные элементы

2

Источники и формы права. Норма права

3

Правоотношения. Правонарушение и юридическая ответственность

4

Российское право и основные правовые системы современности. Международное право. Понятие и признаки государства.

ДЕ 2. Основы конституционного права Российской Федерации 
(критерий освоения ДЕ: 2 правильно выполненных задания)

5

Конституция Российской Федерации

6

Основы конституционного строя Российской Федерации

7

Правовой статус личности в Российской Федерации

8

Органы государственной власти в Российской Федерации

ДЕ 3. Основы гражданского права Российской Федерации 
(критерий освоения ДЕ: 2 правильно выполненных задания)

9

Граждане и юридические лица как субъекты гражданского права

10

Право собственности

11

Обязательства и договоры

12

Наследственное право Российской Федерации

ДЕ 4. Основы семейного права Российской Федерации 
(критерий освоения ДЕ: 2 правильно выполненных задания)

13

Условия и порядок заключения брака. Прекращение брака

14

Права и обязанности супругов

15

Права несовершеннолетних детей

16

Алименты

ДЕ 5. Основы трудового права Российской Федерации 
(критерий освоения ДЕ: 2 правильно выполненных задания)

17

Основания возникновения трудовых прав работников.

Трудовой договор

18

Рабочее время и время отдыха

19

Дисциплина труда

20

Защита трудовых прав граждан

ДЕ 6. Административное правонарушение и административная ответственность Российской Федерации. Основы уголовного права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)

21

Административное правонарушение и административная ответственность

22

Преступление. Уголовный закон и уголовная ответственность

23

Категории и виды преступлений. Обстоятельства, исключающие преступность деяния

24

Система наказаний по уголовному праву

ДЕ 7. Основы экологического права Российской Федерации 
(критерий освоения ДЕ: 2 правильно выполненных задания)

25

Экологическое право – самостоятельная отрасль российского права

26

Государственное экологическое управление

27

Законодательное регулирование и международно-правовая охрана окружающей среды

28

Особенности регулирования отдельных видов природопользования

ДЕ 8. Основы информационного права Российской Федерации 
(критерий освоения ДЕ: 2 правильно выполненных задания)

29

Федеральный закон Российской Федерации «О государственной тайне»

30

Защита государственной тайны

31

Информация. Информационные ресурсы

32

Защита информации

Получается, что авторы тестирования могут включить в программу тестирования по дисциплине «Правоведение» любые вопросы, так или иначе касающиеся самого понятия «Право». А это значит, что можно включить в вопросы тестирования любые вопросы по «Уголовному праву», «Гражданскому праву», «Конституционному праву», «Трудовому праву», «Экологическому праву», «Информационному праву», «Теории государства и права» и т.д., список можно продолжать до тех пор, пока не будут названы все отрасли права РФ. Но, каждая из этих отраслей представляет собой самостоятельную дисциплину с количеством часов намного превосходящих дисциплину «Правоведение» по объему преподавания в высшей школе. А предполагается, что студены, должны освоить их все за 8 лекций. Студенты юристы, например, делают это за 5 лет дневного обучения. А для студента технических специальностей предусмотрено всего 8 лекционных и 4 практических занятия по «Правоведению».

Например, в тестах присутствует такой вопрос:

К поверхностным водоемам не относятся:

А. Реки.

Б. Ручьи.

В. Болота.

Г. Водохранилища.

Скажите, очень важно знать студентам технических специальностей ответ на этот вопрос? Например, студентам специальностей «Информационные системы и технологии», «Вычислительная техника» – которые по–сути специализируются в компьютерных технологиях. Повторим, эта отрасль знаний не предусмотрена ГОСом. Так как это отрасль юридической науки – Водное право.

Критерий правильного (успешного) выполнения (освоения) всего теста – 8 освоенных (на которые даны правильные ответы) дидактических единиц (ДЕ). Критерий освоения ДЕ - 2 правильно выполненных задания (табл.2). То есть, если студент ответивший правильно на 16 заданий (в каждой теме давший по 2 правильных ответа из 32 возможных, т.е 8х2=16). При этом процент правильно выполненных заданий у него высвечивается 50%. И весь тест для данного студента при этом засчитывается.

Возьмем другой теоретический пример. Студент правильно отвечает на 7 ДЕ полностью, а в 1 ДЕ он допускает 3 ошибки, т.е. фактически правильно отвечает на 29 вопросов из 32 и показывает знания в целом более 90%. При этом считается, что обучающийся не освоил 1ДЕ, а значит весь тест у него в зачет не идет, сам он оценивается как не освоившим всю дисциплину «Правоведение» в целом. К тому же процент правильных ответов на компьютере высвечивается равным 90%. Это абсурд! В жизни, конечно, не всем так везет. Но были случаи в нашей практике, когда студент, набравший 65 % - считался освоившим дисциплину, а студент, набравший 78 % - не освоившим дисциплину. Бывает, конечно, что студент может набрать около 60-70 процентов во всем тесте, но в каждой теме ответить на 2-3 вопроса и тест у него зачтется. Но это скорее везение, исключение из правил, чем оценка его реальных знаний.

Более того, вся группа студентов должна показать процент освоения ДЕ – не менее 50 %. Это значит, что скажем из 20 студентов в группе, минимум 10 должны освоить все ДЕ. Если меньше, то весь тест вообще считается не сданным. Но позвольте, кто-то из студентов ответственно отнесся к решению теста, а кто-то нет. Был случай в нашей практике, когда студент, пришедший на тестирование выполнил его за 5 минут – просто наугад проставив ответы на вопросы теста. А значит, заведомо подставив со своей стороны всю группу. Возможно, он до конца и не понял значение всей этой процедуры. Такие моменты не учитываются, а это не правильно.

Причем в листке по контролю знаний, который выдается на руки преподавателю после завершения тестирования, указываются цифры освоения каждой темы на уровне 80-100%. То есть 80-100% студентов знают все темы. Но они в зачет не идут по вышеуказанной методике. Считаем, что должна быть применена другая методика оценки знаний обучающихся.

Как видно из приведенной таблицы 2 в вопросах тестирования присутствуют такие темы (ДЕ) как: Общая теория права и государства, Основы конституционного права РФ, Основы гражданского права РФ, Основы трудового права РФ, Административное правонарушение и административная ответственность РФ, Основы уголовного права РФ, Основы экологического права РФ, Основы информационного права РФ.

Хочется сразу сказать, что нельзя говорить об основах той или иной отрасли права, если тесты составлены по всей отрасли знаний, по любому вопросу отрасли. Например, такой вопрос: «Дело об административном правонарушении касающееся лишения специального права (например, права охоты или права управления транспортным средством - авт.) должно быть передано судье в течении:

А. Суток.

Б. Двух суток.

В. Пяти суток

Г. Десяти суток.

Этот ответ содержится в главе 28 особенной части Административного кодекса РФ « Возбуждение дела об административном правонарушении» (п.1 ст. 28.8). Всего глав в кодексе – тридцать две. То есть фактически в конце его. Этот же вопрос можно отнести к сфере административно-процессуального законодательства РФ. А это, по-сути, другая дисциплина, которая также не входит в ГОС по дисциплине «Правоведение».

В тестах также присутствуют устаревшие вопросы, например «Исправительные работы в качестве наказания за административное правонарушение предусмотрены на срок до ….

А. 15 суток

Б. одного месяца.

В. двух месяцев.

Г. трех месяцев.

Но согласно ст. 37 Конституции РФ принудительный труд запрещен. А исправительные работы по Административному кодексу, вступившему в силу с 1 июля 2002 года (ныне действующему) признаны как раз принудительным трудом, а значит, не применяются, и нет смысла знать вообще ответ на этот вопрос. Ответ на этот вопрос содержался в Кодексе об административных правонарушениях РСФСР, вступившем в силу в 1984 году.

Кроме того, в тестах может и не быть правильного ответа. Например, в вопросе « Смягчающим обстоятельством убийства признается ....

А. состояние аффекта.

Б. состояние алкогольного опьянения.

В. совершение убийства в условиях стихийного бедствия или массовых беспорядков.

Г. повторное совершение убийства.

Ответ «В» и «Г» это отягчающие обстоятельства согласно ст. 62 Уголовного кодекса (УК) РФ.

Ответ «Б» вообще не предусмотрен в качестве смягчающего или отягчающего обстоятельства согласно ст. 61 и 62 УК РФ.

А ответ «А» вообще не может применяться смягчающим обстоятельством, так как УК РФ содержит самостоятельные статьи, например ст. 107 «Убийство в состоянии аффекта», ст. 113 « Причинение тяжкого или средней тяжести вреда здоровью в состоянии аффекта» и согласно п.3 ст. 61 УК РФ не может учитываться таковым.

В тестах также присутствует вопрос: «Необходимая оборона относится к обстоятельствам, …

А. исключающим применение наказания.

Б. исключающим уголовную ответственность.

В. предусматривающим наказание.

Г. отягчающим ответственность.»

Согласно главе 8 (ст. 37) УК РФ необходимая оборона относится к обстоятельствам, исключающим преступность деяния. В предлагаемых вариантах ответов такое обстоятельство не содержится. А значит, нет в этом вопросе единственно верного ответа.

Еще один пример «Нормами трудового законодательства не регулируется труд …

А. домохозяек.

Б. в акционерных обществах.

В. в обществах с ограниченной ответственностью.

Г. на частных предприятиях.

Найдите правильный ответ. Домохозяйка – это лицо, ведущее домашнее хозяйство. Но ведь и «домохозяйка» может работать у кого-то (вести домашнее хозяйство) за плату, а это значит, что ее отношения с работодателем попадают под действие трудового законодательства (согласно ст. 15 Трудового кодекса РФ).

К тому же есть вопросы, содержащие два одинаковых ответа, и не понятно какой из них по компьютерной программе подсчитывающей результаты тестирования засчитывается как правильный. Ведь согласно условиям тестирования может быть один правильный ответ.

Есть вопросы, содержащие три ответа вместо четырех как во всех остальных вопросах. Возможно, в них также отсутствует правильный ответ.

Серьезным недостатком (минусом) тестирования можно считать отсутствие в результатах тестирования указания на неверные вопросы. То есть наглядной демонстрации того, в каких вопросах испытуемым были даны верные ответы, а в каких он сделал ошибки. Что это «государственная тайна»? Или боязнь авторов теста критики. Ведь они правильный ответ могут зачесть как неправильный и наоборот.

Формулировки простых понятий нередко усложняются до такой степени, что их невозможно понять даже специалисту.

Есть и вопросы, требующие узкой специализации. Например: «К основаниям освобождения от наказания относится …

А. условно-досрочное освобождение.

Б. привлечение к административной ответственности.

В. отсрочка исполнения приговора.

Г. истечение сроков давности совершения преступления.

Правильным ответом на этот вопрос считается вариант «А». А вот, например, ответ «Г» считается основанием для освобождения от уголовной ответственности. Может ли студент, для которого данная дисциплина является общеобразовательной, точно, без всяких сомнений разбираться, что есть «освобождение от наказания», а что «освобождение от ответственности». Зачастую они считают данные словосочетания одинаковыми. Ни о каких основах уголовного права здесь речи быть не может - это уже юридическая тонкость, в которой нередко путаются даже юристы. Конечно, можно обвинить во всем преподавателя - но не будем забывать, что преподавателю отводится на Уголовное право в рамках дисциплины «Правоведение» меньше одной лекции. А в какое время тогда читать следующие вопросы: «Что такое уголовный закон», «Задачи и принципы уголовного закона», Что такое преступление» и т.д.

Много вопросов возникает по наследственному праву, но оно также не предусмотрено ГОСом.

Кроме того, студентам перед зачетным тестированием было предложено принять участие в репетиционном интернет-тестировании. Это совершенно справедливо. Однако, анализируя репетиционные и контрольные вопросы можно сделать вывод, что подготовительные вопросы несоизмеримо легче, чем зачетные. Более того, репетиционные вопросы не меняются на протяжении ряда лет, контрольные же вопросы меняются практически на 100% от семестра к семестру.

И таких примеров можно привести много.

Хочется сказать, что это только лишь малая часть той необъективности, которая содержится в данных тестах.

Бытует также мнение, что это не проверка напрямую студентов отвечающих на вопросы теста и получающих за это ту или иную оценку, а преподавателя. Например, если студент ответил на 30 процентов теста, то это преподаватель не может научить студента правовым знаниям. Не может квалифицированно дать тот или иной материал. И все беды от преподавателя. Так если уж очень хочется проверить знание преподавателя, его квалификацию, то можно его самого напрямую усадить за компьютер показать те или иные тестовые вопросы и пусть уж преподаватель отвечает на них. И все будет ясно. А не вводить тестирование на протяжении нескольких лет, каждый семестр.

К тому же в зачет не идут такие факторы как: желание студентов обучаться определенной дисциплине, их самостоятельная работа дома по усвоению дисциплины предусмотренная, кстати, учебным планом, их подготовка перед тестированием (т.е. хотя бы знание лекций читаемых преподавателем) и т.д.

Многие из них надеются, что им правовые знания в будущем вообще не нужны, так как они, например, получают квалификацию инженера, строителя, программиста и т.д.

Но, несмотря на все вышеперечисленное, достоинств у компьютерного тестирования все-таки больше. Кроме того, практически все перечисленные недостатки поддаются контролю. Вот только контролировать нужно раньше, чем предлагать на всеобщее обозрение.

 В целом хочется отметить, что в настоящее время многие ВУЗы (специалисты) положительно относятся к тестированию как к объективной оценке знаний студентов. Но важно при составлении теста и в методике подсчета результатов самим авторам проводить работу над ошибками. Иначе это объективная оценка качества знаний и образования может перестать быть таковой и сведется просто к потере времени.

Можно с уверенностью предположить, что у компьютерного тестирования большое будущее. С каждым годом будут появляться все новые и новые компьютерные тесты. Значит ли это, что когда-нибудь необходимость участия педагога в процессе тестирования вообще отпадет? Подобное вряд ли возможно. Так как использование компьютера совсем не уменьшает роль человеческого фактора. Компьютерная программа выдает только обобщенные, унифицированные данные, которые необходимо правильно "прочитать" и проанализировать. Тут все зависит от интерпретатора – чтобы понять, о чем говорят полученные результаты, и разглядеть за ними конкретного человека, необходим высокий профессионализм и богатый опыт в области педагогической диагностики.

СПИСОК ЛИТЕРАТУРЫ:

1.  Зырянова Н. М. «О плюсах и минусах компьютерного тестирования» // Кадровый менеджмент. № 1(5), февраль 2003 г. www.begin.ru