В 2003 г. Россия присоединилась к Болонской декларации, которая провозглашает создание единого образовательного пространства Европейских стран, основанного на общих принципах: двухступенчатое высшее образование, система зачетных единиц (кредитов), использование взаимопризнаваемых методов проверки качества образования [1]. Взаимопризнаваемым методом оценки качества образования является тестовый метод, который широко применяется за рубежом. В США тестирование проводят несколько компаний, самая крупная из которых - Служба образовательного тестирования ETS (Educational Testing Service), которая существует с 1947 г. По заявкам образовательных учреждений, правительственных органов и отдельных лиц из 180 стран она проводит ежегодно более 12 млн. тестирований, имеет более 60 патентов на различные устройства и технологии тестирования [2].
Главным недостатком контроля и оценки знаний с помощью классического экзамена является его необъективность. Известный в Западной Европе теоретик в области инженерной педагогики А. Мелицинек считает, что при контроле результатов обучения с помощью традиционного экзамена мы получаем в худшем случае субъективный результат, в лучшем - относительный, но никак не объективно-абсолютный [3].
Субъективным результат экзамена бывает тогда, когда преподаватель выставляет оценку с учетом факторов, которые не имеют прямого отношения к знаниям и умениям контролируемого; например, преподаватель ставит более высокую оценку прилежному студенту с меньшими способностями и поверхностными знаниями, чем более способному, но менее прилежному студенту. Относительным результат экзамена бывает тогда, когда преподаватель заранее убежден в том, что существует «естественное» распределение результата: очень хороших результатов может добиться только небольшая часть студентов, небольшая часть непременно будет иметь плохой результат, а большинство студентов будет иметь средний результат. Это подход приводит к тому, что у большинства студентов снижается мотивация и они работают не в полную силу; кроме того, невозможно сравнивать показатель разных преподавателей, групп, факультетов, вузов.
Признание этих недостатков приводит к тому, что все больше преподавателей используют письменные и тестовые формы проведения экзаменов и проверку экзаменационных работ независимыми экспертами или с помощью компьютера.
Тестовая технология контроля знаний обладает многими преимуществами:
- 1) Проверяются знания и умения по всем темам дисциплины, а не отдельные фрагменты материала; следовательно, тест является объемным инструментом оценки знаний.
- 2) Стандартизованная процедура проведения контроля, автоматизированная проверка результатов, сравнение ответа с эталоном обеспечивают объективность контроля.
- 3) Отсутствие непосредственного контакта между экзаменатором и экзаменуемыми уменьшает психологическую нагрузку на студента и на преподавателя.
- 4) Результаты контроля можно обрабатывать с использованием математического аппарата классической и современной теории тестов.
Следует иметь в виду и недостатки тестового контроля. Отсутствие непосредственного контакта между экзаменатором и экзаменуемым обеспечивает объективность контроля, но повышает вероятность влияния на результат случайных факторов; например, невозможно учесть случайные ошибки, вызванные неправильным пониманием задания.
В Томском политехническом университете разработана и используется тестовая технология проведения рубежных контролей и итоговой аттестации (экзамена) по дисциплине «Химия» студентов общетехнических направлений и специальностей [4]. На студентов химико-технологического факультета и химической специальности физико-технического факультета (химическая технология материалов современной энергетики) эта технология не распространяется, так как с помощью тестов невозможно проверить глубину понимания предмета и овладения соответствующим стилем мышления. Разработка этой технологии продолжалась 5 лет (2003 - 2008 г.г.) как педагогический эксперимент в рамках комплексной программы развития университета по направлению «Совершенствование образовательной деятельности». За это время пройдены все этапы создания научно-обоснованного теста: 1) планирование, 2) составление предтестовых заданий,
3) проведение апробационного тестирования, 4) коррекция заданий.
На этапе планирования был выработан общий подход к составлению контролирующих заданий: критериально-ориентированный. В отличие от нормативно-ориентированного, который применяется в Едином государственном экзамене, в критериально-ориентированном тестировании проверяется соответствие знаний и умений определённым нормам (критериям) [5]. В нашем случае такие критерии заложены в Государственных образовательных стандартах, в программе дисциплины [6] и соответствующих учебниках [7], в учебно-методическом комплексе кафедры [8]. На основе анализа этих нормативных материалов разработан перечень целевых установок - знаний и умений, подлежащих усвоению в процессе обучения и оцениванию на рубежных контролях и при итоговой аттестации.
В это перечень входит основной материал общей химии, изучаемый студентами всех направлений и специальностей технических университетов. Он разделён на три модуля (раздела), а каждый модуль - на несколько тем. Приводим структуру перечня с указанием числа целевых установок по каждой теме.
Модуль I. Состав и строение вещества.
1. Атомно-молекулярное учение и стехиометрия (8).
2. Классификация, свойства и номенклатура неорганических соединений (6).
3. Окислительно-восстановительные реакции (5).
4. Строение атома, периодический закон и периодическая система (12).
5. Химическая связь и строение вещества (14).
Модуль II. Закономерности протекания реакций.
5. Основы химической термодинамики (14).
7. Химическое равновесие (6).
8. Основы химической кинетики (6).
Модуль III. Растворы и электрохимические процессы.
9. Способы выражения концентрации растворов (7)
10. Образование и свойства растворов неэлектролитов и электролитов (8).
11. Реакции в растворах электролитов (7).
12. Электрохимические процессы (7).
Структура и содержание данного документа имеют некоторые особенности. В него, например, включены темы 1 и 2, изучение которых в университетах нормативными документами не предусмотрено. Но отсутствие в школах выпускного и в университетах вступительного экзамена по химии, как обязательных, привело к такой деградации школьного химического образования, что подавляющая часть студентов не имеет или имеет лишь смутные представления об атомах, молекулах, формулах и реакциях. Поэтому мы вынуждены изучать школьный материал, закладывая фундамент дальнейшего учебного процесса. Тема 3 включена в первый модуль (хотя она не согласуется с его названием и формально относится к третьему модулю), так как изучается в начале семестра для того, чтобы при изучении закономерностей химических реакций (модуль 2) студенты могли понимать и самостоятельно записывать уравнения реакций.
По каждому модулю в процессе их изучения проводится рубежный контроль. На первый взгляд, модуль I перегружен целевыми установками (45), тогда как во втором и третьем модулях их заметно меньше (26 и 29). Но в первом модуле по большинству целевых установок нет расчетных задач (только упражнения), кроме стехиометрических расчетов. В двух последующих модулях, наоборот, преобладают расчетные задачи. Поэтому трудность всех модулей примерно одинакова.
Основная проблема тестовых технологий контроля - качество заданий. Составление качественных заданий - трудный процесс, в котором должны участвовать в первую очередь опытные преподаватели, психологически готовые к неудачам и критике. Но даже самые опытные составители не могут гарантировать высокое качество всех своих заданий, поэтому необходима их экспертиза несколькими экспертами.
В классической тестологии известно четыре формы заданий: закрытые (выбор правильного ответа среди дистракторов); открытые (ответ записывается самостоятельно); установление соответствия; выявление последовательности [9]. Но в химии разработана классификация, в которой предлагается 10 форм заданий [10]:
- 1) выбор одного верного ответа среди дистракторов,
- 2) выбор нескольких верных ответов,
- 3) выбор дополнения к основной части задания,
- 4) запись пропущенного слово, числа, символа и т.п.,
- 5) заполнение пробела в таблице, схеме, рисунке,
- 6) определение стехиометрического коэффициента в уравнении реакции,
- 7) установление соответствия,
- 8) установление последовательности,
- 9) оценка суждения,
- 10) решение расчетной задачи.
На первом этапе исследований в эксперименте использовалось 400 заданий, не прошедших экспертизу. Поэтому выявилось много непригодных заданий, которые корректировались или заменялись «на ходу». Постепенно выявился главный недостаток этого набора («банка») заданий - его низкая валидность: задания соответствовали только 60 % учебного материала. Поэтому на кафедре, при участии всех преподавателей, разработан новый, более полный набор из 600 заданий - по 50 заданий на каждую тему. В большинстве заданий студенты должны приводить два ответа (двойные задания), что позволяет более полно и объективно оценивать их знания и умения. Например, в расчётных задачах проверяется не только конечный, но и промежуточный результат вычислений, в заданиях по четвёртой теме одним заданием проверяется знание строения атомов и закономерностей периодической системы и т.д.
Практика тестирования в России и за рубежом свидетельствует о том, что высокое качество заданий не могут гарантировать даже саамы опытные составители. Поэтому задания, предназначенные для контроля и измерения знаний, должны проходить строгую объективную экспертизу. Оценка заданий даже одним экспертом гарантирует устранение многих недостатков [5], а наиболее оптимальное число экспертов в группе - не менее трёх человек.
В данной работе экспертизу 50 заданий по каждой теме проводили по 3-5 независимых экспертов. При этом был реализован комплексный подход к оценке качества заданий [11]. Для каждого задания определены 10 характеристик: 1) соответствие целевым установкам, 2) уровень контролируемы знаний (узнавание, воспроизведение, применение, творчество), 3) форма задания, 4) тип расчётной задачи (прямая, обратная, комбинированная, межпредметная), 5) взаимосвязь ответов в двойных заданиях (независимы, последовательны, зависимы), 6) трудность, 7) значимость, 8) соответствие тестологическим требованиям, 9) соответствие современному содержанию, терминологии и символике дисциплины, 10) пригодность.
Замечания и предложения экспертов были рассмотрены методической комиссией кафедры (авторы статьи); непригодные задания были устранены, задания с недостатками - переработаны. В итоге сформирован рабочий банк заданий (Банк-600), характеристики которого следующие.
1. Число заданий: двойных - 564, на установление соответствия и последовательности - 36, всего - 1164, в том числе расчётных задач - 474 (40,7 %).
2. Уровень контролируемых знаний и умений: узнавание - 137 (11,8 %), воспроизведение - 256 (22,0 %), применение - 771 (66,2 %).
3. Типы расчетных задач: прямые - 370 (78,1 %), обратные - 102 (21,5 %), комбинированные - 2 (0,4 %).
4. Взаимосвязь ответов в двойных заданиях: независимые - 448 (79,4 %), последовательные - 116 (20,6 %).
5. Трудность: лёгкие - 309 (26,5 %), средней трудности - 626 (53,8 %), трудные - 229 (19,7 %).
6. Значимость: высокая - 917 (78,8 %), средняя - 247 (21,2 %).
После поправок, внесённых методической комиссией, все задания соответствуют текстологическим требованиям и современному содержанию, терминологии и символике в химии.
Зимняя экзаменационная сессия для студентов общетехнических направлений и специальностей 2008-2009 учебного года проведена с использованием новых заданий. При этом никаких замечаний по содержанию заданий не поступило.
Работа по созданию контролирующих материалов обобщена в монографии [12], которая получила высокую оценку на Всероссийской выставке-презентации учебных изданий в рамках реализации программы «Золотой фонд отечественной науки», которую проводит Российская академия естествознания. За эту монографию и другие учебные материалы получен диплом «Золотая кафедра России»
Но, несмотря на положительные результаты проведенных работ, её необходимо продолжать с целью дальнейшей оптимизации банка контролирующих материалов в целом и каждого задания в отдельности. Основные направления дальнейших работ по совершенствованию контролирующих заданий следующие.
- 1. Набор заданий соответствует 86 целевым установкам, тогда как общее число целевых установок - 100. Необходимо довести валидность банка до 100 %.
- 2. Недостаточно заданий, проверяющих теоретические знания. Это слабое место всех тестовых методов контроля, но широкая типология заданий по химии [10] позволяет найти возможности преодоления этого недостатка. Например, задания на оценку суждений позволяют проверять теоретические знания студентов.
- 3. Целесообразно провести разделение целевых установок и соответствующих им заданий на более и менее значимые и увеличить долю заданий, оценивающих знание более значимого материала.
- 4. Необходимо увеличить число заданий, проверяющих третий уровень обученности студентов (применение), что достигается использованием расчетных задач, доля которых в банке (40,7 %) недостаточна.
- 5. При введении в банк новых расчетных задач, необходимо использовать задачи обратные, комбинированные и с межпредметными связами, что соответствует компетентностному подходу в образовании.
Разработка объективных методов контроля и аттестации студентов в Томском политехническом университете является приоритетным направлением совершенствования образовательной деятельности, так как она соответствует кредитно-модульной системе организации учебного процесса и гарантирует повышение качества специалистов. Поэтому наш опыт востребован в университете и к нему возрастает интерес других вузов.
Выражаем благодарность за участие в составлении и экспертизе заданий Вороновой Г.А., Голушковой Е.Б., Горбатенко В.В., Ильину А.П., Кашкан Г.В., Коршунову А.В., Мирошниченко Ю.Ю., Плакидкину А.А., Перевезенцевой Д.О., Родкевич О.Б., Свинцовой Л.Д., Смоловой Л.М., Шиян Л.Н., Юрмазовой Т.А.
СПИСОК ЛИТЕРАТУРЫ:
- 1. Гребнев Л.С. Российское высшее образование в Болонском измерении // Проблемы вхождения России в Европейское образовательное пространство: Материалы зонального совещания 18-20 октября 2004 г. - Екатеринбург: Изд-во Уральского университета, 2004. - С. 13-24.
- 2. Скэттон Л.Х. Краткий обзор инновационных технологий в оценке образовательных достижений, используемых в ЕТS // Развитие национальной системы экзаменов: опыт России, СНГ и США: Материалы международной конференции. - М.: Изд-во «Весь Сергиев Посад», 2003. - С. 28-32.
- 3. Мелицинек А. Инженерная педагогика. - М.: МАДИ (ТУ), 1998. - 185 с.
- 4. Минин М.Г., Стась Н.Ф., Жидкова Е.В., Родкевич О.Б. Тестовая технология контроля знаний по химии // Известия Томского политехнического университета, 2005. - Т. 308. - № 4. - С. 231-235.
- 5. Майоров А.Н. Теория и практика создания тестов для системы образования. - М.: Народное образование, 2000. - 352 с.
- 6. Примерная программа дисциплины «Химия» / Составители А.Ф. Воробьев, Н.В. Коровин. - М. УМО МО РФ по химии. - ГНИИ ИТТ «Информика», 2000. - 6 с.
- 7. Коровин Н.В. Общая химия: Учебник для вузов. - М.: Высшая школа, 2006. - 559 с.
- 8. Стась Н.Ф. Хронология создания учебно-методического комплекса на кафедре общей и неорганической химии ТПУ // Известия Томского политехнического университета, 2005. - Том 308. - № 2. - С. 230-236.
- 9. Аванесов В.С. Форма тестовых заданий. - М.: Центр тестирования, 2005. - 156 с.
- 10. Стась Н.Ф. Классификация и составление параллельных заданий для тестов по химии // Вопросы тестирования в образовании, 2004. - № 11. - С. 46-52.
Библиографическая ссылка
Стась Н.Ф., Мамонтов В.В., Князева Е.М., Галанов А.И. РАЗРАБОТКА ЗАДАНИЙ ДЛЯ ОБЪЕКТИВНОЙ ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ // Современные проблемы науки и образования. – 2009. – № 5. ;URL: https://science-education.ru/ru/article/view?id=1229 (дата обращения: 21.11.2024).