В Концепции модернизации российского образования задача создания независимой системы оценки качества образовательного процесса рассматривается как одна из важнейших современного образования. К важным элементам системы качества образования относится мониторинг результатов деятельности обучающихся, который должен проводиться на всех уровнях и ступенях образовательного процесса. Проблема выбора метода исследования уровня подготовки обучающихся, качества сформированных знаний, умений и навыков имеет важное значение для общего среднего образования [1].
Определенный вклад в решение этой проблемы в свое время внесли Френсис Гальтон, создавший тест как инструмент для мониторинга результатов обучения, Э. Торндайк и Р.Д. Фишер [2]. Согласно современным требованиям, оцениваться должен уровень образовательных результатов обучающихся, определяемый для каждого учебного предмета в соответствии с образовательными программами и ФГОС. Одним из современных методов оценки уровня подготовки обучающихся является тестирование.
Тестирование как метод контроля позволяет получить оценку качества подготовки обучающихся, стандартизировать методику измерений и интерпретации результатов. Тестирование можно организовывать как работу обучающихся с тестом на печатной основе, так и с компьютером. Используя современные средства программирования, можно разрабатывать достаточно универсальные компьютерные тесты многоцелевого назначения. Данная форма контроля позволяет использовать различные виды наглядности, учитывать индивидуальные особенности тестируемых, автоматизировать обработку получаемых данных. Проблемой компьютерного тестирования является выбор инструментов и программ для разработки тестовых заданий.
К достоинствам этого метода относятся: технологичность исследования, возможность хранить и сравнивать результаты контроля, а также выявлять причины пробелов в обучении [3]. Тестирование может выполнять различные функции в зависимости от этапа урока. Например, при актуализации знаний для правильного решения тестового задания обучающимся может понадобиться ранее изученный материал, таким образом, тестирование позволяет выявить «пробелы» в знаниях [4]. Тестовые методики позволяют выделять главное в рассматриваемой теме, обратить внимание обучающихся на важные теоретические аспекты в процессе первичного закрепления материала. Тестирование предполагает реализацию как самостоятельной, так и коллективной форм работы, обсуждение наиболее трудных заданий, способствует активизации самоконтроля и рефлексии обучающихся на различных этапах урока [5].
Тестовые методики играют важную роль в оптимизации учебного процесса при разноуровневой подготовке класса, реализации широкого и глубокого контроля за освоением знаний обучающимися. С одной стороны, они способствуют решению проблемы индивидуализации заданий в зависимости от уровня освоения изучаемого материала обучающимся [2]. С другой стороны, использование информационных технологий позволяет автоматизировать расчеты, организовать изучение нового материала с применением развивающих игр и программ, что, в свою очередь, способствует развитию познавательного интереса у обучающихся, развивает их информационную культуру, знакомит с современными подходами решения проблемных ситуаций на уроках.
Несомненными достоинствами тестовых методик являются: объективность получаемой оценки, «равенство» обучающихся в процессе контроля, охват значительного объема учебного материала при проверке, сравнительная легкость интерпретации результатов тестирования, экономия времени на проверку знаний. Применение компьютерного тестирования в учебном процессе способствует обобщению учебного материала, выявлению причинно-следственных связей, актуализации ранее изученных тем, развитию логического мышления при решении нетиповых тестовых заданий.
К недостаткам тестирования можно отнести: длительность и трудоемкость разработки тестов; необходимость конфиденциальности для обеспечения объективности результатов тестирования; возможность большой вероятности «угадывания» правильных ответов; необходимость устранения некорректных заданий после каждого тестирования.
Разработка тестов, по нашему мнению, предполагает выполнение следующих требований: значимость; научная достоверность; репрезентативность (наличие в тесте основных структурных элементов содержания предмета в необходимом для контроля объеме); возрастающая сложность учебного материала; вариативность в зависимости от содержания изучаемого материала и объема часов; системность содержания; валидность; комплексность и сбалансированность теста; взаимосвязь содержания и формы.
В работе представлены результаты эксперимента по оценке эффективности использования компьютерного тестирования на занятиях по технологии. Эксперимент проводился на базе МБОУ «Школа № 190» г. Нижнего Новгорода с обучающимися 7-х классов.
Апробация разработанных тестовых заданий в исследовании осуществлялась на уроках технологии в 7 «А» классе – экспериментальная группа, и 7 «Б» классе – контрольная группа. Обучающиеся 7 «А» класса проходили компьютерное тестирование, при этом в случае ошибки при ответе на конкретный вопрос они имели возможность ответить повторно на аналогичный вопрос. В 7 «Б» классе обучающимся выдавался бланковый тест, предполагающий только одну попытку ответа. Тестирование проводилось по теме «Технологии ручной обработки металлов и искусственных материалов», общее количество тестируемых – 24 мальчика (по 12 человек в каждой группе), количество тестовых заданий j =20. Для создания тестов использовалась программа Visual Studio [6]. В работе определялось «среднее» достижение группы испытуемых (ДГ), позволяющее оценить эффективность тестирования как средства контроля знаний, валидность теста. Валидность тестовых заданий характеризуется ниже представленными показателями:
– частота выполнения j – го задания (количество правильных ответов j – го задания);
– доля правильных ответов, пропорциональная числу тестируемых;
– количество неправильных ответов j –го задания;
– индекс трудности, который определяется по формуле [7]:
, (2)
где – количество тестируемых,
j – число тестовых заданий (j=20),
i – количество тестируемых,
первичный балл испытуемых (дает оценку за пройденное тестирование).
Необходимо отметить, что при компьютерном тестировании в случае правильного ответа с первой попытки , при повторной попытке.
«Среднее» достижение группы испытуемых (ДГ) определялось по формуле [8]:
. (3)
Анализ полученных результатов (рисунки 1–3) позволяет сделать следующие выводы:
- тест валиден, так как индекс трудности тестовых заданий лежит в промежутке;
- имеют индекс трудности заданий, находится в пределах от 0,3 до 0,4, что свидетельствует о грамотности построения теста;
- процент угадывания находится в интервале от 0,14 до 0,25;
- эффективность тестирования как средства контроля знаний по технологии, определенная по формуле (3):
Полученные данные показывают, что при равном количестве тестируемых (12 обучающихся) «среднее» достижение класса 7 «А» выше, чем у контрольной группы 7 «Б». Во-первых, это связано с возможностью использования при компьютерном тестировании второй попытки ответа. Во-вторых, при компьютерном тестировании обучающиеся лучше понимают инструкцию и смысл вопроса в заданиях на установление соответствия, которые составляют 30 % теста. В-третьих, несмотря на то, что показатель эффективности теста лежит в интервале от 12 до 16 верно решенных заданий (рисунок 1), значительная часть обучающихся получила оценку «3». Количество обучающихся, получивших оценки «4» и «5», при компьютерном и при бланковом тестировании примерно одинаково.
Рис. 1. Сравнительный анализ оценок обучающихся экспериментальной и контрольной групп по результатам тестирования по технологии
Анализ матрицы ответов тестируемых обеих групп позволил выявить задания, вызвавшие наибольшие затруднения у обучающихся:
- задания на альтернативный ответ (воспроизведение), направленные на выявление умения рассуждать;
- задания множественного выбора (самостоятельное изучение), направленные на проверку знаний классификации токарных резцов и их назначения;
- задания на установление соответствия (самостоятельное изучение), направленные на проверку уровня знаний профессий, связанных с обработкой металла, умения соотносить элементы станков, ручных режущих инструментов, технологических операций с их названиями;
- задания множественного выбора (использование знаний при выполнении нестандартных заданий), направленные на выявление умения интерпретировать изученный материал и владения навыками соотношения элементов режущего инструмента и их буквенного обозначения.
Основными факторами, оказывающими влияние на качество выполнения тестовых заданий по теме «Технологии ручной обработки металлов и искусственных материалов», являются:
- снижение уровня самостоятельности обучающихся при работе с учебниками, в частности, такими как [9,10];
- недостаточное количество учебников одного образца, что усложняет подготовку к тестированию;
- неумение обучающихся интерпретировать изученный материал в соответствии с тестовым вопросом;
- несформированность навыка соотносить технологические элементы и понятия с их названиями и обозначениями.
Задания в тестах были I, II и III уровней (I уровень – задания на воспроизведение знаний; II уровень – на применение знаний в нестандартной ситуации; III уровень – задания на самостоятельно освоенный материал). Следует отметить, что у обучающихся вызывали затруднения задания I и II уровней трудности (рисунок 2), что подтверждает вышеперечисленные причины наиболее частых ошибок при выполнении тестовых заданий. Анализ результатов тестирования 7 «А» класса показал, что при одинаковом количестве испытуемых общее число допущенных ошибок равно 84 (I – 29, II – 30, III - 25), в то время как у 7 «Б» класса – 97 (I – 35, II – 35, III – 27). Это связано с тем, что при компьютерном тестировании обучающиеся имели возможность повторно ответить на аналогичный вопрос, а для бланкового тестирования характерно невнимательное прочтение обучающимися инструкций по выполнению тестовых заданий и, как следствие, ошибки при ответе.
Рис. 2. Распределение тестовых заданий по уровню трудности
Наибольшее число ошибок было допущено при выполнении тестовых заданий на дополнение (рисунок 3), что свидетельствует о явных затруднениях в применении полученных знаний.
При компьютерном тестировании открытые вопросы вызвали меньше затруднений, чем при бланковом контроле, несмотря на то, что вероятность ошибки в первом случае значительно выше. Связано это с тем, что в программе ответ дается в конкретной форме и любое отличие от нее в ответе обучающегося (изменение окончания, орфографическая ошибка и т.п.) приводит к тому, что ответ не засчитывается. Индекс трудности тестовых заданий 7 «А» класса можно охарактеризовать как равномерно распределенный в отличие от результатов 7 «Б».
Основной ошибкой обучающихся при бланковом тестировании было неправильное распределение времени для выполнения заданий.
Рис.3. Распределение тестовых заданий по индексу трудности
Как правило, испытуемые в первую очередь отвечали на вопросы, не вызывающие у них сомнения, а затем приступали к остальным тестовым заданиям, пытаясь ответить на них, используя общую эрудицию и интуицию или пробуя просто угадать ответ. Это свидетельствует о том, что обучающиеся не всегда уверены в своих знаниях, умениях и навыках, полученных на учебных занятиях.
Тестирование по теме «Технологии ручной обработки металлов и искусственных материалов» можно считать эффективным, так как оно позволило выявить уровень знаний обучающихся, причины ошибок при выполнении ими тестовых заданий.
Проведение качественного анализа тестовых заданий предполагает выполнение следующих рекомендаций:
- предварительное изучение психолого-педагогических особенностей группы тестируемых;
- руководство правилом: чем больше число тестируемых, тем достовернее результаты интерпретации;
- анализ учебного материала для тестирования с учетом темпа освоения учебного материала обучающимися;
- построение тестовых заданий разного уровня сложности;
- исключение некорректных заданий после каждой апробации теста, увеличение его репрезентативности.
Необходимо учитывать, что незначительно на результаты тестирования могут влиять такие факторы, как окружающая обстановка (свет, погода, шум, температура), эмоциональное и физическое состояние тестируемых и другие. Ниже представлены особенности компьютерного тестирования как средства контроля знаний обучающихся:
1) обеспечение объективности оценки учебных достижений;
2) реализация автоматизированной статистической обработки достижений обучающихся;
3) возможность проводить проверку большого объема информации и уровня владения ею каждым испытуемым;
4) более точная шкала оценивания, состоящая из 20 делений (вопросов) в отличие от обычной, состоящей из четырех;
5) обеспечение равных условий для всех обучающихся за счет использования единой процедуры и критериев оценки, что снижает психоэмоциональные стрессы.
Таким образом, тест как инструмент проверки знаний обучающихся, основными задачами которого является контроль и обобщение изученного материала, является эффективным при организации учебного процесса. Однако следует отметить, что при решении других задач, например, творческих задач или в проектной деятельности, необходимо сочетать тесты с другими методами контроля усвоения обучающимися учебного материала, так как они не всегда позволяют в полной мере оценить умения и навыки обучающихся. В заключение следует отметить, что разработка адаптированных к личностным особенностям испытуемых программ тестирования, так называемых нетрадиционных тестов, возможна только с использованием информационных технологий.
Библиографическая ссылка
Пачурин Г.В., Тюмина Н.С., Шевченко С.М. АНАЛИЗ ТЕСТИРОВАНИЯ КАК СРЕДСТВА КОНТРОЛЯ ЗНАНИЙ ОБУЧАЮЩИХСЯ // Современные проблемы науки и образования. – 2017. – № 4. ;URL: https://science-education.ru/ru/article/view?id=26716 (дата обращения: 13.10.2024).