Широкое применение компьютерно-информационных технологий на уроке иностранного языка диктуется современной реальностью, когда взаимоотношения ученик – учитель (в этом случае мы говорим об обучении в целом) часто опосредованы разного рода техническими коммуникационными средствами и обусловлены возрастающей ролью Интернета и дистанционной формы обучения. Проблема знания и грамотного использования технических средств остается немаловажной и имеет несколько подходов к решению: организационный – обучение педагогов компьютерной грамотности, методический – разработка методов, приемов и средств работы с использованием компьютера, психолингвистический – изучение психологических особенностей обучения с использованием технических средств. В данной статье затрагивается проблема проведения тестирования на уроках иностранного языка с использованием имеющихся интернет-программ.
Целью исследования стало изучение особенностей проведения тестирования при определении качества знаний иностранного языка. Задачи исследования: а) обозначить основные проблемы тестирования; б) изучить имеющиеся средства создания тестов при помощи общедоступных интернет-конструкторов; в) дать рекомендации по проведению тестирования с помощью имеющихся интернет-конструкторов.
Материал и методы исследования
Материалом исследования послужили работы студентов филологического факультета Московского университета имени А.С. Грибоедова (будущих учителей), сравнивавших преимущества и недостатки конструкторов Hot Potatoes, Learning Apps.org, Online Test Pad, Google Forms по критериям, которые им показались наиболее важными при создании теста. С помощью методов анализа и синтеза были получены наиболее важные параметры, которым должен соответствовать тест, и подготовлены рекомендации по использованию данных программ в обучении иностранному языку, обозначены особенности их применения в тестах.
Результаты исследования и их обсуждение
Общеизвестно, что любой компонент урока (тестирование в том числе) должен отвечать общей цели урока и ее задачам, находиться в рамках выбранной стратегии (подхода) и, как следствие, входить в набор форм, методов и средств, реализующих ее наилучшим образом [1].
Существует множество определений термина «тестирование», однако мы приведем те из них, которые наилучшим образом указывают на возможные проблемы тестирования. Тестирование, согласно И.П. Подласому, – целенаправленное, одинаковое для всех обследование, проводимое в строго контролируемых условиях, позволяющее объективно измерять характеристики и результаты обучения, воспитания, развития учащихся, определять параметры педагогического процесса. От других способов обследования тестирование отличается точностью, простотой, доступностью, возможностью автоматизации [2, с. 152]. По определению В.П. Беспалько, «тест – это любая по форме и содержанию контрольная процедура (задание (З)), предлагаемая учащемуся для определения (измерения) качества усвоения им программы обучения, обеспеченная эталоном (Э), т.е. образцом полного и правильного выполнения задания» [3, с. 4]. В связи с этим в качестве основных проблем тестирования В.П. Беспалько называет следующие: отсутствие эталона выполнения теста как необходимого элемента объективного контроля (речь идет о наличии для тестируемого обратной связи в ходе прохождения тестирования); «секретивность» контроля, нарушающая валидность тестирования, а именно попытка одномоментно, в искусственно создаваемых стрессовых условиях охватить огромной пласт содержания, изучение которого осуществляется в течение длительного периода времени. В этом случае проверяется не усвоение обучающимся некоторой деятельности, а его оперативная память, объем которой, как известно, ограничен и не отражает всего содержания предмета, хранящегося в долговременной памяти, полная проверка усвоения которого невозможна единственным и по необходимости кратким тестом; отсутствие учета индивидуального темпа деятельности при выполнении теста; выход содержания тестов за пределы содержания изучаемого предмета; превышение уровня абстракции [3]. К этому перечню проблем мы бы также добавили: субъективность создания теста (как правило, педагог ориентируется на собственное понимание важности включения той или иной темы в тест); невозможность проверить ход мыслей тестируемого в процессе выполнения тестовых заданий; семантическую многозначность формулировок заданий (часто тестируемый сталкивается с затруднениями при восприятии инструкций); излишнюю многозадачность теста.
Очевидно, что перечисленное относится скорее к содержательному блоку проблем, связанных с тестированием, но существует еще один блок, связанный с созданием теста. Чтобы понять, какие трудности могут иметь место при конструировании теста, магистрантам МУ имени А.С. Грибоедова (15 человек) было дано задание создать тест (на любую тематику), пользуясь следующими интернет-конструкторами: Hot Potatoes, Learning Apps.org, Online Test Pad, Google Forms. В процессе создания теста они должны были: а) изучить возможности вышеперечисленных интернет-программ; б) сформулировать критерии, которые они считают наиболее важными при практической реализации данных программ в процессе тестирования; в) выбрать наиболее эффективную, по их мнению, программу для создания теста.
Таблица 1
Критерии эффективности интернет-конструкторов Hot Potatoes, Learning Apps.org, Online Test Pad, Google Forms в процессе создания теста и частота их упоминания в сравнительных характеристиках студентов «МУ имени А.С. Грибоедова»
|
№ |
Критерии оценки интернет-конструкторов |
Частота их упоминания |
|
1. |
Легкость, доступность, простота интерфейса |
8 |
|
2. |
Удобство в использовании для обучаемых |
4 |
|
3. |
Наличие дополнительных функций |
4 |
|
4. |
Разнообразие возможных тестовых заданий |
12 |
|
5. |
Эстетичность, дизайн |
7 |
|
6. |
Возможность соединять различные типы заданий (в том числе аудио/ видео) |
7 |
|
7. |
Наличие проверки вручную, инструментарий для анализа результатов |
3 |
|
8. |
Возможность работы с тестом online и offline, без скачивания программы |
4 |
На основании анализа возможностей данных программ при создании теста студенты также должны были порекомендовать одну из четырех программ для создания теста. В итоге наибольшее количество рекомендаций было дано программе Online Test Pad (7 студентов из 15 порекомендовали именно эту программу) и Learning Apps.org (6 из 15), программам Google Forms и Hot Potatoes было отдано по 1 голосу.
Судя по предложенным критериям, студенты как пользователи программы уделили основное внимание легкости использования программы, дизайну и разнообразию возможностей, забыв при этом о доступности и удобстве теста для испытуемого (4 упоминания из 15) и вообще не помня о таких параметрах, как тайминг, доступ к эталону, возможность для разноуровневого и разновекторного анализа работ тестируемых. Это говорит о том, что такая тенденция может наблюдаться и среди более опытных создателей тестов (как показывает практика, педагоги (учителя), разрабатывающие тест, забывают о необходимости реального тайминга и вариативности (по уровню знаний, по вариантам и т.д.)), таким образом, обезличенность тестирования, отсутствие индивидуально-личностного подхода является важнейшим фактором, нарушающим объективность оценки знаний. Указанные проблемы могут и должны быть устранены при проведении тестирования.
Рассмотрим имеющиеся классификации тестов, чтобы понять возможные корреляции между проблемами и имеющимся набором тестов. Существует несколько классификаций тестов в зависимости от того или иного параметра. В частности, тесты подразделяются по форме тестирования на:
1) индивидуальные и групповые. В рамках обучения иностранному языку индивидуальное тестирование, как правило, применяется чаще, чем групповое, и имеет своей целью выявление индивидуальных языковых способностей/возможностей испытуемого, уровня его языковой компетенции;
2) устные и письменные. Выбор теста в этом случае зависит от типа языковой деятельности, которая подвергается тестированию;
3) вербальные и невербальные. Эти тесты различаются по характеру стимульного материала. В вербальных тестах основным содержанием работы испытуемых являются операции с понятиями, мыслительные действия, осуществляемые в словесно-логической форме. Составляющие эти методики задания апеллируют к памяти, воображению, мышлению в их опосредованной языковой форме. В невербальных тестах материал представлен в наглядной форме. По содержанию тесты могут оценивать уровень интеллекта, специальные способности или уровень усвоения испытуемым конкретных знаний, умений и навыков, приобретенных в результате определенного курса обучения или тренировки;
4) по цели тестирования: входной, диагностический и языковой тесты [4].
Создание теста – сложная задача, связанная, прежде всего, с тем, что любой тест должен удовлетворять сразу нескольким параметрам. Он должен быть: 1) валидным; 2) соответствовать по сложности уровню знаний испытуемых; 3) иметь вариативность (или, говоря иначе, дискриминативность), т.е. различаться по уровням согласно проверяемым знаниям, умениям или навыкам [5]. Добиться выполнения всех трех критериев (валидности, вариативности по сложности и дискриминативности) можно только через индивидуальное тестирование. Выбор презентации теста испытуемому (письменный/устный), а также цель тестирования будут зависеть от проверяемых знаний и умений. Если в качестве цели стоит диагностика (сюда мы относим и входное тестирование, поскольку оно также носит диагностический характер), важнейшими требованиями к тесту должны стать многоступенчатость и посильность (от простого материала к сложному). Если целью является обучение, требуется более детальный подход в зависимости от проверяемых навыков. Рассмотрим имеющиеся интернет-конструкторы с позиции вышеназванных критериев.
Конструктор Hot Potatoes позволяет создать некоторое подобие стандартного теста (с множественным или полярным выбором) и предложить учащимся несколько вариантов решения за счет функции перемешивания вопросов. Такая опция дает возможность избежать списывания, но не задает уровни сложности. Learning Apps.org представляет собой разнообразный инструментарий, который больше рассчитан на школьника младшего или среднего звена, поскольку основная его цель – заинтересовать обучающегося и разнообразить его деятельность, а не подготовить к сдаче, например, серьезного экзамена. Создание сложных тестов в данной программе не представляется возможным. Online Test Pad имеет такую опцию, как комплексное задание. Эта опция позволяет создавать опросник с разноуровневым подходом к проверке знаний, умений и навыков. Использование Google Forms для создания многоуровневых по сложности и целям тестов возможно. Если в случае Learning Apps.org разработчик может создавать разные варианты теста для разных категорий испытуемых в одном задании, то в программе Google Forms он вынужден для каждой категории создавать свой вариант теста и, соответственно, делать каждый раз новую рассылку (хотя это тоже имеет свои преимущества). Тем не менее, Google Forms позволяет включить в тест проверку всех возможных видов иноязычной деятельности (чтение, аудирование, письмо), а также оценить знания лексики и грамматики.
Согласно преследуемой цели создания сложного, валидного, разноуровневого грамматического теста была проведена сравнительная характеристика инструментария программ Hot Potatoes, Learning Apps.org, Online Test Pad, Google Forms. Сравнительная характеристика позволила оценить возможность реализации параметров «сложность», «валидность» и «дискриминативность» (табл. 2).
Таблица 2
Сравнительная таблица сложности, дискриминативности и валидности тестов, разработанных в рамках предложенных компьютерных программ Hot Potatoes, Learning Apps.org, Online Test Pad, Google Forms
|
Программа |
Сложность |
Валидность |
Дискриминативность |
|||
|
Есть/Нет |
1–3 |
Есть/Нет |
1–3 |
Есть/Нет |
1–3 |
|
|
Hot Potatoes |
Есть |
1–2 |
Есть |
1 |
Есть |
1 |
|
Learning Apps.org |
Нет |
– |
Нет |
– |
Нет |
– |
|
Online Test Pad |
Есть |
1–3 |
Есть |
3 |
Есть |
3 |
|
Google Forms |
Есть |
1–3 |
Есть |
3 |
Есть |
2 |
Выбор параметров связан с тем, что, во-первых, сложность грамматического материала позволяет определить уровень владения языком. Во-вторых, результат прохождения теста, к примеру по грамматике, как правило, должен коррелировать с другими видами проверяемых знаний, умений и навыков. В таблице 2 каждый из параметров рассматривается по двум критериям: 1) наличие инструментария для его реализации; 2) эффективность применения параметра при разработке теста (оценка представлена от 1 до 3, где 1 – почти невозможно, 2 – можно, но недостаточно хорошо, 3 – можно достичь в полном объеме). Программа Online Test Pad наиболее полно учитывает требуемые параметры к созданию тестов. Программа Google Forms позволяет применить все параметры «правильного» теста, учитывая, что при обучении иностранному языку основными критериями станут эффективность и разнообразие инструментария в освоении таких языковых аспектов, как лексика и грамматика, и такого вида деятельности, как чтение. Таблица 3 представляет сравнительную оценку эффективности рассматриваемых программ при обучении чтению, лексике и грамматике (мы не рассматривали здесь такие виды деятельности, как говорение и письмо, поскольку обычное тестирование неэффективно для проверки данных навыков). Для этого в столбце «Инструментарий» были рассмотрены инструменты для обучения лексике, грамматике и чтению, а в столбце «Эффективность» дана оценка их эффективности по шкале 1–3, что соответствует критериям: «Высокая/Средняя/Низкая».
Таблица 3
Эффективность использования инструментария конструктора в целях обучения лексике, грамматике и чтению
|
Программа |
Лексика |
Грамматика |
Чтение |
|
Разнообразие инструментария / его эффективность |
Разнообразие инструментария / его эффективность |
Разнообразие инструментария / его эффективность |
|
|
Hot Potatoes |
разнообразный/ 2 |
разнообразный /2 |
разнообразный / 1 |
|
Learning Apps.org |
разнообразный / 1 |
разнообразный /2 |
разнообразный / 1 |
|
Online Test Pad |
разнообразный/ 2 |
разнообразный/3 |
разнообразный/ 2 |
|
Google Forms |
неразнообразный/2 |
неразнообразный/2 |
разнообразный / 1 |
В таблице 3 почти не дается самая высокая оценка эффективности (3) использования программ для обучения чтению, лексике или грамматике, поскольку наибольшую эффективность обучение этим языковым аспектам приобретает в активной межличностной коммуникации. Программа Online Test Pad лучше подходит для разработки различных форм контроля и частично – для разнообразия работы с учебным материалом. В программе Learning Apps.org. инструмент «Аудио. Видео» может успешно применяться для обучения аудированию, поскольку позволяет обрабатывать аудио/видеоматериал с сопровождением его заданиями.
Выводы
Рассмотрев блок содержательных и пользовательских проблем при проведении тестирования, мы пришли к выводу, что основными проблемами тестирования являются, во-первых, отсутствие индивидуально-личностного подхода, обезличивание тестирования (усредняется время выполнения тестирования, не всегда присутствует разноуровневость заданий, нарушается принцип «от простого к сложному», присутствует чрезмерная «всеохватность» тем); во-вторых, отсутствие дискриминативности и, как следствие, корреляции между реальным уровнем знаний и предлагаемым (уровень сложности и абстрактности теста, сложность формулировок); в-третьих, нет простоты и доступности прохождения теста, в-четвертых, нарушены валидность результатов и возможность их разностороннего анализа. Рассмотрев возможные классификации тестов, мы пришли к выводу, что основными параметрами выбора типа теста должны стать его валидность, соответствие по сложности уровню знаний тестируемых, дискриминативность. В соответствии с этими параметрами были оценены четыре типа программы-конструктора (Hot Potatoes, Learning Apps.org, Online Test Pad, Google Forms). Анализ и оценка их эффективности показали, что они могут быть использованы для разработки тестов и сложного интерактивного контента по-разному, поскольку каждая из них имеет целевую аудиторию. Если компьютерные средства конструирования типа Hot Potatoes, Learning Apps.org нацелены на обучение детей младшего или среднего возраста, а предлагаемый ими интерактивный контент имеет отчасти развлекательный характер, то программы типа Online Test Pad, Google Forms позволяют создавать разноуровневые по сложности, валидные и надежные тесты, а также задания, нацеленные на взрослую аудиторию. Интерактивный контент данных программ может быть использован для расширения активного и пассивного словаря, отработки грамматических навыков, но не подходит для реализации такого вида деятельности, как говорение.