На современном этапе развития системы высшего образования особое внимание уделяется индивидуализации обучения, которое позволяет развивать личность студента и расширять его знания с учетом его способностей и возможностей. Кроме того, при работе со студентами высшей школы необходима корректировка уровня знаний, умений и навыков, которые были сформированы до поступления в высшее образовательное учреждение, в частности, уровень знаний студентов по иностранному языку сильно отличается в зависимости от того, закончили они школу с углубленным изучением иностранного языка или нет, учились они на территории Российской Федерации или стран СНГ [1]. Поэтому для повышения качества образования в Казанском национальном исследовательском технологическом университете активно внедряется дифференцированный подход к обучению иностранному языку и в бакалавриате, и в магистратуре. Поскольку для изучения данного предмета по учебному плану выделяется сравнительно небольшое количество часов, для индивидуализации обучения появляется возможность использовать дистанционную поддержку, которая позволяет студентам заниматься дополнительно, в зависимости от их уровня и цели изучения иностранного языка [2].
Дифференцированный подход к обучению студентов заключается в создании трех базовых траекторий обучения, которые реализуются в форме дистанционной поддержки на платформе moodle.kstu.ru. Первостепенные задачи преподавателя в данном процессе – правильно определить исходный уровень обучающегося, выбрать соответствующую траекторию обучения и контролировать работу студента, переключая его с одной траектории на другую при необходимости. Для экономии времени, обеспечения независимой и объективной оценки знаний студента, а также для определения продвижения студента успешно используются тестовые технологии в дистанционном формате [3].
Цель исследования – анализ оценочных процедур в виде онлайн-тестирования, которые используются как часть дифференцированного подхода к изучению английского языка в рамках высшей школы. Новизна исследования - разработка и анализ тестовых заданий в зависимости от уровня студента, этапа работы с курсом и индивидуальной траектории обучающегося.
Материалы и методы исследования
Материалом исследования являются тестовые задания, которые используются при оценивании знаний студентов магистратуры онлайн (программа «Промышленное окрашивание») в рамках курса «Профессионально ориентированный иностранный язык». Курс организован с использованием дистанционной поддержки, которая нацелена на дифференциацию образовательного процесса. Данная система была впервые использована в 2018 году и проходила неоднократную корректировку в зависимости от результатов обучения и отзывов студентов. Особый интерес данная система вызвала у иностранных студентов, которые имеют сложности с обучением из-за недостаточных знаний как английского, так и русского языков. Дифференцированный подход заключается в том, что студенту предлагаются три базовые траектории (Basic - базовая, Intermediate - средняя, Advanced - продвинутая), которые представлены в виде отдельных заданий онлайн [4].
В рамках каждого содержательного модуля имеются следующие блоки:
· введение новой лексики,
· тренировка навыков аудирования,
· тренировка навыков чтения,
· перевод,
· промежуточный контроль.
Каждый блок представлен в трех вариантах в зависимости от уровня знаний студента.
В данном проекте тестовый контроль выполняет следующие функции:
· контролирующую – контроль того, что студент усвоил на каждом этапе обучения;
· обучающую – студент может выполнять любой тест (кроме диагностического) несколько раз, пока не усвоит материал;
· диагностическую – тест определяет проблемные места у студента, студенты распределяются по уровням;
· корректирующую – студент по результатам тестирования может изменить траекторию обучения при согласовании с преподавателем [5].
Результаты исследования и их обсуждение
В современной тестологии, считается, что основные показатели качества теста – валидность (пригодность использования теста, но для достижения определенной цели) и надежность. Кроме того, при использовании теста важна легкость подсчета результатов и удобство для студентов при его выполнении [6]. Валидность в основном и определяет эффективность теста, причем с содержательной, конструктной и диагностической точки зрения [7].
Разработчиками заданий по английскому языку анализировались задания международных экзаменов TOEFL и IELTS, также использовалась спецификация и кодификатор ЕГЭ, так как разработчики курса являются действующими экспертами по проверке работ ЕГЭ.
При составлении тестовых заданий имели место следующие этапы:
· Предварительный этап (планирование теста, его составление и изменение теста по результатам первичной апробации).
· Составление теста (заданий и спецификации).
· Применение теста (подготовка, проведение, обработка результатов, интерпретация).
· Анализ результатов тестирования и редактирование текста.
В рамках курса «Профессионально ориентированный иностранный язык» основная часть тестов составляется на проверку понимания информации, представленной в виде текста или аудиосообщения. При составлении заданий теста разработчики курса основывались на том, что понимание любого сообщения (звукового или текстового) бывает следующих типов:
· фрагментарное,
· глобальное (общее),
· детальное
· критическое [7].
Каждая из трех траекторий соответствует определенному уровню понимания текстового и звукового материала, а именно:
· для базового уровня характерно фрагментарное и глобальное понимание,
· для среднего – глобальное и детальное,
· для высокого – детальное с элементами критического.
Выбор и формулировка тестовых заданий ориентированы на проверку данных видов понимания текста или звукового сообщения. К сожалению, вышеупомянутый выбор и формулировка заданий ограничены возможностями платформы MOODLE, поэтому в целом в курсе используются следующие типы заданий:
• поиск соответствий и совпадений,
• множественный выбор,
• заполнить текст (выбрать из готовых ответов или вписать свой в зависимости от выбранной траектории),
• ввести правильный ответ,
• задания на трансформацию слова,
· правильно / неправильно (true/false).
К данным заданиями добавляются задания нетестового характера - развернутый ответ и перевод текста с использованием профессиональной лексики.
Использование тестовых технологий актуально не только на этапах контроля, но и на всех трех этапах реализации дифференцированного подхода при изучении иностранного языка со студентами:
1. Диагностика
Для диагностики уровня студента и определения его на соответствующую траекторию авторами разработан тест, состоящий из трех блоков заданий:
· базовый уровень (задания с множественным выбором для проверки знаний в области грамматики и соответствующие задания для проверки понимания текстового материала);
· средний уровень (задания на трансформацию слова для проверки знаний в области грамматики и задания, направленные на поиск логических и семантических связей для проверки навыков чтения);
· продвинутый уровень (задания по трансформации для проверки грамматических навыков и множественный выбор для понимания детальной информации и проверки навыков чтения).
В зависимости от результатов диагностического тестирования студенты делятся на три группы: базовый уровень, средний и продвинутый.
2. Реализация
На данном этапе используются так называемые progress tests - тесты, показывающие, насколько успешно усвоена та или иная часть материала. В каждом модуле представлены задания для трех уровней обучения, в частности задания на отработку профессиональной лексики [8; 9]. Тестовые задания используются и на первом этапе (введение текстового материала), а именно, задания на поиск соответствия слова и его перевода. Студент обязан выполнить задания, предназначенные для его траектории, но имеет возможность выполнять задания, предназначенные для более высоких категорий, если считает нужным.
• Контроль (оценка)
На данном этапе используются achievement tests – тесты, которые показывают, насколько успешно студент освоил материал. Для оценки уровня знаний используются два типа тестов: промежуточные (в конце каждого модуля) и итоговые (задания с множественным выбором и cloze). Итоговый контроль представлен в виде трех текстов в зависимости от уровня обучения. Для получения положительной оценки студенту достаточно пройти успешно только свой уровень, но для получения оценки «отлично» необходимо завершить продвинутый уровень.
Как уже было сказано, тестовые задания зависят от уровня понимания материала, которое требуется от студента. При понимании звукового сообщения студентам предлагается видеоотрывок для базового и среднего уровня и аудиотрек для высокого уровня, так как видеоотрывок на профессиональную тематику воспринимается легче благодаря визуальному ряду, который помогает понять студентам, о чем речь. Соответственно, для базового и среднего уровня предлагается задание в виде заполнения текста (задание на поиск логических и семантических связей), а для высокого уровня – задания на множественный выбор (задания на детальное понимание). При определении уровня владения навыками чтения, на базовом уровне предполагается тренировка навыков просмотрового чтения и задания на поиск соответствия, выбор названия текста, соединения частей предложения. Поиск логико-семантических связей для среднего уровня и, соответственно, задание на заполнение пропусков и определение правильной / неправильной информации. Например, Fill in the text with the following words: antioxidant, thin consistency, essences, wood-by products, waterproof layer, wax, humidity. Use the information from the video “How to make an oil-based varnish”:
The speaker shows how to prepare an oil-based varnish for all kinds of wood and 1) ___________. Two compounds are prepared. The first or basic one will have a 2) ____________. The second one used for finishing will contain a little 3) __________ to make it thicker. The speaker uses a blend of oils and 4) ________. The first ingredient is tung oil. When it is applied on woods, it protects the wood and create a 5) _____________. These products are mixed and heated to obtain a homogeneous mixture. The next ingredient is linseed oil. It protects the woods against 6) _________, insects, fungi and UV light. The mixture of the oils will be the base of the varnish and make up 50% of both compounds. The next ingredients are orange essence which makes it easier for the blend to penetrate wood. Then camelia oil is added, which is an 7) _________, and turpentine essence, which will be used as a thinner. We add it to both compounds as well.
Поиск конкретной информации представлен в следующем примере, когда определенное слово необходимо перетащить в нужную часть таблицы. Study the list of properties and decide what property is characteristic for colloidal systems or polymer solutions. You can use one property twice: thermodynamically stable, one-phase, two-phase, stable, irreversible, not reversive, swelling
Для продвинутого уровня предлагаются задания с несколькими вариантами ответов, которые одновременно проверяют общее понимание прочитанного, установление логических связей текста и детальное понимание текста. Используются следующие типы вопросов с множественным выбором:
· определение термина;
· описание качества вещества;
· структура и содержание вещества;
· цель использования вещества;
· сравнение характеристик вещества;
· причинно-следственные связи;
· вопросы с отрицанием.
После апробации были выделены следующие дополнительные рекомендации для составления тестовых заданий:
· Варианты выбора должны быть однозначные и не допускать различное толкование. В ситуации с профессионально ориентированным иностранным языком дополнительная проблема возникает, когда содержание предложенного текста не соответствует информации, изучаемой студентами на основных предметах (например, имеется много различных методик промышленного окрашивания, или взгляды на определенные явления у отечественных и иностранных ученых не совпадают). В данном случае желательно, чтобы дистрактеры не содержали информации, представленной на лекциях. Для этого особо эффективна обратная связь со студентами.
· Порог оценивания должен меняться в зависимости от количества вопросов – если вопросов мало, он должен быть ниже, и ценность каждого вопроса повышается. Если студент не выполнил все задания, это не значит, что он не получит положительную оценку. То есть для получения оценки «отлично» не обязательно стопроцентное выполнение теста.
· Исключить для базового и среднего уровня вопросы с NOT, EXCEPT, так как студенты больше времени тратят на понимание формулировки вопроса, чем на поиск правильного ответа.
· При создании вопросов, где необходимо впечатать слово, должны быть четкие инструкции относительно регистра, кроме того, из ответа желательно исключить сложные слова (словосочетания), которые допускают различные виды написания. Например, offline gas, off-line gas.
· При наличии нескольких правильных ответов необходимо обязательно указывать, сколько их надо выбрать студенту.
· Даже в вопросах на детальное понимание текста необходимо проверять знание основных содержательных деталей, а не несущественных мелочей.
· Количество опций в вопросах на множественный выбор должно быть не более четырех.
· Грамматические особенности лексических единиц не должны мешать/ помогать при выборе ответа.
Заключение
Использование тестовых заданий в рамках дифференцированного подхода к обучению иностранному языку в магистратуре позволяет значительно улучшить качество преподавания предмета. Несмотря на то что тестовые технологии оценивают в основном не продуктивные навыки, а рецептивные при изучении иностранного языка в магистратуре, данный тип оценки и корректировки знаний является эффективным, так как основная цель магистрантов – читать, понимать и переводить научную литературу по специальности. Тестовые задания используются на всех этапах работы с курсом (диагностика, реализация и контроль) и зависят от уровня понимания материала, который требуется от студента: для базового и среднего уровня предлагаются задания на поиск логико-семантических связей и общего понимания текста, а для высокого – множественный выбор (задание на детальное понимание). По результатам обратной связи со студентами определены особенности формулировки заданий для данной специальности: однозначность ответов, изменение порога оценивания, учет регистра и грамматических особенностей лексики, концентрация на важных деталях.