Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

ADAPTIVE LEARNING TESTING IN SCHOOL ENGLISH COURSE

Lipina V.E. 1
1 Checkeng School by Valeriia Lipina
Abstract. In the adaptive learning and control paradigm, relevant techniques, models and adaptation mechanisms, corresponding digital profiles, "twins" are needed. It is necessary to analyze and synthesize various methods and evaluation systems for adaptive learning, control the current knowledge, appropriate adaptive mechanisms are needed. Purpose of the study. Analysis and synthesis of the principles of adaptive learning, testing for the English language course at school, opportunities and models for achieving high educational results. Personal motivation and self-control of learning are considered, testing using tree structures with a non-empty initial list. Research methods. Analysis-synthesis of systems, model and cognitive approach, identification of parameters, testing and decision-making methods, flexible and customizable adaptive mechanisms were used, in particular, a "soft" model of the type "Test intelligent platform as a service" was proposed. Results. The key advantages of adaptive training and testing, the necessary competencies of teachers are formulated, an infological scheme of adaptive testing, models of adaptive testing interactions are presented, a new model of intelligent test support as a service is proposed, a procedure for making decisions on training using decision making on a tree structure is proposed, appropriate examples are given. Conclusions. The results are applicable to the implementation of adaptive testing by English language teachers in practice (at a university, school), as well as to create new intelligent adaptive testing procedures that will change the lesson and role of the student, teacher in teaching English.
teaching
adaptive
testing
english
school course
modeling
identification

В школьном образовании динамично меняются приоритеты и процедуры обучения и контроля. В условиях построения цифровой образовательной системы и цифрового общества, высоких темпов цифровых трансформаций акцентируются индивидуальные характеристики обучения. Они отражаются профилями подготовленности, условиями и технологиями обучения и социально-экономического заказа общества, требованиями высшего образования к знаниям абитуриентов.

Свои требования на высокопрофессионального специалиста имеет и рынок труда. Необходимо совершенствовать школьное образование, ориентированное на компетенции – знания, умения и навыки. Жизненные ситуации требуют поиска оптимальных или рациональных решений при стохастических изменениях и динамичных обратных связях с окружением, так называемых экосистемных связей.

Адаптивность, адаптивный подход в образовании понимается как методика, технология адаптации и гибкой перестройки обучающего процесса [1], всего комплекса индивидуальных возможностей и стратегий обучения. Но следует учесть несовершенство адаптивных систем, нельзя сводить их лишь к компьютерным аспектам и «жестким» механизмам адаптации – как адаптацию «под архитектуру системы». С учетом различных инструментов – психометрических, педагогических измерений, социального инжиниринга и др.

Вопросами эффективного применения адаптивных тестов в обучении английскому языку посвящены, в частности, работы [2; 3]. Они затрагивают все типы тестирования:

1) диагностическое тестирование – для проверки остаточных знаний;

2) текущее тестирование – для оперативной проверки результатов обучения;

3) тематическое тестирование – для обобщения и/или систематизации по теме;

4) итоговое тестирование – аттестационное.

Пандемия COVID-19 открыла школам двери для новых технологий и инноваций в образовании. Она мобилизовала исследования и инновации по адаптивным технологиям обучения, например на основе платформ Moodle, Canvas, RealizeIT, AdaptCourseWare, Smart Sparrow и др. Например, Smart Sparrow является сервисом (платформой) разработки планов и стратегий на основе отзывов обучаемых.

Цель исследования

Работа посвящена построению и анализу адаптивного обучения, тестирования с привлечением возможностей школьного курса английского языка, профилей и моделей обучаемого, его индивидуальных возможностей. Целью работы является исследование комфортного достижения максимального уровня результатов обучения за счет активации личностной системы мотивации (свободы выбора темпа, траектории и ресурсов обучения) и контроля (обязательности демонстрации степени обученности). Например, адаптивного принятия решения по обучению, тестированию на структуре типа «дерево» с задаваемым начальным непустым списком вариантов.

Материал и методы исследования

Вместо классических связей (контактных, синхронных и реальных) в работе актуальны новые способы обратной связи и персонализации обучения (адаптивные, асинхронные и виртуальные). Вместо жестко персонализируемой адаптивности используются «мягкие», гибкие, настраиваемые технологии адаптивного обучения. Поэтому используемые автором методы также «мягкие» и гибкие, в частности ИТ-ориентированные. Предложена модель TIPaS (Testing Intelligent Platform as a Service) распределенной интеллектуальной поддержки тестирования.

Результаты исследования и их обсуждение

Эволюционный механизм адаптации должен быть индивидуально отрегулирован, т.е. процесс и контент для обучения «подстраиваются» под текущие цели и способности. Нужна осторожность при выборе адаптационного механизма и его реализации, необходимо придерживаться нижеследующих принципов.

Во-первых, необходимо формирование и развитие системы школьного образования с помощью диверсификации образовательных программ (стандартов ФГОС), поддержки гибкого управления и адаптивных технологий обучения.

Во-вторых, нужен переход к парадигме, ориентированной на компетенции, достаточные, как для поступления в вуз, осуществление необходимых информационно-коммуникационных, когнитивных, креативных процедур в определенной сфере.

В-третьих, актуален переход к профессионально ориентированному развитию личности обучаемого, его способностей и мобильности осваивать новые технологии, «цифровые» профессии.

В-четвертых, широко и глубоко (в смысле «глубокого интеллектуального проникновения, машинного обучения») следует применять веб-обучение, распределенные и облачные вычисления, адаптивный подход и интеллектуализацию в обучении.

Среди отмеченных выше требований адаптивность требуется прямо или косвенно всем четырем условиям.

Компьютерное (веб) тестирование развивается на базе инженерии знаний, интеллектуализации процессов [4, c. 49]. Его системное (широкое) понимание базируется на формальных системах (онтологии, когнитологии и др.), технологиях искусственного интеллекта, машинного и ориентированного на межкультурные компетенции обучения «всю жизнь» и «через дело» (learning by doing) с помощью систем адаптивного обучения [5].

Базовые преимущества применения адаптивных обучающих средств:

1) персонифицированное и основанное на принципах сотрудничества и партнерства обучение;

2) генерация данных и аналитики для ранней корректировки обучения;

3) демократизм, объективность и эффективность обучения;

4) обеспечение посильным контентом и различными методами и инструментами (видео, анимация, множественный выбор и др.);

5) целенаправленная адаптация по индексам и критериям обученности;

6) улучшение результатов обучающих и аттестационных испытаний, в частности с помощью адаптивного тестирования;

7) вовлечение и активация, сотрудничество обучаемых и обучающих, особенно в процессе междисциплинарного обучения;

8) использование интерактивных мотивирующих упражнений (ситуационных сценариев);

9) экономия времени преподавателей и ресурсов образовательной системы;

10) многоуровневая иерархия и разнообразие образовательных целей (программ);

11) усиление взаимодействий типа «обучающий – обучаемый», «обучаемый – обучаемый (группа обучаемых)».

Востребованы учителя, способные ставить учащимся посильные и творческие задачи и планировать ресурсы, пути их решения, способные организовать эвристический и когнитивный подход, командную креативную работу в классе, как в команде единомышленников.

У таких учителей должны быть компетенции по решению инновационных задач (способности к инновационному мышлению). Такие компетенции включают:

1) открытость к новому;

2) умение искать альтернативные решения;

3) способность «взглянуть на проблему со стороны»;

4) способность реагировать оперативно на изменяющуюся обстановку;

5) лидерство в инновационных процессах и др.

Адаптивность проявляется приспосабливаемостью к динамичным предпочтениям обучающего процесса, уточняемым на практике, чтобы дать ученику возможность понять и реализовать проблемную ситуацию, а также методику, ресурсы и структуры планирования, управления решения проблемы, которые способствуют «подъему по лестнице освоения более сложных задач» в рамках темы или раздела.

Эволюции адаптивного обучения часто мешают «следы традиционного школьного обучения». Например, человеко-машинный, «жесткий» механизм адаптации, слабая интеллектуальность, несогласованность моделей обучения и адаптации, неэффективные (линейные) подходы к учебной деятельности и др.

На рисунке предлагается инфологическая схема адаптивного обучающего тестирования.

 

Группа 51

 

Инфологическая схема адаптивного тестирования

Механизмы и алгоритмы адаптивного тестирования опираются на релевантные оценки параметров, аналитические системы и принятие решений по обученности и переходу к новому уровню компетенций.

У адаптивного тестирования есть эволюционный потенциал управляемости, адекватного отражения меры обученности и дружественная интерактивная интеграция учащегося в адаптивную и администрируемую обучающую и тестирующую среду.

В адаптивном тестировании часто используемы нижеследующие модели взаимодействий:

1) TaaS (Testing as a Service) – предоставляются базы тестов, методики проектирования, реализации тестов и анализа результатов тестирования;

2) TPaaS (Testing Platform as a Service) – предоставляется виртуальная платформа тестирования, например облачная;

3) TSaaS (Testing Soft as a Service) – предоставляется тестовая веб-оболочка (браузерная).

Онлайн-обучению требуется широкий набор адаптивных интеллектуальных образовательных стратегий, возможностей, выбираемых индивидуально от успешности обучения. Поэтому в приведенную выше систему моделей добавлена еще модель TIPaaS (Testing Intelligent Platform as a Service), которая предоставляет интеллектуальную среду распределенной поддержки тестирования, например облачный тренажер.

Пример. Облачный сервис класса TIaaS предоставляет всё необходимое для проектирования, реализации и эксплуатации прикладной среды по требованию. Это дает преимущества для обучения: оперативность, масштабируемость, возможность выбора «облачного» сервиса и решения, хранения данных, коллективной работы в веб-браузере. В том числе «за брандмауэром» школы. Сервис может предоставить ученикам и учителям инфраструктуру (частное облако), распространить сервис для самостоятельной работы школьников. Это решение можно использовать и для интерактивной сервисной поддержки участия родителей, партнеров, общественных структур, для адаптивного мониторинга. Можно обойтись без поддержки множества компьютерных классов, адаптируя образовательные сервисы по ходу обучения, с эффективной обратной связью [6].

Перспективен мультиагентный подход, который дает возможность управлять учеником (агентом) на каждом этапе обучения. У агента есть свои локальные цели, ресурсы и правила поведения, взаимодействия с окружением (пространством агентов). В процессе конкретного обучения он может сам выбирать образовательные цели и шаблоны поведения.

Пример. Облачная платформа IACPaaS (Intelligent Application, Control and Platform as a Service) поддерживает разработку, управление и удаленное использование прикладных и инструментальных мультиагентных облачных сервисов и их компонентов в различных областях [7].

Интеллектуальные сервисы позволяют формировать и развивать новые цифровые учебные отношения, учебные сообщества и творческий выбор нестандартных решений.

Интеллектуализация образовательных сред осуществляется на основе:

1) моделей компетенций, обучаемого, обучающего и процесса обучения;

2) анализа обратных связей и ответов обучаемого, адаптивного исправления неверных ответов;

3) интерактивной поддержки решаемой задачи с анализом успешно решенных задач;

4) внутренней инфраструктуры, адаптивно встраиваемой во внешнюю среду, например, образовательных сетей, ресурсов открытого типа.

Интеллектуальные обучающие среды и сценарии ситуационного обучения позволяют выбирать лучший имитационный вариант по показателям обученности и гипотезе, модели обучения.

В адаптивном тесте следующее предлагаемое задание поступает в реальном режиме и зависит от результата ответа на текущее задание. Адаптивное тестирование чаще применяется для обучающего контроля и самообразования [8] и тесно связано с адаптивным обучением. Форма контроля определяется объективными целями, содержанием, методами, инструментами и «точкой входа» (время, место).

Пример. Можно предложить шаблоны построения адаптивных тестовых заданий:

1) найти синонимичную форму;

2) вставить адекватную глагольную форму;

3) выбрать ключевые слова;

4) составить план усложнения текста;

5) распределить предложения по отношению к ситуации;

6) написать эссе на тему «Как сравнивать лекарства в веб-магазине» (ориентир – [9]).

На адаптивное тестирование и его результативность влияют и субъективные, связанные с учителем, факторы:

1) «размах» требований, уровней строгости и профессионализма;

2) загруженность учителя и сложность автоматизации тестирования (по различным оценкам, один час автоматизированного контроля требует около 40-60 часов работы учителя (подготовка, обработка и анализ тестирования);

3) различный менталитет и темп «прохода теста» учениками;

4) ненулевая вероятность «шумов» (например, списывания, предвзятости) на тестировании;

5) сложности планирования, квантования и учета компетенций в тестах;

6) сложности параметризации дифференцирующей способности каждого тестового задания;

7) сложности валидизации тестирования и эмпирической апробации тестовых заданий и др.

В рамках адаптивного тестирования будет эффективным выбирать и использовать задания базы, соответствующие уровню подготовки ученика (профиля тестируемого) [10].

Компьютерное адаптивное тестирование имеет достоинства:

1) мотивация, эффективность и устойчивость (надежность);

2) секретность и индивидуализация выполнения теста;

3) шкалируемость в интервальной шкале баллов;

4) возможность уменьшения длины теста и времени тестирования;

5) объективный «отклик» на качественно подготовленные тесты и тестирование.

Адаптивное тестирование является эффективным способом повышения качества образования [11] с эффективным учетом обратных связей при принятии решения по переходу на новый уровень (мере обученности).

Для адаптивного решения предлагается процедура на структуре типа «дерево» D, в которой S – множество вариантов (непустое), P – начальное множество («начальный пустой буфер»), K – путь в дереве или список вариантов. Процедура имеет вид:

повторять пока ()

удалить из S не соответствующие критерию адаптивности варианты;

поместить в Р вариант;

добавить в S вариант;

удалить из P варианты, находящиеся в списке K;

если () и (все значения последнего атрибута в K обработаны)

то изменить значение последнего параметра в K:

иначе удалить последний атрибут из K;

если (все примеры из одного класса)

то добавить в D лист, содержащий идентификатор класса;

иначе найти атрибут с минимальным показателем релевантности;

добавить значение с наилучшей мерой в K.

Пример. Дерево удобно для адаптивного усвоения ситуационной грамматики английского языка. Приведем дерево D (Active Voice) с листьями L1-L11 и конкретными примерами E1-E11 (табл.).

Таблица ветвей и листьев дерева Active Voice

N

L

E

1

Present Indefinite

Comes

2

Present Continuous

is coming

3

Past Continuous

was coming

4

Present Perfect

has come

5

Future Indefinite

will come

6

Future Continuous

will be coming

7

Future Perfect

will have come

8

Past Indefinite

come

9

Past Perfect

had come

10

Past Perfect Continuous

has been coming

11

Present Perfect Continuous

had been coming

Уровень самостоятельности для учеников при этом может быть немонотонным и выбираемым адаптивно. Соответственно, уровни поддерживаются адаптивным тестированием.

База тестовых заданий структурируется также семантической сетью с учётом особенностей учебных дисциплин и обучающих стратегий, а также индивидуальных и когнитивных способностей и компетенций обучаемого.

В концепцию адаптивного тестирования обычно включают адаптивный механизм и адаптивную среду тестирования, которая может изменять структуру урока и роли ученика и учителя в учебном процессе.

Цель концепции – адаптивность самостоятельной работы ученика, его самоконтроля и контроля учителем его компетенций, их соответствия как критериально-нормативным требованиям, так и индивидуальным особенностям учащегося.

Принципы адаптивности тестирования по английскому языку:

1) индивидуализации контроля с учетом личностных и психологических факторов (темпа ответа, говорения и речевых навыков, потенциала компетенций, рефлексии и др.), самооценки своих достижений учеником;

2) динамичного и многоуровневого подхода к формированию заданий теста с возможностью перехода как к более сложному, так и менее сложному заданию;

3) интерактивности коммуникаций, с ее языковой поддержкой системой тестирования и способностью мотивировать обучение, творческую активность и общение.

Пример. Полезны когнитивные карты компетенций учащихся, которые фиксируют компетенции по темам и полезны для адаптивного продвижения ученика. Возможно командное самотестирование с оцениванием успехов команды и совместным анализом результатов. Каждый ученик выстраивает свою стратегию (обучения, тестирования), которая обсуждается методом Дельфи и адаптируется. Учитель становится членом команды, ее лидером. Затем можно провести индивидуальное тестирование, по результатам которого можно сформировать группы учащихся (например, «с пробелами по теме, базовым компетенциям», «без пробелов, с базовыми компетенциями», «с продвинутым уровнем компетенций»). Третью группу можно перевести на режим самоконтроля. На аттестационном тестировании такое деление уже нельзя делать. Но дифференцированные тестовые задания адаптивны, они развивают и мотивируют.

При адаптивном автоматизированном тестировании, при правильном ответе на тест (задание) текущего уровня, тестируемый автоматически переводится к выполнению заданий более высокой сложности, а если ответ – неправильный, то к заданию более низкого уровня. Для прохождения некоторого постоянного уровня сложности следует выполнить все задания этого уровня.

Пример. Адаптивным тестом может быть тест Oxford Online Placement Test по грамматике и прагматике [12], который динамично совершенствуется и позволяет оценивать компетенции по аудированию и чтению. Тест адаптируем к текущему уровню тестируемого, предлагая задания, которые его уровню лучше соответствуют. Он оценивает грамматику и лексику, понимание и передачу сообщения. Можно подключить и тест The Use of English Section по грамматике [13].

Адаптивность при тестировании английскому языку позволяет применять разнообразные подходы к обучению – переводный, лексический, фонетический, структурный, интенсивный и др., а также активировать важные параметры тестирования – сложность теста, вариация баллов, дифференцирующая способность и др. [14].

Адаптивные системы тестирования являются инновационными, они основываются на искусственном интеллекте, самообучении, учебной аналитике (класса Learning Analytics).

Выводы

Для гибкого, интеллектуального обучения необходимо обеспечить инструментальные потребности и обучаемого, и обучающего. Здесь эффективны адаптивные, когнитивные подходы с учетом внутренних особенностей и связей учебного процесса. Без адаптивных технологий, подходов, в частности адаптивного тестирования, невозможно реализовать сложные процедуры обучения и контроля, так как неопределенность и «шум» процессов мешает активировать индивидуальные способности обучаемого и вести контроль и прогноз качества обучения.

В перспективе самообучение – высшая цель адаптивного обучения. Поэтому необходимо развивать адаптивные механизмы, интеллектуальную поддержку обучения. Персонализированные стратегии обучения должны учитывать способности учеников, устойчивость обучающего процесса.

Адаптивность требует объединения ресурсов (время, пространство, инструментарий, информация и др.). Адаптивной системе присуща самоорганизационная способность с ее атрибутом – управляемостью, саморегулированием. Саморазвивающимся адаптивным системам присущи инвариантные, системные меры сложности.

Обучающий контент должен быть структурирован, например, как выше было показано, иерархически (деревом) или семантической сетью с учётом дидактических особенностей учебного курса, стратегии обучения и адаптации, когнитивных способностей, уровня базовых знаний и темпов забывания и запоминания ученика. Проделанный в работе системный анализ проблем адаптивного обучения и тестирования позволит реализовать это эффективнее и полнее.