Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

THE DEVELOPMENT OF TOOLS FOR ASSESSING THE COGNITIVE-CONTENT READINESS OF PRE-SERVICE TEACHERS TO TEACH A SPECIALIZED SUBJECT IN A MULTILINGUAL ENVIRONMENT

Babich I.M. 1
1 Pavlodar Pedagogical University
The relevance of the problem of assessing the readiness of pre-service teachers of science subjects to teach specialized subjects in English in Kazakhstan is determined by the social order of the society for the preparation of multilingual teachers and the need to fulfill the main parameters of the European Higher Education Area within the framework of participation in the Bologna Process. Insufficient development of the issue of assessing student learning in integrated programs for the simultaneous study of a subject and a language requires finding ways to create special control and measuring materials and methods for checking their reliability and validity. Using the methods of testing second and third year students of two pedagogical higher educational institutions of Kazakhstan and Russia, mathematical statistics using the IBM SPSS Statistic 26 program, the indicators of substantive and empirical validity, reliability-consistency of the developed tools for assessing the level of mastering of the integrated elective course program “Learning and Teaching Chemistry in English ". The results of the study demonstrate the reliability and validity of the test materials developed on the basis of the Coyle matrix and Bloom's taxonomy. For the first time, a method is proposed for the development and verification of meters for assessing the subject and language knowledge of students at various cognitive levels. The presented approaches and research results can be used by teachers of universities in the CIS countries to develop assessment tools for mastering the content of integrated programs for studying subjects in the target language.
clil
cognitive-content readiness
control-measuring materials
validity
reliability
integrated programs
pre-service teachers

Одним из ключевых аспектов модернизации казахстанской системы образования стало внедрение полиязычия как неотъемлемого компонента профессиональной деятельности и развития специалистов. Казахстан, как страна – участница Болонского процесса, приняла на себя обязательства по выполнению основных параметров Европейского пространства высшего образования, в том числе обеспечение качества образования, академической мобильности студентов, создание единого исследовательского пространства и т.д. [1]. Все это предполагает владение студентами одним или несколькими иностранными языками.

В связи с внедрением полиязычия в систему среднего образования страны, большое внимание уделяется совершенствованию навыков преподавания на иностранном языке у студентов – будущих учителей естественнонаучных дисциплин [2]. Это связано с постепенным переходом к изучению химии, биологии, физики, информатики в старших классах общеобразовательных школ на английском языке. Поэтому в настоящее время в высших учебных заведениях Казахстана увеличивается количество образовательных программ, академический контент которых преподается на целевом языке, демонстрируя процесс успешной интеграции содержания и языка на основе применения предметно-языкового интегрированного обучения (Content and Language Integrated Learning).

Большой потенциал CLIL (Content and Language Integrated Learning) описали Д. Койл, П. Худ, Д. Марш [3]. Одно из важных преимуществ этого подхода связано с повышением мотивации студентов к изучению второго языка. Он увеличивает когнитивную и коммуникативную активность обучающихся, благодаря четырем принципам: активное изучение содержания, связь познания (мыслительных процессов) с контентом и развитием языковых навыков, коммуникация с целью развития языка обучения (language of learning), языка для обучения (language for learning) и языка через обучение (language through learning), обеспечивающего своевременное реагирование будущих учителей на вопросы учащихся и предоставление им обратной связи, культура (социальное осознание себя и других).

Предложенная Д. Койлом [4] 4С Модель, целостная концептуальная основа для CLIL, позволяет поддерживать начинающих учителей CLIL в организации и планировании уроков на языке CLIL, развитии их собственных коммуникативных и когнитивных навыков на основе предметного содержания.

Внедрение двух- и полиязычных образовательных программ в Казахстане, построенных на основе CLIL-подхода, требует сосредоточения внимания на анализе их эффективности, которую можно определить с помощью специально разработанных инструментов оценивания сформированности предметных, языковых знаний, когнитивных навыков будущих учителей. Э. Лаборда и Е. Пеналвер считают, что «оценивание можно рассматривать как ключевой аспект для продолжения правильного выполнения двуязычных программ…» [5]. По мнению П. Каньядо [6], важность оценки в новой программе объясняется в том числе и необходимостью понимания, как студенты реагируют на незнакомые обстоятельства.

Однако вопрос оценки обучения студентов в CLIL остается недостаточно изученным и спорным. Наибольшее количество споров возникает при попытке определить природу оценки в CLIL-программах, уровень интеграции контента и языка. По мнению Д. Койла, П. Худа, Д. Марша [3], основными вопросами, которые следует решить для успешного внедрения двуязычных (полиязычных) образовательных программ, являются вопросы оценки языка или содержания и выбор методов получения достоверной информации об уровне их развития. М.Г. Сергеева [7], М.Н. Скачкова, Е.Ю. Чайка [8] полагают, что в «мягкой» модели CLIL, которую реализует чаще всего педагог-лингвист, целесообразно оценивать прогресс студента в языковой сфере, а в «жесткой» модели CLIL, в которой делается акцент на предметной составляющей, педагог-предметник, владеющий иностранным языком и методикой CLIL, будет оценивать предметные знания и навыки.

Т.В. Николаева полагает [9], что оценка будет зависеть от того, на каких навыках делается акцент: развитие базовых навыков мышления смещает оценку в сторону языка, развитие навыков мышления высокого порядка предполагает оценивание и языка, и предмета.

Однако согласно определению CLIL, данному Д. Койлом, П. Худом, Д. Маршем [3], при разработке инструмента оценивания важно учитывать, что английский язык используется для изучения и преподавания как содержания, так и языка. Поэтому разработанные инструменты оценивания должны иметь интегративный характер, позволяющий измерить уровень сформированности языковых и предметных знаний студента [10–12]. Это позволит определять готовность (мотивационную, когнитивно-содержательную, праксиологическую) [13] будущих учителей к преподаванию профильных предметов на английском языке в комплексе.

Целью нашего исследования стала разработка инструмента оценивания когнитивно-содержательного компонента готовности будущих учителей химии к преподаванию на английском языке, обеспечивающего измерение уровня усвоения программы элективного курса «Learning and Teaching Chemistry in English», построенного на применении CLIL-подхода. Были сформулированы следующие задачи: разработать содержание тестов по общей, неорганической, органической химии, охватывающих программу элективного курса; установить содержательную, эмпирическую валидность и надежность-согласованность тестов.

Материалы и методы исследования

Контрольно-измерительные материалы к элективному курсу «Learning and Teaching Chemistry in English» построены на основе матрицы CLIL, предложенной Д. Койлом, П. Худом, Д. Маршем [3] и модифицированной нами [14]. Матрица позволяет разработать инструмент оценивания, который даст возможность определить уровень развития языковых и предметных знаний и навыков будущего педагога. Понимание уровня сформированности когнитивно-содержательной готовности студентов к преподаванию предмета на английском языке можно использовать для создания персонализированных маршрутов развития оцениваемых навыков студентов и построения индивидуальной траектории поддержки будущих учителей в продвижении к выполнению заданий на более высоком языковом и когнитивном уровнях (рисунок).

Матрица составления заданий для измерения уровня языковых и предметных знаний

В основе модифицированной матрицы Д. Койла, П. Худа, Д. Марша авторов [3] находится таксономия Блума – система образовательных целей в когнитивной сфере, направленных на развитие навыков мышления различного уровня.

Тесты по шестнадцати темам курса органической, неорганической и общей химии были разработаны совместно с CLIL – учителями химии и учителями английского языка. Содержание всех тестов представлено по ссылке https://cloud.mail.ru/public/o7qq/v6sUExpDS .

Содержательная валидность разноуровневых интегрированных тестовых заданий определялась методом экспертных оценок двумя CLIL – учителями химии и учителем английского языка по предложенной спецификации тестов (табл. 1) и следующим вопросам:

1) содержание вопроса соответствует указанной теме;

2) содержание вопроса соответствует указанному когнитивному уровню предметных знаний;

3) содержание вопроса соответствует указанному уровню языковых знаний;

4) выдержаны все требования к формулировке тестового задания;

5) дистракторы (правильный и неправильные ответы) однозначны по содержанию, структуре и правдоподобны;

6) содержание и структура теста соответствует спецификации.

Таблица 1

Спецификация теста по теме «Atomic structure»

Тема

Цели обучения

Уровень когнитивных навыков

Номер вопросов

Тип вопроса

Балл/общий балл

Предметная область

Языковая область

«Atomic structure»

Знать строение атома, его электронной оболочки

Понимание темы и знание тематической лексики

Знание и понимание (предмет и язык)

1–6

Вопросы с выбором одного правильного ответа

2/12

Предсказывать появление неспаренных электронов

Знание и понимание (язык)

Навыки высокого мышления (предмет)

7–10

Вопросы с выбором нескольких правильных ответа

 

3/12

Уметь описывать строение и электронной оболочки, и форму электронных облаков с помощью квантовых чисел

Причастие, пассивный залог, общая лексика, части речи, порядок слов

Знание, понимание, применение (предмет)

Навыки высокого мышления (язык)

11–14

3/12

Интерпретировать масс-спектры для определения атомной (молекулярной) массы

Навыки высокого мышления (предмет и язык)

15–16

4/8

Экспертиза тестовых заданий осуществлялась по трёхбалльной шкале:

3 – не соответствует; 2 – частично соответствует; 1 – полностью соответствует.

Эмпирическая валидность тестов, построенных на основе матрицы Койла, устанавливалась путем сравнения результатов, полученных при тестировании студентов с помощью разработанных тестов и стандартных разноуровневых тематических тестов по химии и английскому языку отдельно. Тестовые задания по английскому языку не содержали химический контент. Диагностируемые тесты и стандартные разноуровневые тематические тесты находятся в смысловом соответствии друг с другом и включают задания, проверяющие одни и те же понятия и правила на различном когнитивном уровне. В качестве коэффициента корреляции был использован корреляционный коэффициент Пирсона.

Надежность-согласованность тестов определялась с помощью восьмидесяти семи респондентов – будущих учителей химии третьего курса, обучающихся по образовательной программе 6В01507 «Химия» Павлодарского педагогического университета (Казахстан), и студентов второго курса Омского государственного педагогического университета, изучающих программу «44.03.05 Педагогическое образование (с двумя профилями подготовки). Направленность (профиль): «Биология и Химия»». Репрезентативность выборки обеспечивалась участием в исследовании большинства студентов второго и третьего курсов педагогических университетов. Число респондентов соответствует правилу эмпирического определения объема выборки, в котором рекомендуется иметь в пять раз больше испытуемых, чем вопросов в тесте. Расщепление тестов осуществлялось с учетом уровней входящих в него заданий так, чтобы каждая часть была эквивалентной и содержала равное количество вопросов четырех разделов (табл. 1).

Для определения надежности-согласованности тестов использовался коэффициент Пирсона, измеренный с помощью программы IBM SPSS Statistic 26.

Результаты исследования и их обсуждение

Экспертный анализ тестовых заданий по шестнадцати темам элективного курса «Learning and Teaching Chemistry in English» показал их валидность (1 ≤ М <1,5) для определения содержательно-когнитивного компонента готовности будущих учителей к преподаванию химии на английском языке. Учет рекомендаций экспертов по внесению корректировок в дистракторы нескольких заданий позволил повысить их однородность и однозначность. В табл. 2 представлены результаты экспертного анализа трех тестовых заданий первого-третьего квадрантов инструмента оценивания когнитивно-содержательного компонента готовности по теме «Atomic structure».

Таблица 2

Результаты экспертизы тестовых заданий I–III квадрантов по теме «Atomic structure»

Тестовые задания по теме «Atomic structure»

Эксперты

Σ

М

Первый

Второй

Третий

1

2

3

4

5

6

1

2

3

4

5

6

1

2

3

4

5

6

1.The number of electrons in an atom of an element is equal to its

A) Atomic weight

B) Equivalent weight

C) Electron affinity

D) Atomic number

1

1

1

1

1

1

1

1

1

1

2

1

1

1

1

1

2

1

20

1,11

13. Two unpaired electrons are present in the orbital diagram of which of the following elements? A)6C B)10Ne C)12Mg D)22Ti E)19K

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

18

1

23.Read the summary and fill in the gaps.

Starting from the second one, the … quantum shells…into subshells each of which is possessing their own atomic orbitals. The subshells are… as s, p or d according to the number of orbitals they possess. A) principle; are turned; determined. B) principal; are divided; defined. C) principal; are split; identified.

1

1

1

1

1

2

1

1

1

1

2

1

1

1

1

1

2

1

21

1,16

 

Однократное проведение тестирования в группе из 87 студентов второго и третьего курсов показало достаточно высокую внутреннюю согласованность тестов: коэффициент Пирсона больше 0,7 [15] (табл. 3)

Таблица 3

Результаты проверки тестов на надежность-согласованность

Название теста

Корреляция Пирсона/ Значимость (двухсторонняя)

Название теста

Корреляция Пирсона Значимость (двухсторонняя)

Alcohols

0,731*/0,000

Halogenoalkanes

0,732*/0,000

Alkenes

0,743*/0,000

Halogens

0,794*/0,000

Analytical techniques

0,751*/0,000

Introduction to organic Chemistry

0,726*/0,000

Atomic Structure

0,744*/0,000

Kinetics

0,760*/0,000

Bonding

0,734*/0,000

Periodicity

0,745*/0,000

Chemical calculations

0,723*/0,000

The Alkaline Earth Elements

0,785*/0,000

Energetics

0,732*/0,000

The Redox reactions

0,727*/0,000

Equilibrium

0,787*/0,000

Thermodynamics

0,743*/0,000

*Корреляция значима на уровне 0,01 (двухсторонняя).

Результаты проверки эмпирической валидности инструментов оценки когнитивно-содержательного компонента готовности будущих учителей к преподаванию химии на английском языке показали статистическую значимость линейного коэффициента корреляции Пирсона. Согласно полученным результатам, существуют положительно высокие связи (коэффициент корреляции выше 0,6) между разработанными инструментами оценивания и стандартными тематическими тестами по химии и положительно средние связи (коэффициент корреляции от 0,3 до 0,5) между проверяемыми тестами и стандартными тематическими тестами по английскому языку. Таким образом, результаты корреляционного анализа подтверждают валидность разработанных тестов для одновременной проверки знаний студентов в области химии и английского языка.

Заключение

Анализ литературы показал актуальность решения вопроса разработки инструментов оценивания, позволяющих установить уровень предметных и языковых навыков будущих учителей при внедрении программ, построенных на основе CLIL-подхода. В ходе исследования были разработаны и стандартизированы тесты, включающие химический и языковой контент по курсу «Learning and Teaching Chemistry in English», для оценки когнитивно-содержательной готовности студентов к преподаванию профильного предмета на английском языке. Валидность и надежность разработанных инструментов оценивания на основе матрицы Койла и таксономии Блума подтверждена статистическими методами анализа. Предложенные методы разработки и проверки измерителей для оценки предметных и языковых знаний студентов на различном когнитивном уровне могут быть использованы преподавателями университетов стран СНГ для разработки оценочных инструментов усвоения содержания интегрированных программ изучения предметов в условиях полиязычия.