Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

РАЗРАБОТКА ИНСТРУМЕНТОВ ОЦЕНИВАНИЯ КОГНИТИВНО-СОДЕРЖАТЕЛЬНОЙ ГОТОВНОСТИ БУДУЩИХ УЧИТЕЛЕЙ К ПРЕПОДАВАНИЮ ПРОФИЛЬНОГО ПРЕДМЕТА В УСЛОВИЯХ ПОЛИЯЗЫЧИЯ

Бабич И.М. 1
1 Павлодарский педагогический университет
Актуальность проблемы оценки готовности будущих учителей естественнонаучных дисциплин к преподаванию профильных предметов на английском языке в Казахстане определяется социальным заказом общества по подготовке полиязычных педагогов и необходимостью выполнения основных параметров Европейского пространства высшего образования в рамках участия в Болонском процессе. Недостаточная разработка вопроса оценки обучения студентов по интегрированным программам одновременного изучения предмета и языка требует поиска способов создания специальных контрольно-измерительных материалов и методов проверки их надежности и валидности. С помощью методов тестирования студентов второго и третьего курсов двух педагогических высших учебных заведений Казахстана и России, математической статистики с применением программы IBM SPSS Statistic 26 исследованы показатели содержательной и эмпирической валидности, надежности-согласованности разработанных инструментов оценивания уровня усвоения интегрированной программы элективного курса «Learning and Teaching Chemistry in English». Результаты исследования демонстрируют надежность и валидность разработанных на основе матрицы Койла и таксономии Блума контрольно-измерительных материалов. Впервые предложен метод разработки и проверки измерителей для оценки предметных и языковых знаний студентов на различном когнитивном уровне. Представленные подходы и результаты исследования могут быть использованы преподавателями университетов стран СНГ для разработки оценочных инструментов усвоения содержания интегрированных программ изучения предметов на целевом языке.
clil
когнитивно-содержательная готовность
контроль-измерительные материалы
валидность
надежность
интегрированные программы
будущие учителя
1. Жилбаев Ж.О., Шаханова Н.Ж. Модернизация высшей школы Казахстана: реализация принципов Болонского процесса // Образование через всю жизнь: непрерывное образование в интересах устойчивого развития. 2015. № 13. С. 152–156.
2. Бабич И.М., Омарова В.К., Баратова А.А., Чуркина Н. Интеграция IBL и CLIL в подготовке будущих учителей к преподаванию естественных наук в условиях полиязычия // Интеграция образования. 2021. Т. 25. № 2. С. 304–320. DOI: 10.15507/1991-9468.103.025.202102.304-320.
3. Coyle D., Hood P., Marsh D. CLIL Content and Language Integrated Learning. Cambridge: Cambridge University Press, 2010. 173 p.
4. Coyle D. Theory and planning for effective classrooms: Supporting students in content and language integrated learning contexts. Learn. through a foreign Lang. 1999. P. 46–62.
5. Garcia Laborda J., Alcalde Peñalver E. Attitudinal Trends in CLIL Assessment: a pilot study. Tejuelo Didáctica la Leng. y la Lit. 2019. Vol 31. P. 325–341. DOI:10.17398/1988-8430.31.325.
6. Pérez Cañado M.L. Innovations and Challenges in CLIL Teacher Training. Theory Pract. 2018. Vol. 57, No. 3. P. 1–10. DOI:10.1080/00405841.2018.1492238.
7. Сергеева М.Г. Предметно-языковое интегрированное обучение: методический подход к оцениванию результатов // Проблемы современного педагогического образования. 2019. Т. 62. № 4. С. 196–200.
8. Чайка Е.Ю., Скачкова М.Н. Особенности применения предметно-языкового интегрированного подхода в билингвальном обучении // Актуальные вопросы современного иноязычного образования. 2020. С. 238–244.
9. Николаева Т.В. Организация предметно-языкового интегрированного обучения (CLIL) // Актуальные вопросы преподавания иностранного языка в высшей школе. 2020. № 4. С. 122–125.
10. Morton T. Cognitive Discourse Functions: A Bridge between Content, Literacy and Language for Teaching and Assessment in CLIL. CLIL. J. Innov. Res. Plurilingual Pluricultural Educ. 2020. Vol. 3, No. 1. P. 7. DOI: 10.5565/rev/clil.33.
11. Işık A. How Effective is the Assessment Component of a Customized CLIL Program? Lat. Am. J. Content Lang. Integr. Learn. 2021. Vol. 13, No. 2. P. 241–287. DOI: 10.5294/laclil.2020.13.2.5.
12. Assessment and Learning in Content and Language Integrated Learning (CLIL) Classrooms / edited by deBoer M., Leontjev D. Cham: Springer International Publishing, 2020. DOI: 10.1007/978-3-030-54128-6.
13. Babich I., Shakirova Z. Model of formation of pre-service teachers’ readiness for teaching chemistry in English // Social and Economic Aspects of Education in Modern Society. RS Global Sp. z O.O., 2020. Р. 29–34. DOI: 10.31435/rsglobal_conf/25122020/7309.
14. Babich I.M., Baratova A.A., Mukanova R.Z. Approaches to CLIL and IBL integration in preparing pre-service chemistry teachers // «ХХI Сәтбаев оқулары» жас ғалымдар, магистранттар, студенттер мен мектеп оқушыларының : халықар. ғыл. конф. мат-дары. Павлодар: Toraighyrov University, 2021. С. 152–157.
15. Попов Д.И., Попова Е.Д. Экспертиза качества тестовых заданий: учебное пособие. М.: Моск. гос. ун-т печати, 2008. 84 с.

Одним из ключевых аспектов модернизации казахстанской системы образования стало внедрение полиязычия как неотъемлемого компонента профессиональной деятельности и развития специалистов. Казахстан, как страна – участница Болонского процесса, приняла на себя обязательства по выполнению основных параметров Европейского пространства высшего образования, в том числе обеспечение качества образования, академической мобильности студентов, создание единого исследовательского пространства и т.д. [1]. Все это предполагает владение студентами одним или несколькими иностранными языками.

В связи с внедрением полиязычия в систему среднего образования страны, большое внимание уделяется совершенствованию навыков преподавания на иностранном языке у студентов – будущих учителей естественнонаучных дисциплин [2]. Это связано с постепенным переходом к изучению химии, биологии, физики, информатики в старших классах общеобразовательных школ на английском языке. Поэтому в настоящее время в высших учебных заведениях Казахстана увеличивается количество образовательных программ, академический контент которых преподается на целевом языке, демонстрируя процесс успешной интеграции содержания и языка на основе применения предметно-языкового интегрированного обучения (Content and Language Integrated Learning).

Большой потенциал CLIL (Content and Language Integrated Learning) описали Д. Койл, П. Худ, Д. Марш [3]. Одно из важных преимуществ этого подхода связано с повышением мотивации студентов к изучению второго языка. Он увеличивает когнитивную и коммуникативную активность обучающихся, благодаря четырем принципам: активное изучение содержания, связь познания (мыслительных процессов) с контентом и развитием языковых навыков, коммуникация с целью развития языка обучения (language of learning), языка для обучения (language for learning) и языка через обучение (language through learning), обеспечивающего своевременное реагирование будущих учителей на вопросы учащихся и предоставление им обратной связи, культура (социальное осознание себя и других).

Предложенная Д. Койлом [4] 4С Модель, целостная концептуальная основа для CLIL, позволяет поддерживать начинающих учителей CLIL в организации и планировании уроков на языке CLIL, развитии их собственных коммуникативных и когнитивных навыков на основе предметного содержания.

Внедрение двух- и полиязычных образовательных программ в Казахстане, построенных на основе CLIL-подхода, требует сосредоточения внимания на анализе их эффективности, которую можно определить с помощью специально разработанных инструментов оценивания сформированности предметных, языковых знаний, когнитивных навыков будущих учителей. Э. Лаборда и Е. Пеналвер считают, что «оценивание можно рассматривать как ключевой аспект для продолжения правильного выполнения двуязычных программ…» [5]. По мнению П. Каньядо [6], важность оценки в новой программе объясняется в том числе и необходимостью понимания, как студенты реагируют на незнакомые обстоятельства.

Однако вопрос оценки обучения студентов в CLIL остается недостаточно изученным и спорным. Наибольшее количество споров возникает при попытке определить природу оценки в CLIL-программах, уровень интеграции контента и языка. По мнению Д. Койла, П. Худа, Д. Марша [3], основными вопросами, которые следует решить для успешного внедрения двуязычных (полиязычных) образовательных программ, являются вопросы оценки языка или содержания и выбор методов получения достоверной информации об уровне их развития. М.Г. Сергеева [7], М.Н. Скачкова, Е.Ю. Чайка [8] полагают, что в «мягкой» модели CLIL, которую реализует чаще всего педагог-лингвист, целесообразно оценивать прогресс студента в языковой сфере, а в «жесткой» модели CLIL, в которой делается акцент на предметной составляющей, педагог-предметник, владеющий иностранным языком и методикой CLIL, будет оценивать предметные знания и навыки.

Т.В. Николаева полагает [9], что оценка будет зависеть от того, на каких навыках делается акцент: развитие базовых навыков мышления смещает оценку в сторону языка, развитие навыков мышления высокого порядка предполагает оценивание и языка, и предмета.

Однако согласно определению CLIL, данному Д. Койлом, П. Худом, Д. Маршем [3], при разработке инструмента оценивания важно учитывать, что английский язык используется для изучения и преподавания как содержания, так и языка. Поэтому разработанные инструменты оценивания должны иметь интегративный характер, позволяющий измерить уровень сформированности языковых и предметных знаний студента [10–12]. Это позволит определять готовность (мотивационную, когнитивно-содержательную, праксиологическую) [13] будущих учителей к преподаванию профильных предметов на английском языке в комплексе.

Целью нашего исследования стала разработка инструмента оценивания когнитивно-содержательного компонента готовности будущих учителей химии к преподаванию на английском языке, обеспечивающего измерение уровня усвоения программы элективного курса «Learning and Teaching Chemistry in English», построенного на применении CLIL-подхода. Были сформулированы следующие задачи: разработать содержание тестов по общей, неорганической, органической химии, охватывающих программу элективного курса; установить содержательную, эмпирическую валидность и надежность-согласованность тестов.

Материалы и методы исследования

Контрольно-измерительные материалы к элективному курсу «Learning and Teaching Chemistry in English» построены на основе матрицы CLIL, предложенной Д. Койлом, П. Худом, Д. Маршем [3] и модифицированной нами [14]. Матрица позволяет разработать инструмент оценивания, который даст возможность определить уровень развития языковых и предметных знаний и навыков будущего педагога. Понимание уровня сформированности когнитивно-содержательной готовности студентов к преподаванию предмета на английском языке можно использовать для создания персонализированных маршрутов развития оцениваемых навыков студентов и построения индивидуальной траектории поддержки будущих учителей в продвижении к выполнению заданий на более высоком языковом и когнитивном уровнях (рисунок).

Матрица составления заданий для измерения уровня языковых и предметных знаний

В основе модифицированной матрицы Д. Койла, П. Худа, Д. Марша авторов [3] находится таксономия Блума – система образовательных целей в когнитивной сфере, направленных на развитие навыков мышления различного уровня.

Тесты по шестнадцати темам курса органической, неорганической и общей химии были разработаны совместно с CLIL – учителями химии и учителями английского языка. Содержание всех тестов представлено по ссылке https://cloud.mail.ru/public/o7qq/v6sUExpDS .

Содержательная валидность разноуровневых интегрированных тестовых заданий определялась методом экспертных оценок двумя CLIL – учителями химии и учителем английского языка по предложенной спецификации тестов (табл. 1) и следующим вопросам:

1) содержание вопроса соответствует указанной теме;

2) содержание вопроса соответствует указанному когнитивному уровню предметных знаний;

3) содержание вопроса соответствует указанному уровню языковых знаний;

4) выдержаны все требования к формулировке тестового задания;

5) дистракторы (правильный и неправильные ответы) однозначны по содержанию, структуре и правдоподобны;

6) содержание и структура теста соответствует спецификации.

Таблица 1

Спецификация теста по теме «Atomic structure»

Тема

Цели обучения

Уровень когнитивных навыков

Номер вопросов

Тип вопроса

Балл/общий балл

Предметная область

Языковая область

«Atomic structure»

Знать строение атома, его электронной оболочки

Понимание темы и знание тематической лексики

Знание и понимание (предмет и язык)

1–6

Вопросы с выбором одного правильного ответа

2/12

Предсказывать появление неспаренных электронов

Знание и понимание (язык)

Навыки высокого мышления (предмет)

7–10

Вопросы с выбором нескольких правильных ответа

 

3/12

Уметь описывать строение и электронной оболочки, и форму электронных облаков с помощью квантовых чисел

Причастие, пассивный залог, общая лексика, части речи, порядок слов

Знание, понимание, применение (предмет)

Навыки высокого мышления (язык)

11–14

3/12

Интерпретировать масс-спектры для определения атомной (молекулярной) массы

Навыки высокого мышления (предмет и язык)

15–16

4/8

Экспертиза тестовых заданий осуществлялась по трёхбалльной шкале:

3 – не соответствует; 2 – частично соответствует; 1 – полностью соответствует.

Эмпирическая валидность тестов, построенных на основе матрицы Койла, устанавливалась путем сравнения результатов, полученных при тестировании студентов с помощью разработанных тестов и стандартных разноуровневых тематических тестов по химии и английскому языку отдельно. Тестовые задания по английскому языку не содержали химический контент. Диагностируемые тесты и стандартные разноуровневые тематические тесты находятся в смысловом соответствии друг с другом и включают задания, проверяющие одни и те же понятия и правила на различном когнитивном уровне. В качестве коэффициента корреляции был использован корреляционный коэффициент Пирсона.

Надежность-согласованность тестов определялась с помощью восьмидесяти семи респондентов – будущих учителей химии третьего курса, обучающихся по образовательной программе 6В01507 «Химия» Павлодарского педагогического университета (Казахстан), и студентов второго курса Омского государственного педагогического университета, изучающих программу «44.03.05 Педагогическое образование (с двумя профилями подготовки). Направленность (профиль): «Биология и Химия»». Репрезентативность выборки обеспечивалась участием в исследовании большинства студентов второго и третьего курсов педагогических университетов. Число респондентов соответствует правилу эмпирического определения объема выборки, в котором рекомендуется иметь в пять раз больше испытуемых, чем вопросов в тесте. Расщепление тестов осуществлялось с учетом уровней входящих в него заданий так, чтобы каждая часть была эквивалентной и содержала равное количество вопросов четырех разделов (табл. 1).

Для определения надежности-согласованности тестов использовался коэффициент Пирсона, измеренный с помощью программы IBM SPSS Statistic 26.

Результаты исследования и их обсуждение

Экспертный анализ тестовых заданий по шестнадцати темам элективного курса «Learning and Teaching Chemistry in English» показал их валидность (1 ≤ М <1,5) для определения содержательно-когнитивного компонента готовности будущих учителей к преподаванию химии на английском языке. Учет рекомендаций экспертов по внесению корректировок в дистракторы нескольких заданий позволил повысить их однородность и однозначность. В табл. 2 представлены результаты экспертного анализа трех тестовых заданий первого-третьего квадрантов инструмента оценивания когнитивно-содержательного компонента готовности по теме «Atomic structure».

Таблица 2

Результаты экспертизы тестовых заданий I–III квадрантов по теме «Atomic structure»

Тестовые задания по теме «Atomic structure»

Эксперты

Σ

М

Первый

Второй

Третий

1

2

3

4

5

6

1

2

3

4

5

6

1

2

3

4

5

6

1.The number of electrons in an atom of an element is equal to its

A) Atomic weight

B) Equivalent weight

C) Electron affinity

D) Atomic number

1

1

1

1

1

1

1

1

1

1

2

1

1

1

1

1

2

1

20

1,11

13. Two unpaired electrons are present in the orbital diagram of which of the following elements? A)6C B)10Ne C)12Mg D)22Ti E)19K

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

1

18

1

23.Read the summary and fill in the gaps.

Starting from the second one, the … quantum shells…into subshells each of which is possessing their own atomic orbitals. The subshells are… as s, p or d according to the number of orbitals they possess. A) principle; are turned; determined. B) principal; are divided; defined. C) principal; are split; identified.

1

1

1

1

1

2

1

1

1

1

2

1

1

1

1

1

2

1

21

1,16

 

Однократное проведение тестирования в группе из 87 студентов второго и третьего курсов показало достаточно высокую внутреннюю согласованность тестов: коэффициент Пирсона больше 0,7 [15] (табл. 3)

Таблица 3

Результаты проверки тестов на надежность-согласованность

Название теста

Корреляция Пирсона/ Значимость (двухсторонняя)

Название теста

Корреляция Пирсона Значимость (двухсторонняя)

Alcohols

0,731*/0,000

Halogenoalkanes

0,732*/0,000

Alkenes

0,743*/0,000

Halogens

0,794*/0,000

Analytical techniques

0,751*/0,000

Introduction to organic Chemistry

0,726*/0,000

Atomic Structure

0,744*/0,000

Kinetics

0,760*/0,000

Bonding

0,734*/0,000

Periodicity

0,745*/0,000

Chemical calculations

0,723*/0,000

The Alkaline Earth Elements

0,785*/0,000

Energetics

0,732*/0,000

The Redox reactions

0,727*/0,000

Equilibrium

0,787*/0,000

Thermodynamics

0,743*/0,000

*Корреляция значима на уровне 0,01 (двухсторонняя).

Результаты проверки эмпирической валидности инструментов оценки когнитивно-содержательного компонента готовности будущих учителей к преподаванию химии на английском языке показали статистическую значимость линейного коэффициента корреляции Пирсона. Согласно полученным результатам, существуют положительно высокие связи (коэффициент корреляции выше 0,6) между разработанными инструментами оценивания и стандартными тематическими тестами по химии и положительно средние связи (коэффициент корреляции от 0,3 до 0,5) между проверяемыми тестами и стандартными тематическими тестами по английскому языку. Таким образом, результаты корреляционного анализа подтверждают валидность разработанных тестов для одновременной проверки знаний студентов в области химии и английского языка.

Заключение

Анализ литературы показал актуальность решения вопроса разработки инструментов оценивания, позволяющих установить уровень предметных и языковых навыков будущих учителей при внедрении программ, построенных на основе CLIL-подхода. В ходе исследования были разработаны и стандартизированы тесты, включающие химический и языковой контент по курсу «Learning and Teaching Chemistry in English», для оценки когнитивно-содержательной готовности студентов к преподаванию профильного предмета на английском языке. Валидность и надежность разработанных инструментов оценивания на основе матрицы Койла и таксономии Блума подтверждена статистическими методами анализа. Предложенные методы разработки и проверки измерителей для оценки предметных и языковых знаний студентов на различном когнитивном уровне могут быть использованы преподавателями университетов стран СНГ для разработки оценочных инструментов усвоения содержания интегрированных программ изучения предметов в условиях полиязычия.


Библиографическая ссылка

Бабич И.М. РАЗРАБОТКА ИНСТРУМЕНТОВ ОЦЕНИВАНИЯ КОГНИТИВНО-СОДЕРЖАТЕЛЬНОЙ ГОТОВНОСТИ БУДУЩИХ УЧИТЕЛЕЙ К ПРЕПОДАВАНИЮ ПРОФИЛЬНОГО ПРЕДМЕТА В УСЛОВИЯХ ПОЛИЯЗЫЧИЯ // Современные проблемы науки и образования. – 2021. – № 3. ;
URL: https://science-education.ru/ru/article/view?id=30948 (дата обращения: 18.10.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074