Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,940

АНАЛИЗ ОЛИМПИАДНЫХ ЗАДАНИЙ ПО ИНОСТРАННОМУ ЯЗЫКУ НА ОСНОВЕ СТАТИСТИЧЕСКОГО ПОДХОДА

Семенов А.В. 1 Кисова В.В. 2 Семенова Е.А. 3
1 ФГАОУ ВПО «Нижегородский государственный университет им. Н.И. Лобачевского»
2 ФГБОУ ВПО «Нижегородский государственный педагогический университет имени Козьмы Минина»
3 ФГБОУ ВО «Московский государственный университет имени М.В. Ломоносова»
В статье представлен статистический анализ результатов выполнения олимпиадных конкурсов по иностранному языку. Цель исследования – на основе статистических методов показать соответствие методическому принципу системности комплекта олимпиадных заданий Всероссийской олимпиады школьников по иностранному языку (на примере заключительного этапа Всероссийской олимпиады школьников по французскому языку). В состав исследуемых показателей вошли результаты участников по лексико-грамматическому тесту, тесту на понимание устного текста, тесту на понимание письменных текстов, конкурсу письменной речи, конкурсу устной речи и показатели итоговых баллов участников. В исследовании для анализа результатов выполнения олимпиадных конкурсов применяются методы описательной статистики. Проводится проверка нормальности распределения анализируемых показателей графическим способом и с помощью критериев асимметрии и эксцесса. Так как не все анализируемые данные соответствуют нормальному закону, то в качестве показателя связи между переменными был выбран коэффициент ранговой корреляции Спирмена. Корреляционный анализ показал наличие тесной связи между всеми конкурсами и итоговым результатом: все коэффициенты ранговой корреляции Спирмена значимы на уровне 0,01. Корреляционный анализ подтверждает тот факт, что олимпиадные конкурсы по иностранным языкам не дублируют друг друга, а образуют целостную систему, позволяющую хорошо дифференцировать участников олимпиады по уровням.
иностранный язык
всероссийская олимпиада школьников
тестовые задания
Статистический анализ
коэффициент ранговой корреляции спирмена
1. Кротова Е.А., Филатова О.М. Экологические олимпиады в системе профессионального самоопределения учащихся // Вестник Мининского университета. 2015. № 2 (10). [Электронный ресурс]. URL: https://vestnik.mininuniver.ru/jour/article/view/49/50 (дата обращения: 27.05.2021).
2. Приказ Министерства науки и высшего образования Российской Федерации от 27.08.2020 № 1125 "Об утверждении перечня олимпиад школьников и их уровней на 2020/21 учебный год" (Зарегистрирован 02.10.2020 № 60193) // Российская газета, 5 октября 2020 г.
3. Приказ Министерства просвещения Российской Федерации от 11.12.2020 № 715 "Об утверждении перечня олимпиад и иных интеллектуальных и (или) творческих конкурсов, мероприятий, направленных на развитие интеллектуальных и творческих способностей, способностей к занятиям физической культурой и спортом, интереса к научной (научно-исследовательской), инженерно-технической, изобретательской, творческой, физкультурно-спортивной деятельности, а также на пропаганду научных знаний, творческих и спортивных достижений, на 2020/21 учебный год" (Зарегистрирован 01.03.2021 № 62631) // Российская газета, 2 марта 2021 г.
4. Бубнова Г.И. Всероссийская олимпиада школьников по французскому языку: конкурс понимания письменных текстов // Иностранные языки в школе. 2010. № 1. С. 68-76.
5. Бубнова Г.И., Щурова Н.Ю. Подготовка школьников 9-11 классов к конкурсу письменной речи по французскому языку // Иностранные языки в школе. 2010. № 7. С. 69-77.
6. Бесядовская Н.А., Трубицина О.И. Алгоритм анализа заданий тестовой части олимпиады по иностранному языку и его применение (на примере заключительного этапа герценовской олимпиады школьников по английскому языку) // Научное мнение. 2020. № 6. С. 104-113.
7. Критерии и методика оценивания выполнения олимпиадных заданий по французскому языку. XV Всероссийская олимпиада школьников по французскому языку для учащихся 9-11 классов Заключительный этап. Уровень сложности В2+ Ульяновск 25-30 марта 2018. [Электронный ресурс]. URL: https://vos.olimpiada.ru/upload/files/Arhive_tasks/2017-18/final/fren/89-ans-fren-9-11-pism-final-17-8.pdf (дата обращения: 27.05.2021).
8. Приказ Минобрнауки России от 18.11.2013 № 1252 "Об утверждении Порядка проведения всероссийской олимпиады школьников" (Зарегистрировано в Минюсте России 21.01.2014 N 31060) // Российская газета, 29 января 2014 г.
9. Протокол № 1 от 30.03.2018 заседания Жюри Заключительного этапа по французскому языку Всероссийской олимпиады школьников. Ульяновск, 25-30 марта. [Электронный ресурс]. URL: https://www.ulspu.ru/upload/img/medialibrary/747/prilozhenie-k-protokolu-dlya-sayta.pdf (дата обращения: 27.05.2021).
10. Требования к организации и проведению заключительного этапа всероссийской олимпиады школьников по французскому языку в 2018 году Утверждены на заседании Центрального оргкомитета Всероссийской олимпиады школьников (протокол № 6 от 20.02.2018 г.). [Электронный ресурс]. URL: http://vserosolymp.rudn.ru/mm/mpp/files/tr2018fr-z.pdf (дата обращения: 27.05.2021).

В России ежегодно миллионы школьников принимают участие в предметных олимпиадах, направленных выявление и поддержку одаренной молодежи.  В статье Е.А. Кротовой и О.М. Филатовой, посвященной олимпиадному движению школьников, отмечается, что участие в предметных олимпиадах «способствует развитию творческой активности и становлению профессионального самоопределения будущего выпускника» [1].

Министерство науки и высшего образования и Министерство просвещения Российской Федерации являются соорганизаторами олимпиад школьников по иностранным языкам (см. [2, 3]), интерес к которым традиционно высок. Так, согласно перечню [2], в 2020/2021 учебном году количество таких олимпиад  составило 19.

Значительная часть научных работ, посвященных исследованию олимпиад по иностранным языкам, нацелена на проведение теоретического анализа выполнения конкурсных олимпиадных заданий и формулирование методических рекомендаций педагогам [4, 5]. Так, в работе Н.А. Бесядовской и Н.И. Трубицыной [6] предлагается методика проведения анализа олимпиадных тестовых заданий с применением инструментов математической статистики. Такой подход позволяет авторам, в частности, выявлять типичные ошибки школьников при выполнении олимпиадных заданий и конкурсов, возможные причины их появления и формулировать на основе проведенного анализа рекомендации по их устранению.

Олимпиадные задания по иностранному языку носят интегрированный характер, сочетая разные формы и объекты контроля. Например, заключительный этап анализируемой олимпиады по французскому языку включает 5 конкурсов, соответствующих уровню сложности В2+ по европейской шкале, из которых четыре проводятся в письменной форме [7].

Цель настоящего исследования – на основе статистических методов исследования показать соответствие методическому принципу системности комплекта олимпиадных заданий Всероссийской олимпиады школьников (ВсОШ) по иностранному языку (на примере заключительного этапа по французскому языку).

Материал и методы исследования

Всероссийская олимпиада школьников по французскому языку проводится с 2002 г. В таблице 1 приведены результаты заключительного этапа данной олимпиады за последние 5 лет (в 2020 г. заключительный этап не проводился в связи с эпидемией COVID-19).

Таблица 1

Результаты участников заключительного этапа ВсОШ по французскому языку 2017–2021 гг.

 

Статус участника

2016–2017 уч. г.

2017–2018 уч. г.

2018–2019 уч. г.

2020–2021 уч. г.

 

Кол-во (человек)

Доля в общем числе участников (%)

Результат (баллы)

Кол-во (человек)

Доля в общем числе участников (%)

Результат (баллы)

Кол-во (человек)

Доля в общем числе участников (%)

Результат (баллы)

Кол-во (человек)

Доля в общем числе участников (%)

Результат (баллы)

 

Победители

17

8,54

112–120

16

8,16

119–127

16

7,88

115–125

18

8,26

120–128

 

Призеры

70

35,18

101–111

91

46,43

106–118

78

38,42

100–114

80

36,70

106–119

 

Участники без призовых мест

112

56,28

74–100

89

45,41

65–105

109

53,69

0–99

120

55,05

41–105

 

Всего участников

199

 

 

196

 

 

203

 

 

218

 

 

 

 

                             

Как видно, итоговые результаты в динамике по годам являются достаточно однородными, что обеспечивается утвержденным Порядком проведения Всероссийской олимпиады школьников в части норм определения победителей и призеров [8], а также единым подходом к разработке олимпиадных заданий, соответствующих уровню сложности В2+ по европейской шкале. Таким образом, не ограничивая общности, для достижения поставленной исследовательской цели можно выбрать произвольный год проведения олимпиады. 

В соответствии с утвержденным порядком проведения ВсОШ на официальном сайте олимпиады в сети Интернет в обязательном порядке размещаются итоговые результаты и олимпиадные работы только победителей и призеров. Однако для достижения исследовательской цели необходимо не только провести анализ итоговых результатов участников, но и детально проанализировать баллы по всем конкурсным заданиям. Исследовав опубликованные на официальных сайтах ВсОШ по французскому языку данные за последние пять лет, мы выбрали для анализа заключительный этап 2018 г. как последний, по которому доступны результаты всех участников олимпиады (включая и школьников, не ставших призерами) по всем конкурсным заданиям. Таким образом, были проанализированы результаты всех 196 участников [9].

В состав исходных показателей исследования вошли результаты участников по пяти конкурсам и итоговый балл:

1-й конкурс (ЛГТ) – лексико-грамматический тест (максимально возможное количество баллов – 40) с оцениванием по ключу;

2-й конкурс (ТПУТ) – тест на понимание устного текста (максимально возможное количество баллов – 30) с оцениванием по ключу;

3-й конкурс (ТППТ) – тест на понимание письменных текстов (максимально возможное количество баллов – 30) с оцениванием по ключу;

4-й конкурс (КПР) – конкурс письменной речи (максимальное количество баллов – 20) с оцениванием по критериям;

5-й конкурс (КУР) – конкурс устной речи (максимальное количество баллов – 20) с оцениванием по критериям;

итоговый балл (ИБ) – сумма баллов участника олимпиады за выполнение всех олимпиадных заданий.

Для анализа результатов применялись статистические методы: процедуры описательной статистики и корреляционный анализ.

Результаты исследования и их обсуждение

Участниками заключительного этапа Всероссийской олимпиады по французскому языку становятся обучающиеся, достижения которых соответствуют критериям отбора, установленным Минобрнауки России. В частности, это участники регионального этапа олимпиады, набравшие необходимое для участия в заключительном этапе олимпиады количество баллов.

Порядок определения победителей и призеров заключительного этапа олимпиады устанавливается квотой Минобрнауки России: число победителей и участников «составляет не более 45% от общего числа участников заключительного этапа олимпиады предыдущего года; они должны иметь не менее 50% от максимально возможного количества итоговых баллов, при этом число победителей не должно превышать 8% от общего числа участников заключительного этапа» [10].

В 2018 г. из 196 школьников, принявших участие в олимпиаде по французскому языку, чьи результаты вошли в итоговый протокол, 13 стали победителями с результатом 119–127 баллов и 76 – призерами (106–118 баллов). В таблице 2 приводятся рассчитанные показатели описательных статистик результатов по всем конкурсам и итоговым баллам, среди который есть, в частности, мода (значение в множестве данных, которое встречается наиболее часто) и медиана (значение, которое делит упорядоченное множество точно пополам).

Следует отметить, что для итогового балла мода, равная 106, совпала с нижней границей баллов у призеров, а значение медианы 104 ниже значения моды, что может косвенно свидетельствовать о том, что установленный порядок определения победителей и призеров представляет собой достаточно точный «измерительный прибор»: все победители и призеры входят в «половину» участников с высокими баллами.

Таблица 2

Описательные статистики результатов

 

ЛГТ

ТПУТ

ТППТ

КПР

КУР

ИБ

Среднее

26,449

24,908

23,357

13,015

14,852

102,582

Медиана

26

25

24

13

15

104

Мода

26

27

24

12

15

106

Стандартное отклонение

4,768

3,169

2,774

2,178

3,391

12,108

Дисперсия выборки

22,731

10,043

7,697

4,743

11,501

146,593

Эксцесс

–0,139

0,291

2,930

–0,750

2,377

0,868

Асимметричность

–0,199

–0,730

–1,310

0,356

–0,943

–0,678

Размах

25

16

18

9

20

62

Минимум

12

14

11

9

0

65

Максимум

37

30

29

18

20

127

Размах, дисперсия и стандартное отклонение являются мерами изменчивости. Например, значения дисперсии и стандартного отклонения характеризуют разброс значений баллов вокруг среднего значения. Если дисперсия близка к нулю, то это означает, что школьники одинаково ровно выполняют их, а значит, конкурсные задания плохо дифференцируют испытуемых по уровням владения иностранным языком и не могут адекватно ранжировать участников олимпиады. Большие значения дисперсии могут вызываться различными факторами, такими как:

- неоднородность группы участников олимпиады (согласно положению [10], от некоторых регионов в качестве финалистов направляется один школьник, который на региональном этапе набрал наибольшее количество баллов, но не являющееся необходимым для участия в заключительном этапе);

- незнакомые для части аудитории конкурсные задания или недостаточно ясные формулировки и т.п.

Анализируя показатели дисперсии и стандартного отклонения, представленные в таблице 2, можно сделать вывод, что конкурсные олимпиадные задания позволяют достаточно хорошо дифференцировать участников по уровням.

Обязательным требованием многих статистических методов является то, что анализируемые данные распределены нормально. Результаты тестирований при больших выборках обычно имеют распределение, близкое к нормальному. Такое распределение имеет колоколообразную форму, значения его моды, медианы и среднего арифметического равны. Анализ показателей моды, медианы и среднего арифметического таблицы 2 и графиков результатов олимпиадных конкурсов (рис. 1–5) позволяет предполагать, что результаты имеют распределения, близкие к нормальному.

Рис. 1. График результатов лексико-грамматического теста

Рис. 2. График результатов понимания устного текста

Рис. 3. График результатов понимания письменных текстов

Рис. 4. График результатов конкурса письменной речи

Рис. 5. График результатов конкурса устной речи

Для точного установления факта нормальности распределений применим критерии асимметрии и эксцесса. Сравнивая выборочные показатели асимметрии A и эксцесса E (табл. 2) с критическими значениями  ,  , где n = 196, можем утверждать, что результаты лексико-грамматического теста и конкурса письменной речи соответствуют нормальному закону, распределения прочих результатов отличаются от нормального. В связи с этим фактом для исследования взаимосвязи результатов олимпиадных конкурсов будет применяться метод ранговой корреляции.

Корреляционный анализ выступает в качестве одного из инструментов проверки валидности отдельных заданий. При разработке конкурсных этапов и заданий нужно стремиться к тому, чтобы корреляция результатов была достаточно высокой. Однако коэффициент корреляции между отдельными конкурсами не должен быть очень близким к 1, поскольку это может означать, что задания начинают дублировать друг друга: одно из них фактически является лишним.

В таблице 3 приведены рассчитанные значения коэффициентов ранговой корреляции Спирмена.

Таблица 3

Корреляционная матрица

 

ЛГТ

ТПУТ

ТППТ

КПР

КУР

ИБ

ЛГТ

1

         

ТПУТ

0,50304106

1

       

ТППТ

0,42745708

0,425449098

1

     

КПР

0,47098432

0,385084275

0,327534083

1

   

КУР

0,53221472

0,410522693

0,230743813

0,437029191

1

 

ИБ

0,85718744

0,741573169

0,632375937

0,663601006

0,72861096

1

Таким образом, корреляционный анализ демонстрирует наличие тесной связи между всеми конкурсами заключительного этапа Олимпиады и итоговым результатом: все коэффициенты ранговой корреляции Спирмена значимы на уровне 0,01. При этом следует отметить, что для конкурсов показателей корреляции, близких по модулю к 1, нет, что свидетельствует о том, что данные олимпиадные задания не находятся в «слишком тесной связи», подменяя друг друга. В то же время следует отметить, что итоговый балл находится в очень тесной связи с каждым отдельным олимпиадным конкурсом.

Заключение

Проведенный статистический анализ результатов школьников заключительного этапа Всероссийской олимпиады по французскому языку, включающий 5 конкурсов, соответствующих уровню сложности В2+ по европейской шкале, показал соответствие комплекта олимпиадных заданий методическому принципу системности. Олимпиадные задания носят интегрированный характер, сочетая разные формы и объекты контроля; позволяют достаточно хорошо дифференцировать участников по уровням. Корреляционный анализ подтверждает тот факт, что олимпиадные конкурсы по иностранным языкам не дублируют друг друга, а образуют целостную систему.


Библиографическая ссылка

Семенов А.В., Кисова В.В., Семенова Е.А. АНАЛИЗ ОЛИМПИАДНЫХ ЗАДАНИЙ ПО ИНОСТРАННОМУ ЯЗЫКУ НА ОСНОВЕ СТАТИСТИЧЕСКОГО ПОДХОДА // Современные проблемы науки и образования. – 2021. – № 3. ;
URL: https://science-education.ru/ru/article/view?id=30912 (дата обращения: 18.10.2021).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074