Сетевое научное издание

Современные проблемы науки и образования

ISSN 2070-7428

"Перечень" ВАК

ИФ РИНЦ = 0,936

Введение

Олимпиадные задачи по химии занимают особое место в системе работы с одаренными школьниками. Олимпиада является не просто формой контроля, а инструментом отбора, развития и ранней идентификации учащихся, обладающих высоким уровнем предметной подготовки и исследовательского потенциала [1–3]. В современных условиях значимость олимпиадного движения существенно возрастает и для обучающихся, поскольку успешное участие в олимпиадах высокого уровня предоставляет значительные льготы при поступлении в ведущие университеты. В связи с этим задача разработки качественных олимпиадных заданий приобретает не только методическое, но и институциональное значение.

Вместе с тем вопрос о том, какие именно задачи действительно дифференцируют участников, в отечественной литературе разработан значительно слабее, чем вопросы содержания, тематики и способов составления задач. На практике ценность задачи нередко оценивается экспертным методом: по интуиции составителей, по репутации олимпиады, по общему впечатлению от сложности или «красоты» решения. Однако для научного анализа этого недостаточно. Если задача рассматривается как измерительный инструмент, то ее качество должно описываться не только содержательно, но и статистически – через данные о реальных результатах участников. В этом смысле особый интерес представляют дифференцирующие задачи, то есть такие задания, которые позволяют устойчиво различать более сильных и менее сильных участников [4].

Актуальность исследования определяется именно этой проблемой. Для олимпиад высокого уровня принципиально важно, чтобы комплект заданий не сводился ни к слишком легким, ни к чрезмерно трудным вопросам. В работах по методике составления олимпиадных задач прямо указывается, что в хорошем комплекте обязательно должны присутствовать как «утешительные», так и дифференцирующие («дискриминирующие») элементы, а итоговое распределение баллов по задаче в идеале должно приближаться к нормальному и обеспечивать разделение участников по уровню подготовки [4, 5].

В данной статье предлагается статистический подход к выявлению таких задач на материале Санкт-Петербургской олимпиады школьников по химии. Для каждой задачи рассчитывается дискриминационный индекс как разность средних баллов верхней и нижней групп участников, нормированная на максимальный балл за задачу. Дискриминационный индекс, предложенный Т. Келли и обосновывающий сравнение верхних и нижних 27% выборки как оптимального способа выявления различий между участниками [6], широко используется в теории и практике педагогических измерений [7]. Выбор порога в 27% в данном исследовании имеет еще одно сильное основание. Помимо его классического статуса в теории педагогических измерений [8, 9], он соотносится с реальной логикой олимпиадного отбора: доля дипломантов на рассматриваемой олимпиаде очень близка к этой границе. Поэтому сопоставление верхних и нижних 27% позволяет не только опереться на устоявшуюся тестологическую практику, но и приблизить статистическую модель к реальному разделению участников на группы разного уровня соревновательной успешности.

Выбор именно Санкт-Петербургской олимпиады школьников по химии также имеет основание. С одной стороны, за последние 9 лет по профилю «химия» олимпиада входила в Перечень РСОШ, имея I или II уровень (в последние годы чаще I уровень [10]). С другой стороны, сама структура ее заданий удобна для аналитического исследования: задачи в ней, как правило, компактны, лаконичны и допускают разбор по отдельным содержательным и формальным признакам. Это делает возможным переход от общих рассуждений о «сложности» или «качестве» олимпиадных задач к более строгому анализу того, какие тематические разделы и какие типы задач действительно работают как инструменты дифференциации участников.

Исследования, посвященные олимпиадным задачам по химии, можно условно разделить на две группы. Первая, наиболее многочисленная, носит описательно-методический характер. В таких работах внимание сосредоточено прежде всего на содержательных особенностях задач, типичных идеях решения, подборе интересного химического материала, способах усложнения и на тех когнитивных действиях, которые должны быть сформированы у учащегося. При всей методической ценности этих публикаций они, как правило, не опираются на статистический анализ реальных олимпиадных результатов и потому почти не отвечают на вопрос, насколько успешно конкретные задачи выполняют функцию различения участников по уровню подготовки.

Характерным примером второй, более редкой линии работ являются публикации, посвященные самим принципам конструирования задач. Так, в программной статье Г.В. Лисичкина и С.С. Карлова подчеркивается, что составление задач не сводится к одному лишь глубокому знанию предмета: наряду с творческой составляющей необходим системный методический подход, позволяющий соотносить задачу с целями обучения, уровнем аудитории и требованиями к комплекту заданий [5]. В свою очередь, С.С Астанин в методических требованиях к олимпиадным заданиям отмечает, что уровень сложности заданий должен меняться от базового к углубленному, а задания должны быть творческими и креативными для роста познавательного интереса школьников [11]. Особое место в литературе занимает статья В.В. Еремина о задачах олимпиад высокого уровня. В ней прямо формулируется мысль о том, что задача должна «работать», то есть давать жюри информацию о различиях между участниками. Автор показывает, что одинаково нежелательны и слишком простые, и чрезмерно трудные задания: в обоих случаях задача теряет измерительную ценность. В качестве методического ориентира предлагается правило «20–80»: хорошо сконструированная задача должна содержать и доступные элементы, и собственно дифференцирующие вопросы; при этом распределение результатов по задаче в идеале тяготеет к гауссову со средним в области 50–60% от максимума. В работе это ярко иллюстрируется на примере задач Международной химической олимпиады. Таким образом, автор формулирует критерии успешной олимпиадной задачи. Хорошая олимпиадная задача должна быть адекватной уровню участников, интересной по содержанию и включать разные уровни сложности, в том числе вопросы, выполняющие собственно дифференцирующую функцию [4]. Для настоящего исследования особенно значимо, что в работах Еремина категория «дискриминирующего» вопроса вводится как центральная характеристика олимпиадной задачи, однако остается преимущественно на уровне методического принципа [4, 12]. Иными словами, автор убедительно объясняет, почему такие элементы необходимы, но не предлагает формализованного способа их систематического выявления на массиве реальных данных. Именно в этой точке возникает исследовательский пробел, который и заполняет статистический анализ результатов участников.

Другой важный для обзора блок составляют работы, посвященные задачам, ориентированным на развитие научного мышления, а не только на тренировку олимпиадной техники [13, 14]. Например, преподаватели СУНЦ МГУ, анализируя работу со школьниками, отмечают, что обычные учебниковые задачи и даже часть олимпиадных задач часто проверяют главным образом воспроизведение материала и комбинирование данных в рамках знакомых схем. В противовес этому авторы разрабатывают задания «с открытым условием» и задачи на основе оригинальных научных текстов, требующие поиска информации, критической оценки источников и самостоятельного выбора данных, необходимых для решения [15]. Такие задания особенно важны как образец содержательно сильной задачи, однако и здесь основной акцент сделан на методике разработки и развивающем потенциале, а не на статистической проверке их дифференцирующей способности.

Тем самым анализ литературы показывает следующую картину. С одной стороны, в отечественной методической традиции накоплен существенный опыт осмысления того, какими должны быть хорошие химические задачи: интересными, содержательно корректными, соответствующими уровню аудитории, многоуровневыми по сложности и способными выявлять сильных участников. С другой стороны, работ, где эти свойства проверялись бы на основе количественных показателей по отдельным задачам, заметно меньше. Даже когда речь заходит о дифференцирующих заданиях, данная характеристика чаще выступает как экспертная метафора, а не как эмпирически измеряемый параметр.

Цель исследования – доказательство целесообразности статистического подхода к выявлению и обоснованию дифференцирующих заданий на основе рассчитанного с привлечением среднего балла дискриминационного индекса задачи в сопоставлении с фактическим измерительным весом.

Материал и методы исследования

В качестве эмпирической базы исследования использовались результаты Санкт-Петербургской олимпиады школьников по химии (https://olymp.academtalant.ru/chemspb#!/tab/616350182-3). Для анализа были рассмотрены данные с 2016 по 2025г. в параллелях 9–11-х классов, включающие индивидуальные результаты участников по каждой теоретической задаче тура. Все задачи имели одинаковый максимальный балл, равный 10.

В классической формулировке, восходящей к работе Келли, дискриминационный индекс определяется для тестовых заданий с бинарной шкалой оценивания (0/1) как разность долей правильных ответов в верхней и нижней группах испытуемых:

где – доли участников, правильно выполнивших задание в верхних и нижних 27% выборки соответственно. Такое определение предполагает бинарную оценку задания и потому напрямую неприменимо к олимпиадным задачам, для которых характерна градуированная шкала оценивания (в рассматриваемом случае – от 0 до 10 баллов). В этой ситуации естественным обобщением является переход от доли правильных ответов к среднему баллу за задачу в соответствующих группах.

В настоящей работе предлагается использовать следующую величину:

где – средний балл за задачу среди верхних 27% участников по суммарному результату;

– средний балл среди нижних 27% участников;

– максимальный балл за задачу.

Предложенная величина является естественным обобщением классического дискриминационного индекса. В случае бинарной шкалы оценивания (0 или 1) средний балл за задачу в группе совпадает с долей правильных ответов; таким образом, подставляя в предложенную формулу получим .

Содержательно величина D сохраняет интерпретацию классического показателя. Она принимает значения в интервале [0, 1], где значения, близкие к нулю, соответствуют задачам, не различающим участников (схожие результаты в верхней и нижней группах), а значения, близкие к единице, – задачам с высокой дифференцирующей способностью. При этом увеличение значения D означает рост разрыва между сильными и слабыми участниками по данной задаче.

Следует отметить, что предложенное определение не требует бинаризации результатов и, в отличие от классического индекса, позволяет учитывать частичные решения, что является принципиально важным для олимпиадных задач. Тем самым показатель D более адекватно отражает структуру реальных результатов участников и может использоваться как количественная мера дифференцирующей способности задач в условиях градуированной шкалы оценивания. Фактически величина D представляет собой нормированную разность условных математических ожиданий балла за задачу в верхней и нижней квантильных подвыборках.

Для анализа распределений дискриминационного индекса задачи рассматривались в объединенной выборке без разделения по классам (9–11-е классы) и годам проведения олимпиады с 2016 по 2024 г. На основе полученных значений дискриминационного индекса были построены распределения по всем задачам и сопоставлены со средним баллом.

Результаты исследования и их обсуждение

Распределение значений дискриминационного индекса (рис.1) по совокупности исследованных задач показывает, что данная величина не подчиняется нормальному закону. Уже сам этот факт представляется содержательно значимым. Если бы задачи, формально имеющие одинаковый вес в структуре олимпиады, в среднем одинаково работали на разделение участников по уровню подготовки, можно было бы ожидать более однородного распределения значений индекса вокруг некоторого центрального значения. Однако наблюдаемая картина свидетельствует о противоположном: несмотря на одинаковый максимальный балл за задачу, отдельные задачи вносят различный вклад в итоговую дифференциацию участников. Иными словами, «вес» задачи, заданный регламентом олимпиады, не совпадает с ее фактическим измерительным весом. Некоторые задания действительно позволяют различить сильных и слабых участников, тогда как другие либо оказываются слишком доступными, либо, напротив, чрезмерно трудными. Следовательно, формальное равенство задач по балльной стоимости не означает их равенства с точки зрения отбора и ранжирования участников.

Рис.1. Распределение дискриминационного индекса задач Санкт-Петербургской олимпиады школьников по химии.

Примечание: составлен авторами по результатам данного исследования

Отдельного внимания заслуживает левая часть распределения. В эту область, по-видимому, попадают два разных типа заданий. Во-первых, это легкие задания, с которыми справляется подавляющее большинство участников, во-вторых – чрезмерно трудные задания. Дополнительное понимание природы этого распределения дает анализ соотношения дискриминационного индекса и среднего балла за задачу (рис.2).

Рис.2. Зависимость дискриминационного индекса от среднего балла за задачу.

Примечание: составлен авторами по результатам данного исследования

Зависимость носит характер «перевернутой U-образной кривой», где максимальная дискриминационная способность достигается при средних значениях сложности задачи. Это наблюдение позволяет содержательно объяснить форму распределения дискриминационного индекса: левый хвост формируется за счет задач с экстремально низкой или высокой решаемостью, тогда как центральная часть распределения соответствует задачам с оптимальным уровнем сложности. Таким образом, анализ распределения подтверждает качественную гипотезу о том, что наибольшей дифференциальной способностью обладают не легкие задачи, которые слабые участники решают на высокий балл, а сильные – на максимальный балл, и даже не сложные задачи, которые оказываются под силу только особо подготовленным участникам, а средние задачи, характеризующиеся средним баллом ≈3–6.

Тем самым график зависимости дискриминационного индекса от среднего балла позволяет интерпретировать распределение не просто как статистический факт, а как отражение фундаментальной связи между сложностью задачи и ее способностью дифференцировать участников, что согласуется с классической теорией тестов [4].

Заключение

Результаты указывают на возможность целенаправленного конструирования олимпиадных комплектов: наличие небольшого числа (2–3) задач с высоким дискриминационным индексом является критически важным для качества отбора; равномерное распределение баллов между задачами не гарантирует их равного вклада в результат; статистический анализ может использоваться как инструмент апостериорной оценки качества задач и потенциально для улучшения будущих комплектов. Необходим дальнейший анализ связи дискриминационного индекса с содержательными и структурными особенностями условия задачи, что позволит использовать статистические методы не только для оценки, но и для целенаправленного конструирования олимпиадных заданий.