Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

USING MATHEMATICAL STATISTICS METHODS TO ANALYZE PEDAGOGICAL MONITORING DATA IN MANAGING AN ADDITIONAK EDUCATIONAL INSTITUTION

Korznikova N.V. 1 Saburova E.A. 2 Gazizova A.I. 3 Seletkov S.G. 2
1 Municipal budgetary educational institution of additional education the Center for Creative Development "Oktyabrsky"
2 FGBOU VO Kalashnikov Izhevsk State Technical University
3 Kazan Institute (Branch) of Russian State University of Justice (The Russian Law Academy of the Ministry of Justice of the Russian Federation)
In the conditions of modern socio-economic development and modernization of the education system, institutions of additional education for children must be ready for changing requirements. This leads to innovation and flexible adaptation of working methods to new conditions. In order to create favorable conditions and positive dynamics in the development of an additional education institution, situational and relevant approaches to managing education and assessing the quality of ongoing activities are needed, including through the methods of mathematical statistics. This paper demonstrates how relevant the use of mathematical statistics methods is in managing the activity of and evaluating the quality of an additional-education institution for its further improvement and optimization of its practices. The research was carried out on the example of the Municipal Educational Institution of Additional Education Center for Creative Development "Oktyabrsky" (Izhevsk). The research on the dynamics of an institution’s characteristics has been conducted over the period of 2018-2021 academic years. The authors of this study have designed and implemented a methodology where the Student’s coefficient is applied to situational management. The calculation results have shown that thanks to the fast-paced, flexible, variable and optimal nature of the implemented situational management methodology, the learning dynamics of the curriculum acquisition has an upward trend. The results of the conducted experiment have been analyzed and can be used to evaluate the quality of knowledge acquisition within a general-education development program.
mathematical statistics
educational institution management
additional education
situational management
pedagogical monitoring

Актуальность исследования обусловлена необходимостью описания процессов управления и контроля качества образования, которые приобретают большую значимость в образовательной политике.

Исследования показали, что для российской системы управления образованием необходим свой подход, который отличается от зарубежного менеджмента [1]. Направления решения задачи управления качеством образования исследуются В.А.Болотовым, Г.А.Бордовским, B.C. Лазаревым, О.Е. Лебедевым, Д.Ш. Матросом, В.Н.Максимовой, А.А.Нестеровым, B.П.Панасюком, М.М. Поташником, П.И. Третьяковым, К.М. Ушаковым, Т.Н. Шамовой, Н.А.Шубиным и др. Управление качеством в образовательных системах различных уровней рассмотрено в работах Е.И. Сахарчук, А.И.Субетто, Л.Л. Редько [2–3]. В настоящее время вопрос о решении задачи управления качеством образования в образовательном учреждении остается актуальным.

Управление качеством образования означает поэтапное наблюдение за образовательным процессом в учреждениях дополнительного образования. Одним из таких инструментов контроля является мониторинг учебного процесса, заключающийся в оценке уровня освоения программы обучающимися при поступлении и в конце учебного года.

При изучении результатов образовательного процесса особое внимание обращается на результаты обучения по дополнительной общеобразовательной общеразвивающей программе, а именно: предметные, метапредметные и личностные результаты.

Предметные результаты– это профессиональные навыки, теоретические знания, практическая подготовка. Метапредметные результаты– организация деятельности, умения планировать и оценивать свою деятельность, находить и использовать информацию. Личностные результаты– это отношение к обучению, к предмету, моральные и этические нормы, осознание ответственности, творческие достижения обучающихся и результаты участия в конкурсах, соревнованиях, выставках.

Для более грамотной организации образовательного процесса необходимо изучать способности и склонности обучающихся, особенности их характера, интересы и увлечения. Педагогам нужно анализировать результаты, указывающие на уровень усвоения программы, в том числе и с целью выявления одаренности. Следует обращать внимание на отношения с родителями, сверстниками.

Объектом нашего исследования было муниципальное образовательное учреждение дополнительного образования Центр творческого развития «Октябрьский» (г. Ижевск). Деятельность данного учреждения направлена на организацию образовательного процесса в системе дополнительного образования, организацию досуга детей и подростков, их социализацию, развитие креативности, личностную самореализацию их жизнедеятельности. Учреждение обеспечивает сочетание различных видов досуга с формами образовательной деятельности по шести направлениям: художественному, гуманитарному, естественно-научному, туристско-краеведческому, физкультурно-спортивному, техническому. Ежегодно Центр творческого развития «Октябрьский» посещают более 6 тысяч обучающихся. Образовательный процесс ведется как на базе учреждения, так и на базе 16 общеобразовательных организаций (школ) района. Педагогическую образовательную деятельность в учреждении осуществляют 175 педагогов. Деятельность учреждения регламентируется Федеральным законом «Об образовании в Российской Федерации», Уставом, локальными актами учреждения, а также приказами и распорядительными документами учредителя – Администрации города Ижевска в лице Управления образованием. В учреждении введен педагогический мониторинг оценки по 12-балльной шкале, позволяющий оценить динамику предметных, метапредметных и личностных результатов каждого обучающегося. Анализ результатов диагностики позволяет педагогу подобрать эффективные способы организации детского коллектива, определить перспективу развития образовательного процесса; результаты являются необходимым условием коррекции процесса обучения и воспитания [4].

Для определения статистической значимости был использован критерий Стьюдента, позволяющий оценить не только результат, но и динамику развития обучающихся в процессе освоения общеобразовательной общеразвивающей программы.

Для более эффективного функционирования системы дополнительного образования целесообразно создать на научных принципах систему управле­ния качеством дополнительного образования на основе современных подходов менеджмента с применением методов математической статистики.

Целью исследования является установление статистической значимости положительного сдвига в уровне развития детей при освоении ими общеобразовательной общеразвивающей программы (далее – программа), посещающих муниципальное образовательное учреждение дополнительного образования Центр творческого развития «Октябрьский» (г. Ижевск).

Система корпоративного обучения педагогических работников в учреждении дополнительного образования позволяет систематизировать работу по повышению качества педагогического мастерства и уровня профессиональной компетентности. При этом обеспечивается реальный успех в профессиональной деятельности педагогов, формируется эффективно работающая команда, устанавливаются и укрепляются профессиональные связи, растет мотивация педагогов на повышение уровня профессиональных знаний, создается единое профессиональное педагогическое сообщество с высоким уровнем корпоративной культуры.

Материал и методы исследования

В ходе исследования использовались методы анализа научной литературы и имеющегося практического опыта мониторинга качества образования в Центре, также применялись методы математической статистики и проводился контрольный эксперимент.

Мониторинг качества образования – это регулярное отслеживание объекта (качества образования), фиксация по определенным параметрам (критериям) изменения его состояния под влиянием внешних и внутренних факторов среды, осуществляемые на основе проведенных измерений, с последующей систематизацией и обработкой полученных данных. Исследование, проведенное в рамках мониторинга, служит для оценки и прогноза настоящего состояния и развития образования по отношению к понятию «качество образования».

Основными целями мониторинга качества образования, на наш взгляд, являются формирование моделей управления и развития качества образования, а также разработка, использование эффективных методов, приемов, технологий образовательной и управленческой деятельности, применяемых в образовательном процессе и управлении качеством образования в образовательной организации. К основным задачам мониторинга качества образования относятся:

- формирование соответствующих информационных параметров, баз данных количественного и качественного характера;

- сбор объективной и достоверной информации об объекте мониторинга;

- системный анализ и анализ получаемой в процессе мониторинга информации;

- обеспечение всех субъектов (пользователей) информацией о состоянии качества образования;

- подготовка предложений о состоянии исследуемого объекта с целью его дальнейшего совершенствования и ликвидации неблагополучия или потенциальных угроз для минимизации и устранения рисков в процессе развития объекта.

Для педагогического мониторинга характерно проведение исследований, преследующих цель выявления эффективности педагогических средств путем сравнения достижений или свойств одной и той же группы учащихся в разные периоды времени (зависимая выборка) или разных групп учащихся (независимая выборка). Для этого проводятся измерения – это операция присвоения чисел объектам и их свойствам в соответствии с определенными правилами [4, 5].

Измерение может быть прямым или косвенным. Прямое измерение заключается в непосредственном сравнении измеряемого объекта с каким-нибудь нормативом, эталонным измерителем (полнота, рост). В педагогических исследованиях прямое измерение используется редко. Чаще всего в исследованиях применяется косвенное измерение (оцениваются уровень знаний и умений обучающихся, их моральные качества, дисциплинированность) [6, 7].

Педагогический мониторинг обеспечивает участников образовательного процесса, администрацию учреждения качественной и своевременной информацией, которая позволяет получить реальную картину результативности нововведений, направлений Программы развития учреждения и является необходимой для принятия решений по внесению изменений и дополнений в целевые, технологические, организационные, информационные н нормативные параметры педагогической деятельности, дает возможность обеспечить личностно-ориентированный подход в обучении.

Для проверки эффективности проводимых мероприятий в организации выдвинем две статистические гипотезы.

Н0 – утверждение о том, что различие в результатах косвенного измерения одной группы в начале обучения и в конце вызвано лишь случайными причинами.

Н1 – утверждение о том, что существуют значимые различия в результатах косвенного измерения одной группы в начале обучения и в конце.

Для оценки статистической значимости рассмотрим парный t-критерий Стьюдента для зависимой выборки (когда одна и та же группа объектов порождает числовой материал для проверки гипотез о средних) [8, 9].

Вычисление значения t осуществляется по формуле:

,

где – разности между соответствующими значениями результатов мониторинга (начальный) и У (итоговый), а – это среднее этих разностей:

.

вычисляется по формуле:

.

Число степеней свободыkопределяется по формуле: k=n – 1, где n – это количество всех обучающихся. Если<, то нулевая гипотеза принимается, в противном случае принимается альтернативная гипотеза.

Следует отметить, что перед использованием критерия Стьюдента необходимо проверить выборку на нормальный закон распределения. Для этого можно применить критерий Колмогорова–Смирнова или Пирсона [8, 9].

Результаты исследования и их обсуждение

Диагностика результатов освоения программы проводится по полугодиям. В работе при расчете критерия были использованы результаты начального (X) и итогового (Y) мониторинга обучающихся за 3 периода: 2017/2018, 2019/2020 и 2020/2021 учебные годы. В таблице 1 представлен шаблон заполнения результатов мониторинга.

Таблица 1

Шаблон заполнения результатов мониторинга

Результат

 

Обучающийся

Предметный

Метапредметный

Личностный

ИТОГО

 

X

Y

X

Y

X

Y

X

Y

1

3,4

7,2

3,6

6,6

3,5

6,8

10,5

20,6

2

4,6

10,0

4,6

8,9

4,4

10,8

13,6

29,6

3

3,4

6,8

3,5

7,8

3,3

6,8

10,2

21,3

В таблице 2 представлены результаты проверки статистической гипотезы по формуле Стьюдента (H1 – эффективно, H0 – неэффективно). Расчеты представлены за 2020/2021 учебный год по одногодичной программе «Оригаметрия» (12 обучающихся возраста 6–8 лет). Число степеней свободы:k=12 – 1=11, уровень значимости α=0,05, и по таблице находим =2,201. Проверка исходных данных по критерию Колмогорова–Смирнова показала, что уровне значимости α=0,05 исследуемые выборки принадлежат одной генеральной совокупности и удовлетворяют нормальному закону распределения.

Таблица 2

Результаты проверки статистической гипотезы по программе «Оригаметрия» (2020/2021 учебный год)

Предметный

Метапредметный

Личностные

ИТОГО

t_эмп=

9,725

t_эмп=

29,632

t_эмп=

12,428

t_эмп=

16,038

Гипотеза

H1

Гипотеза

H1

Гипотеза

H1

Гипотеза

H1

Как показали расчеты, для итогового результата (как и для отдельно взятых предметного, метапредметного и личностного результатов) , откуда следует возможность принятия альтернативной гипотезы (H1) о достоверных различиях средних арифметических, т.е. делается вывод об эффективности проводимых мероприятий.

В терминах статистических гипотез полученный результат будет звучать так: на 5%-ном уровне гипотеза Н0отклоняется и принимается гипотеза Н1 [10].

Впервые 12-балльная шкала была применена в 2017/2018 учебном году. В эксперименте приняли участие 85 групп (=1,989) детей возраста 6–15 лет, которые занимались по художественному, гуманитарному, естественно-научному, туристско-краеведческому, физкультурно-спортивному и техническому направлениям. Как показывают расчеты (рис. 1), в общем и для отдельно взятых предметного, метапредметного и личностного результатов делается вывод об эффективности проводимых мероприятий.

После удачно проведенного эксперимента руководством было принято решение продолжить работу по данной методике и применить ее для всех в последующих учебных годах. Динамика исследуемого периода 2017/2021 учебные годы представлена на рисунке 1.

Рис. 1. Динамика показателей за период 2017/2021 учебные годы

Как показывают расчеты, сразу после введения эксперимента у всех преподавателей произошло снижение показателей t-критерия. Это объясняется, в первую очередь, тем, что в первоначальный период (2017/2018 учебный год) в исследовании принимали участие педагоги с большим стажем работы. Далее, в последующие годы, было проведено корпоративное обучение и даны разъяснения по рассматриваемым критериям [10, 11].

Также данный критерий можно рассмотреть и в том случае, когда программа является не одногодичной. Определим, как изменялся изучаемый показатель для группы, которая обучается по программе со сроком реализации более 3 лет. Для примера рассмотрим программу «Художественная гимнастика» (рис. 2).

Рис. 2. Динамика показателей за период 2017/2021 учебные годы по программе «Художественная гимнастика»

Как видно из динамики, представленной на рисунке 2, итоговый коэффициент Стьюдента за рассматриваемый период вырос более чем в 1,5 раза, а показатель предметного показателя вырос в 2 раза (=1,973). Об этом также и свидетельствуют успехи обучающихся: занимаемые ими призовые места и награды на различных фестивалях.

Интересно, что в 2018/2019 учебном году отмечается общее снижение показателей. Это происходит в связи с усложнением программы, что требует определенных усилий со стороны обучающихся, достаточного количества времени и высокой мотивации, соответственно приводит к отсеву обучающихся и формированию в последующем групп детей, ориентированных на успех, о чем говорит ярко выраженный рост к 2020/2021 учебному году предметного результата как основного показателя качества освоения программы.

Выводы

В контексте мониторинговой деятельности и достижения поставленных задач важным фактором является не только глубокий анализ качественных и количественных показателей измерения состояний объекта через определенные промежутки времени, но и сама динамика в итоге сравнения происходящих изменений.

Как показывают расчеты, за все рассматриваемые периоды уровень предметных, метапредметных, личностных результатов по итогам освоения программы имеет положительную динамику. Из этого можно сделать вывод, что педагоги на своих занятиях результативно и качественно обучают, формируют у учащихся необходимые компетенции и получают запланированные результаты.

Также предлагаемая методика исследования позволяет отследить динамику по теоретической и практической подготовке учащихся, личностное развитие.

Результаты диагностики обучающихся свидетельствуют о положительной динамике развития личностных качеств, достаточной степени сформированности самоопределения и мотивации, навыков соблюдения нравственно-этических норм. Большинство детей владеют нормами и правилами этикета, соблюдают правила поведения внутри учреждения и на занятиях, стараются быть вежливыми и тактичными.

Овладение диагностическими методиками оценки образовательного уровня обучающихся значительно расширяет психологическую компетентность педагога и становится условием его профессионального роста и мастерства.