Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

СИСТЕМА АВТОМАТИЗАЦИИ ПРОЦЕДУР ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ, СБОРА И ОБРАБОТКИ КОНТЕКСТНЫХ ДАННЫХ ДЛЯ РЕШЕНИЯ ЗАДАЧ УПРАВЛЕНИЯ В ОБРАЗОВАНИИ

Лепустин А.В. 1 Илюхин Б.В. 2
1 Томский политехнический университет
2 Томский государственный университет систем управления и радиоэлектроники
В статье описаны основные элементы региональной автоматизированной системы, применяемой для получения информации о состоянии и развитии образовательных достижений школьников, а также ее преимущества, базирующиеся на применении новых методов педагогических измерений. Применение оригинальных методов оценки уровня обученности, измерений в образовании в сочетании с использованием современных средств автоматизации позволяет обеспечить органы управления образованием объективной информацией, необходимой для принятия квалифицированных управленческих решений, а также обеспечить учителя и школьника своевременной достоверной информацией о знаниях ребенка, степени сформированности универсальных учебных действий. Своевременное получение информации о выявленных проблемных зонах позволяет выстроить для каждого отдельного обучающегося индивидуальных план его развития и за счет этого существенно повысить эффективность его образования.
качество образования
компьютерное
бланочное тестирование
автоматизация
мониторинг
массовые процедуры оценивания знаний
оценивание в образовании
1. Майоров А.Н. Теория и практика создания тестов для системы образования. – М.: Интеллект-центр, 2001. – 296 с.
2. Майоров А.Н. Мониторинг в образовании. – М.: Интеллект-Центр, 2005. – 424 с.
3. Болотов В.А., Вальдман И.А. Информирование различных целевых групп как условие эффективного использования результатов оценки учебных достижений школьников / В.А. Болотов, И.А. Вальдман // Проблемы современного образования. – 2012. – № 6. – С. 187-202.
4. Болотов В.А., Вальдман И.А. Условия эффективного использования результатов оценки образовательных достижений школьников // Педагогика. - 2012. - № 6. – С. 39-45.
5. Илюхин Б.В. Математическое моделирование влияния контекстных факторов на уровень подготовленности абитуриентов учреждений высшего профессионального образования Российской Федерации / Б.В. Илюхин, А.В. Лепустин, Ю.Я. Кацман // Доклады Томского государственного университета систем управления и радиоэлектроники. - 2015. - № 2 (36). - С. 183-188.
6. Кацман Ю.Я., Лепустин А. В., Илюхин Б. В. Влияние контекстных факторов на оценку эффективности работы школ Томской области // Современные проблемы науки и образования. - 2014. - № 6. - URL: https://www.science-education.ru/ru/article/view?id=16117.
7. The stochastic model of the impact of context factors to educational results of Tomsk school graduates / Yu.Ya. Katsman [et al.] // 2016 IEEE Global Engineering Education Conference (EDUCON) : 10-13 April 2016, Abu Dhabi, UAEproceedings. - IEEE, 2016. - P. 767-771.
8. Кашпур В.В., Рачилина М.В., Илюхин Б.В. Фоновые факторы, влияющие на результаты ЕГЭ. – Томск: Дельтаплан, 2008. - 100 с.
9. Илюхин Б.В. Общественное участие в процедурах оценки качества образования как элемент открытости системы образования в целом // Открытость образования: разные взгляды - общие ценности: сб. материалов / Обществ. палата Рос. Федерации, Комиссия по развитию образования; Нац. исслед. ун-т «Высшая школа экономики», Ин-т образования. - М.: Изд. дом Высшей школы экономики, 2013. - С. 193-200.
10. Илюхин Б.В. Оценка качества образования и принцип разумной достаточности. // Народное образование. 2012. - № 6. - С. 118-126.
11. Проектное обучение – парадигма элитного инженерного образования в России в условиях стратегии инновационного развития / Е.А. Давыдова, Р.В. Мещеряков, А.А. Шелупанов // Высшее образование сегодня. – 2006. – № 8. – С. 9-15.
12. Индикаторы оценки качества образования / М.Л. Агранович, П. Кондрашов // Директор школы. – 2007. – № 5. – С. 5-16.
13. Школы, эффективно работающие в сложных социальных контекстах / М.А. Пинская, С.Г. Косарецкий, И.Д. Фрумин // Вопросы образования. – 2011. - № 4. – С. 148-177.
14. Горлов П.И., Илюхин Б.В. Как построить систему оценки качества образования? // Журнал руководителя управления образованием. – 2012. - № 6. - С. 41-46.
15. Горлов П.И., Илюхин Б.В. Возможность использования ресурсов Центра оценки качества образования Томской области для создания элементов региональной системы оценки качества образования // Качество образования в Евразии. – 2013. - № 1. - С. 123-135.
16. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. – М.: Логос, 2002. – 432 с.
17. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. – Ohio: Cengage Learning, 2006.
18. Millman J. & Greene J. The specification and development of tests of achievement and ability // R.L. Linn (Ed.), Educational measurement (pp. 335-366). Phoenix, AZ: Oryx Press, 1993.
19. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов пед. вузов. - 3 изд., испр. и доп. - М.: Централизованное тестирование, 2002. – 240 с.

Работы по созданию в Российской Федерации национальной системы оценки качества образования ведутся более 10 лет. Данные ряда сравнительных международных исследований (TIMSS, PEARLS) в образовании подтверждают постепенное улучшение позиций Российской Федерации на фоне большинства стран, в том числе стран ОЭСР. Вместе с тем значительная часть проблем в российском образовании еще не решена: в частности, мы существенно отстаем по уровню естественно-научной грамотности 15-летних школьников (PISA) и ряду других направлений.

Причины этих проблем во многом обусловлены инерционностью современной системы образования, отсутствием современных механизмов обратной связи, недостаточностью существующих средств диагностики и методов анализа для выявления проблем.

Автоматизация процедур оценивания на федеральном уровне представлена в настоящий момент только автоматизированными системами обеспечения процедур проведения государственной итоговой аттестации. При этом разработка инструментария для оценки и отслеживания индивидуального прогресса школьников на протяжении всего периода обучения представляет собой очень сложную задачу. Решение данной задачи предполагает разработку валидного инструментария оценки, эффективных технологий для организации и проведения процессов оценивания, применения современных методов обработки и анализа результатов. Выполнение подобных задач требует использования значительных кадровых, технических и финансовых ресурсов, поэтому разработка подобных инструментов на уровне образовательной организации или муниципалитета попросту невозможна. Таким образом, у субъектов Российской Федерации возникает насущная потребность в создании и развитии региональных систем, позволяющих получить информацию, необходимую для принятия управленческих решений в целях повышения качества образования.

Постановка проблемы

Поскольку результат итоговой аттестации обучающегося зависит от его индивидуального прогресса, очень важно выявлять пробелы в знаниях своевременно, на протяжении всего периода обучения. Возникновение пробелов у обучающихся, как правило, обусловлено различными причинами, а зачастую сочетанием ряда причин:

- особенностями психоэмоционального развития самого школьника;

- проблемами взаимоотношений в школе с одноклассниками и учителями;

- недостаточной квалификацией учителя;

- отсутствием современных средств обучения и т.д.

Кроме того, на образовательные достижения школьников значительное влияние оказывают так называемые контекстные факторы – уровень социально-экономического развития населенного пункта, в котором расположена образовательная организация, образование родителей, полнота семьи и др.

Для выявления проблем, фиксации причин их возникновения и принятия грамотных управленческих решений очень важна своевременная диагностика. К сожалению, разовые процедуры государственной итоговой аттестации не дают возможности в полной мере использовать их результаты для коррекции уровня обученности конкретного выпускника, поскольку государственная итоговая аттестация проходится школьниками, как правило, только один раз. Для этой цели должны использоваться процедуры, проводимые периодически для одних и тех же обучающихся по сопоставимым измерительным материалам с целью выявления пробелов и проблем их обученности. Для этого на уровне Томской области в апреле-мае проводятся мониторинговые исследования (рубежный контроль в 5-8, 10 классах) образовательных достижений (реализация принципов периодичности мониторинга [1; 2]).

На разных уровнях контроля используются различные формы тестирования (бланочное тестирование при проведении государственной итоговой аттестации 9 и 11 классов, тестирование с помощью специальных устройств при проведении региональных мониторинговых исследований и пр.). Результаты тестирования требуют подготовки аналитической информации для построения индивидуальных траекторий образовательных достижений школьников, сравнения укрупненных результатов проведения различных массовых процедур оценивания, других задач, связанных с использованием информации о разных процедурах. Все это требует автоматизации не только самих процедур, но и формирования единого банка образовательных результатов.

Системы хранения текущих результатов обучения школьников существуют как в России («Сетевой город», «Дневник.ru», Netschool), так и во многих странах мира. Как правило, подобные системы не хранят детализированную информацию об уровне освоения отдельных элементов кодификаторов знаний (умений) и используются для оповещения родителей об отметках их ребенка.

Информационные системы, позволяющие хранить результаты оценочных процедур, существуют во многих странах, например в Австралии (NAPLAN), США (при проведении обязательных процедур тестирования на уровне отдельных штатов) и т.д. Но эти системы специально сделаны для использования результатов только одной процедуры.

Доказано, что на образовательные достижения школьников влияют так называемые контекстные факторы [3–7] ? уровень социально-экономического развития территории, образовательный ценз родителей и прочие исследования [8-11] показали существенную зависимость результатов школьников от отношения к ЕГЭ администрации школ и учителей, а также от образовательного ценза родителей школьников. В работе [12] показано влияние на качество образования экономических факторов, а результаты исследования, доказывающего, что отдельные школы могут быть эффективны даже в сложных социальных контекстах, представлены в [13]. Подобные выводы содержатся и в работах, описывающих российский и международный опыт [13-15]. Таким образом, для получения взвешенных оценок и сопоставления образовательных достижений учеников различных школ необходима информация об образовании родителей школьников, их социальном статусе, полноте семей обучающихся, многодетных семьях, индексе развития территории и т.д. Также для сравнительного анализа и получения достоверной информации для корректного сравнения требуются данные об учителях школ, их возрасте, нагрузке и пр.

Таким образом, набор исходных данных представляет собой массив достаточно большого объема. Работа с таким количеством исходных данных связана с определенными трудностями, которые призвана решить разрабатываемая информационная система. Автоматизация выполнения рутинных действий позволяет повысить качество и скорость выполнения расчетов и получения результатов анализа.

Описываемая в данной статье система – результат решения технической задачи автоматизации процессов агрегации и анализа результатов различных процедур оценивания, проводимых как на уровне страны, так и на уровне региона (области), а также сбора контекстной информации, получения данных для кластеризации образовательных организаций и оценки динамики образовательных достижений обучающихся.

В 2015 году система получила статус государственной информационной системы. ГИС «Региональные базы данных» (ГИС РБД) представляет собой технологическую часть областной системы оценки качества образования. Отдельные подсистемы ГИС РБД разрабатывались с 2000 года, современная технологическая реализация вошла в активную фазу с 2009 года. В настоящее время ГИС РБД находится в состоянии промышленной эксплуатации. Проводится постоянная доработка и расширение функционала.

Цель и предназначение системы

При создании системы преследовалась цель удовлетворения потребностей субъектов образовательной деятельности (в т.ч. органов исполнительной власти, осуществляющих управление в сфере образования, и органов исполнительной власти, осуществляющих переданные полномочия Российской Федерации в сфере образования) в получении объективной информации о результатах образовательной деятельности, о состоянии и развитии системы общего образования Томской области.

Система предназначена для обработки:

- первичной информации о состоянии системы образования в Томской области (информация об учителях: их возраст, образование, квалификация, стаж, нагрузка и прочее);

- первичной информации об образовательных организациях (техническое, материальное и литературное оснащение и т.д.).

- индивидуальных результатов тестирования различного уровня (входное тестирование, рубежный мониторинг, итоговая аттестация).

Кроме того, система выполняет функции по информационному обеспечению подготовки, планирования, проведения и анализа результатов процедур мониторинговых исследований, государственной итоговой аттестации обучающихся (в том числе в формах основного государственного и единого государственного экзамена).

Внутренняя структура системы

Разработанная система представляет собой совокупность баз данных - источников информации. Каждая такая база данных (кроме БД информационной системы «Аналитика») хранит данные только одного периода проведения массовых процедур оценивания. Таким образом, за весь период использования информационных систем (с 2006 года) в региональном центре обработки информации – Центре мониторинга и оценки качества образования Томского областного института повышения квалификации и переподготовки работников образования (далее – РЦОИ), накоплено большое количество баз данных разных лет.

Информационные системы, используемые при подготовке, проведении и обработке результатов государственной итоговой аттестации выпускников 9 и 11 классов, а также информационная система «Мониторинг» имеют различные (в том числе по структуре) БД, так как разрабатывались и поддерживались разными компаниями в течение длительного времени.

База данных информационной системы «Аналитика» построена на основе структуры БД информационной системы «Мониторинг». При построении базы функционал и атрибуты хранимых данных были расширены для согласования с другими ИС и АИС. В БД информационной системы «Мониторинг» такой функционал не требовался, и для увеличения скорости работы системы в целом было принято решение о выделении данной разработки в отдельную ветку.

Структура взаимодействия подсистем показана на рисунке.

Внутренняя структура системы

 

В состав подсистем входят:

1. Информационная система обеспечения процессов подготовки, планирования, проведения и обработки результатов государственной итоговой аттестации выпускников школ старшей ступени – 11 классов (ЕГЭ) АИС «ЕРБД» (в том числе ее региональный сегмент «АИС ЕГЭ» – разработка ФГБУ «Федеральный центр тестирования»). Разработка ведется с 2002 года по настоящее время. Программное обеспечение с закрытым исходным кодом. Поддерживаемые типы тестирования с точки зрения обработки: только бланковое тестирование. Использование данной системы регламентировано федеральными актами. Используется в Томской области с 2009 года по настоящее время.

2. Информационная система обеспечения процессов подготовки, планирования, проведения и обработки результатов государственной итоговой аттестации выпускников школ основной ступени – 9 классов (ОГЭ) АИС «Экзамен» – разработка ЗАО «КРОК Инкорпорейтед»). В настоящее время разработка и поддержка прекращены, однако программное обеспечение было передано РЦОИ на правах свободного использования. Поддерживаемые типы тестирования с точки зрения обработки: только бланковое тестирование. Штатное использование в Томской области – с 2006 года по настоящее время.

3. Информационная система «Мониторинг» (разработка РЦОИ). Используется при проведении итоговой аттестации 4 классов, мониторинговых исследований в 5-8, 10 классах. Поддерживаемые типы тестирования с точки зрения обработки: бланковое тестирование, тестовые тетради, компьютерное тестирование. Используется с 2010 года по настоящее время.

4. Система оповещения о результатах экзаменов (разработка РЦОИ). Вспомогательная система, используется при проведении государственной итоговой аттестации 9 и 11 классов, так как собственной системы оповещения в федеральных системах не предусмотрено.

5. Информационная система «Аналитика» (разработка РЦОИ). Вспомогательная система, используется для получения аналитических данных, так как собственного аналогичного функционала в системах не предусмотрено. Принимает в себя все результаты тестирований из информационных систем обработки результатов экзаменов государственной итоговой аттестации (как 9, так и 11 классов), а также информационной системы «Мониторинг».

6. Информационная система «Паспорт школы» (разработка РЦОИ). Основной источник информации для систем проведения тестирования и обработки результатов тестирования: в неё вносятся первичные данные для указанных систем, поэтому она позволяет внести все необходимые характеристики собираемых объектов. Кроме того, ИС «Паспорт школы» получает из школ первичные данные о состоянии системы образования в Томской области: информацию об учителях (их возраст, квалификация, занятость и т.д.), информацию о школах (техническое и материальное оснащение, оснащение литературой и т.д.) для дальнейшего анализа.

Центральной и наиболее «нагруженной» с точки зрения количества генерируемой информации является информационная система «Мониторинг». В этой ИС в настоящее время имеются сведения о результатах всех тестирований за период 2010-2016 годов. В 2016 году в системе произошло накопление полной (с точки зрения текущей модели проведения мониторинговых исследований) информации о результатах выполнения тестов входного, рубежного и итогового контроля обучающихся за период 4-11 классов.

Функции подсистем

Все подсистемы, входящие в разработанную систему, можно разделить на три большие группы по выполняемым функциям:

1. Сбор информации. Функции данной группы программ – получение на региональном уровне первичной информации о состоянии системы образования (ИС «Паспорт школы») и информации для проведения и обработки экзаменов (все системы-источники информации – перечень обучающихся, их атрибуты).

2. Подготовка, планирование и обработка результатов экзаменов (АИС «ЕГЭ», АИС «Экзамен», ИС «Мониторинг»). Функции данной группы программ имеют своей конечной целью получение индивидуальных результатов участников тестирования.

3. Выполнение статистического анализа по результатам проведения тестирования – результативность выполнения заданий и элементов спецификации тестов учеником индивидуально и группой учеников (класс, параллель) в рамках школы, муниципалитета и области, а также анализ тестовых заданий и тестов с целью дальнейшей доработки, включая различные тестологические инструменты [16-18].

С точки зрения построения областной системы оценки качества образования наибольший интерес представляют возможности третьей группы функций для целей управления и принятия управленческих решений. Результаты выполненной аналитической работы используются областным департаментом образования, а также ежегодно выходят статистический и аналитический сборники (со сводными данными) по результатам каждого из типов тестирований. Опубликованные данные рекомендуются для использования школами для корректирования программ обучения. В личных кабинетах школ на сайте системы оповещения о результатах экзаменов доступны сведения различной степени детализации.

Эффекты от применения системы

1. Внедрение информационной системы «Мониторинг» позволило сократить время сбора и обработки материалов регионального мониторинга. В 2008 году в региональном мониторинге присутствовало 10 экзаменов, обработка ответов производилась вручную, срок обработки – 5 недель силами 4 сотрудников. В 2016 году в рамках регионального мониторинга проводилось 45 экзаменов, срок обработки – 4 дня силами 2 сотрудников.

В отдельных случаях, когда в организации проведения мониторинга и в передаче данных на региональный уровень участвует муниципальный орган управления образованием, обработка материалов одного экзамена занимает 30 минут силами 1 сотрудника.

2. Кроме того, внедрение информационной системы «Мониторинг» позволило более качественно построить процесс разработки материалов мониторинга (измерителей). Появилась возможность строить более детальную статистику о результатах решения заданий (которую невозможно было получить при ручной обработке) и использовать ее авторами заданий [2; 19]. Также появилась возможность оптимально планировать апробацию создаваемых тестов [16].

3. Дополнительно внедрение информационной системы «Мониторинг» позволило сократить сроки разработки заданий и компоновки тестов за счет отбора качественных измерителей и использования фасетов к наработанному (в том числе ранее) материалу [2; 16; 17].

4. Внедрение информационной системы «Паспорт школы» позволило собрать и иметь в оперативном доступе актуальную информацию в любой момент времени без необходимости вступать в официальную переписку и обращаться за ней в образовательные организации и органы управления образованием. Таким образом, частично снижена острота побочной проблемы высокой загруженности школ различного рода отчётностью, предоставляемой на разные уровни управления образованием.

5. Внедрение системы оповещения о результатах позволило автоматизировать и сократить до нескольких минут процесс оповещения выпускников о результатах итоговой аттестации. Размещение информации о ходе обработки экзаменационных материалов повысило прозрачность процедуры.

6. Внедрение информационной системы «Аналитика» позволило автоматизировать и упростить получение различной статистической информации. Кроме того, использование дополнительной информации (спецификации тестов и пр.) позволяет выполнить такой статистический анализ по многим аспектам, который был бы невозможен без применения информационных технологий.

Дальнейшее развитие системы

В настоящее время система находится в состоянии доработки в соответствии с текущими потребностями.

1. Осенью 2014 года проведена апробация автоматизации проведения мониторинга универсальных учебных действий выпускников 4 классов. Особенность процедуры заключается в том, что ее спецификация предполагает использование заданий не только с кратким, но и с развернутым ответом. С целью однообразия получаемых оценок были разработаны критерии проверки каждого задания с развернутым ответом. Для формирования навыков работы с критериями оценивания у учителей школ проверка заданий с развернутым ответом производится непосредственно педагогами в образовательных организациях. Таким образом, технология предполагает передачу в региональный центр обработки информации (РЦОИ) в электронном виде: для заданий с кратким ответом – текста ответов, для заданий с развернутым ответом – только результатов оценивания. Кроме того, в РЦОИ передаются оригиналы заполненных бланков ответов школьников для выполнения выборочной перепроверки экспертами РЦОИ и выявления типичных ошибок оценивания. За 3 года использования такого рода формат экзаменов показал себя только с положительной стороны. Планируется постепенное увеличение доли мероприятий этого типа в региональных мониторинговых исследованиях.

2. Глубокая переработка подсистем информационной системы «Паспорт школы». Пробный запуск в 2013 году системы на практике доказал необходимость наличия подобного инструмента в такой крупной системе. Для более качественного использования при анализе укрупненных результатов контекстных факторов (которые оказывают заметное влияние на результаты) проведена переработка системы сбора информации, расширен спектр собираемой контекстной информации, включены методы проверки ее достоверности и актуальности. Проведена интеграция с региональными подсистемами федеральных информационных систем (АИС «Контингент-регион» и др.)

3. Проработка аналитической системы результатов. Автоматизация процессов оценки образовательных достижений школьников позволила серьезно повысить достоверность получаемых результатов. В ходе анализа некоторых данных были выявлены проблемы и противоречия существующей системы образования. На основе полученной информации можно сформулировать меры по улучшению для отдельных школ.

Заключение

Разработанная система успешно была апробирована и эксплуатируется на территории Томской области в течение последних трех лет. За время применения пользователями был сделан ряд некритичных замечаний, которые были учтены разработчиками при доработке системы. В настоящий момент в системе хранятся результаты более чем 700 тысяч оценочных процедур. Связь хранимых результатов с исходными планами оценочных процедур (спецификациями) позволяет корректно сравнить образовательные достижения школьников Томской области различных лет, а также оценить динамику образовательных достижений школьников, сопоставив ее с изменениями системы образования. Таким образом, мы можем достаточно оперативно оценить степень эффективности принятых решений в области управления образованием.


Библиографическая ссылка

Лепустин А.В., Илюхин Б.В. СИСТЕМА АВТОМАТИЗАЦИИ ПРОЦЕДУР ОЦЕНКИ ОБРАЗОВАТЕЛЬНЫХ РЕЗУЛЬТАТОВ, СБОРА И ОБРАБОТКИ КОНТЕКСТНЫХ ДАННЫХ ДЛЯ РЕШЕНИЯ ЗАДАЧ УПРАВЛЕНИЯ В ОБРАЗОВАНИИ // Современные проблемы науки и образования. – 2017. – № 4.;
URL: http://science-education.ru/ru/article/view?id=26576 (дата обращения: 07.12.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074