Введение
С вступлением в действие нового федерального закона об образовании электронное обучение становится частью высшего образования. Целью применения электронного обучения (ЭО) и дистанционных образовательных технологий (ДОТ) является обеспечение доступности образования и повышение его качества. Следует учитывать, что технологии электронного обучения отличаются от традиционных технологий высшего образования, поэтому традиционные методы и средства оценки и обеспечения качества, применяемые в высшем образовании, не могут быть просто перенесены на электронное обучение и современные образовательные технологии. Таким образом, одним из приоритетных направлений развития ЭО является формирование содержательных критериев качества электронного обучения. Для решения этой задачи необходимо оценить текущий уровень развития ЭО и ДОТ в вузах, поэтому разработка методики мониторинга уровня развития ЭО и ДОТ в вузах является актуальной.
Анализ мирового опыта мониторинга ЭО
В современной мировой практике в виде основной технологии мониторинга и обеспечения качества высшего образования используют методы бенчмаркинга. Основная идея бенчмаркинга состоит в определении и адаптации передовых достижений в рассматриваемой области к условиям собственной организации. Бенчмаркинг, изначально предназначенный для использования в различных отраслях бизнеса, сегодня успешно применяется для оценки образовательных систем в странах Азиатско-Тихоокеанского региона (Новая Зеландия, Австралия, Япония, Корея), а также в Европе и Америке.
Существуют два вида бенчмаркинга – критериальный (проверка соответствия какому-либо критерию) и количественный [5]. Критериальный подход определяет эталонные признаки лучшей практики в исследуемой области. В данном подходе в качестве ориентира выступает перечень существенных признаков, что позволяет большинству организаций использовать на практике данный подход для оценки своих достижений самостоятельно или с привлечением экспертов. В то же время определение эталонных признаков и их оценка достаточно трудоемкий вопрос, имеющий спорные моменты при выявлении «хорошей или лучшей практики». Количественный подход основан на сравнении абсолютных или приведенных значений показателей с заданной величиной (классический пример такого подхода – мониторинг эффективности вузов в РФ) и позволяет выявить передовой опыт в исследуемой области. Вместе с тем при количественной оценке необходимо оценивать не просто численность, но и эффективность: так, количество книг в библиотеке не так важно, как способность библиотеки своевременно предоставить информацию, необходимую студентам. Оба подхода важны при разработке методики мониторинга и критериев оценки.
Кроме того, при проведении мониторинга образовательных систем часто делают акцент на оценке процессов, а не результатов. В исследовании [5] отмечается, что оценка результатов намного важнее, и оценка процессов должна происходить только тогда, когда прямое (непосредственное) измерение результатов не представляется возможным.
В настоящее время в мире было сделано несколько попыток разработать системы оценки и повышения качества электронного обучения [2; 7], ниже рассматриваются основные системы и подходы к оценке качества электронного обучения.
Quality Matters (QM, США) описывает 8 ключевых областей (общих стандартов) качества онлайн-курсов, в которых рассматривается 41 стандарт, с примерами «хороших практик» [4]: обзор курса и введение, цели обучения (компетенции), оценка и измерение, материалы для инструкторов, взаимодействие студентов и занятия, технология курсов, поддержка студентов, доступность. QM используется более чем в 600 учебных заведениях в США, а также в учебных заведениях Бермуд, Канады, Саудовской Аравии и Австралии.
E-learning Maturity Model Benchmarking (eMM, Новая Зеландия) - эта методика основана на процессном подходе и делит процессы организации на пять основных категорий [3]: обучение, разработка, координация и поддержка, оценка, организация. В настоящее время используется вторая версия модели eMM V2, разработанная в сотрудничестве со специалистами Австралии и Великобритании, в ней выделено 35 процессов. Каждый процесс анализируется по пяти показателям (доставка, планирование, определение, управление и оптимизация), которые оцениваются по пятиуровневой шкале.
E-xcellence, E-xcellence+, E-xcellence Next (Европейское сообщество) - набор индикаторов, критериев качества и руководств по оценке программ и систем поддержки электронного обучения [9]. В рамках этого подхода критерии электронного обучения сгруппированы по шести категориям: стратегическое управление, разработка учебных программ, разработка учебных курсов, доставка учебных курсов, поддержка персонала, поддержка студентов. В каждой категории определено несколько ключевых критериев, оцениваемых в ходе мониторинга. По каждому критерию оценка проставляется по пятиуровневой шкале. Всего определено 35 критериев, напрямую связанных с определенными критериями качества электронного обучения. Имеется веб-инструмент Quickscan, который позволяет организации как самостоятельно, так и с привлечением экспертов пройти мониторинг качества электронного обучения и получить рекомендации по улучшению качества ЭО.
Australasian Councilon Open Distanceand E-Learning (ACODE, Австралия) описывает восемь отдельных областей оценки [1]: политика государства и организации в области технологий, поддерживающих обучение и преподавание, планирование и повышение качества интеграции технологий в обучение и преподавание, инфраструктура информационных технологий для поддержки обучения и преподавания, педагогическое применение информационных и коммуникационных технологий, профессиональное развитие сотрудников для эффективного использования технологий обучения и преподавания, поддержка сотрудников в использовании технологий обучения и преподавания, обучение студентов эффективному использованию технологий обучения и преподавания, поддержка студентов в использовании технологий в обучении. Каждая область оценки включает «Предварительное заявление», определяющее, что измеряется в данной области оценки. Далее указывается «Заявление хорошей практики», определяющее наилучшие достижимые показатели для данной области. Каждая область содержит от 8 до 10 ключевых индикаторов, определяющих уровень достижения «Заявления хорошей практики» данной области. Индикатор может состоять из нескольких компонентов. При проведении мониторинга каждый индикатор оценивается по пятибалльной шкале (от 1 до 5 баллов). 5 баллов – полное соответствие «лучшей практике». Использование цифровой шкалы позволяет легко сравнивать результаты мониторинга, рассчитывать динамику показателей для организации и рейтинг учебных заведений по каждой области оценки.
Pick&Mix (США) разработана Международной манчестерской школой бизнеса (MBS) и объединила в себе показатели методик MIT90 (университет Стратклайд, Шотландия), APQC (Американский центр производительности и качества), «Quality On The Line» (Институт политики высшего образования, США), ACODE и eMM [2]. Особенностью методики является то, что все критерии разделены на 20 основных, которые обязательны, и несколько десятков дополнительных критериев, из которых организация должна выбрать не менее пяти, кроме того, организация может использовать свои критерии, разработанные подобным образом. Критерии смешивают «процессные» и количественные выходные показатели, охватывают вопросы, связанные со студентами и сотрудниками, а также вопросы стратегии, инфраструктуры и информационных технологий. Каждый критерий оценивается по шкале от 1 до 5 с дополнительным шестым уровнем для обозначения совершенства. Критерии Pick&Mix сочетают в себе процессный и критериальный подходы и отличаются «практическим» стилем формулировок, что упрощает самостоятельную оценку состояния электронного обучения вузами.
Анализ подходов к оценке качества программ электронного обучения показывает [8], что онлайновые образовательные программы требуют строгой и постоянной политики поддержки, подготовки, мотивации, вознаграждения. В то же время в открытом и дистанционном образовании в роли индикаторов качества часто рассматривают только характеристики электронных учебных материалов [6]. Студентам, обучающимся с использованием ЭО и ДОТ, необходим тот же набор услуг для организации и прохождения обучения, что и студентам, обучающимся традиционным способом. Они должны получать учебные ресурсы, возможность общения с преподавателями и друг с другом, консультации по вопросам организации обучения. Однако зачастую способы предоставления этих услуг в онлайн-окружении оказываются более сложными. В работе [8] отмечается, что информационные технологии являются основой инфраструктуры онлайн-обучения и должны рассматриваться как важнейший компонент качества и успеха. Таким образом, при оценке качества электронного обучения необходимо рассматривать все связанные с ним вопросы в комплексе.
Как видно из представленного выше анализа, только одна из рассмотренных методик – E-Learning Maturity Model (eMM), использующаяся в Новой Зеландии, полностью основана на процессном подходе. Европейские и американские методики используют сбалансированные наборы критериев, оценивающие как сами процессы, так и их результаты. Учитывая, что Россия активно участвует в Болонском процессе, при разработке методики были максимально учтены наработки проектов E-xcellence (2005-2006), E-xcellence plus (2008-2009) и E-xcellence Next (2011-2012), выполненных под эгидой EADTU при поддержке ЕС.
Разработка методики мониторинга вузов в области электронного обучения
Логическая последовательность этапов, реализуемых предлагаемой методикой, показана на рисунке 1.
Рисунок 1 – Этапы построения системы мониторинга ЭО и ДОТ
Цели и задачи мониторинга. Цели разрабатываемой методики показаны на рисунке 2. Задачами данной методики является оценка уровня развития ЭО и ДОТ в вузах и готовности вузов к участию в межвузовских образовательных проектах, предполагающих применение ЭО.
Рисунок 2 – Цели мониторинга ЭО и ДОТ
Система мониторинговых показателей. Предлагаемая методика использует методологию бенчмаркинга, в которой в качестве критериев используются образцы «лучших практик» – лучшие мировые значения показателей. Авторы не проводили самостоятельного исследования «лучших практик» в области ЭО и ДОТ, а использовали анализ международных методик бенчмаркинга, применяемых в ведущих университетах мира, для выделения критериев и адаптировали их к условиям российских вузов.
Кроме этого, в систему критериев были добавлены элементы, не охватываемые современными международными методиками в силу существенного отставания уровня развития ЭО и ДОТ в России от общемирового. К ним относятся критерии оценки готовности вузов к внедрению ЭО и ДОТ. Проблема заключается в том, что в достаточно большом количестве вузов процесс внедрения ЭО и ДОТ находится на самом начальном этапе либо не осуществляется вовсе. Этот момент не учитывается современными зарубежными методиками, ориентированными на оценку качества ЭО и ДОТ в вузах, уже активно применяющих эти технологии. По той же причине в этих методиках отсутствуют индикаторы, позволяющие оценить масштаб использования ЭО и ДОТ в вузе.
Основные объекты мониторинга предлагаемой методики показаны на рисунке 3.
Рисунок 3 – Объекты мониторинга ЭО и ДОТ
Согласно рисунку 3, разрабатываемая методика мониторинга ЭО и ДОТ позволяет оценить уровень готовности к внедрению ЭО и ДОТ в вузах, в которых применение этих технологий еще не началось, соответствие ИТ-инфраструктуры потребностям ЭО и ДОТ, качественное состояние и соответствие «лучшим практикам» ЭО и ДОТ в вузах, уже применяющих эти технологии, а также масштаб применения ЭО и ДОТ в вузе.
Исходя из описанных задач выделено шесть категорий оценки.
- Стратегия и управление – качество документирования целей и задач в области ЭО и ДОТ в организационных документах вуза.
- Информационно-техническое обеспечение – готовность и соответствие информационно-технической инфраструктуры задачам ЭО и ДОТ.
- Учебно-методическое обеспечение – наличие и соответствие стандартов учебно-методического обеспечения вуза требованиям ЭО и ДОТ.
- Среда обучения – соответствие электронных средств доставки учебного контента и организации обучения требованиям ЭО и ДОТ.
- Поддержка – соответствие системы онлайн- и офлайн-поддержки студентов и сотрудников вуза требованиям ЭО и ДОТ.
- Количественные показатели ЭО и ДОТ – показатели масштаба использования ЭО и ДОТ в вузе.
Каждая из категорий оценки раскрывается несколькими показателями, которые в свою очередь раскрываются через индикаторы мониторинга, формируя трехуровневую иерархическую систему мониторинговых показателей. Категории оценки системы мониторинга ЭО и ДОТ, и показатели для каждой категории показаны на рисунке 4. В настоящее время на основе этой классификации разработана система показателей и индикаторов, состоящая из 17 показателей, раскрывающихся через 48 индикаторов.
Инструментарий мониторинга. Серьезной проблемой при мониторинге является оценка качественных индикаторов, не имеющих прямого количественного выражения. Поскольку в российских вузах зачастую нет экспертов в области ЭО и ДОТ, при разработке методики была поставлена задача создания системы мониторинга, не требующей сложных экспертиз и расчетов для осуществления оценки. В противовес достаточно объемным методическим рекомендациям по оценке, используемым во многих зарубежных системах, в данной методике предлагается использование бинарных элементов индикатора.
Для каждого индикатора разрабатывается несколько простых критериев, названных «элементы индикатора», выражающих атрибуты данного индикатора. Элементы подбираются таким образом, чтобы в совокупности охватить данный индикатор:
,
где И – индикатор; Эi – элемент индикатора. Выбор элементов индикатора осуществлялся таким образом, чтобы элементы были независимыми и в совокупности полностью характеризовали индикатор, т.е.:
Рисунок 4 – Области оценки системы мониторинга ЭО и ДОТ
: 
Каждый элемент индикатора является бинарным и может принимать значение 0 или 1:
.
Элемент индикатора принимает значение 0, если данный атрибут не соответствует положению дел в вузе, и 1 - если соответствует. Оценка индикатора вычисляется по формуле:
.
Поскольку в данной методике используются в основном качественные критерии, для оценки индикаторов предлагается использовать пятиуровневую рейтинговую шкалу порядка с уровнями от 0 до 4: 4 – полностью соответствует; 3 – в основном соответствует; 2 – частично соответствует; 1 – в основном не соответствует; 0 – полностью не соответствует.
Если принять n = 4 (четыре элемента для индикатора), оценка индикатора ОИ точно ложится на рейтинговую шкалу:
.
Данная методика допускает также использование относительных процентных индикаторов. Оценка в этом случае вычисляется по формуле:
и также ложится на рейтинговую шкалу.
Оценки показателей рассчитываются как среднее арифметическое индикаторов, входящих в эти показатели, а оценки категорий – как среднее арифметическое показателей, входящих в категории.
Определение областей для улучшения. По результатам оценки индикаторов определяются направления деятельности вуза в области ЭО и ДОТ, нуждающиеся в улучшении. Первоочередного внимания требуют процессы, индикаторы которых получили оценки 0 и 1. Именно они являются приоритетными областями для улучшения качества ЭО и ДОТ (рис. 5).
Рисунок 5 – Определение областей для улучшения
На основе предложенной методики разработана информационная система для мониторинга вузов в области ЭО и ДОТ. Сервер системы доступен по адресу: http://www.monitoring-el.ru.
Заключение
Представленная методика позволяет собрать информацию для анализа состояния и уровня развития ЭО и ДОТ в вузе и обеспечивает полный охват всех аспектов электронного обучения, давая оценку состоянию системы управления, ИТ-инфраструктуры, подготовки педагогического и управленческого персонала, электронной информационно-образовательной среды, средств и технологий разработки ЭОР и организации электронного обучения. Анализ результатов мониторинга позволяет найти области улучшения реализуемых моделей бизнес-процессов и определить направления развития ЭО ДОТ для вуза.
Работа выполнена по заданию Минобрнауки России, регистрационный номер 10.7045.2013.
Рецензенты:
Петрова Т.В., д.э.н., профессор, профессор кафедры экономики и управления горным производством, ФГБОУ ВПО «Сибирский государственный индустриальный университет», г. Новокузнецк.
Евтушенко В.Ф., д.т.н., профессор, профессор кафедры автоматизации и информационных систем, ФГБОУ ВПО «Сибирский государственный индустриальный университет», г.Новокузнецк.
Библиографическая ссылка
Малинов М.Б., Мочалов С.П., Третьяков В.С., Ермакова Л.А., Павлова Л.Д. РАЗРАБОТКА МЕТОДИКИ МОНИТОРИНГА УРОВНЯ РАЗВИТИЯ ЭЛЕКТРОННОГО ОБУЧЕНИЯ И ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ В ВУЗАХ // Современные проблемы науки и образования. – 2013. – № 5. ;URL: https://science-education.ru/ru/article/view?id=10642 (дата обращения: 13.10.2024).