Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

РАЗРАБОТКА МЕТОДИКИ МОНИТОРИНГА УРОВНЯ РАЗВИТИЯ ЭЛЕКТРОННОГО ОБУЧЕНИЯ И ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ В ВУЗАХ

Малинов М.Б. 1 Мочалов С.П. 1 Третьяков В.С. 1 Ермакова Л.А. 1 Павлова Л.Д. 1
1 ФГБОУ ВПО «Сибирский государственный индустриальный университет»
В статье рассматриваются основные системы и подходы к оценке качества электронного обучения. Проанализирован мировой опыт мониторинга электронного обучения, рассмотрены следующие методики: Quality Matters, eMM, E-xcellence, ACODE, Pick&Mix. Предложена методика мониторинга вузов в области электронного обучения (ЭО) и дистанционных образовательных технологий (ДОТ), включающая следующие этапы: определение целей и задач мониторинга, выбор критериев для оценки, информирование и привлечение участников, сбор данных, обработка и анализ результатов, выявление областей для улучшения и формирования мероприятий, направленных на развитие ЭО и ДОТ. Представленная методика обеспечивает полный охват всех аспектов электронного обучения, позволяет оценить уровень развития ЭО и ДОТ в вузах и готовность вуза к участию в межвузовских образовательных проектах, предполагающих применение ЭО.
методика мониторинга
система показателей
мониторинг
дистанционные образовательные технологии
электронное обучение
1. ACODE benchmarks for e-learning in universities and guidelines for use. (June, 2007) [Электронный ресурс]. – URL: http://www.acode.edu.au/resources/acodebmguideline0607.pdf (дата обращения: 08.10.13).
2. Devedzic, V., Scepanovic, S., Kraljevski, I. E-learning benchmarking. Methodology and tools review. Report 1.3 [Электронный ресурс]: DL@WeB Tempus project University of Kragujevac. 2011. – URL: http://www.dlweb.kg.ac.rs/files/DEV1.3%20EN.pdf (дата обращения: 08.10.13).
3. E-Learning Maturity Model [Электронный ресурс]. – Victoria University of Wellington: официальный сайт. – URL: http://www.utdc.vuw.ac.nz/research/emm/index.shtml.
4. Higher Education Program [Электронный ресурс]: Quality Matters (QM) Program: официальный сайт. – URL: https://www.qualitymatters.org/higher-education-program. (дата обращения: 08.10.13).
5. McKinnon K.R., Walker S.H., Davis D. Benchmarking. A manual for Australian Universities. [Электронный ресурс]. – URL: http://science.uniserve.edu.au/courses/benchmarking/ benchmarking_manual.pdf (дата обращения: 08.10.13).
6. Mishra S. Quality assurance in higher education: An introduction. – Bangalore, India.: NAAC, 2006. – 101 p.
7. Ossiannilsson, Ebba. Benchmarking e-learning in higher education: lessons learned from international projects. Academic dissertation to be presented with the assent of the Doctoral Training Committee of Technology and Natural Sciences of the University of Oulu for public defence in Auditorium IT116, Linnanmaa, on 14 December 2012, at 12 noon. – Oulu, Finland.: University of Oulu, 2012. – 171 p.
8. Shelton Kaye. A review of paradigms for evaluating the quality of online education programs. // Online Journal of Distance Learning Administration, Volume IV, Number I, Spring 2011 [Электронный ресурс]. – URL: http://www.westga.edu/~distance/ojdla/spring141/shelton141.html (дата обращения: 08.10.13).
9. Williams Keith, Kear, Karen and Rosewell Jon. Quality Assessment for E-learning: a Benchmarking Approach (2nd ed.) [Электронный ресурс]: Heerlen, The Netherlands: European Association of Distance Teaching Universities (EADTU), 2012, 72 p. – URL: http://oro.open.ac.uk/34632/2/3D5D7C.pdf. (дата обращения: 08.10.13).

Введение

С вступлением в действие нового федерального закона об образовании электронное обучение становится частью высшего образования. Целью применения электронного обучения (ЭО) и дистанционных образовательных технологий (ДОТ) является обеспечение доступности образования и повышение его качества. Следует учитывать, что технологии электронного обучения отличаются от традиционных технологий высшего образования, поэтому традиционные методы и средства оценки и обеспечения качества, применяемые в высшем образовании, не могут быть просто перенесены на электронное обучение и современные образовательные технологии. Таким образом, одним из приоритетных направлений развития ЭО является формирование содержательных критериев качества электронного обучения. Для решения этой задачи необходимо оценить текущий уровень развития ЭО и ДОТ в вузах, поэтому разработка методики мониторинга уровня развития ЭО и ДОТ в вузах является актуальной.

Анализ мирового опыта мониторинга ЭО

В современной мировой практике в виде основной технологии мониторинга и обеспечения качества высшего образования используют методы бенчмаркинга. Основная идея бенчмаркинга состоит в определении и адаптации передовых достижений в рассматриваемой области к условиям собственной организации. Бенчмаркинг, изначально предназначенный для использования в различных отраслях бизнеса, сегодня успешно применяется для оценки образовательных систем в странах Азиатско-Тихоокеанского региона (Новая Зеландия, Австралия, Япония, Корея), а также в Европе и Америке.

Существуют два вида бенчмаркинга – критериальный (проверка соответствия какому-либо критерию) и количественный [5]. Критериальный подход определяет эталонные признаки лучшей практики в исследуемой области. В данном подходе в качестве ориентира выступает перечень существенных признаков, что позволяет большинству организаций использовать на практике данный подход для оценки своих достижений самостоятельно или с привлечением экспертов. В то же время определение эталонных признаков и их оценка достаточно трудоемкий вопрос, имеющий спорные моменты при выявлении «хорошей или лучшей практики». Количественный подход основан на сравнении абсолютных или приведенных значений показателей с заданной величиной (классический пример такого подхода – мониторинг эффективности вузов в РФ) и позволяет выявить передовой опыт в исследуемой области. Вместе с тем при количественной оценке необходимо оценивать не просто численность, но и эффективность: так, количество книг в библиотеке не так важно, как способность библиотеки своевременно предоставить информацию, необходимую студентам. Оба подхода важны при разработке методики мониторинга и критериев оценки.

Кроме того, при проведении мониторинга образовательных систем часто делают акцент на оценке процессов, а не результатов. В исследовании [5] отмечается, что оценка результатов намного важнее, и оценка процессов должна происходить только тогда, когда прямое (непосредственное) измерение результатов не представляется возможным.

В настоящее время в мире было сделано несколько попыток разработать системы оценки и повышения качества электронного обучения [2; 7], ниже рассматриваются основные системы и подходы к оценке качества электронного обучения.

Quality Matters (QM, США) описывает 8 ключевых областей (общих стандартов) качества онлайн-курсов, в которых рассматривается 41 стандарт, с примерами «хороших практик» [4]: обзор курса и введение, цели обучения (компетенции), оценка и измерение, материалы для инструкторов, взаимодействие студентов и занятия, технология курсов, поддержка студентов, доступность. QM используется более чем в 600 учебных заведениях в США, а также в учебных заведениях Бермуд, Канады, Саудовской Аравии и Австралии.

E-learning Maturity Model Benchmarking (eMM, Новая Зеландия) - эта методика основана на процессном подходе и делит процессы организации на пять основных категорий [3]: обучение, разработка, координация и поддержка, оценка, организация. В настоящее время используется вторая версия модели eMM V2, разработанная в сотрудничестве со специалистами Австралии и Великобритании, в ней выделено 35 процессов. Каждый процесс анализируется по пяти показателям (доставка, планирование, определение, управление и оптимизация), которые оцениваются по пятиуровневой шкале.

E-xcellence, E-xcellence+, E-xcellence Next (Европейское сообщество) - набор индикаторов, критериев качества и руководств по оценке программ и систем поддержки электронного обучения [9]. В рамках этого подхода критерии электронного обучения сгруппированы по шести категориям: стратегическое управление, разработка учебных программ, разработка учебных курсов, доставка учебных курсов, поддержка персонала, поддержка студентов. В каждой категории определено несколько ключевых критериев, оцениваемых в ходе мониторинга. По каждому критерию оценка проставляется по пятиуровневой шкале. Всего определено 35 критериев, напрямую связанных с определенными критериями качества электронного обучения. Имеется веб-инструмент Quickscan, который позволяет организации как самостоятельно, так и с привлечением экспертов пройти мониторинг качества электронного обучения и получить рекомендации по улучшению качества ЭО.

Australasian Councilon Open Distanceand E-Learning (ACODE, Австралия) описывает восемь отдельных областей оценки [1]: политика государства и организации в области технологий, поддерживающих обучение и преподавание, планирование и повышение качества интеграции технологий в обучение и преподавание, инфраструктура информационных технологий для поддержки обучения и преподавания, педагогическое применение информационных и коммуникационных технологий, профессиональное развитие сотрудников для эффективного использования технологий обучения и преподавания, поддержка сотрудников в использовании технологий обучения и преподавания, обучение студентов эффективному использованию технологий обучения и преподавания, поддержка студентов в использовании технологий в обучении. Каждая область оценки включает «Предварительное заявление», определяющее, что измеряется в данной области оценки. Далее указывается «Заявление хорошей практики», определяющее наилучшие достижимые показатели для данной области. Каждая область содержит от 8 до 10 ключевых индикаторов, определяющих уровень достижения «Заявления хорошей практики» данной области. Индикатор может состоять из нескольких компонентов. При проведении мониторинга каждый индикатор оценивается по пятибалльной шкале (от 1 до 5 баллов). 5 баллов – полное соответствие «лучшей практике». Использование цифровой шкалы позволяет легко сравнивать результаты мониторинга, рассчитывать динамику показателей для организации и рейтинг учебных заведений по каждой области оценки.

Pick&Mix (США) разработана Международной манчестерской школой бизнеса (MBS) и объединила в себе показатели методик MIT90 (университет Стратклайд, Шотландия), APQC (Американский центр производительности и качества), «Quality On The Line» (Институт политики высшего образования, США), ACODE и eMM [2]. Особенностью методики является то, что все критерии разделены на 20 основных, которые обязательны, и несколько десятков дополнительных критериев, из которых организация должна выбрать не менее пяти, кроме того, организация может использовать свои критерии, разработанные подобным образом. Критерии смешивают «процессные» и количественные выходные показатели, охватывают вопросы, связанные со студентами и сотрудниками, а также вопросы стратегии, инфраструктуры и информационных технологий. Каждый критерий оценивается по шкале от 1 до 5 с дополнительным шестым уровнем для обозначения совершенства. Критерии Pick&Mix сочетают в себе процессный и критериальный подходы и отличаются «практическим» стилем формулировок, что упрощает самостоятельную оценку состояния электронного обучения вузами.

Анализ подходов к оценке качества программ электронного обучения показывает [8], что онлайновые образовательные программы требуют строгой и постоянной политики поддержки, подготовки, мотивации, вознаграждения. В то же время в открытом и дистанционном образовании в роли индикаторов качества часто рассматривают только характеристики электронных учебных материалов [6]. Студентам, обучающимся с использованием ЭО и ДОТ, необходим тот же набор услуг для организации и прохождения обучения, что и студентам, обучающимся традиционным способом. Они должны получать учебные ресурсы, возможность общения с преподавателями и друг с другом, консультации по вопросам организации обучения. Однако зачастую способы предоставления этих услуг в онлайн-окружении оказываются более сложными. В работе [8] отмечается, что информационные технологии являются основой инфраструктуры онлайн-обучения и должны рассматриваться как важнейший компонент качества и успеха. Таким образом, при оценке качества электронного обучения необходимо рассматривать все связанные с ним вопросы в комплексе.

Как видно из представленного выше анализа, только одна из рассмотренных методик – E-Learning Maturity Model (eMM), использующаяся в Новой Зеландии, полностью основана на процессном подходе. Европейские и американские методики используют сбалансированные наборы критериев, оценивающие как сами процессы, так и их результаты. Учитывая, что Россия активно участвует в Болонском процессе, при разработке методики были максимально учтены наработки проектов E-xcellence (2005-2006), E-xcellence plus (2008-2009) и E-xcellence Next (2011-2012), выполненных под эгидой EADTU при поддержке ЕС.

Разработка методики мониторинга вузов в области электронного обучения

Логическая последовательность этапов, реализуемых предлагаемой методикой, показана на рисунке 1.

Рисунок 1 – Этапы построения системы мониторинга ЭО и ДОТ

Цели и задачи мониторинга. Цели разрабатываемой методики показаны на рисунке 2. Задачами данной методики является оценка уровня развития ЭО и ДОТ в вузах и готовности вузов к участию в межвузовских образовательных проектах, предполагающих применение ЭО.

Рисунок 2 – Цели мониторинга ЭО и ДОТ

Система мониторинговых показателей. Предлагаемая методика использует методологию бенчмаркинга, в которой в качестве критериев используются образцы «лучших практик» – лучшие мировые значения показателей. Авторы не проводили самостоятельного исследования «лучших практик» в области ЭО и ДОТ, а использовали анализ международных методик бенчмаркинга, применяемых в ведущих университетах мира, для выделения критериев и адаптировали их к условиям российских вузов.

Кроме этого, в систему критериев были добавлены элементы, не охватываемые современными международными методиками в силу существенного отставания уровня развития ЭО и ДОТ в России от общемирового. К ним относятся критерии оценки готовности вузов к внедрению ЭО и ДОТ. Проблема заключается в том, что в достаточно большом количестве вузов процесс внедрения ЭО и ДОТ находится на самом начальном этапе либо не осуществляется вовсе. Этот момент не учитывается современными зарубежными методиками, ориентированными на оценку качества ЭО и ДОТ в вузах, уже активно применяющих эти технологии. По той же причине в этих методиках отсутствуют индикаторы, позволяющие оценить масштаб использования ЭО и ДОТ в вузе.

Основные объекты мониторинга предлагаемой методики показаны на рисунке 3.

Рисунок 3 – Объекты мониторинга ЭО и ДОТ

Согласно рисунку 3, разрабатываемая методика мониторинга ЭО и ДОТ позволяет оценить уровень готовности к внедрению ЭО и ДОТ в вузах, в которых применение этих технологий еще не началось, соответствие ИТ-инфраструктуры потребностям ЭО и ДОТ, качественное состояние и соответствие «лучшим практикам» ЭО и ДОТ в вузах, уже применяющих эти технологии, а также масштаб применения ЭО и ДОТ в вузе.

Исходя из описанных задач выделено шесть категорий оценки.

  1. Стратегия и управление – качество документирования целей и задач в области ЭО и ДОТ в организационных документах вуза.
  2. Информационно-техническое обеспечение – готовность и соответствие информационно-технической инфраструктуры задачам ЭО и ДОТ.
  3. Учебно-методическое обеспечение – наличие и соответствие стандартов учебно-методического обеспечения вуза требованиям ЭО и ДОТ.
  4. Среда обучения – соответствие электронных средств доставки учебного контента и организации обучения требованиям ЭО и ДОТ.
  5. Поддержка – соответствие системы онлайн- и офлайн-поддержки студентов и сотрудников вуза требованиям ЭО и ДОТ.
  6. Количественные показатели ЭО и ДОТ – показатели масштаба использования ЭО и ДОТ в вузе.

Каждая из категорий оценки раскрывается несколькими показателями, которые в свою очередь раскрываются через индикаторы мониторинга, формируя трехуровневую иерархическую систему мониторинговых показателей. Категории оценки системы мониторинга ЭО и ДОТ, и показатели для каждой категории показаны на рисунке 4. В настоящее время на основе этой классификации разработана система показателей и индикаторов, состоящая из 17 показателей, раскрывающихся через 48 индикаторов.

Инструментарий мониторинга. Серьезной проблемой при мониторинге является оценка качественных индикаторов, не имеющих прямого количественного выражения. Поскольку в российских вузах зачастую нет экспертов в области ЭО и ДОТ, при разработке методики была поставлена задача создания системы мониторинга, не требующей сложных экспертиз и расчетов для осуществления оценки. В противовес достаточно объемным методическим рекомендациям по оценке, используемым во многих зарубежных системах, в данной методике предлагается использование бинарных элементов индикатора.

Для каждого индикатора разрабатывается несколько простых критериев, названных «элементы индикатора», выражающих атрибуты данного индикатора. Элементы подбираются таким образом, чтобы в совокупности охватить данный индикатор:

,

где И – индикатор; Эi – элемент индикатора. Выбор элементов индикатора осуществлялся таким образом, чтобы элементы были независимыми и в совокупности полностью характеризовали индикатор, т.е.:

Рисунок 4 – Области оценки системы мониторинга ЭО и ДОТ

:

Каждый элемент индикатора является бинарным и может принимать значение 0 или 1:

.

Элемент индикатора принимает значение 0, если данный атрибут не соответствует положению дел в вузе, и 1 - если соответствует. Оценка индикатора вычисляется по формуле:

.

Поскольку в данной методике используются в основном качественные критерии, для оценки индикаторов предлагается использовать пятиуровневую рейтинговую шкалу порядка с уровнями от 0 до 4: 4 – полностью соответствует; 3 – в основном соответствует; 2 – частично соответствует; 1 – в основном не соответствует; 0 – полностью не соответствует.

Если принять n = 4 (четыре элемента для индикатора), оценка индикатора ОИ точно ложится на рейтинговую шкалу:

.

Данная методика допускает также использование относительных процентных индикаторов. Оценка в этом случае вычисляется по формуле:

и также ложится на рейтинговую шкалу.

Оценки показателей рассчитываются как среднее арифметическое индикаторов, входящих в эти показатели, а оценки категорий – как среднее арифметическое показателей, входящих в категории.

Определение областей для улучшения. По результатам оценки индикаторов определяются направления деятельности вуза в области ЭО и ДОТ, нуждающиеся в улучшении. Первоочередного внимания требуют процессы, индикаторы которых получили оценки 0 и 1. Именно они являются приоритетными областями для улучшения качества ЭО и ДОТ (рис. 5).

Рисунок 5 – Определение областей для улучшения

На основе предложенной методики разработана информационная система для мониторинга вузов в области ЭО и ДОТ. Сервер системы доступен по адресу: http://www.monitoring-el.ru.

Заключение

Представленная методика позволяет собрать информацию для анализа состояния и уровня развития ЭО и ДОТ в вузе и обеспечивает полный охват всех аспектов электронного обучения, давая оценку состоянию системы управления, ИТ-инфраструктуры, подготовки педагогического и управленческого персонала, электронной информационно-образовательной среды, средств и технологий разработки ЭОР и организации электронного обучения. Анализ результатов мониторинга позволяет найти области улучшения реализуемых моделей бизнес-процессов и определить направления развития ЭО ДОТ для вуза.

Работа выполнена по заданию Минобрнауки России, регистрационный номер 10.7045.2013.

Рецензенты:

Петрова Т.В., д.э.н., профессор, профессор кафедры экономики и управления горным производством, ФГБОУ ВПО «Сибирский государственный индустриальный университет», г. Новокузнецк.

Евтушенко В.Ф., д.т.н., профессор, профессор кафедры автоматизации и информационных систем, ФГБОУ ВПО «Сибирский государственный индустриальный университет», г.Новокузнецк.


Библиографическая ссылка

Малинов М.Б., Мочалов С.П., Третьяков В.С., Ермакова Л.А., Павлова Л.Д. РАЗРАБОТКА МЕТОДИКИ МОНИТОРИНГА УРОВНЯ РАЗВИТИЯ ЭЛЕКТРОННОГО ОБУЧЕНИЯ И ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ В ВУЗАХ // Современные проблемы науки и образования. – 2013. – № 5.;
URL: http://science-education.ru/ru/article/view?id=10642 (дата обращения: 07.12.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074