Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

THE STRATEGY FOR ASSESSING OF THE KNOWLEDGE AND SKILLS OF STUDENTS STUDYING DISCIPLINE "ECONOMETRICS" WITH USING THE ELECTRONIC INFORMATION AND EDUCATION ENVIRONMENT OF THE BAIKAL STATE UNIVERSITY

Belykh T.I. 1 Burdukovskaya A.V. 1 Rubina N.V. 1
1 Baikal State University
Currently it is observed the period of revolutionary transformations for the high education system of the Russian Federation, such as the significant changes in the federal law “About Education in the Russian Federation”, in particular, for the first time the concept of network distance and electronic learning is introduced. The strategic goal for universities is the development and using of automated workplaces (AWP) for teachers and students and using of distance learning systems in the educational process. Such measures will make the learning process more “transparent” for students, will allow to exclude the teacher’s subjectivity, will motivate of using methodical materials, practical works and manuals for students, will stimulate students’ independent work and eventually will increase the responsibility of students in studying of the educational programs. As a result, it will provide the acquisition of competences, applying knowledge, skills and abilities for graduates in their professional activities. In process of Russia's accession to the Bologna agreements the modern economic education is impossible without introducing discipline econometrics in the training economists’ curricula in universities, because in the accounting and auditing, management, finance and other areas of the economy specialist-economist have to know how to analyze the empirical data, to build the forecasts and to apply the latest methods of economic analysis which are based on econometric researches. The article summarizes the long-term experience of teaching the discipline "Econometrics" in the Baikal State University with using the subsystem of monitoring the current progress in the teacher’s automated workplaces and using the Moodle distance learning system for testing students' knowledge and skills.
Econometrics
electronic information and educational environment
system of distance learning
subsystem of the monitoring the current progress in the teacher’s automated workplace
test results
students' knowledge assessment
the baikal state university.

В Байкальском государственном университете (БГУ) в соответствии с утвержденными стандартами по направлениям подготовки 38.00.00 для формирования у студентов профессиональных компетенций в базовую часть учебных планов включена дисциплина «Эконометрика», так как одной из задач профессиональной деятельности выпускников этого направления является научно-исследовательская, которая предусматривает поиск, сбор, обработку, анализ и систематизацию информации в экономике [1; 2].

Цель изучения этой дисциплины – дать представление об основных принципах построения эконометрических моделей для анализа и прогнозирования реальных социально-экономических процессов и явлений, а также о специфических с математической точки зрения методах их исследования.

Основная задача курса – дать достаточно полное представление о возможностях, которые дают исследователю построенные модели, познакомить с примерами их практического применения и анализа. Другая задача курса – выработка умений и навыков самостоятельного построения, исследования и применения моделей в профессиональной деятельности.

Для того чтобы достичь обозначенной цели и решить поставленные задачи, студенты данного направления должны обладать соответствующими компетенциями и формируемыми для них знаниями, умениями и навыками, что в современных условиях невозможно без использования электронной информационно-образовательной среды (ЭИОС) вуза [3; 4].

ЭИОС БГУ позволяет, наряду с инструментарием информационных технологий, использовать новые образовательные технологии и методики обучения, основанные на применении средств информационно-технологической составляющей [5; 6].

Преподавание эконометрики требует глубоких знаний по:

· экономике, так как постановка задачи, отбор факторов и интерпретация полученных результатов эконометрического моделирования невозможны без основ экономической теории;

· математике, без базовых знаний которой невозможно эконометрическое моделирование, при этом набор математико-статистических методов позволяет проверять модельные соотношения между анализируемыми экономическими показателями и оценивать неизвестные значения параметров в этих соотношениях на основе исходных экономических данных;

· информационным технологиям, так как для решения эконометрических задач необходимо использование различных статистических пакетов, таких как MathCad, MatLab, Statistica, SPSS, Stadia и т.д. При этом следует отметить, что использование подобных программных продуктов затруднено в силу их высокой стоимости, поэтому чаще всего используется табличный процессор MS Excel, который содержит широкий набор встроенных функций и процедур для выполнения лабораторных работ по эконометрике студентами [7].

Анализ большинства существующих методологических подходов к преподаванию эконометрики позволяет сделать вывод о том, что, как правило, используются следующие формы обучения: деловые игры, руководства к решению задач, рабочие тетради, методические указания к выполнению контрольных работ [8].

С помощью деловой игры можно быстро ввести студентов в проблематику темы текущего занятия, остальные формы обучения содержат инструкции к решению задач, варианты индивидуальных и домашних заданий [9].

К недостаткам таких форм обучения можно отнести рутинный, монотонный характер практических занятий, не способствующий творческому мышлению, повышению здоровой конкуренции среди студентов.

Цель исследования: стандартизировать процедуры, связанные с проверкой знаний, умений и навыков обучающихся, для глубокого и качественного освоения дисциплины.

Материал и методы исследования. Для поддержки учебного процесса в БГУ разработана и функционирует система «Автоматизированное рабочее место преподавателя» (АРМ) [10], то есть централизованное хранилище таких объектов, как средства разработки и формирования аннотаций, рабочих программ и фондов оценочных средств дисциплин, а также таблиц учета успеваемости, посещаемости.

В современной открытой образовательной среде вуза качественно меняется роль преподавателя вследствие кардинального изменения ее свойств и свойств ее компонентов. Активное использование АРМа ликвидирует рутинные процессы в его деятельности, позволяя использовать электронный журнал текущей успеваемости и посещаемости, доступный студенту с личного портала, что делает учебный процесс прозрачным и объективным. Обучающиеся имеют возможность четко и ясно представлять и контролировать формирование текущей оценки по предмету в баллах, что стимулирует систематическую постоянную работу, в том числе и самостоятельную, по освоению всех тем дисциплины. Дополнительной мотивацией для этого служит возможность получения «высокой» оценки без промежуточной аттестации.

Анализ результатов работы подсистемы оперативного контроля текущей успеваемости и посещаемости студентов показывает повышение эффективности освоения дисциплины.

Для дистанционного обучения в Байкальском государственном университете используется система дистанционного обучения (СДО) Moodle (Modular Object-Oriented Dynamic Learning Environment), специально разработанная для создания онлайн-курсов.

Результаты исследования и их обсуждение. Авторами СДО Moodle была использована для проверки и контроля знаний студентов по дисциплине «Эконометрика». Целевую аудиторию составили студенты очной формы обучения по направлениям подготовки 38.03.05 «Бизнес-информатика» и 09.03.03 «Прикладная информатика», а также студенты укрупненной группы направления подготовки 38.03.00. Опыт использования системы – 10 лет.

Тесты по курсу «Эконометрика» разрабатывались с учетом ФГОС ВО и составленных на их основе учебно-методических комплексов.

Тестирование предназначено для автоматизации управления процессом периодически проводимой проверки знаний студентов по заданным темам дисциплины. В зависимости от специфики заданий для тестирования Moodle может использоваться как для текущего контроля знаний, так и для промежуточной аттестации.

Компьютерные тесты призваны устранить аспекты, связанные с психологией взаимоотношений «преподаватель – студент», и тем самым повысить объективность оценки. Особенность проведения тестирования заключается в том, что в университете действует индивидуальная система паролей для каждого студента, что исключает возможность прохождения тестирования под другой фамилией и использования попыток больше, чем предусмотрено преподавателем. Тестирование может проводиться в нескольких компьютерных классах разными преподавателями одновременно по одной теме, независимо друг от друга. Кроме того, студенты могут пройти тестирование в режиме онлайн. В системе Moodle задания, как правило, оцениваются преподавателем, с последующими отзывами, комментариями, замечаниями, при этом тестирование сопровождается автоматической проверкой результатов.

Проведение тестов разбивается на два этапа: текущее и промежуточное. Текущее предназначено для определения степени усвоения изученного материала и качества знаний и навыков по изучаемой теме, что помогает при выставлении оценок во время проведения текущей аттестации. В связи с введением рейтинговой системы оценки успеваемости студентов текущее тестирование позволяет точно и наглядно выявить количество набранных баллов по теме. Студенту предлагается определенная тема, включающая конкретное число вопросов. Каждый студент обязан пройти все вопросы предлагаемого теста. Промежуточное тестирование выявляет степень усвоения изученного материала и качество знаний и навыков по предмету, позволяет выставить зачетные баллы.

Порядок появления вопросов на экранах компьютеров при тестировании различен, то есть определяется случайной выборкой, что имеет свои плюсы и минусы. Положительным аспектом является то, что проверяется весь уровень знаний по конкретной теме каждого студента. Недостатком – возможность одновременного появления на экранах соседних компьютеров одних и тех же вопросов, что может привести к «коллективному» ответу и, как результат, к потере объективности при получении оценки, что делает онлайн-тестирование более предпочтительным.

Вероятность совпадения всех вопросов в разных выборках и появление одинаковых вопросов одновременно на нескольких экранах мала, так как каждая тема включает достаточно большое общее количество вопросов, что исключает коллективный ответ, а ограниченное время прохождения тестирования не позволяет использовать помощь или справку.

Тема состоит из N вопросов, каждый студент должен пройти тестирование по m вопросам, где m < N, причем в каждой выборке эти вопросы разные.

При повторном тестировании выборки 1, 2, …, k будут другие, так как они существуют только на момент тестирования. В результате повышается объективность оценки и выявляются пробелы в знаниях, что позволяет строить индивидуальную работу как с определенным студентом, так и с конкретной группой.

Наибольший интерес представляет возможность формирования экзаменационного теста. Он добавляется в базу, причем наполнение его вопросами происходит автоматически из вопросов уже существующих тем, при этом из каждой темы должно выбираться равное количество вопросов. Это позволяет значительно упростить процесс создания зачетных и/или экзаменационных тестов по предметному курсу и обеспечить одинаково полный уровень проверки знаний по пройденным темам.

По окончании тестирования необходимо провести анализ результатов преподавателем с целью: исключить или усложнить вопросы, не раскрывающие уровень владения материалом; изменить формулировку вопросов, по которым не получено ни одного правильного ответа.

По итогам проведения тестирования можно сделать вывод о том, что его использование позволяет быстро и качественно оценить уровень знаний и навыков студентов по предмету и помогает выставить экзаменационную оценку студентам, показавшим высокую степень подготовленности по данному предмету.

Проверка знаний студентов в форме тестирования по усвоению теоретического материала в СДО Moodle проводится после изучения конкретной темы или раздела дисциплины, для подготовки к которой студентам выдаются контрольные вопросы.

Баллы берутся из ФОС по дисциплине, а внутри каждого теста действует 100-балльная оценка, которая пересчитывается при заполнении преподавателем окна оперативного контроля текущей успеваемости и посещаемости АРМа.

Каждый из предложенных тестов включает в себя различные типы вопросов:

· выбор альтернативы «Правильно» – «Неправильно»;

· вопросы с одним правильным ответом;

· вопросы со множественным выбором;

· определение соответствия;

· определение последовательности.

По итогам тестирования СДО Moodle предоставляет преподавателям мощный инструментарий для анализа тестовых результатов:

1. Автоматически формирующийся «Журнал оценок», позволяющий контролировать процесс обучения.

2. Автоматически формирующаяся диаграмма распределения количества студентов по набранному количеству баллов в тесте.

При необходимости журнал оценок может быть экспортирован, например в MS Excel, с целью подведения итогов текущей аттестации.

3. «Отчет о деятельности» по каждому студенту, позволяющий ознакомиться со всеми действиями учащегося в рамках освоения дисциплины в системе Moodle.

4.  «Анализ вопросов», позволяющий оценить качество каждого теста (вопроса) с точки зрения его вклада в процесс изучения дисциплины.

Преподаватель легко может оценить:

· насколько данное тестовое задание является легким/трудным для лиц, проходящих тестирование;

· насколько поставленный вопрос может быть тестовым (если все трестирующиеся отвечают одинаково – вопрос отбраковывается);

· уменьшает ли задание точность всей процедуры тестирования, то есть слабые испытуемые отвечают на данный вопрос лучше, чем сильные, следовательно, оно должно быть изменено.

· меру способности конкретного задания разделять хорошо и слабо подготовленных студентов и не допустить, чтобы плохо подготовленные не отвечали на данное задание в среднем лучше, чем хорошо подготовленные.

Тестирование было проведено для студентов направления 38.03.05 «Экономика» разных профилей. По каждому из проведенных тестов была построены гистограммы полученных студентами оценок. По результатам графического анализа журнала оценок можно отметить, что по каждой теме преобладает львиная доля оценок, составляющих менее 50% от общего количества баллов, отводимых на тест по конкретной теме. Всего по темам тестировалось от 200 до 220 студентов (рисунок 1).

Студенты из 40 возможных баллов, отведенных на оценку теоретических знаний по дисциплине, в среднем набирали 17,29 балла. Прежде всего, это свидетельствует как о низкой подготовке студентов к тестированию, так и о том, что возможной причиной низких результатов является некоторая некорректность составленных тестов.

 

 

Рис. 1. Визуализация оценок студентов, тестируемых в первый год использования СДО Moodle по теме Модели временных рядов

В результате анализа качества разработанных тестов и результатов тестирования был выявлен ряд проблем и найдены способы их решения:

1. Пересекаемость (сходство) многих вопросов по темам «Множественная регрессионная модель» и «Некоторые аспекты регрессионных моделей», т.е. схожесть формулировки части вопросов тестов; для решения проблемы были откорректированы перечень и содержание вопросов по приведенным тестам.

2. Перегруженность тестов – большое количество вопросов в некоторых тестах не позволяет тестирующимся уложиться в установленное для теста время. В первый год использования Moodle было слишком много вопросов по теме «Множественная регрессионная модель», часть вопросов из этой темы была перемещена в тест «Некоторые аспекты регрессионных моделей», часть вопросов – изменена.

3. Некорректность вопросов – нечеткая формулировка, неоднозначные варианты ответов. С помощью инструментов Moodle «Анализ вопросов» и «Просмотр» были выявлены и откорректированы вопросы с близким к нулю среднеквадратическим отклонением, а также вопросы с отрицательными значениями индекса дифференциации коэффициента дифференциации.

4. Неточная оценка сложности вопросов. В первый год использования тестов не всегда удавалось корректно проставить количество баллов в соответствии со сложностью вопроса. «Анализ вопросов» позволил уточнить дифференциацию вопросов по сложности: более сложным вопросам был задан больший вес (балл), а более легким – меньший.

Решение перечисленных проблем в последующие годы использования системы Moodle привело к изменению структуры тестов, уточнению вопросов и их оценки.

Распределение оценок студентов, тестируемых в последующие годы использования системы, после корректировки тестов стало ближе к нормальному; количество испытуемых, получивших «неудовлетворительную» отметку, значительно сократилось, основная доля результатов колеблется в интервале от 40 до 60%. Анализ качества вопросов выявил лишь пару вопросов с отрицательными значениями индексов и коэффициентов дифференциации. Это свидетельствует о более высоком качестве тестов и более совершенной подготовке студентов по данной дисциплине (рисунок 2).

Рис. 2. Гистограммы оценок студентов, тестируемых после корректировки тестов с использованием СДО Moodle

 

Тем не менее среднестатистический балл тестируемого студента из максимально возможных 40 составил лишь 20,08 балла.

Наряду с проблемами качества тестов можно также выделить проблемы, возникающие при использовании СДО Moodle:

1. Аварийное завершение тестирования из-за непредвиденных сбоев в сети, ошибок системы Moodle либо по причине невнимательности студентов (случайное нажатие кнопки «Завершить тест») и т.д.

2. Низкая подготовка студентов к тестированию.

Для решения первой проблемы на каждый тест студенту во второй год использования системы Moodle отводилось две попытки, в то время как ранее – одна.

Вторая является проблемой более глубокого уровня, ее решение носит социальный характер. Частичное ее устранение возможно путем создания дистанционного курса «Эконометрика» в полном объеме, что, в свою очередь, позволит:

1. Освоить более глубоко теоретический материал. Это приводит, во-первых, к повышению качества лекционных и практических занятий, во-вторых, к лучшей подготовке студентов к тестированию, и, в-третьих, преподаватель сможет эффективнее воспользоваться временем занятий для обсуждения изученного материала, для опросов студентов и разъяснения наиболее сложных моментов с целью овладения ими соответствующими компетенциями [10]. Доступ к контрольному тестированию открывается студенту только при усвоении им лекционного материала не менее чем на 50%.

2. Создание нескольких итоговых тестов разного уровня сложности, позволяющих оценивать знания студентов, не посещавших занятия, и знания экзаменуемых.

Таким образом, СДО Moodle – удобный инструмент изучения дисциплин (возможность удаленного доступа к элементам курса в любое время суток вне зависимости от места нахождения, получения и изучения материалов по дисциплине).

Заключение. Функционирование ЭОС БГУ повлекло возрастание интенсивности деятельности преподавателя: ввод текущей успеваемости, промежуточных оценок (сессия), обеспеченность дисциплин (разработка и обновления рабочей программы и ФОС), увеличение затрат времени на индивидуальную работу со студентами. В течение десяти лет авторами велась работа по усовершенствованию методики преподавания, оценки знаний, умений и навыков студентов по дисциплине «Эконометрика», что привело к созданию уникального дистанционного курса с объемной базой тестов, индивидуальных и контрольных заданий.

Однако как бы совершенны ни были новые технологии [11], максимальный эффект усвоения дисциплины может быть достигнут только при эффективном комбинировании традиционных методов в сочетании с новыми возможностями электронной образовательной среды: система дистанционного обучения Moodle, возможность доступа к учебным методическим материалам личного портала студентов на сайте БГУ, подсистемы контроля текущей успеваемости (так называемый гибридный курс) [11; 12].

Еще раз можно подчеркнуть, что комбинированные формы обучения способствуют стимулированию регулярной работы студентов в течение семестра, исключают элемент случайности при получении промежуточной оценки, привносят «дух» соревновательности обучающихся, исключают субъективизм преподавателя, повышают заинтересованность в самостоятельной работе с учебно-методической литературой.

Данный подход позволит повысить уровень экономико-математической подготовки выпускника вуза и сформировать навыки эконометрического моделирования, повысить его адаптивность и конкурентоспособность.