Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

EVALUATION OF EDUCATIONAL RESULTS OF STUDENTS BASED ON COMPETENCY MODEL

Vasileva N.O. 1
1 FSBEI HE Krasnoyarsk State Agrarian University
In article approach to evaluation and representation of outcomes of development of the main professional educational programs within a competence-based paradigm is described. The offered way of assessment of the final generalized result of formation of competences is equitable to the interests of participants of educational process. The method is based on «models and profile of the competences» accepted in the professional environment and adapted to educational practice; disciplinary base of formation of competences of higher education institution; scientific qualimetrical formalization of educational results. The method is rather simple and universal. The form of representation of intermediate outcomes allows at a development stage of high school competence-based model of the graduate (model and a profile of competences) with participation of the employer to balance volumes, the list and the sequence of the disciplines and the practician developing both individual competence, and groups. He allows to change balance of competences of the interests of professional community of branch, isn't limited by number of competences. The presentation of representation of the end results will allow the third-party employer to see level formation of the most significant for graduate potential employee of the organization of competences. System and activity approach assumes participation of students in the course of self-formation and use of rating accumulative outcomes of development of competences and their representation in a portfolio.
learning outcomes
model of competences
profile of competences
kvalimetriya
subject matter
employer
educational institution
student
portfolio.

Понятие «результаты обучения» (learning outcomes) как важнейшая составная часть конечной цели высшего профессионального образования было введено в образовательную терминологию в 2005 году при разработке европейской структуры квалификаций. Именно этому феномену в системе образования отведена центральная системообразующая роль. Результат образования выражает интересы личности и государства, обеспечивая их согласованность; отражает приоритеты социально-экономического состояния и развития общества, нацеливает на формирование адекватных механизмов оценки, признания образования и прозрачности для всех участников образовательного процесса, совершенствования его элементов.

Руководство пользователя ECTS трактует результат образования как «формулировки того, что, как ожидается, будет знать, понимать и/или будет в состоянии продемонстрировать (делать) обучающийся после завершения периода обучения» [1].

Современная модель образования, адаптированная под потребности постиндустриального общества, цифровую и информационную экономику с динамично изменяющимися технологиями, содержательно, а с момента принятия Федерального закона «Об образовании в Российской Федерации» от 29.12.2012 г. и формально, трактуется как «компетентностная парадигма». В рамках этого подхода при выборе и планировании результатов образования выпускников системы ВПО на первый план выдвинуты не объем, универсальность и глубина «готовых», усвоенных знаний и алгоритмы их воспроизведения по образцам (знание-ориентированный подход), а компетенции. Акцент при характеристике результатов сместился на способности выпускника к адаптации в профессиональном сообществе, готовность творчески решать учебные и жизненных проблемы, умение самостоятельно приобретать и обновлять знания и применять их в ситуациях, близких к будущей профессиональной деятельности и т.п.

Стратегический результат компетентностной парадигмы – формирование модели выпускника как органического единства комплекса компетенций на основе приобретенных им осознанных знаний, умений, способов деятельности и постоянно стремящегося к самореализации, готового к самообразованию и совершенствованию, реализующего принцип «обучение через всю жизнь» (lifelong learning).

Применительно к российской образовательной практике с момента перехода на ФГОС ВПО, а затем ФГОС ВО, ФГОС ВО 3+ и ФГОС 3++ требования к результатам образования выпускника, то есть освоения программы бакалавриата (магистратуры), устанавливает образовательная организация в виде сформированных компетенций.

Сложность, многогранность феномена «результат обучения» - компетенции, обусловили разнообразие направлений его изучения. Значительное число педагогических исследований отмечено в отношении триады: «компетенции как результат образования ↔ образовательные технологии как способ их формирования ↔ оценочные средства как инструмент доказательства достижения заявленных результатов образования» [2]. В указанном перечне, на наш взгляд, упущен логично завершающий его пункт - «измерение (оценка) и фиксация достигнутого выпускником личностного результата образования».

Обзор российских источников по разработке моделей измерения интегральных образовательных результатов выпускников вузов выявил: 1) ограниченное их количество. Наибольший интерес представляют работы Н.Е. Бестужева, М.В. Бедило, Е.С. Джевицкой, Т.П. Категорской, В.И. Николаевой, А.С. Платоновой, М.Н. Рыжковой, И.В. Сибикиной, З.В. Якимовой и др., в отдельных моментах близкие к исследуемой проблеме; 2) отсутствие единого подхода и универсальных критериев достижимости результатов, различие единиц измерения результата; 3) незавершенность методик, дающих наглядное представление и количественный показатель уровня сформированности компетенций выпускника вуза. В тоже время ФГОС ВО 3++ требует «фиксировать результаты освоения программы бакалавриата», причём результаты обучения определяются и оцениваются самим вузом. Работодатели же заинтересованы в наличии объективных данных для отбора сотрудников из числа молодых специалистов по компетенциям, а не в академической оценке той или иной дисциплины. На наш взгляд, уместно вспомнить практику периода индустриальной, плановой российской экономики и знаниевой парадигмы образования, когда критерием ранжирования выпускника при распределении на работу по окончании вуза был «средний арифметический балл диплома» как итоговый, формальный, но объективный результат.

Цель статьи - обосновать подход и методику расчета показателя результата освоения основной профессиональной образовательной программы, основывающиеся на модели компетенций, принятой в профессиональной сфере и адаптированной для сферы образования.

Научно-методическая сущность обсуждаемого метода состоит в представлении качественного целевого результата в виде когнитивной модели компетенций и выведении на её основе формализованного образовательного результата, руководствуясь принципами квалиметрии.

Метод рассматривается в виде алгоритма, последовательно фиксирующего объективные научно-педагогические основания, соотнесенные с содержательными элементами и положениями методики расчетов.

I. Ориентация образовательных результатов на интересы профессионального сообщества; сближение практики проектирования и оценивания компетенций выпускников вуза с инструментами НR-менеджмента, используемыми кадровыми агентствами и организациями. Разумное заимствование лучших практик, методов и понятий из этой сферы вполне закономерно и целесообразно в рамках единого образовательно-профессионального пространства.

Отправной точкой, ключевым понятием является «модель компетенций» – полный набор компетенций, необходимых сотрудникам компании для успешного достижения стратегических целей организации [3]. В профессиональном образовании она трансформируется в «компетентностную модель выпускника» или комплекс универсальных (УК), общепрофессиональных (ОПК) компетенций направления подготовки, утвержденных ФГОС ВО, и профессиональных (ПК), правомерно сказать «профильных», отобранных вузом из соответствующих профессиональных стандартов (ПС) [4].

II. Целостное понимание и модели компетентности сотрудника, и «компетентностной модели» выпускника состоит в том, что она является интегрированным результатом, в котором ни одну компетенцию нельзя исключить, все компетенции взаимосвязаны, поскольку одна дисциплина формирует несколько компетенций. Разработчики моделей компетенций НR-области отмечают её многоуровневую структуру [5]. Необходимо уточнить, что «многоуровневость» должна пониматься не «в концепции физической модели, которая, по мнению Ю.Г. Татура, В.И. Байденко, представляет "слоеный пирог" (образованность специалиста), в котором есть "слой теста" (знания), "слой варенья" (умения), "слой глазури" (ценностные ориентации) и т.п. Если его разрезать на куски (компетентности), то каждый из них будет в миниатюре повторять структуру "торта"» [6]. По нашему мнению – это иерархическая структура, которая декомпозирует компетенцию до базисных элементов - определенных знаний, умений, навыков, опыта и других характеристик, что абсолютно согласуется со структурой профессиональных стандартов (рис. 1).

Рис. 1. Иерархическая декомпозиция достижения основной цели профессиональной деятельности в рамках профессионального стандарта (фрагмент)

С другой стороны, уровни можно рассматривать и как разные степени развития основополагающих элементов и, соответственно, формируемых ими компетенций.

III. Компетентностная результативность в образовании выстраивается и реализуется на основе традиционного (знаниевого) подхода. Можно оценить только то, что измеряется, а значит не саму компетенцию, а фактические результаты обучения, которые способствуют её формированию. Из «компетентностной модели» выпускника (рис. 2) следует, что результаты освоения самостоятельных учебных дисциплин, предметных областей и практик, междисциплинарных модулей - это основополагающие, первичные знания, умения, навыки, которые на более высокой ступени иерархии интегрируются в индивидуальные компетенции, затем в блоки и комплексный показатель компетенций.

Рис. 2. Иерархическая декомпозиция модели компетенций как результата освоения основной профессиональной образовательной программы (фрагмент)

Требования ФГОС 3++, предусматривающие, что сформированные вузом «индикаторы достижения компетенций и результаты обучения по дисциплинам и практикам должны быть соотнесены между собой», выдержаны в фондах оценочных средств по дисциплине. Зная промежуточные оценки достижения обучающимся планируемых результатов по отдельным учебным предметам, входящим в компетенцию, формируем оценку развития компетенций.

Многоуровневый характер модели положен и в многоступенчатый алгоритм оценки уровня развития компетенций. На его основе последовательно формируются качественные индикаторы результата, а затем по тому же принципу и количественные. Количественная оценка освоенности дисциплины, то есть знаний, умений и навыков, осуществляется в абсолютных баллах () по 100-балльной шкале. Ее применение устраняет неопределенность академических оценок «зачтено» и «не зачтено». Результирующий комплексный показатель сформированности всей совокупности компетенций также выражается в баллах с максимально возможным значением - 100, что также отвечает логике квалиметрии [7].

IV. Значимость каждой компетенции и блока однородных компетенций в структуре модели не равны. В профессиональной сфере это определяется должностью организации, во ФГОС ВО – профилем (специализацией), особенностями требований к выпускнику профессиональных сообществ региона. Указанное свойство компетенций выражено показателем - коэффициентом весомости (), который позволяет использовать в методе понятие «профиль компетенций», предварительно уточнив его.

Профиль компетенций - структура модели компетенций с учетом коэффициентов весомости (значимости) единичной компетенции или группы однородных компетенций (например, УК, ОПК И ПК). Сумма всех коэффициентов весомости характеризует целостность и, исходя из п. II, составляет 1,0 или 100. Для одной и той же модели компетенций профили будут разные. Профиль компетенций чаще всего составляют в виде диаграммы, позволяющей наглядно проиллюстрировать роль каждой из них.

Определение коэффициента весомости – это по существу ранжирование компетенций по значимости. Знание необходимо для последующих расчетов: уровня сформированности компетенций (), профиля компетенции () и комплексного показателя () подготовки выпускника. Ранжирование может осуществляться экспертным методом путем привлечения экспертов из числа преподавателей, работодателей и т.п. по методике попарного сравнения, последовательных расстановок и др. Более рационально проводить эту процедуры без личного участия специалистов, на основе информации, представленной в учебно-методических документах (разделы «Компетенции» и «Компетенции (2)» учебного плана).

Согласно выводам экспертов - разработчиков образовательных программ, значимость компетенции в педагогическом процессе определяется: количеством дисциплин и практик ( и ), их объемом ( и ) в зачетных единицах или часах, необходимых для её формирования. Форма контроля, положение дисциплины по семестрам, количество дидактических единиц и другие (А.В. Оноприенко, И.В. Сибикина) оказываются значительно менее существенными. Тогда коэффициент весомости компетенции рассчитывается по формуле (1):

, (1)

где - число учебных дисциплин и практик, обеспечивающих единичную компетенцию;

- все учебные дисциплины и практики, включенные в основную профессиональную образовательную программу.

Если дисциплина обеспечивает несколько компетенций, допускаем, что объем часов дисциплины для единичной компетенции, пропорционален числу формируемых ею компетенций.

Согласованность рангов и численных величин коэффициентов значимости компетенций конкретного профиля, полученных эвристическим методом и рассчитанных по формуле, была проверена путем расчета коэффициента корреляции Пирсона и сравнением его с критическим значением коэффициента для условия (31 переменная по числу компетенций и статистической значимости 0,01). Рассчитанное значение критерия Пирсона 0,892 значительно превышает критическое табличное (52,19), что подтверждает достоверность расчетов и допустимость избранного нами подхода определения .

На рисунке 3 представлен профиль компетенций для «реальной» основной профессиональной образовательной программы.

Рис. 3. Профиль компетенций

Разработка профиля - хороший способ для принятия решения о корректировке подготовки выпускника в направлении определенной компетенции или блока. Так, в профиле компетенций бакалавра торгового дела коэффициент весомости общекультурных компетенций составляет 26,83, явно уступая блокам ОПК и ПК, имеющим показатели 18,72 и 44,45. С учетом рекомендаций, проверенных временем, практикой, подтвержденных наукой, в профиле компетенций бакалавра торгового дела в приоритете должны быть soft skills (гибкие компетенции): готовность реализовать комплекс навыков коммуникабельности, проявления социальной ответственности, оперативности принятия решения, которые преимущественно позиционируются в блоке ОК и формируются социально-гуманитарными дисциплинами [5]. Можно заключить, что профиль компетенций требует уточнения.

V. Содержание и структура единичных компетенций различны по числу и сложности взаимосвязи требуемых для её целостности знаний, умений, навыков (рис. 2).

Задача этапа - определить перечень и количество дисциплин () и практик (), освоение которых формирует единичную компетенцию и их вклад ( и ) в этот результат. Логику и содержание формирования компетенций отражает раздел учебного плана «Компетенции», в котором горизонтальная строка – компетенция, а вертикальный столбец – перечень учебных предметов (практик), а также количество зачётных единиц на освоение дисциплины (практики).

Квалиметрическая оценка образовательных результатов студента подразумевает расчет нескольких показателей, ориентированных в первую очередь на работодателя, их сопоставление и принятие им решения.

1. Степень сформированности единичной компетенции рассчитывается как среднеарифметический взвешенный балл, учитывающий количество учебных предметов и практик и объем часов в структуре компетенции. Этот показатель является важным для студента при промежуточном контроле в ходе учебного процесса.

Согласно предлагаемой модели оценки степень развития индивидуальной компетенции рассчитывается по формуле (2):

, (2)

где - среднеарифметический взвешенный рейтинговый балл уровня сформированности единичной компетенции (учебного образовательного результата);

и - абсолютный рейтинговый балл (оценка) освоения дисциплины или практики;

Расчет коэффициентов весомости дисциплины или практики в структуре компетенции производится по формулам (3, 4), а сумма коэффициентов весомости дисциплин равна 1,0 или 100%:

, (3, 4)

2. Профессионально ориентированный уровень единичной компетенции (). Ценность показателя состоит в том, что он с большей точностью отражает значимый для профессионального сообщества совокупный результат компетентностно-ориентированного образовательного процесса. Уровень сформированности компетенции ( - учебный образовательный результат) корректируется на значимость компетенции для профиля (специализации) или потенциальной должности в конкретной организации (- коэффициент весомости компетенции).

Показатель рассчитывается с использованием рассчитанных ранее индикаторов и их значений по формуле (5):

(5)

Наглядное представление об уровне сформированности единичных компетенций как учебного результата и возможность их сравнения для, например, двух выпускников, обеспечивает лепестковая диаграмма (рис. 4а).

а б

Рис. 4. Результат сформированности компетенций: а - учебный (среднеарифметический взвешенный балл); б - профессионально ориентированный (балл на основе профиля компетенций)

Сравнение диаграмм иллюстрирует вклад профиля компетенций (рис. 4б), преобразование учебного результата в профессионально ориентированный индикатор. Высокий учебный балл (ПК-5, ПК-14) не всегда актуален для конкретной должности, и наоборот (ОПК-3). Работодатель легко может сориентироваться и при распределении должностных обязанностей учесть, что выпускники более склонны к работе с нормативно-правовой, технической документацией (ОПК-2), способны участвовать в разработке и инновационных методов, средств и технологий в области профессиональной деятельности (ПК-11, 13), нежели управлять персоналом организации (ПК-5). Работодатель может принять во внимание индивидуальные профессионально ориентированные достижения выпускников. Бакалавр с более высоким значением (способность к самоорганизации и самообразованию) может рассматриваться как претендент на должность линейного руководителя.

3. Комплексный обобщенный индикатор конечного образовательного результата в вузе () представляется в формализованном виде по аналогии со «средним баллом диплома», но с позиций компетентностного подхода. Расчет осуществляется по формуле (6):

(6)

Однако информативность показателя ограниченна, так как он не позволяет выявить развитость отдельных компетенций у выпускников, в ситуации если значения равны. Это требует декомпозиции, то есть возврата к показателю и визуальному его представлению в виде профиля компетенций.

Несмотря на кажущуюся многочисленность и сложность расчетов, методика довольно проста и оперативна, так как в качестве инструмента достаточно использовать стандартную программу Microsoft Excel с утвержденным алгоритмом, доступным не только преподавателю, но и студенту. Электронная программа позволяет после введения семестровых баллов по дисциплинам и практикам накапливать интегральный количественный результат и отслеживать динамику развития компетенции.

В числе положительных сторон предложенного метода отметим основные.

- Универсальность метода и его независимость от динамичных изменений в профессиональной области, отражающихся в образовательной сфере во ФГОС ВО. Метод не ограничен числом или наименованием компетенций. Это могут быть: корпоративные, управленческие и функциональные (технические). Отдельно возможно позиционирование компетенции в области цифровой коммуникации – digital competence. Метод и методика приемлемы как механизм оценки на всех ступенях профессионального образования.

- Научная, педагогическая обоснованность метода, валидность полученных расчетных данных, надежность (использование единообразных стандартов или критериев внутри вуза); справедливость (все студенты должны иметь равные возможности добиться, узнать результат и построить траекторию его улучшения); своевременность, эффективность.

- Профессиональное сообщество обеспечивается доступной и удобопонимаемой информационной базой, поскольку результат отображается в личном онлайн-портфолио студента-выпускника. Формирование портфолио лично студентом, с отображением результатов промежуточного контроля в разрезе дисциплин и компетенций, целесообразно начинать обучающимися с 1 курса обучения в рамках дисциплины «Введение в профиль направления» или близкой по содержанию.

- Педагогическая ценность подхода. При использовании его в методической работе и образовательном процессе студент оказывается вовлеченным не только в процесс самостоятельных расчетов результата (при последующем контроле преподавателем), но становится активным наблюдателем поэтапного развития успехов по мере последовательного овладения знаниями, навыками, умениями от дисциплины к дисциплине, от практики к практике по курсам обучения. Студент может строить личную траекторию образования от запланированного «вчерашним абитуриентом» конечного результата. Студент накапливает опыт собственно личностной самоорганизации, связанный с выполнением им самооценочных, жизненно-планирующих, рефлексивных и других функций. Отраженные в портфолио промежуточные результаты и ориентация на них отраслевых (предприятий) организаций полезны при отборе студентов на практику, для выполнения выпускных работ по реальным проблемам предприятия, приглашение на работу в зависимости от результатов обучения. Это также повышает мотивацию к учебной работе.

Вывод. Представленный на обсуждение метод и методика оценки образовательных результатов в компетентностном формате и приведённые на их основе расчеты для конкретной основной профессиональной образовательной программы подтверждают дидактическую состоятельность этого подхода, полезность для профессионального сообщества, усиление взаимосвязи труда и профессионального образования, а также необходимость развития данного прикладного направления в дидактике высшей школы.