Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

CERTIFICATION OF QUALIFICATIONS: EXPERIENCE IN THE PREPARATION AND APPROBATION OF CERTIFICATION OF MEASURING MATERIALS IN NUCLEAR INDUSTRY

Vesna E.B. 1 Guseva A.I. 1 Silenko A.N. 1 Korolev S.A. 1
1 National Research Nuclear University «MEPhI»
This work is devoted to the experience of establishment and testing certification measuring materials for the system of voluntary certification of qualifications of specialists in the nuclear industry. Detail requirements for measuring means and methods of the assessment of the qualifications on the example of three qualification levels for the professional standard «Specialist in the field of thermal automatics and measurements». Basic approaches to the use of proficiency testing, methods of situation analysis in the form of «case studies», evaluation methods for using simulators and software simulators, business games and portfolio. The study offers a new mathematical models and adaptive methods, combining both methodological approach to the testing and evaluation work on the software simulators, allowing a better assessment of the readiness of competencies in the certification of qualifications. The research was carried out with the support of the Federal target program of education development for 2011-2015.
certification of qualifications
certification and measuring materials
assessment of competence

Приоритетной целью Государственной политики в отношении систем сертификации квалификаций является повышение доступности качественного образования, соответствующего требованиям инновационного развития экономики, современным потребностям общества и каждого гражданина. В связи с этим ведётся деятельность по формированию системы непрерывного образования на основе внедрения национальной квалификационной рамки, системы сертификации квалификаций, модульных программ. Эта деятельность направлена на создание системы внешней независимой сертификации профессиональных квалификаций, а также на распространение практики общественно-профессиональной сертификации выпускников образовательных программ [1, 4].

Что касается внедрения разрабатываемой системы сертификации квалификаций в атомную отрасль, то в данном случае следует исходить из того, что в этой высокотехнологичной и играющей стратегическое значение для национальной безопасности сфере экономической деятельности за долгие годы сложилась своя высокоэффективная, продуманная и сбалансированная система оценки и аттестации персонала. Поэтому идеологически важной задачей при формировании отраслевой системы сертификации стала необходимость использования имеющегося опыта и его качественного дополнения результатами новых методологических разработок, призванных пройти проверку в результате апробации [2, 3].

Профессиональная квалификационная рамка

Профессиональный стандарт «Специалист в области тепловой автоматики и измерений» разработан и утвержден ФГУП Концерн «Росэнергоатом» в 2008 году и по своему составу, квалификационным уровням относится к 5-9 уровням, определяемым приказом Министерства труда и социальной защиты Российской Федерации от 12 апреля 2013 г. N 148н [5].

Уровни квалификации, определяемые данным приказом, содержат описание следующих показателей: "Полномочия и ответственность", "Характер умений", "Характер знаний", "Основные пути достижения уровня квалификации".

Уровни квалификации определяют требования к умениям, знаниям, уровню квалификации в зависимости от полномочий и ответственности работника. Показатели уровней квалификации, построенные на основе приказа и требований профессионального стандарта ФГУП Концерн «Росэнергоатом», приведены в таблице 1.

В рамках каждого профессионального уровня для каждого профессионального стандарта выделяет набор из n трудовых функций, не менее 10 для каждого уровня. Для каждой трудовой функции ТФi определяется ее вес (значимость) Wi, .

В зависимости от уровня, значимость каждой трудовой функции меняется. Как следствие, при оценке квалификации, меняется вес данной составляющей в общей целевой функции.

В табл. 2 приведен перечень трудовых функций в рамках соответствующего квалификационного уровня, согласованных с заказчиком для профессионального стандарта «Специалист в области тепловой автоматики и измерений», начиная с шестого и до восьмого уровней.

Таблица 1

Показатели уровней квалификации 6 уровня

Показатели уровней квалификации

Основные пути достижения уровня квалификаций

Полномочия и ответственность

Характер умений

Характер знаний

Работа является сложной и нестандартной

На работника возложена определенная индивидуальная ответственность и некоторая автономность

Ответственность за результат выполнения работ на уровне подразделения

Требуется сотрудничество с другими работниками.

Базовые практические умения, которые требуются для использования соответствующей информации, для того чтобы выполнять задания и решать обычные (рабочие) задачи, используя простые правила и механизмы (инструменты, устройства);

Обеспечение технического обслуживания и ремонта средств измерения и автоматики; осуществление технической поддержки при эксплуатации, ремонте и реконструкции оборудования средств измерения и автоматики

Управление работой подчиненного персонала

Умение справляться с разнообразными производственными заданиями в пределах своей компетентности и сотрудничать с другими работниками в составе рабочей группы

Базовые фактические знания в области профессиональной деятельности;

 

 

Образовательные программы высшего образования – программы бакалавриата или специалитета

 

Образовательные программы среднего профессионального образования

 

Дополнительные профессиональные программы

Практический опыт: мастер – 1 года, инженер или техник - нет

Таблица 2

Перечень трудовых функций шестого квалификационного уровня

Квалификационный уровень (КУ)

Код ТФ

Трудовая функция (ТФ)

Шестой квалификационный уровень

ТФ1

Выполнение диагностики технического состояния средств измерения и автоматики

ТФ2

Выполнение технического обслуживания и ремонта средств измерения технологических параметров и автоматики

ТФ3

Выполнение технического обслуживания и ремонта технических средств управляющей и информационной вычислительной систем

ТФ4

Выполнение технического обслуживания и ремонта систем управления и защиты, аппаратуры контроля нейтронно-физических параметров ядерного реактора

ТФ5

Выполнение оперативных переключений

ТФ6

Вывод оборудования в ремонт и ввод его в работу

ТФ7

Соблюдение требований должностных и производственных инструкций

ТФ 8

Участие в технической поддержке при эксплуатации, ремонте и реконструкции оборудования средств измерения и автоматики

ТФ9

Управление работой подчиненного персонала

ТФ10

Повышение квалификации

Для определения значимости трудовой функции используются экспертные значения.

Шкала, по которой собираются экспертные суждения, составляет 100 баллов.

Затем полученные значения проверяются на согласованность. Согласование экспертных значений проводится в несколько шагов.

Шаг 1. Определение корреляции между суждениями экспертов.

Шаг 2. Нестрогое ранжирование трудовых действий.

Шаг 3. Выделение групп трудовых действий.

Шаг 4. Вычисление коэффициента конкордации.

Шаг 5. Определение весов трудовых функций при приемлемом согласии экспертных мнений.

Первым критериальным значением является выполнение заданий на не менее, чем 75 % по каждой трудовой функции.

При проведении оценки, мы пространство трудовых функций эквивалентируем пространством компетенций и проводим оценку уже компетенций. Для этого, для каждой трудовой функции выделяется набор компетенций и определяется значимость каждой компетенции в рамках этой трудовой функции. Отношение, в которых находятся трудовые функции и компетенции называется «многие ко многим». Это означает, что каждой трудовой функции соответствует несколько компетенций и каждой компетенции соответствует несколько трудовых функций.

Вторым критериальным значением является выполнение заданий на не менее, чем 50 % по каждой компетенции.

Каждый вариант заданий должен иметь

1.Доказательную базу, что все компетенции проверяются.

2. Возможность проводить диагностику, какие компетенции, и как следствие, трудовые функции, соответствуют или не соответствуют квалификационному уровню.

Максимальное значение каждой трудовой функции не превосходит 1, пороговое значение – 0,75.

Модель сертификационных измерительных материалов

В соответствии с высказанными суждениями с экспертов, при коэффициентах конкордации Кендела больше, чем 0,7 были вычислены средние значения для значимости трудовых функций для шестого, седьмого и восьмого квалификационных уровней соответственно и определен вес каждой производственной функции в общей структуре итоговой оценки (табл. 3).

Таблица 3

Значимость трудовых функций для шестого квалификационного уровня

 

Название трудовой функции

Вес

ТФ1

Выполнение диагностики технического состояния средств измерения и автоматики

0,15

ТФ2

Выполнение технического обслуживания и ремонта средств измерения технологических параметров и автоматики

0,20

ТФ3

Выполнение технического обслуживания и ремонта технических средств управляющей и информационной вычислительной систем

0,10

ТФ4

Выполнение технического обслуживания и ремонта систем управления и защиты, аппаратуры контроля нейтронно-физических параметров ядерного реактора

0,15

ТФ5

Выполнение оперативных переключений

0,05

ТФ6

Вывод оборудования в ремонт и ввод его в работу

0,05

ТФ7

Соблюдение требований должностных и производственных инструкций

0,10

ТФ8

Участие в технической поддержке при эксплуатации, ремонте и реконструкции оборудования средств измерения и автоматики

0,05

ТФ9

Управление работой подчиненного персонала

0,05

ТФ10

Повышение квалификации

0,10

 

Итоговый вес

1

Апробация сертификационных измерительных материалов

По результатам апробации модели экспертно-аналитического центра в атомной отрасли, модели центра оценки и сертификации квалификаций в атомной отрасли и по результатам обсуждения на семинарах была сформирована модель системы оценки и сертификации.

Модель системы оценки и сертификации для каждого квалификационного уровня содержит следующие компоненты:

  • Система взаимосвязанных показателей, по которым происходит оценка;
  • Шкалы, по которым проводится оценивание;
  • Критерии оценки;
  • Набор сертификационных измерительных материалов, по которым производится оценка и сертификация.

В результате применения данной системы формируется значение целевой функции R.

Целевая функция R для проведения оценки после проведенной модернизации описывается следующим образом

,

где h – количество производственных функций, i – номер производственной функции,

xi – значение, полученное испытуемым, ai – корректировочный коэффициент, который определяется как ai = 1,если xi >= 0 и ai = 0, если xi<0.

Если целевая функция равна 0, то это означает, что хотя бы по одной производственной функции порог не пройден.

В табл. 4 приведен пример перехода от трудовых функций к компетенциям. Каждая компетенция определяется по триаде «знать-уметь-владеть», таким образом, СИМ, соответствующий данной компетенции, имеет набор заданий, состав которых определяется в процентном соотношении.

Таблица 4

Соответствия трудовых функций и компетенций

Компетенции

Производственные функции

ТФ1

ТФ2

ТФ3

ТФ4

ТФ5

ТФ6

ТФ7

ТФ8

ТФ9

ТФ10

К1

 

 

 

 

 

 

 

 

 

 

К2

 

 

 

 

 

 

 

 

 

 

К L

 

 

 

 

 

 

 

 

 

 

Пороговое значение

0,75

0,75

0,75

0,75

0,75

0,75

0,75

0,75

0,75

0,75

Итоговая оценка формируется следующим образом.

Алгоритм формирования итоговой оценки

Шаг 1. Вычисляется значение уровня освоения каждой компетенции.

Если для оценки данной Кi компетенции используется n заданий, каждое из которых оценивается по mj баллов, то итоговое значение будет иметь следующий вид:

,

где yj – результат испытуемого за данное задание, mj- максимальное количество баллов за данное задание.

Таким образом, шкала измерений для каждой компетенции [0,1]. Пороговым значением по каждой компетенции является 0,5.

Количество заданий n соответствует тому количеству трудовых функций, в состав которых входит данная компетенция.

Шаг 2. Если полученный результат по каждой компетенции превосходит второе критериальное значение, то вычисляется результат по каждой производственной функции Pi следующим образом.

,

где l – количество компетенций, входящих в состав данной трудовой функции,

Pi ­– рассматриваемая трудовая функция,

Kj – значение j-ой компетенции, входящей в состав данной производственной функции.

Таким образом, шкала измерений для каждой трудовой функции [0,1].

Шаг 3. Вычисляется целевая функция R. Если ее значение положительно, то удовлетворяется первое критериальное значение и испытуемый успешно справился с заданиями и все трудовые функции у него сформированы.

Шаг 4. Диагностика.

Вычисляется итоговая оценка, как О, следующим образом

при ,

где s – количество трудовых функций на данном уровне,

wj – вес данный трудовой функции,

Pj – полученный результат по данной трудовой функции.

Таким образом, шкала измерений итоговой оценки [0,100].

Помимо значения итоговой оценки, представляется результат сформированности каждой трудовой функции (в процентах). Пример приведен на рис. 1. Например, трудовая функция Рi измеряется компетенциями {K1, K2, K3}. После прохождения испытаний, К1 = 0,5, К2 = 1, К3 = 0,7. Эти значения удовлетворяют второму критериальному значению. Но среднее значение К = 0,73, следовательно, критериальное значение не достигнуто и данный испытуемый не может выполнять данную трудовую функцию не должном уровне.

Рис. 1. Определение итоговой оценки

Система показателей имеет два яруса: трудовые функции и соответствующие им компетенции. Взаимоотношения – многие ко многим. На рис. 2 приведена модель соответствия между показателями, отражающими трудовые функции и компетенции.

Для каждого квалификационного уровня было выделено не менее 10 трудовых функций и 61 компетенция. В табл. 5 приведены количественные соотношения между квалификационным уровнями, трудовыми функциями и компетенциями, входящими в состав этой трудовой функции..

Как можно видеть, корреляция между количеством компетенций и значимостью данной трудовой функции присутствует не всегда.

Рис. 2. Система показателей

Таблица 5

Соответствие трудовых функций и компетенций

 

Шестой квалификационный уровень

 

Название трудовой функции

Вес

Количество компетенций

ТФ1

Выполнение диагностики технического состояния средств измерения и автоматики

0,15

35

ТФ2

Выполнение технического обслуживания и ремонта средств измерения технологических параметров и автоматики

0,20

36

ТФ3

Выполнение технического обслуживания и ремонта технических средств управляющей и информационной вычислительной систем

0,10

32

ТФ4

Выполнение технического обслуживания и ремонта систем управления и защиты, аппаратуры контроля нейтронно-физических параметров ядерного реактора

0,15

26

ТФ5

Выполнение оперативных переключений

0,05

28

ТФ6

Вывод оборудования в ремонт и ввод его в работу

0,05

14

ТФ7

Соблюдение требований должностных и производственных инструкций

0,10

13

ТФ8

Участие в технической поддержке при эксплуатации, ремонте и реконструкции оборудования средств измерения и автоматики

0,05

27

ТФ9

Управление работой подчиненного персонала

0,05

7

ТФ10

Повышение квалификации

0,10

7

Шкалы и критерии оценивания

Каждая компетенция оценивается в соответствии с дескрипторами «знать», «уметь» и «владеть навыками». На разных квалификационных уровнях это соотношение различно (табл. 6).

Таблица 6

Соотношение между знаниями, умениями и навыками

Квалификационный уровень

Знания

Умения

Владение навыками

Итог

Шестой

70 %

20 %

10 %

100 %

Седьмой

60 %

25 %

15 %

100 %

Восьмой

50 %

30 %

20 %

100 %

Состав сертификационных измерительных материалов представлен в табл. 7.

Таблица 7

Состав СИМ для шестого квалификационного уровня

Знания

Умения

Владение навыками

Итог

70 баллов

20 баллов

10 баллов

100 баллов

40 заданий с закрытым ответом

1 задание в виде таблицы истинности

2 задания в виде эссе

4 задания в виде эссе

15 заданий на проверку владения 25 навыков

 

Оценка компетенции с точки зрения дескриптора «знание» представлена в табл. 8.

Таблица 8

Дескриптор «знание» для шестого квалификационного уровня

Вид задания

Шкала

Критерии оценивания

Задание с закрытым ответом

[0, 1]

1 – правильный ответ

0 – в противном случае

Задания в виде эссе

[0, 5]

5 – полностью правильный ответ

4 – в ответе не менее 80 % правильной информации

3 – в ответе не менее 60 % правильной информации

2 – в ответе не менее 40 % правильной информации

1 – в ответе не менее 20 % правильной информации

0 – в ответе менее 20 % правильной информации

Таблица высказываний

[0, 20]

Для каждого высказывания:

0 – не сформирована социальная компетенция

1 – социальная компетенция сформирована частично

2 – социальная компетенция полностью сформирована

Оценка компетенции с точки зрения дескриптора «умение» представлена в табл. 9.

Таблица 9

Дескриптор «умение» для шестого квалификационного уровня

Вид задания

Шкала

Критерии оценивания

Задание в виде эссе

[0, 5]

5 – полностью правильный ответ

4 – в ответе не менее 80 % правильной информации

3 – в ответе не менее 60 % правильной информации

2 – в ответе не менее 40 % правильной информации

1 – в ответе не менее 20 % правильной информации

0 – в ответе менее 20 % правильной информации

Деловые игры имеет очень важное значение для сертификации специалистов восьмого квалификационного уровня, которые являются руководителями различных предприятий РОСАТОМа, в том числе и атомных станций. Игра направлена на формирование долгосрочной программы деятельности различных предприятий и должна быть полностью увязана со Стратегией развития Госорпорации Росатом до 2020 г.

В рамках деловой игры, для повышения эффективности деятельности в опытном производстве предстоит реализация производственной системы “Росатом” с одновременной модернизацией производственно-технологической и испытательной базы предприятия. Для освоения рынка региональной и местной энергетики предприятие продолжит работу по разработке АТЭЦ малой и средней мощности в диапазоне от 1 до 300 МВт. При этом необходимо решить вопросы финансирования разработки этих проектов, в том числе с использованием государственно-частного партнерства. Будут продолжены работы по разработке, изготовлению в кооперации с другими предприятиями, испытанию и поставке на АЭС с РБМК комплексной системы контроля, управления и защиты реактора (КСКУЗ).

Предприятие планирует активное развитие деятельности по оказанию услуг, разработке проектно-конструкторской и технологической документации в области вывода из эксплуатации объектов использования атомной энергии, обращения с ОЯТ и РАО. Планируется применение разработанных и освоенных в производстве программно-технических комплексов для систем управления и защиты, управляющих систем безопасности реакторов БН, ВБЭР-300, БРЕСТ, СВБР-100. В портфеле потенциальных заказов предприятия будут представлены также разработки по неядерным продуктам и другим результатам интеллектуальной деятельности. Реализация предусмотренных в ДПД предприятия направлений деятельности будет способствовать эффективному решению поставленных перед Госкорпорацией и указанных в Корпоративной Стратегии развития атомной отрасли задач.

Таким образом, по всем видам заданий, максимально возможное количество баллов, которое может быть набрано соискателем, составляет 60.

Заключение

Итак, в процессе работы был проведен анализ предметной области и выявлена актуальность создания СИМ для специалистов атомной отрасли. В работе предлагаются подходы к формированию сертификационных измерительных материалов и математические методы, позволяющие точно оценивать сформированность компетенций при сертификации квалификаций.

Рецензенты:

Тупчиенко В.А., д.э.н., профессор, профессор кафедры «Управление бизнес-проектами», Национальный исследовательский ядерный университет «МИФИ», г. Москва;

Путилов А.В., д.т.н., профессор, декан факультета управления и экономики высоких технологий, Национальный исследовательский ядерный университет «МИФИ», г. Москва.