Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

EVALUATION OF PERFORMANCE INDICATORS SIGNIFICANCE FOR GOVERNMENTAL RESEARCH CARRIED OUT BY UNIVERSITIES

Belash O.Yu. 1 Kivit E.B. 1 Ryzhov N.G. 1 Shestopalov M.Yu. 1
1 Saint Petersburg Electrotechnical University “LETI”
The article discusses different approaches to calculate the amount of financial support for research work performed by universities under governmentalresearch assignments. The data of the expert survey made by leading scientists and heads of research departments of universities is presented to determine the weighting factors of performance indicatorsof scientific activity for different groups of universities.Three components considered separately: number of researches, the rate of internal research expenses and group of scientometricindicators. The paper shows the influence of the university profile on the performance evaluation of its work.It also revealed underestimation of the weight of teachers in the existing method of determining the human resource capacity of science in the university. As a basis for the allocation of funds for state assignment it is recommended to use values of the scientific activities of the university as a whole.
funding
indicators of efficiency
research
governmental assignments

Применяемый в настоящее время подход к расчету объемов финансового обеспечения научно-исследовательских работ, выполняемых вузами в рамках государственных заданий, содержит [1]:

  • механизмы положительного и отрицательного стимулирования за счет учета ключевых показателей эффективности научной деятельности и контроля выполнения принятых обязательств;
  • стабилизационные механизмы за счет сохранения половины объема финансирования от уровня прошлого года, а также учета численности работников, принимающих участие в научных исследованиях.

Актуальная задача состоит в том, чтобы обосновать, с каким весом следует учитывать тот или иной показатель в итоговой формуле расчета объемов финансирования для каждого вуза, что брать за базу для сравнения, как учесть разницу в направленности вузов (классические, технические, гуманитарные, экономические, педагогические и др.), как оценивать труд отдельных научных работников.

В настоящей статье рассматривается возможное решение данной задачи на основе:

  • анализа целей финансирования научных исследований в рамках государственных заданий и выработки общих подходов к распределению объемов финансирования между вузами;
  • проведения экспертного опроса ведущих ученых и руководителей научных подразделений вузов с целью определения весовых коэффициентов значимости показателей научной деятельности организации для различных групп вузов.

Основная цель любой научной работы – получение новых знаний. Проблема заключается в принципиальном отсутствии прямых объективных и абсолютных характеристик важности и полезности получаемых результатов. Косвенными измерителями степени достижения поставленной цели являются известные наукометрические показатели, такие как количество научных статей, цитируемость и др.

Рассмотрим применимость использования таких показателей для задачи определения объемов финансирования вузов по государственному заданию. Государственное здание – самый стабильный источник финансирования вузовской науки. Он дает возможность не увольнять научных сотрудников в перерывах между окончанием одних проектов и началом следующих по научно-техническим программам, грантам и договорам с заказчиками. Поэтому сохранение и развитие кадрового потенциала науки можно рассматривать как еще одну цель государственного задания. Показатели, характеризующие кадровый потенциал науки, могут учитываться при распределении финансирования.

НИР, выполняемые в рамках государственного задания, как правило, носят фундаментальный или прикладной характер. Их результаты могут стать хорошим заделом для участия в научных конкурсах различного уровня или привлечении финансирования на НИР от организаций-заказчиков. Поэтому стимулирование научной деятельности вуза в целом также можно считать одной из целей государственного задания. Реализация данной цели также будет характеризоваться наукометрическими показателями, но рассчитанными не только для НИР, выполненных по государственному заданию, а в целом по вузу.

Принятый ранее механизм распределения объемов финансирования между вузами был комбинированным и состоял в том, что объем средств, подлежащих распределению, делился на части, соответствующие либо отдельным показателям, либо их группам. Относительный размер этих частей соответствовал значимости этих показателей. Далее каждая часть распределялась между вузами пропорционально достигнутым ими значениям отдельных показателей или обобщенных скалярных критериев, вычисленных на основе суммы взвешенных нормированных частных показателей. Расчет производился независимо для различных профильных групп вузов (ведущие, классические, инженерно-технические, гуманитарно-экономические, педагогические и другие), без учета структуры работ в рамках государственного задания (фундаментальные исследования, прикладные исследования и экспериментальные разработки).

Использование комбинированного подхода, когда некоторые показатели рассматриваются независимо, а другие заменяются одним обобщенным критерием на основе аддитивной свертки, затрудняет обоснование выбора весовых коэффициентов значимости (важности) тех или иных показателей и критериев на их основе, приводит к потере физического смысла из-за сопоставления разных показателей. Поэтому для задачи распределения финансирования предлагается использовать единый подход [4], основанный на предварительном разбиении распределяемой суммы на несколько частей по количеству используемых показателей таким образом, чтобы размеры частей были пропорциональны коэффициентам значимости этих показателей. Отдельные части затем распределяются между вузами пропорционально достигнутым ими значениям соответствующего показателя. Таким образом, задача сводится к определению весовых коэффициентов в используемой системе показателей.

Для ее решения авторами был организован e-mail опрос российских экспертов из числа ведущих работников вузов и научных организаций. В исследовании приняло участие 74 эксперта из 28 городов России. Квалификационный уровень респондентов характеризуется следующими данными: докторов наук – 51, кандидатов наук –14, профессоров – 34. руководителей – 50, в том числе проректоров – 23, деканов и заведующих кафедрами – 12, руководителей научных подразделений – 16.

Распределение экспертов по различным группам вузов представлено в таблице 1.

Таблица 1 – Распределение респондентов по группам вузов

Группа вуза

Количество респондентов

Федеральные и национальные исследовательские вузы (ведущие университеты – ВУ)

34

Классические университеты (КУ)

13

Гуманитарные, экономические и педагогические (ГЭП)

18

Инженерно-технические (ИТ)

9

Исследовалось мнение респондентов относительно значимости следующих показателей [4, 5], характеризующих научно-исследовательскую деятельность:

  • приведенная численность научно-педагогических работников вуза, участвующих в НИР;
  • внутренние затраты на научные исследования и разработки (объем НИР из всех источников, выполненных собственными силами) за вычетом средств, полученных вузом на выполнение НИР в рамках государственного задания;
  • количество публикаций работников вуза в научных журналах и изданиях, входящих в формируемый ВАК перечень российских рецензируемых научных журналов, в которых должны быть опубликованы основные научные результаты диссертаций;
  • количество публикаций работников вуза в научных периодических изданиях, зарегистрированных в базах данных WebofScience и Scopus;
  • количество поданных заявок на регистрацию охраняемых результатов интеллектуальной деятельности (программ для электронных вычислительных машин, баз данных, изобретений, полезных моделей, промышленных образцов, селекционных достижений, топологий интегральных микросхем);
  • количество кандидатских диссертаций, защищенных работниками вуза;
  • количество докторских диссертаций, защищенных работниками вуза.

Ввиду того, что споры об использовании тех или иных библиометрических показателей ведутся весьма активно [2], сами показатели обладают разной степенью взаимозависимости, для более объективного определения их значимости в работе [4] было предложено укрупнить их по смысловым группам. Для приведенного выше списка показателей представляется целесообразным на первом шаге выделить три составляющие: показатель численности научных работников, показатель внутренних затрат на научные исследования и группу показателей результативности, куда входят все остальные показатели. В соответствии с этим экспертам было предложено распределить 100 баллов между группами показателей на основе их значимости. Агрегированная экспертная оценка приведена на рисунке 1.

Рисунок 1 – Агрегированная оценка оптимального соотношения значимости показателей

Аналогично экспертам было предложено распределить 100 баллов между показателями результативности научной деятельности (рисунок 2).

Рисунок 2 – Относительная значимость показателей результативности научно-исследовательской деятельности по группам вузов

Очевидно, что эксперты от каждой группы вузов выбирают наиболее выигрышные для них показатели. Логичным выглядит, например, высокий вес показателя публикационной активности в журналах WebofScience и Scopus среди ведущих университетов.

Для выбора базы для сравнения значений показателей экспертам предлагалось ответить на вопрос, следует ли учитывать показатели в целом по вузу или только по НИР, выполненных в рамках государственного задания. Более 75% ответивших считают, что для целей распределения объемов финансирования нужно учитывать значения показателей в целом по вузу (рисунок 3).

Рисунок 3 – Выбор базы для сравнения значений показателей

Необходимо отметить, что до настоящего времени показатели результативности учитывались только по работам, выполненным в рамках государственного задания. Переход на учет результатов вуза в целом представляется оправданным, как исходя из цели стимулирования всей научной деятельности вуза, так и уменьшения возможности манипулирования за счет приписывания показателей, достигнутых в других НИР.

Важной составляющей существующей методики распределения финансирования является приведенная численность научных работников, в которой учитываются не только научные сотрудники и руководители научных подразделений (штатные работники и внешние совместители), но и преподаватели. Вопрос об учете преподавателей в приведенной численности научных работников оказался непростым и вызвал разную реакцию со стороны экспертов, представляющих разные группы вузов. Сложность вызывают условия труда преподавателей вузов, для которых, с одной стороны, научная деятельность является обязательной составляющей их трудового договора, а с другой стороны, они дополнительно могут привлекаться к выполнению НИР на условиях совместительства или по договорам гражданско-правового характера. В любом случае преподаватели не могут 100% времени посвящать научной работе, и для учета этого факта при сравнении их с научными сотрудниками может быть применен понижающий коэффициент. Очевидным формальным решением является учет фактически отработанного времени на выполнение НИР (доли ставки), однако часто это не соответствует фактическому вкладу в выполнение работы (возможно, оплата труда была бы лучшим измерителем). Чтобы выяснить мнение самих ученых по этому вопросу экспертам задавался вопрос «Как и с каким коэффициентом следует учитывать преподавателей в приведенной численности научных работников по сравнению со штатными научными сотрудниками?». В целом большинство респондентов (59%) считают, что для целей финансирования нецелесообразно учитывать всех преподавателей в составе приведенной численности научных работников, независимо от того, принимали ли они участие в НИР или нет. Интересно, что при этом 73% от общего количества экспертов полагают, что нужно учитывать преподавателей, принимавших участие в научных исследованиях (рисунок 4).

Рисунок 4 – Целесообразность учета преподавателей в приведенной численности научных исследований

Однако детальный анализ ответов экспертов из разных групп вузов показал, что из групп ГЭП и ИТ большинство респондентов считают по-другому: учитывать надо всех преподавателей с единым понижающим коэффициентом.

Мнение экспертов о степени учета вклада преподавателей в кадровый потенциал науки по сравнению с научными сотрудниками показывает существенно больший вес по сравнению с формальным подсчетом отработанного времени при учете только работы по совместительству и договорам гражданско-правового характера (рисунок 5).

*База: респонденты, считающие целесообразным учет тех или иных преподавателей

Рисунок 5 – Учет преподавателей в приведенной численности научных работников

Проведенное исследование было изначально ориентировано на набор показателей, включенных в состав ежегодной отчетности вузов по научно-исследовательской деятельности [3], которые достаточно полно отражают научный потенциал и результативность вуза в целом.

Полученные результаты показали существенное влияние профиля вуза на показатели оценки его работы. Выявлена недооценка роли преподавателей в существующей методике определения кадрового потенциала науки. Для целей определения объемов финансирования показана предпочтительность учета общих показателей всего вуза по сравнению с показателями, достигнутыми в рамках НИР по государственному заданию. Несмотря на небольшой объем выборки, представленные экспертные оценки могут быть полезны для совершенствования системы управления научной деятельностью как государственными органами, так и непосредственно вузами.

Рецензенты:

Лашманова Н.В., д.т.н., профессор по кафедре управления, профессор кафедры «Прикладная экономика» ФГБОУ ВПО «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)» Минобрнауки России, г. Санкт-Петербург.

Яковлев С.А., д.т.н., профессор, профессор кафедры АСОИУ ФГБОУ ВПО «Санкт-Петербургский государственный электротехнический университет «ЛЭТИ» им. В.И. Ульянова (Ленина)» Минобрнауки России, г. Санкт-Петербург.