В настоящее время актуальной является проблема повышения эффективности управления инновационными проектами. Поскольку финансированием инновационных проектов в большинстве случаев занимаются различные инвестиционные компании, в каждой из которых есть свои особенности управления, поставленные задачи и история существования, для снижения рисков, связанных с вложением в инновационные проекты, изобретаются свои специфические средства и инструменты управления. Успешная работа по анализу инновационных проектов основана на применении многочисленных методов, применяющихся как при построении общей модели работы с проектами, так и на отдельных этапах процесса прохождения проекта внутри компании.
Одним из наиболее важных этапов работы с проектами в компании является экспертиза этих проектов. В процессе проведения экспертизы заявка, которая или будет отклонена, или станет финансируемым проектом, подвергается разносторонним исследованиям, в которых участвуют эксперты различного профиля.
Экспертиза, как правило, представляет собой процесс, в котором участвует группа высококвалифицированных и узкоспециализированных экспертов, результатом которого является набор экспертных заключений или одно сводное заключение.
Однако для получения информации от экспертов, которая достоверно отображает перспективы и недостатки анализируемого проекта, недостаточно просто найти хороших экспертов. Для получения корректных и показательных экспертных заключений необходимо определить критерии, по которым эксперты должны анализировать заявку.
Различие критериев у разных компаний может объясняться как разным финансовым положением, так и различными приоритетами и целями. По этой причине каждая организация должна самостоятельно формировать свой собственный список важных для нее критериев оценки проекта.
Однако после формирования этого списка перед всеми компаниями встает задача по определению относительной важности и значимости критериев. Для решения этой задачи можно использовать различные методы.
Наиболее распространенным методом является формирование балльной оценки, при котором каждому из критериев ставится определенный балл и относительную важность критериев можно оценить путем сравнения присвоенных им баллов. На сегодняшний день достаточно широкое распространение получил способ формирования весов критериев, построенный на методе анализа иерархии Т. Саати [2-3]. Главная идея данного метода состоит в парном сопоставлении критериев. Все критерии, предназначенные для анализа проекта, оцениваются путем построения матрицы парных сравнений. Матрица парных сравнений представляет собой матрицу, в которой критерий, расположенный в строке, сравнивается со всеми критериями, указанными в столбцах матрицы (табл.1.). Например, если критерий №1 важнее критерия №2 в a12раз, то элемент (1, 2) матрицы равен a12 . Исходя из этого, главная диагональ матрицы всегда заполнена единицами.
Таблица 1. Матрица парных сравнений
|
Критерий 1 |
Критерий 2 |
Критерий 3 |
Критерий 1 |
a11=1 |
a12 |
a13 |
Критерий 2 |
a21 |
a22=1 |
a23 |
Критерий 3 |
a31 |
a32 |
a33=1 |
Логично предположить, что если критерий №1 важнее критерия №2 в a12раз, а критерий №2 важнее критерия №3 в a23раз, то критерий №1 должен быть важнее критерия №3 ровно в a12·a23 раз. Однако для матриц, заполняемых реальными людьми, это далеко не всегда так. Это связано с тем, что заполнение матрицы суждений осуществляется экспертом, который может допустить погрешность в определении относительной важности критериев по психологическим причинам. Одной из задач метода иерархии Т. Саати является стремление снизить влияние человеческого фактора на итоговый смысловой результат. Для определения степени корректности данных в заполненной матрице введено понятие меры согласованности матрицы. Для пояснения определения полностью согласованной матрицы приведен ее общий вид (табл.2.).
Таблица 2. Общий вид согласованной матрицы
|
Критерий 1 |
Критерий 2 |
Критерий 3 |
Критерий 1 |
1 |
a12 |
a12 · a23 |
Критерий 2 |
1/ a12 |
1 |
a23 |
Критерий 3 |
1/ (a12 · a23) |
1/ a23 |
1 |
Для обработки значений полученной матрицы сравнения вводится индекс согласованности, который показывает наличие логической связи между оцененными показателями. Для нахождения индекса согласованности положительной обратно симметричной матрицы (матрица парных сравнений обладает этими свойствами), необходимо найти максимальное собственное значение матрицы и ее размерность [1].
Индекс согласованности рассчитывается по формуле (1):
, (1)
где - максимальное собственное значение,
n - размерность матрицы.
Если матрица согласована, то предположение о том, что если критерий №1 важнее критерия №2 в a12раз, а критерий №2 важнее критерия №3 в a23раз, то критерий №1 должен быть важнее критерия №3 ровно в a12 · a23 раз, всегда верно. Для такой матрицы ИС равняется нулю. Однако, как правило, при анализе данных, полученных экспертным путем, матрица не является полностью согласованной.
В разработанном Т. Саати методе анализа иерархий предлагается для парного сравнения критериев использовать шкалу оценки, которая содержит в себе числовые показатели от 1 до 9 и обратные им величины [4-5]. Значения шкалы 1:9 отображают девять степеней превосходства одного критерия над другим, причем, пять значений являются основными (1,3,5,7,9) и четыре - промежуточными значениями (2,4,6,8). В случае, если рассматриваемый критерий является не более, а менее важным, чем тот, с которым его сравнивают, такое соотношение описывается также посредством девяти степеней сравнения, но представленных обратными величинами значений: 1, 1/2, 1/3, ..., 1/9.
При проведении процедуры сравнения критериев происходит заполнение экспертами соответствующих матриц. От каждого эксперта требуется заполнить только верхнюю часть матрицы (выше главной диагонали), поскольку при использовании данной методики предполагается, что если критериюi при сравнении с критериемj приписывается одно из чисел в диапазоне [1; 9], то критерию j при сравнении с критериемi приписывается обратное значение.
После заполнения экспертом матрицы парных сравнений, необходимо провести проверку индекса согласованности матрицы. Для этого по формуле (1) рассчитывается ИС матрицы и сравнивается со средним индексом согласованности случайных матриц того же порядка. Соотношение этих индексов называется отношением согласованности (ОС).
На текущий момент для шкалы [1;9] учеными рассчитаны случайные индексы согласованности (СИ) для обратно симметричных матриц размерностью от 1 до 15 (табл.3), взятые за основу при анализе полученных матриц на предмет согласованности. В своих работах Т. Саати считает приемлемым значение ОС меньшее или равное 0.10 [2-3].
Таблица 3. Средние случайные индексы согласованности для матриц разного порядка
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
0.00 |
0.00 |
0.58 |
0.90 |
1.12 |
1.24 |
1.32 |
1.41 |
1.45 |
1.49 |
1.51 |
1.48 |
1.56 |
1.57 |
1.59 |
Безусловно, использование для анализа важности критериев шкалы от 1 до 9 имеет свои преимущества. Однако, в ряде случаев, особенно, если это касается такого сложного аспекта, как анализ инновационных проектов, данная шкала не только является избыточной по своей сути, но и может стать причиной дополнительной погрешности в процессе выставления экспертом соответствующей оценки при парных сравнениях различных критериев.
На основе анализа мнения практикующих специалистов, работающих в области инноваций, которым приходится часто сталкиваться с проведением различного рода сравнений, выявлено, что целесообразным является использование более категоричной шкалы 1:5 (табл. 4). Это связано со спецификой области, для работы в которой производится адаптация метода анализа иерархий. В данной статье речь идет о сравнении инновационных проектов, при этом метод парного сравнения объектов Т. Саати применяется для определения весов критериев, по которым проекты впоследствии будут сравниваться. Поскольку сформированные веса критериев могут значительно повлиять на решение, принимаемое по проекту, необходимо, чтобы шкала, с помощью которой определяются в результате веса, была однозначной и конкретной.
Таким образом, можно сделать вывод о том, что использование шкалы 1:5 является на практике более удобным, поскольку каждое численное значение имеет ярко выраженную смысловую трактовку. Кроме того, сравнение критериев посредством такой шкалы будет характеризоваться большей степенью уверенности эксперта. Это важный факт, так как в данном случае речь идет о работе с инновациями, а значит, ситуация осложняется различными рисками. При выборе каких-либо методов для организации работы с инновационными проектами, имеющими априори большую степень неопределенности, необходимо, во избежание накопления суммарной ошибки, выбирать методы, которые сами в себе имеют как можно меньшую степень неопределенности.
Кроме того, более четкое определение признаков, которое дает шкала 1:5, позволяет конкретизировать ситуацию без значимой потери точности, с одной стороны, и со значительным повышением комфортности использования этой шкалы - с другой стороны. В связи с выявленной потребностью шкала от 1 до 9 была заменена шкалой от 1 до 5. Для данной шкалы были описаны значения каждого из выставляемых баллов (табл.4).
Таблица 4. Модифицированная шкала относительной важности
Интенсивность относительной важности |
Определение |
Объяснение |
0 |
Несравнимы |
Эксперт затрудняется при сравнении |
1 |
Одинаковая важность |
Равная степень важности критериев iиj |
3 |
Не существенная степень важность |
Критерий i несущественно важнее критерия j |
5 |
Существенная степень важность |
Критерий i существенно важнее критерия j |
2,4 |
Промежуточные значения между двумя соседними значениями шкалы |
Ситуация, когда необходимо компромиссное решение, 2 - критерий i имеет слабое преимущество перед критерием j, 4 - критерий i имеет заметное преимущество перед критерием j |
Обратные величины приведенных выше чисел |
Если критерию iпри сравнении с критерием j приписывается одно из приведенных выше чисел, то критерию j при сравнении с критериемiприписывается обратное значение |
Обоснованное предположение |
Для обеспечения более комфортных условий сравнения для экспертов был введен дополнительный пункт шкалы - нулевое значение. Эксперт имеет возможность поставить 0 при сравнении двух критериев, если считает, что критерии несравнимы или сравнение лично для него крайне затруднительно.
Большая комфортность при использовании шкалы 1:5 объясняется легкостью в различии оценок критериев (рис.1). Три значения шкалы: 1, 3 и 5 выступают в виде главных при оценке относительной важности, а 2 и 4 - являются компромиссными, промежуточными вариантами выбора.
Рис. 1. Ключевые деления шкалы 1:5
Поскольку шкала была изменена, для корректной проверки согласованности соответствующих матриц необходимо провести расчет индексов согласованности случайных матриц данного типа. Для решения этой задачи для выбранной шкалы было сгенерировано по 100 случайных матриц порядка 3, 4 и 5. Полученные в результате расчетов СИ обозначены в таблице 5.
Таблица 5. СИ по шкале оценки от 1 до 5
1 |
2 |
3 |
4 |
5 |
0,000 |
0,000 |
0,211 |
0,423 |
0,464 |
В качестве примера для расчета отношения согласованности для матриц порядка 3, сформированных по шкале 1:5, был проведен анализ допустимого уровня согласованности матриц. Пороговым значением для шкалы 1:9 является уровень в 10 %. Для установления порогового значения при использовании шкалы 1:5 было проведено моделирование, заключающееся в анализе значений ОС матрицы при различных отклонениях экспертных оценок от оценок, соответствующих полностью согласованной матрице.
В рамках моделирования проводился анализ матриц со следующими отклонениями:
- увеличение одной величины на 1 шаг;
- уменьшение одной величины на 1 шаг;
- увеличение двух величин на 1 шаг;
- уменьшение двух величин на 1 шаг;
- увеличение трех величин на 1 шаг;
- уменьшение трех величин на 1 шаг;
- увеличение одной и уменьшение другой величины на 1 шаг;
- увеличение двух величин и уменьшение одной величины на 1 шаг;
- увеличение одной и уменьшение двух величин на 1 шаг;
- увеличение 1 величины на 2 шага;
- уменьшение 1 величины на 2 шага.
Для каждой размерности матрицы был проведен аналогичный анализ для пяти различных исходных согласованных матриц. В результате проведенного моделирования было получено значение 12.7 %, которое соответствует максимальному отношению согласованности при отклонении мнения эксперта на один шаг от значения полностью согласованной матрицы. Значение 12.7 % было выбрано в качестве порогового значения допустимой согласованности матрицы, составленной по шкале 1:5.
Пороговое значение 12.7 % является обоснованным для матрицы размерностью 3. Для матриц другой размерности пороговое значение ОС должно быть рассчитано не только с учетом анализа отклонений матрицы от полностью согласованной, но и с учетом того, что при сравнении большего количества критериев ошибка эксперта может возрасти.
Таким образом, с учетом особенностей, присущих повседневной практической деятельности при оценке инновационных проектов, была проведена модификация метода Т. Саати. Основная цель модификации - повышение эффективности метода при его применении узкопрофильными специалистами для оценки перспективности и технической реализуемости инновационных проектов. Использование данной модификации метода определения относительной важности критериев при оценке проекта может повысить эффективность и достоверность такого этапа работы с инновационными проектами, как подготовка к проведению экспертизы. Данный момент является крайне важным, поскольку именно по установленным на этом этапе критериям происходит дальнейшая оценка проекта, а корректное соотношение критериев между собой по степени важности позволяет составить верное заключение по проекту.
Рецензенты:
- Киреев Сергей Васильевич, д.ф.-м.н., профессор, декан факультета повышения квалификации и переподготовки кадров, Министерство образования и науки Российской Федерации, Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет МИФИ» (НИЯУ МИФИ), г. Москва.
- Гусева Анна Ивановна, д.т.н., профессор, профессор кафедры «Экономика и менеджмент в промышленности», Министерство образования и науки Российской Федерации, Федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет МИФИ» (НИЯУ МИФИ), г. Москва.