Scientific journal

Modern problems of science and education

ISSN 2070-7428

"Перечень" ВАК

ИФ РИНЦ = 1,006

В настоящее время разработаны десятки методов оценки качества результатов научных проектов и инициатив. Проблема состоит в том, что строго определенных и унифицированных методов оценки этих результатов пока не существует, и, на наш взгляд, создать такую систему крайне сложно в связи с разнообразием подходов к методологии и результатам научной деятельности.

Научная деятельность, как известно, связана с научным поиском истины или новых знаний, имеет свои закономерности. Как правило, новые научные результаты появляются на основе накопленных знаний по рассматриваемому вопросу или проблеме предыдущими поколениями исследователей [4].

Любое научное исследование может проводиться по трем основным направлениям: для познания новых явлений, открытых в ходе развития соответствующей области человеческого знания; для объяснения ранее неизвестных фактов, с которыми сталкивается человек в процессе своей жизни и работы в окружающем мире; для раскрытия сущности противоречий старых представлений об известных фактах с новыми данными, опровергающими их традиционное понимание.

Это в полной мере относится к педагогическим исследованиям. По мнению В.М. Полонского, под исследованием в педагогике понимаются процесс и результат научной деятельности, направленные на получение новых знаний о закономерностях обучения и воспитания, теории и методике организации учебно-воспитательного процесса, его содержании, принципах, методах и формах, управлении образованием [7].

Существует следующая общая классификация результатов научной деятельности:

• новые знания фундаментального характера;
• результаты научно-исследовательских работ и инициатив, не имеющие материального воплощения (научные результаты, направленные на создание социальных инноваций);
• результаты научно-исследовательских работ и инициатив, которые могут быть воплощены в конкретные материальные объекты (научные результаты, направленные на создание продуктных и технологических инноваций).

Задачей нашего исследования не является поиск универсальных критериев оценки научных проектов. Мы предпринимаем попытку обосновать те критерии, которые были бы наиболее оптимальны для отбора и оценки образовательных проектов, и в том числе профессиональных и коммерчески значимых инициатив студентов и молодых учителей

Как известно, образовательный проект - проект, реализуемый для решения конкретных задач в области обеспечения и развития профессиональных компетенций и квалификаций.

Профессиональные и коммерчески значимые инициативы студентов и молодых учителей - это инновационные проекты, направленные на развитие образовательных технологий, преобразование конкретных результатов научных исследований и достижений передового опыта в области подготовки кадров в новые образовательные продукты, товары и услуги, дающие дополнительный эффект (педагогический и экономический).

Инновационным продуктом - нововведением является результат апробации опытной модели, подготовленный для тиражирования и использования в образовательном пространстве Москвы и Российской Федерации. В качестве инновационного продукта могут выступать: педагогические и методические нововведения, социальные, управленческие.

Экспертиза и отбор профессиональных и коммерчески значимых проектов (инициатив) студентов и молодых учителей осуществляется Экспертным советом университета (института).

Основными задачами Экспертного совета являются:

1) организация экспертизы инновационных проектов, направленных на развитие образовательных технологий, преобразование конкретных результатов научных исследований и достижений передового опыта в области подготовки кадров в новые образовательные продукты, товары и услуги, дающие дополнительный эффект (педагогический и экономический);

2) обеспечение надлежащего уровня независимой и объективной научно-методической экспертизы исследовательских проектов (инициатив) студентов и молодых учителей;

3) обеспечение координации и методического сопровождения инновационных процессов в образовании;

4) рассмотрение отчетов, информации о содержании работы по научно-исследовательской деятельности, материалов актуального педагогического опыта;

5) стимулирование деятельности по развитию инновационной, научно-исследовательской работы.

На наш взгляд, наиболее оптимальными для отбора и оценки представленных в Экспертный совет проектов (инициатив) являются следующие критерии.

1. Научная новизна, оригинальность.
2. Актуальность идеи.
3. Теоретическая значимость.
4. Практическая значимость.
5. Глубина научной проработки.
6. Уровень соответствия содержания проекта конкретной отрасли научной и практической деятельности.
7. Инновационность проекта.
8. Перспектива коммерциализации результата проекта (инициативы).
9. Инвестиционная привлекательность проекта (инициативы).
10. Экономическая эффективность инвестиционного проекта.

Степень различных качеств может быть описана с помощью ранговых шкал. Наиболее удобна четырехранговая шкала. Она позволяет представить крайние и промежуточные варианты и достаточно надежна для характеристики степени выражения различных качеств.

А. Общие критерии оценки проектов (инициатив)

1. Научная новизна, оригинальность

Наиболее важным критерием оценки любого проекта, определяющим его научную «ценность», несомненно, является научная новизна, оригинальность. Существует достаточно много определений понятия «научная новизна». В частности, А.И. Ракитов даёт следующее определение новизны результатов исследования: «Та или иная единица научного знания считается новой, если она отвечает требованиям научности и к моменту её создания отсутствует в списке ранее установленных научных знаний» [10, c. 149].

Таким образом, научная новизна, оригинальность - это критерий научного исследования, определяющий степень преобразования, дополнения, конкретизации научных данных. Предлагаемая идея должна быть новой, впервые сформулированной именно самим автором (авторами) проекта (инициативы).

Требования по критерию:

1.1. Получены принципиально новые результаты, открыты новые закономерности (3 балла).

1.2. Установлены некоторые общие закономерности, определены методы, способы, позволяющие создать принципиально новый продукт (2 балла).

1.3. Решение задач исследования проводится на основе простых обобщений, анализа связей факторов, распространения известных принципов на новые объекты (1 балл).

1.4. Имеет место описание отдельных факторов, распространение ранее полученных результатов, реферативные обзоры (0 баллов).

2. Актуальность

Критерий актуальности указывает на необходимость и своевременность изучения и решения проблемы для дальнейшего развитая теории и практики обучения и воспитания, характеризует противоречия, возникающие между общественными, потребностями (спросом на научные идеи и практические рекомендации) и наличными средствами их удовлетворения, которые могут дать наука и практика в настоящее время.

Требования по критерию:

2.1. Существует ярко выраженная потребность в решении проблемы. Решение проблемы окажет существенное влияние на многие стороны практики обучения и воспитания. Тема в науке не разработана. Научные (учебно-методические, практические) исследования данной тематики отсутствуют или представлены неактуальными устаревшими публикациями (3 балла).

2.2. Практическая потребность в решении проблемы достаточно высока. Решение проблемы окажет существенное влияние на некоторые аспекты обучения и воспитания. Тема в науке разработана слабо. Имеется много противоречивых подходов, взаимоисключающих практических рекомендаций, подходы к их решению морально устарели (2 балла).

2.3. Практическая потребность в решении проблемы незначительна. Тема в науке в общем разработана. Имеются необходимые методические и практические рекомендации (1 балл).

2.4. Проблема в науке решена. Тема в науке разработана; теоретический вопрос решён; имеется большое количество публикаций. Изучение темы малоперспективно. Имеется достаточное число авторитетных публикаций (0 баллов).

3. Теоретическая значимость

Критерий теоретической значимости показывает влияние результатов исследования на существующие концепции, подходы, идеи, теоретические представления в области проектирования и реализации образовательного процесса с учетом уровней образования и интеграции образовательного процесса, выстроенного в рамках ФГОС, с системой дополнительного образования, определяет ценностную сторону результатов исследования, а также вклад проекта (инициативы) в развитие педагогической науки,.

Требования по критерию:

3.1. Дается обоснованная, развернутая концепция, т.е. система взглядов и способов достижения целей, общее понимание явлений; разработан принципиально новый метод (методика) (3 балла).

3.2. Сформулированы лишь некоторые теоретические положения (гипотезы, идеи); усовершенствован существующий метод (методика) (2 балла).

3.3. Исследование носит описательный, эклектический характер, в теоретическом отношении малоубедительно; определен приоритет в использовании определенной совокупности известных методов (методик), которая дает положительный эффект (1 балл).

3.4. Отсутствует теоретическая значимость (0 баллов).

4. Практическая значимость

Критерий практической значимости указывает на реальные достижения в обучении и воспитании, организации различных видов деятельности, методике преподавания, которые произошли (могут произойти) в результате внедрения педагогических исследований в практику. Практическая значимость результатов исследований зависит от числа и состава пользователей, заинтересованных в результатах работы; масштаба внедрения; степени готовности результатов к внедрению; предполагаемого социально-экономического эффекта внедрения.

Требования по критерию:

4.1. Результаты исследования могут найти применение в образовательном процессе; предполагают социально-экономический эффект; результаты исследования важны для решения общеметодических вопросов в пределах определенной области знания; в результатах исследования заинтересованы широкие круги пользователей; масштаб внедрения - областной, городской; внедрение в практику экономически целесообразно; разработанные образовательные программы, новые ФОСы, программы практик выстроены в соответствии с образовательным стандартом педагога, соотнесенным с ФГОС, результаты исследования готовы к внедрению (3 балла).

4.2. Результаты исследования важны для решения частнометодических вопросов отдельных дисциплин, приемов, методов воспитания; в результатах исследования заинтересованы определенные группы пользователей; масштаб внедрения - образовательные организации различного типа и уровня; внедрение экономически целесообразно; результаты исследования в основном готовы к внедрению (2 балла).

4.3. Результаты исследования важны для решения частнометодических вопросов, представляющих второстепенный интерес для практики; в результатах исследования заинтересован узкий круг лиц, для большинства пользователей они представляют незначительный интерес; масштаб внедрения - школа, отдельные классы; внедрение полученных результатов в практику экономически нецелесообразно; результаты исследования не готовы к внедрению (1 балл).

4.4. Отсутствует практическая значимость (0 баллов).

5. Глубина научной проработки

Данный критерий предполагает всесторонность и глубину теоретического раскрытия сути проблемы; полноту и глубину практического опыта исследователя, экспериментального материала; умение выработать практические рекомендации.

Требования по критерию:

5.1. Выполнение сложного теоретического анализа и расчетов; проверка результатов на большом объеме экспериментальных данных; разработка научно обоснованных практических рекомендаций связана с решением актуальной педагогической проблемы (3 балла).

5.2. Выполнение теоретического анализа и расчетов; проверка результатов на небольшом объеме экспериментальных данных; разработка практических рекомендаций связана с изучением отдельных тем образовательной программы (2 балла).

5.3. Невысокая сложность анализа и расчетов, проверка на незначительном объеме экспериментальных данных; практические рекомендации носят общий характер (1 балл).

5.4. Теоретические расчеты просты, эксперимент не проводился (0 баллов).

6. Уровень соответствия проекта, инициативы содержанию образовательной деятельности различных образовательных систем

Под содержанием образования понимают педагогически адаптированную систему знаний, умений и навыков, опыта творческой деятельности и опыта эмоционально-ценностного отношения, усвоение которой призвано обеспечить формирование всесторонне развитой личности, подготовленной к воспроизведению (сохранению) и развитию материальной и духовной культуры общества.

Требования по критерию:

6.1. Проект, инициатива ставит и решает актуальные и инновационные для образовательной деятельности задачи (3 балла).

6.2. Проект, инициатива формирует адекватное понимание изучаемой образовательной деятельности (2 балла).

6.3. Проект, инициатива формулирует и помогает решать стандартные задачи образовательной деятельности (1 балл).

6.4. На основе проекта, инициативы можно решать отдельные классы стандартных задач образовательной деятельности (0 баллов)

7. Инновационность проекта

Критерий инновационности предполагает, что в проекте, инициативе должны использоваться новые, не применяемые ранее в России технологии и (или) принципы организации, а также проект подразумевает выпуск нового, не выпускаемого ранее в России, продукта (при наличии патентов), оказание новой услуги.

Требования по критерию:

7.1. Используются новые, не применяемые ранее технологии или принципы организации, основанные на опережающих решениях, подразумевается выпуск нового образовательного продукта, оказание новой образовательной услуги (3 балла).

7.2. Технологии или принципы организации носят новаторский характер, существенно отличаются от прототипов, предполагают изменение в организации образовательного процесса и его материально-технического обеспечения (2 балла).

7.3. Технологии или принципы организации носят модернизационный характер, предполагают изменение в организации и материально-техническом обеспечении образовательного процесса. Проект не подразумевает выпуск нового образовательного продукта, оказание новой образовательной услуги (1 балл).

7.4. Технологии или принципы организации устарели (0 баллов).

Б. Дополнительные критерии отбора и оценки коммерчески значимых проектов (инициатив)

8. Перспектива коммерциализации результата проекта

Потенциальный будущий продукт должен иметь возможность внедрения на рынок, применимость и конкретного потребителя. Данный критерий должен оценить: как участник изучил рынок для создаваемого продукта; объем рынка; изучил портрет потенциального потребителя; определил себестоимость продукта; изучил наличие рисков коммерциализации и мер их снижения.

Требования по критерию:

8.1. Показатель выполнен полностью (3 балла).

8.2. Показатель в целом выполнен (2 балла).

8.3. Показатель выполнен частично (1 балл).

8.4. Показатель не выполнен (0 баллов).

9. Инвестиционная привлекательность проекта (инициативы)

Таким образом, инвестиционная привлекательность - это совокупность благоприятных инвестиционных и инновационных условий и преимуществ, которые принесут инвестору дополнительную прибыль и уменьшат риск вложений.

Инвестиционная привлекательность проекта (инициативы) представляет собой определенную совокупность таких характеристик, как соответствие цели проекта на длительную перспективу целям развития образовательной системы; стоимость проекта; учет рисков; срок окупаемости; рентабельность.

В то же время при реализации образовательного проекта возможно отсутствие окупаемости (при условии о проработке вопроса без участия коммерческих кредитных организаций).

Требования по критерию:

9.1. Проект инвестиционно привлекателен (3 балла).

9.2. Проект экономически целесообразен, существует потенциальная возможность возврата средств инвестору (2 балла).

9.3. Проект возможно доработать (1 балл).

9.4. Данных недостаточно для проведения финансового анализа (0 баллов).

10. Экономическая эффективность инвестиционного проекта

Авторы проекта (инициативы) производят оценку эффективности исходя из интересов всех его участников: инвесторов, образовательных организаций и органов федерального и местного управления.

Различают следующие виды экономической эффективности: коммерческая (финансовая) эффективность, учитывающая финансовые результаты реализации проекта для его непосредственных участников; бюджетная эффективность, отражающая финансовые последствия реализации проекта для федерального и местного бюджетов; экономическая эффективность отражает воздействие процесса реализации инвестиционного проекта на внешнюю для проекта среду и учитывает соотношение результатов и затрат по инвестиционному проекту, которые прямо не связаны с финансовыми интересами участников проекта и могут быть количественно оценены. При экономической оценке эффективности инвестиционного проекта используются широко известные в мировой практике показатели: приведенная стоимость (PV); чистая приведенная стоимость (NPV); срок окупаемости (PBP); внутренняя норма доходности (IRR); индекс рентабельности (прибыльности) (PI).

Требования по критерию:

10.1. Проект (инициатива) экономически эффективен (3 балла) при выполнении следующих показателей:

a) высокая приведенная стоимость; [1]

b) чистая приведенная стоимость > 0; [2]

c) внутренняя норма доходности выше средневзвешенной цены инвестиционных ресурсов; [3]

d) значение индекса рентабельности > 1;

e) срок окупаемости не более 1 года.

10.2. Проект (инициатива) экономически неэффективен (0 баллов) при наличии любого из следующих показателей:

a) низкая приведенная стоимость;

b) чистая приведенная стоимость ≤ 0;

c) внутренняя норма доходности не отвечает требованию п. 10.1. с);

d) значение индекса рентабельности < 1;

e) cрок окупаемости более 1 года.

Оформление результатов оценки (экспертизы) проектов, инициатив

Результаты экспертизы по проекту (инициативе) заносятся в «Бланк решения...», представляются председателю Экспертного совета. Если в экспертизе принимали участие несколько экспертов, то выводится средний показатель по каждому критерию. Решения по проектам принимаются членами Экспертного совета большинством голосов. Результаты экспертизы оформляются Актом.

Необходимо иметь в виду, что окончательная оценка научного проекта, инициативы студентов, молодых учителей дается на стадии внедрения ее в практику, когда можно определить учебно-воспитательный эффект, который достигается от внедрения полученных рекомендации в практику, сравнить его с уже имеющимися показателями, характеризующими фактический уровень обученности или воспитанности школьников.

Бланк решения эксперта по проекту

Автор проекта, инициативы: ____________________________________________

Организация: __________________________________________________________

Название проекта: ______________________________________________________

По мнению В.М. Полонского, итоги исследований в сопоставлении с уже известными научными данными могут выполнять различные функции: конкретизировать известное, уточнять, расширять, дополнять его либо коренным образом преобразовывать [8]. Следовательно, можно выделить три уровня новизны: конкретизацию, дополнение и преобразование. В процессе конкретизации уточняются известные данные, детализируются педагогические положения, касающиеся отдельных сторон учебно-воспитательной работы в тех или иных условиях, а также истории педагогики, методологии и т.д. На уровне дополнения расширяются известные подходы, вносятся иные акценты, восполняющие наши познания в той или иной области педагогики без изменения их сути. На уровне преобразования полученный результат характеризуется принципиально новыми положениями по отношению к существовавшим ранее знаниям.

Нами представлен только один из возможных подходов к оценке научно-исследовательских проектов (инициатив) студентов и молодых учителей. Разумеется, данная система критериев может и должна совершенствоваться, поскольку развивается и совершенствуется само научное знание, методология научного исследования.

Рецензенты:

Богуславский М.В., д.п.н., профессор, заведующий отделом истории педагогики и образования УРАО «Институт теории и истории педагогики», г. Москва;

Коджаспирова Г.М., д.п.н, профессор, ГБОУ ВО МГПУ города Москвы «Московский городской педагогический университет», г. Москва.

[1] Текущая приведенная стоимость тем меньше, чем дольше срок получения инвестиции и чем выше ставка дисконтирования.

[2] Проект эффективен при любом положительном значении NPV. Чем это значение больше, тем эффективнее проект.

[3] Средневзвешенная цена инвестиционных ресурсов - средняя цена, которую платит инвестор за использование капитала, сформированного из различных источников.