Оценка… – короткое, но очень емкое слово. Термин имеет множество значений, иногда используется в самом неожиданном смысле. Каково значение используемого в образовательной системе термина, какие функции заложены и реализуются посредством этого понятия? На какие принципы следует опираться при его использовании? Каковы условия получения адекватного и достоверного результата при оценке какого-либо педагогического, учебно-методического явления? Вот краткий перечень проблемных задач, которые неизбежно будут возникать при организации образовательного процесса и оценке его результатов.
Оценка имеет большое значение в образовательной деятельности. Так, для определения соответствия знаний учащихся требованиям стандарта используются накопительные оценки. Необходимы оценки и при завершении обучения в школе, при начале профессионального обучения в качестве метода отбора будущих студентов для поступления в образовательные учреждения [1, 2].
Министерства или департаменты образования используют итоговые оценки для сертификации образовательных учреждений. Международные итоговые оценки, такие как по Программе ОЭСР «Международная оценка образовательных достижений учащихся» (PISA), становятся важными показателями для сравнения национальных систем образования.
В педагогике проблема оценки и оценочной деятельности — одна из актуальных, не теряющих своей значимости. Ш.А. Амонашвили, Ю.К. Бабанский, В.А. Сухомлинский, А.В. Хуторской под оцениванием понимают процесс изучения и проверки знаний обучающихся. Оценка, по мнению ученых, — это результат данного процесса, количественный показатель качества результатов учебно-познавательной деятельности учащихся [3].
Можно выделить несколько педагогических проблем, связанных с оценкой. Во-первых, это проблема использования оценки, как отмечает С.И. Кузина, в качестве измерения результатов обучения. Проблема связана с тем, что, как правило, под оценкой понимается: «выявление и сравнение … результата учебной деятельности с требованиями, заданными программой» [4, с. 5].
Во-вторых, как отмечает З.Б. Борщенко, остро стоит проблема использования в процессе воспитания и в виде методического приема оценки как средства воздействия на обучаемого [4].
В-третьих, утверждают С.И. Кузина, З.Б. Бощенко, – это проблема формирования умения осознанного оценивания и самооценивания результатов какой-либо работы, собственных действий и поступков [4].
В современном Большом толковом словаре русского языка в статье об оценке приведено несколько значений понятия «оценка»: 1) оценка как действие (оценить, оценят); 2) мнение, суждение о качествах чего-то; 3) оценка как результат оценивания; назначенная или определенная кем-либо стоимость, цена; 4) отметка, выставленная преподавателем [5].
Показанные в данной статье способы использования оценочных процедур и их анализ позволили сформулировать основное противоречие оценочной деятельности, суть которого состоит в том, что любая деятельность требует оценки, однако результаты оценивания одного и того же явления, процесса, объекта могут сильно различаться. Причина данного различия может быть заложена в первую очередь в выборе методологического аппарата.
Цель данной статьи состоит в обосновании значимости методологического аппарата оценки при ее практическом использовании.
На основании трудов Н.А. Батурина можно утверждать, что использование термина «оценка» в качестве «мнения, суждения о качествах, характере кого-, чего-либо» в эволюционном становлении человека, общественных отношений является первичным [6]. При этом «оценка» как «стоимость», «цена» будет вторичным понятием, не знакомым современным племенам, не осуществляющим товарно-денежных отношений, как указывают этнографические исследования [7].
В разговорном языке оценка используется в качестве синонима отметки. Отметка – это принятая в образовательной системе форма количественного выражения оценки знаний, умений и навыков обучающихся.
В нашем исследовании наиболее применимо комплексное понимание оценки в качестве и процесса, и результата выражения субъектом своего мнения, суждения о качествах чего-либо.
Что оцениваем? Оцениванию могут подвергаться вербальные суждения, поведение, деятельность, аффективные (эмоциональные) проявления, которые могут не осознаваться и проявляться в виде беспокойства, переживания и осознаваться, переходя в вербальное выражение.
Материалы и методы. Эксперимент касался сравнения деятельности экспертов по процедуре оценивания учебно-методических материалов (определение субъекта и объекта, обозначение оснований оценки, обоснование операционной структуры алгоритма, выбор системы операций оценки). Методика и результаты оценочной деятельности экспертов подвергались сравнительному анализу, математической обработке.
Результаты исследования. Оценка должна проводиться, как указывает закон субъект-объектного единства оценки, в рамках субъект-объектных отношений. При этом оценка должна включать в себя две группы признаков: аксиологически внешние показатели и аксиологически внутренние показатели.
Данное разделение показателей исходит из положения субъекта оценки по отношению к оцениваемой системе. В том случае если субъект оценки является компонентом данной системы, то это будут аксиологически внутренние оценки. Если субъект оценки находится вне данной системы, то он дает аксиологически внешние оценки.
Рассматриваемая нами система экспертной оценки качества учебно-методических материалов по предметам образовательных циклов различной направленности является аксиологически внешней.
В данной системе выбор основания оценки включает в себя определение области допустимых и базовых значений показателей [8].
Один из значимых принципов оценивания требует, чтобы при проведении формализации оценки ее уровень соответствовал возможному уровню формализации объекта оценивания.
Обработанные ниже результаты позволяют провести сравнительный анализ подходов, использованных экспертами при оценке учебно-методических комплексов (УМК) и результатов оценки по определенному алгоритму.
Первым этапом оценивания объекта является формулирование цели оценки, проведение классификации объекта, подбор оснований оценки и пр. [9].
При анализе деятельности экспертной группы, созданной в рамках локального нормативного акта и наделенной полномочиями проведения оценки качества учебно-методических материалов, нами выявлена определенная динамика в работе экспертов. В соответствии с вузовским Положением об основной образовательной программе высшего образования, в котором определены требования к УМК, эксперты оценивали их в том числе и по пяти формализованным показателям: наличие указания дисциплины, направления и направленности подготовки, состава комиссии и даты проведения экспертизы [10].
Так, в протоколах работы экспертов в 100% случаев указаны дисциплина и дата проведения экспертизы. Однако по остальным формальным показателям имеются различия, проиллюстрированные в рисунке 1, суть которых состоит в том, что в этой части оценивания материалов эксперт допускает «вольности», не всегда обращая внимание на формализованные показатели.
Рис. 1. Отражение формальных показателей в протоколах экспертизы
Процесс оценки качества объекта (в узком смысле) раскрывается через следующую совокупность операций: обоснование рассматриваемых показателей; определение основных процедур; создание иерархической системы свойств, построение дерева свойств, выстраивание иерархической структуры показателей качества; проведение шкалирования; приведение к комплексному качеству.
Последовательность реализации операций оценивания проявляется в алгоритме оценки [11].
В нашем примере работы экспертной группы данная процедура оценки объекта по внутренним показателям проводилась самостоятельно каждым экспертом, начиная с выбора оценочных показателей.
Так, первый эксперт выделил 12 групп внутренних показателей качества учебно-методических материалов, а второй – только 8 групп. Совпадение по определению групп показателей между экспертами составило для первого эксперта около 33%, для второго – 50%. К одинаковым группам показателей отнесены: требования к оформлению титульного листа УМК; полнота методических указаний, оценка материалов ФОС, реализация требований по оформлению методики лабораторных работ. Количество замечаний по этим группам показателей показано на рисунке 2.
Рис. 2. Динамика замечаний по общим группам
Примечание: показатели 1 – оформление титульной страницы; 2 – полнота методических указаний; 3 – оценка материалов ФОС; 4 – реализация требований по оформлению методики лабораторных работ.
Анализ результатов по общим группам показателей оценки УМК показал следующее: первый эксперт обратил большее внимание на оценку материалов ФОС, когда второй эксперт более внимательно отнесся к полноте разработки методических указаний (рис. 2). Однако при декларации четвертого показателя оба эксперта либо не нашли нарушений, либо не уделяли данному показателю особого внимания.
В целом, хотя система сравнения при оценке качеств определена субъект-объектными отношениями, выделение разных групп показателей качества объекта снижает возможность адекватной оценки подвергнутых экспертной оценке материалов.
В соответствии с основными принципами оценивания оцениваемое качество всегда должно сравниваться в соответствующих компонентам системы оценки границах сравнения. Данное положение ориентирует логику построения оценивания начиная с выявления этих границ. Природа границ обусловлена свойствами как субъекта, так и объекта оценки.
В то же время при проведении оценки необходимо помнить о том, что сравнимость качеств объектов может и должна достигать абсолютности, а их невозможность сравнения лишь относительна. Следовательно, качества объектов и процессов всегда можно сделать сравнимыми, если расширить класс сравнимости. Поиск такого основания сравнения связан с переходом к более обобщенным признакам, свойствам, показателям.
Данное положение можно прокомментировать следующими результатами анализа работы экспертной группы.
Первый эксперт при выборе показателей оценки качества рассматриваемых материалов сузил классы сравниваемости и вынужден был прийти к оценке частных, дробных показателей, как то: соответствие тем работы в методических указаниях темам, обозначенным в рабочих программах; оценка и анализ содержания текстовых материалов; содержание, критерии ФОС; оформление списка литературы в рабочей программе; оценка процедуры контрольных мероприятий; оценка эталонных материалов; наличие технических погрешностей в текстах.
Второй эксперт выделил более общие группы показателей, хотя и несколько формализованные: наличие и качество контрольных работ; наличие и качество методических указаний; наличие и качество методики проведения лабораторных занятий. В этом случае срабатывает аксиома полноты отношения сравнимости, которая включает отношение тождества и различия одновременно.
Сравнительный анализ работы экспертов показал следующее: при равном количестве проверенных пакетов документов первым экспертом сделано в 3 раза больше замечаний, чем вторым экспертом. Средний показатель замечаний на 1 пакет практически в 4 раза больше у первого эксперта, чем у второго (рис. 3).
Рис. 3. Соотношение количественной оценки пакетов УМК
Следуя аксиоме зависимости результата от используемых в оценивании свойств объекта оценки, делаем вывод о том, что результат оценки зависит от перечня выбранных экспертом оценочных свойств (рис. 4).
Рис. 4. Соотношение весовых показателей качества материалов УМК
Примечание: 1 – количество групп, 2 – количество замечаний на группу, 3 – отсутствие замечаний
Сравнительный анализ результатов работы двух экспертов, оценивающих учебно-методические материалы преподавателей, показал, что результаты их работы различаются и по количеству выделенных групп показателей, количеству сделанных замечаний на группу показателей (весовой показатель), даже по доле невыявленных нарушений.
Причина этого, по нашему мнению, состоит в том, что у экспертов не было единого алгоритма оценки, ими не определены единые подходы и критерии оценки.
Обсуждение результатов. Методология оценки. Анализ значение термина «оценка» позволил сделать следующие выводы: из приведенных выше значений следует, что термин имеет две самостоятельные функции: 1) процесса, в результате которого возникает мнение, суждение, 2) результата процесса в виде цены, отметки. Однако в любом понимании «оценка» характеризует или характеризуется действием, смысл которого выражается термином «оценивание» – процедурой измерения.
В философии способ установления значимости чего-либо для действующего и познающего субъекта понимают под оценкой. При этом выделяют три типа значимостей: теоретическая (гносеологические – познавательные оценки), ценностная (аксиологические оценки), практическая (реализация гносеологических и аксиологических оценок через волевые действия субъекта в предметных и коммуникативных системах).
Объекты и их свойства являются предметом оценивания в гносеологических оценках, по мнению В.Л. Абушенко [12]. Объекты и их свойства по отношению к удовлетворению потребностей и запросов субъекта являются предметом оценивания в аксиологических оценках. Часто результатом оценивания являются ценностные представления и ориентации объектов.
В целом любая оценка может быть рассмотрена как особый тип оценки аксиологической, которые благодаря своим свойствам считаются универсальными, то есть отражающими ценностные основания объекта.
Как мера бытия оценка представляет собой единство качества и количества. По словам Г.В.Ф. Гегеля, качество есть внешняя определенность, безразличная бытию [13]. Исходя из этого цель качественной оценки определяется различного вида ориентирами. Меру качества позволяют определить количественные оценки, цель которых – представить степень развития данного качества.
Процесс оценивания можно представить в виде модели системы, включающей взаимосвязанные субъект и объект оценки, основание и логику оценки. В оценочную систему закладываются определенные принципы, опирающиеся на сравнение и отношения.
Функционирование блоков системы оценивания осуществляется на основании логического, алгоритмического и деятельностного аспектов. Оценивание представляет собой процесс измерения качества, перевод пространства свойств в пространство показателей качества.
Основание для сравнения должно быть представлено в зависимости от содержания сравнения в виде системы аналогов, законов, норм, стандартов, ценностей, эталонов и т. д.
Алгоритм оценки создается на базе множества операций оценивания. Следовательно, в модели системы процесса оценки цепь преобразований осуществляет динамику оценивания от внешних качеств объекта к раскрытию структуры его качеств, а от нее – к системе взаимосвязанных показателей и к определению их количественных значений и от них – к оценкам-результатам.
В.В. Сутужко выделены аксиомы оценки, следование которым позволяет осуществить процесс оценивания объекта и его структуры через систему показателей, переводя качественную оценку в количественную [14].
В целом, оценивая объект, субъект выполняет ряд последовательных операций.
Заключение
Оценка может относиться к стратегиям, направленным на то, чтобы проверить, подтвердить и продемонстрировать профессиональные умения учащихся, а также педагогов. Оценка способствует определению соответствия педагогических усилий учебной программе или целям индивидуальных программ. Оценка способствует сертификации знаний, умений и навыков и принятию решения о профессиональной компетентности педагога [15].
Проблема оценки и оценочной педагогической деятельности — одна из проблем, не теряющих своей актуальности в том числе в научных исследованиях.
Любое оценочное действие должно подчиняться определенному алгоритму, последовательность осуществляемых операций в котором является гарантией полноты и адекватности оценки.
Следование закономерностям, принципам и аксиомам оценки субъект-объектных отношений – основной фактор оценочной деятельности.