Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,737

PROBABILISTIC-STATISTICAL SCALING IN PEDAGOGY

В.П. Романов, Н.А. Соколова
Для оценки полноты знаний учащихся предложен метод вероятностно-статистического шкалирования, разработан алгоритм измерений и получены экспериментальные данные, подтверждающие эффективность данного метода. Ключевые слова: учащийся, функция распределения, моменты функции распределения, полнота знания, вероятностно-статистическое шкалирование.
Probabilistic-statistical scaling method was suggested for students’ knowledge estimation. Measuring algorithm is developed and experimental data, corroborating this method efficiency, is received. Keywords: student, distribution function, distribution function moments, probabilistic-statistical scaling.

Введение

В настоящее время методология исследований в педагогике, определяющая структуру, логическую организацию, методы и средства деятельности, по глубине разработки существенно уступает методологии исследований в естественных и технических науках. Это объясняется, прежде всего, тем, что при проведении исследований в области педагогики велико влияние субъективного фактора. Так, например, при определении полноты знания учащегося (объекта исследований) в качестве эталона измерений выступает полнота знания преподавателя (субъекта). Полнота знания индивидуума зависит от таких параметров, как память, внимание, способность к обучению, качество ассоциаций, психосамотическое состояние, внешние условия и т. п. Кроме того, в процессе измерений может иметь место так называемый психологический шумовой фон, зависящий от эмоционального, психологического, физического и других состояний в момент измерения, как объекта измерений, так и измерителя, которые оба в этом случае являются индивидуумами. Отсюда непосредственно следует, что при измерении полноты знания, как впрочем, и любого другого педагогического качества или свойства, эталон сравнения всегда субъективен.

Уменьшить влияние субъективного фактора способны технические средства, которые могут быть поставлены между субъектом и объектом исследований, например, компьютер при проведении компьютерного тестирования полноты знания. Однако устранить полностью влияние субъективного фактора на процесс педагогического измерения технические средства принципиально не могут, т. к. формулирование вопросов тестирования, оценка полноты охвата ими изучаемого материала, ранжирование вопросов по степени важности, присвоение им весовых коэффициентов и т. п. осуществляются субъектом исследования.

При проведении педагогических исследований большое внимание уделяется вопросам шкалирования. Для измерения свойств объектов исследования в педагогике используются различные шкалы, выбор которых в каждом конкретном случае часто представляет трудную задачу. В соответствии с современной теорией измерений шкалы классифицируют по типам, например, различают шкалы наименований, порядка, интервалов, отношений и разностей [1]. В российской системе образования при измерениях полноты знаний в настоящее время применяется пятибалльная порядковая шкала оценок. Кратко рассмотрим ее свойства.

Балльная оценка полноты знания

Главным преимуществом пятибалльной шкалы оценки знания обучаемого является ее простота и привычность. Однако она имеет и существенные недостатки, основные из которых следующие.

1. Балльная оценка зависит не только от знаний конкретного учащегося, но и от профессионализма, психологического, эмоционального и физического состояния выставляющего оценку преподавателя.

2. Балльная оценка зависит во многом от общего впечатления преподавателя от конкретной группы проверяемых учащихся.

3. Балльная оценка зависит от задания (теста), его вида, формы, сложности и пр.

4. Пятибалльная шкала оценок имеет слабую дифференцирующую способность, т. к. позволяет провести лишь грубую классификацию обучаемых только на четыре группы, а именно, на тех, кто учится на отлично, хорошо, удовлетворительно и неудовлетворительно.

5. В условиях узкого интервала оценок (2-5 баллов) погрешность оценивания ∆σ=±0,5 балла является слишком большой, что естественно может приводить к завышению или занижению оценки.

С целью повышения степени объективизации результатов измерений иногда используются мнения нескольких преподавателей, а для уменьшения относительной погрешности измерений переходят к десяти-, двенадцати-, двадцати- или стобалльной шкале. Это, безусловно, повышает точность измерений, но не дает качественно новых результатов. Решение данной проблемы во многом зависит от успехов на пути разработки адекватной модели обучаемого. Определенные надежды здесь возлагаются на вероятностно-статистическую модель обучаемого [2] и соответственно на вероятностно-статистический метод оценки полноты знания.

Вероятностно-статистический метод оценки полноты знания

В [2] было показано, что в процессе обучения индивидуум движется в информационном пространстве, причем его поведение ассоциируется с поведением некоторой функции распределения Ø(ό;t), представляющей собой плотность вероятности, т. е. вероятность найти обучаемого в единичном интервале координат ό информационного пространства в момент времени t. Отсюда следует, что задача измерения знания обучаемого сводится фактически к нахождению его индивидуальной функции распределения с использованием вероятностно-статистического шкалирования. Рассмотрим основные аспекты вероятностно-статистического шкалирования.

Пусть по аналогии с [1] А - некоторое вполне упорядоченное множество объектов (индивидуумов), обладающих интересующими нас признаками (эмпирическая система с отношениями); LΨ - функциональное пространство (пространство функций распределения) с отношениями; F - операция гомоморфного отображения A в подсистему LΨ; G - группа допустимых преобразований. Тогда шкалой можно назвать упорядоченную систему Ψ,F,G>.

Однако работать с функциями распределения в функциональном пространстве достаточно сложно. С целью упрощения перейдем из функционального пространства в числовое пространство. Предположим, что каждой из функций распределения можно поставить в соответствие набор числовых величин {μn(t)} - моментов функции распределения от нулевого до бесконечно большого порядка (n = 0, 1, 2, 3, ....). Пусть также может быть решена обратная задача - восстановление функции распределения Ψ(σ;t) по заданному набору моментов {μn(t)}.

Момент нулевого порядка

f

определяет вероятность найти индивидуум во всем информационном пространстве и, следовательно, равен единице. Момент первого порядка

f

определяет математическое ожидание (среднее значение σ, координата центра распределения). Моменты n-го порядка (n > 1 )имеют вид

f

Моменты четных порядков характеризуют расплывание функции распределение, а моменты нечетных порядков - асимметрию функции распределения относительно математического ожидания.

Тогда, наряду с операцией отображения F элементов множества A в подсистему функционального пространства LΨ, можно говорить об операции отображения f функций распределения Ψ(σ;t) из подсистемы LΨ на числовые системы с отношениями n-мерного пространства M. В этом случае шкалой будем называть упорядоченную систему <A; LΨ,F,G;f,M>.

Таблица 1

Результаты измерений полноты знаний студентов вероятностно-статистическим методом  

№№ п/п

Интервалы шкалы, баллы

0-1

1-2

2-3

3-4

4-5

5-6

6-7

7-8

8-9

9-10

10- 11

11 - 12

12- 13

13- 14

14- 15

15- 16

16- 17

17- 18

18- 19

19- 20

Традиционная оценка «5» (отлично)

1

 

 

 

 

 

 

 

 

 

 

 

 

 

10

30

30

20

10

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

10

30

40

20

 

3

 

 

 

 

 

 

 

 

 

 

 

 

10

20

20

20

20

10

 

 

Традиционная оценка «4» (хорошо)

1

 

 

 

 

 

 

 

 

 

 

 

20

60

20

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

10

20

50

20

 

 

 

 

 

 

 

 

3

 

 

 

 

 

 

 

 

 

 

 

 

20

50

20

10

 

 

 

 

Традиционная оценка «3» (удовлетворительно)

1

 

 

 

 

 

20

50

30

 

 

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

10

30

40

20

 

 

 

 

 

 

 

 

3

 

 

10

20

20

20

20

10

 

 

 

 

 

 

 

 

 

 

 

 

Традиционная оценка «2» (неудовлетворительно)

1

10

20

30

30

10

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2

 

10

20

40

20

10

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3

100

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Таким образом, для определения полноты знания обучаемых и ранжирования их по уровню знаний необходимо выполнить следующие действия: найти экспериментально по результатам контрольного мероприятия, например, экзамена индивидуальные функции распределения студентов; рассчитать моменты индивидуальных функций распределения; провести ранжирование учащихся по уровню знаний на основе сравнения моментов различных порядков их индивидуальных функций распределения. Детально остановимся на вопросах нахождения экспериментальных функций распределения студентов и определения их моментов различных порядков.

Максимальное продвижение учащегося в информационном пространстве на одну учебную дисциплину при традиционной пятибалльной системе оценок составляет пять баллов. Это, как отмечалось выше, приводит к большой относительной погрешности при оценке полноты знания студента. С целью уменьшения погрешности при оценке полноты знания будем использовать двадцатибалльную систему и вероятностно-статистическое шкалирование.

В табл. 1 представлены типичные результаты измерений полноты знания студентов по курсу общей физики, полученные с помощью метода вероятностно-статистического шкалирования для всех четырех традиционно принятых уровней знания (оценки «5», «4», «3» и «2»). В столбцах таблицы указаны вероятности (выраженные в процентах) того, что знания студента «находятся» в данном интервале координат информационного пространства.

Данные табл. 1 были использованы для построения индивидуальных функций распределения, некоторые из которых представлены на рис. 1.

p

Рис. 1. Типичный вид индивидуальных функций распределения студентов, получивших на экзамене различные оценки: 1 - традиционная оценка «2»; 2 - традиционная оценка «3»; 3 - традиционная оценка «4»; 4 - традиционная оценка «5»

Анализ экспериментально найденных функций распределения обучаемых (табл. 1) показал, что не существует четко очерченной границы между полнотой знаний студентов, получивших на экзамене традиционные оценки «5» и «4», «4» и «3», «3» и «2». Функции распределения приграничных областей перекрываются. Индивидуальные функции распределения могут иметь как симметричный, так и асимметричный вид.

С целью упрощения анализа информации, содержащейся в функциях распределения, были рассчитаны их моменты, которые представлены в табл. 2. Порядковые номера в соответствующих разделах табл. 1 и 2 совпадают.

Таблица 2

Моменты функций распределения 

№№ п/п

Порядок момента

μ1, балл

μ2, балл2

μ3, балл3

μ4,
балл4

μ5,
балл5

Традиционная оценка «5» (отлично)

1

15,40

1,29

0,29

3,74

1,75

2

17,20

0,81

-0,14

1,48

-0,73

3

15,00

2,25

0,00

9,86

0,00

Традиционная оценка «4» (хорошо)

1

12,50

0,40

0,00

0,40

0,00

2

10,30

0,76

-0,34

1,55

-1,46

3

13,70

0,76

0,34

1,55

1,46

Традиционная оценка «3» (удовлетворительно)

1

6,60

0,49

-0,05

0,50

-0,15

2

10,20

0,81

-0,14

1,48

-0,73

3

5,00

2,25

0,00

9,86

0,00

Традиционная оценка «2» (неудовлетворительно)

1

2,60

1,29

-0,29

3,74

-1,75

2

3,50

1,20

0,00

3,60

0,00

3

0,50

0,08

0,00

0,013

0,00

Из данных, представленных в табл. 2, непосредственно следует, что математические ожидания (моменты первого порядка) для традиционных оценок находятся в диапазонах, которые, как правило, не перекрываются в отличие от самих функций распределения. Так, в данном конкретном случае традиционной оценке «5» соответствует диапазон значений математических ожиданий от 15,00 баллов до 17,20 баллов, оценке «4» - от 10,30 баллов до 13,70 баллов, оценке «3» - от 5,00 баллов до 10,20 баллов, оценке «2» - от 0,50 баллов до 3,50 баллов. Безусловно, диапазоны значений математических ожиданий, соответствующие традиционным оценкам, подвижны. Они могут быть различны для разных студенческих групп и могут зависеть от квалификации преподавателя, принимающего экзамен. Однако, если преподаватель, проводящий измерения полноты знания студентов, имеет высокую квалификацию и на него не оказывается внешнее воздействие, то рассматриваемые диапазоны математических ожиданий не перекрываются.

Тот факт, что каждой традиционной оценке соответствует широкий спектр значений математических ожиданий, позволяет проводить ранжирование студентов по уровню знаний в пределах этой оценки. Кроме того, для тонкого ранжирования могут быть использованы моменты функций распределения более высоких порядков. Опыт показывает, что в большинстве случаев кроме значения математического ожидания достаточно иметь информацию о моменте второго порядка, определяющем дисперсию функции распределения, и о моменте третьего порядка, характеризующем асимметрию функции распределения.

На первый взгляд может показаться, что вероятностно-статистический метод оценки полноты знания учащегося является достаточно трудоемким и требует длительной подготовки и тренировки преподавателей. Однако это не так. Как правило, достаточно 7-10 измерений, чтобы преподаватель приобрел соответствующий навык.

Таким образом, вероятностно-статистическое шкалирование, отражающее существенное в поведении индивидуумов во время обучения, позволяет получать важную информацию о состоянии учебно-воспитательного процесса, которая, несомненно, полезна как самим учащимся, так и коллективу преподавателей, и администрации учебного заведения для совершенствования УВП и оптимизации его структуры.

Выводы

1. Пятибалльная порядковая шкала оценок полноты знаний учащихся, используемая в настоящее время в России, имеет ряд существенных недостатков, основными из которых являются высокая степень субъективизма, слабая дифференцирующая способность и неучет особенностей поведения учащихся в процессе обучения.

2. Учет вероятностно-статистического характера поведения учащихся в процессе обучения позволил разработать метод вероятностно-статистического шкалирования для оценки полноты знаний учащихся.

3. Введено понятие шкалы и предложен алгоритм измерения полноты знаний учащихся методом вероятностно-статистического шкалирования.

4. Экспериментально найдены индивидуальные функции распределения, которыми идентифицируются учащиеся в процессе обучения, и рассчитаны моменты этих функций распределения, позволяющие тонко ранжировать учащихся по полноте знаний.

Список литературы

  • 1. Михеев В.И. Моделирование и методы теории измерений в педагогике. - М.: Высшая школа, 1987. - 200 с.
  • 2. Романов В.П., Соколова Н.А. Вероятностно-статистическая модель учащегося // Современные проблемы науки и образования. - 2009, № 6 (Часть 3.). - С. 122-129.