Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,931

CRITERION OF EDUCATION ACTIVITY EFFECTIVENESS

Stas N.F. 1
1 Federal State Educational Institution of the Highest Vocational Education “National Research Tomsk Polytechnic University”
Рассмотрена проблема показателя для количественной оценки результатов освоения естественнонаучных дисциплин студентами технического университета. Классический экзамен в виде устного собеседования, который проводит лектор потока или преподаватель группы, а также традиционная четырёхбалльная система оценок (отлично, хорошо, удовлетворительно, неудовлетворительно) не соответствует современному этапу развития высшего профессионального образования, которому необходимы объективные и количественные показатели для оценки и сравнения знаний и компетенций студентов. В статье на примере химии показана возможность использования в качестве такого показателя результатов экзамена, проведенного независимым объективным методом, при сравнении их с оценками единого государственного экзамена по физике и математике. Для реализации этого метода разработан научно обоснованный фонд оценочных средств с научно обоснованным соотношением заданий по трудности и значимости, направленных на проверку продуктивного уровня освоения дисциплины. Проверка разработанной методики в течение нескольких лет на большой выборке студентов показала, что на первом курсе эффективность и недостатки организации и методики изучения химии проявляются при сравнении показателей объективного итогового контроля по этой дисциплине с результатами единого государственного экзамена по физике и математике.
The problem of index for quantitative evaluation of natural science disciplines learning results by the students of technical university is considered in the paper. Traditional oral examination carried out by lecturer, as well as four-credit system of rating (excellently, good, satisfactorily, unsatisfactorily) does not meet the contemporary development of the highest vocational education. Therefore it is necessary to work out objective and quantitative indicators for estimation and comparison of students’ knowledge and scopes. The possibility of using for such index the results of the examination carried out by independent reliable method, with their comparison with the results of physics and mathematics Unified State Examination, based on the example to chemistry is shown in the article. For application of this method the scientifically based set of tasting aids was developed. These tasting aids were worked out considering scientifically based proportion of tasks according to their difficulty and significance, aimed at checking the disciplines learning results by students. The examination of the developed procedure for several years on a large sample of students showed that for the first year students effectiveness and disadvantages in organization and procedure of chemistry education are shown in comparison of the indices of objective total control on this discipline with the results of Unified State Examination in physics and mathematics.
quality of education
criterion of quality
objective control
chemistry

Введение

Поиск объективной количественной оценки качества освоения учебных дисциплин является актуальной проблемой высшего профессионального образования в нашей стране и за рубежом. Сейчас об усвоении учебного материала, приобретенных знаниях, умениях и компетенциях судят по результатам итоговой аттестации (экзамена, дифференцированного зачёта) студентов. При этом отношение числа сдавших экзамен  на любую положительную оценку к общему числу проэкзаменованных, выраженное в процентах, называется абсолютной успеваемостью, а такой же показатель, относящийся к получившим оценки «хорошо» и «отлично», называется качеством успеваемости студентов.

Но при традиционной форме проведения итогового контроля эти показатели не объективны, потому что результаты зависят не только от подготовленности студентов, но и от многих других, далеко не второстепенных факторов. Это внешние факторы: начало сессии (первый экзамен) или её окончание, время на подготовку, эффективность проведенных консультаций, форма собеседования, характеристики аудитории (вместимость, освещённость, тепловой режим), тишина или шум за её стенами и т.д. Большое значение имеет личность экзаменатора, его умение (или неумение) создать благоприятную психологическую обстановку на экзамене, что особенно важно на первом курсе, когда студенты ещё не полностью адаптировались к вузовской системе учебного процесса.

Высшее профессиональное образование должно готовить высококвалифицированных компетентных специалистов, и одним из условий решения этой главной задачи университетов является переход на объективные методы контроля, при которых перечисленные факторы должны быть сведены к минимуму.

1. Технология объективного экзамена

С этой точки зрения заслуживает внимания опыт кафедры общей и неорганической химии Томского политехнического университета, на которой в течение последних семи лет экзамен по химии у всех студентов университета принимается независимым от преподавателей объективным методом [2]. Индивидуальные, никогда не повторяющиеся экзаменационные билеты формируются компьютерной программой из заданий общего фонда оценочных средств («банка» заданий). Большинство заданий составлены таким образом, что с их помощью проверяется умение решать расчётные задачи и упражнения, показывать знание теоретических закономерностей строения и свойств химических соединений и протекания химических процессов. Таким образом, задания направлены, в основном, на проверку продуктивного уровня освоения дисциплины.

Составление заданий - самый ответственный и наиболее сложный этап при разработке технологии объективного контроля. На этом этапе на основе требований Федерального государственного образовательного стандарта был составлен кодификатор - перечень подлежащих контролю знаний и владений; разработана классификация контролирующих заданий [4]; составлено вначале 400, затем 600 и, наконец, 1200 заданий; разработана методика экспертизы заданий [5] и проведена их оценка экспертным методом [6]. Качество экзаменационных билетов было исследовано на их соответствие классической теории тестов [3] и теории измерения латентных переменных [1]. Итогом этой целенаправленной работы стало создание фонда оценочных средств («банка» заданий) по дисциплине, содержащего 1200 заданий, с оптимальным соотношением их по форме, уровню проверяемых знаний и владений, значимости, трудности и соответствию современному содержанию химии как науки и учебной дисциплины. Приводим для сведения важнейшие характеристики «банка» заданий: число тем (глав) дисциплины, по которым имеются задания - 12; число заданий по одной теме - 100; доля заданий на применение знаний при решении практических задач - 66,2 %; распределение заданий по трудности (в %): лёгкие - 26,5, средней трудности - 53,8, трудные - 19,7; распределение заданий по значимости (в %): высокой значимости - 78,8, средней значимости - 21,2. Эти показатели близки к оптимальным для банков заданий подобного назначения.

При итоговой аттестации студентов экзаменационная или зачётная работа выполняется в письменном виде, а сверка ответов с правильными ответами производится независимыми экспертами Центра оценки качества обучения (ЦОКО). Экзамен для всех студентов проводится в один день, в одно время в достаточно ёмких аудиториях, позволяющих распределять экзаменуемых по принципу один студент - один стол, под строгим контролем наблюдателей из ЦОКО, которые пресекают взаимодействие студентов друг с другом и попытки использования шпаргалок и сотовых телефонов.

2. Результаты объективного экзамена

В каждой аудитории на экзамене находятся студенты одного потока. Потоком называется объединение нескольких студенческих групп одного подразделения (института или факультета), которые изучают дисциплину по одной рабочей программе и которым читает лекции один и тот же профессор или доцент. Обычно лектор во всех группах потока проводит и практические занятия, а к проведению лабораторных занятий, на которых группы разделяются на подгруппы, привлекаются дополнительно другие преподаватели и ассистенты.

Применяемый метод проведения итоговой аттестации позволяет получать и анализировать объективные результаты, которые можно рассматривать в качестве количественного показателя освоения дисциплины. В табл. 1 для примера приведены результаты экзаменационной сессии в десяти студенческих потоках первого курса.

Из таблицы видно, что показатели экзамена в потоках разных подразделений и даже одного подразделения заметно отличаются, например, в четырёх потоках ИГНД от 38,4 до 59,2 балла, в трёх потоках МСФ от 44,6 до 60,5 балла, в потоках ХТФ они составляют 39,2 балла в одном и 45,5 баллов - в другом.

 

Т а б л и ц а 1 Показатели экзаменов при максимально возможной оценке 100 баллов

Подразделение

Поток

Число

студентов

Средний

балл

Институт газо- и нефтедобычи (ИГНД)

П-01

П-02

П-03

П-04

104

51

68

38

45,9

56,3

59,2

38,4

Машиностроительный факультет (МСФ)

П-05

П-06

П-07

77

47

68

44,6

46,3

60,5

Химико-технологический факультет (ХТФ)

П-08

П-09

66

64

39,2

45,5

Факультет автоматики и вычислительной техники (АВТФ)

П-10

45

60,9

Существует мнение, что результаты изучения дисциплин в первом семестре (к таким относится химия) зависят в основном  от конкурса среди принимаемых в университет и, следовательно, от качества набора gprs интернет. Показателем качества набора является проходной балл, который представляет собой сумму трёх оценок единого государственного экзамена (ЕГЭ): по математике, физике и русскому языку и литературе. Но в данном случае результаты экзамена слабо согласуются с проходным баллом абитуриентов на соответствующие факультеты. Если более высокий результат студентов АВТФ можно объяснить самым высоким проходным баллом (205), то высокий результат в одном из потоков МСФ с проходным баллом не связан, поскольку на этом факультете он был самым низким в университете (160).

3. Сравнение результатов экзамена с показателями ЕГЭ

Проходной балл - это показатель самого слабого студента, принятого на данный факультет, поэтому сравнение с ним среднего результата экзамена всех студентов потока не корректно. Более корректным является сопоставление среднего для потока экзаменационного показателя со средней оценкой единого государственного экзамена (ЕГЭ) всех студентов по физике и математике, поскольку для обучения в техническом университете важен исходный уровень физико-математической подготовки. С целью такого сопоставления был вычислен средний показатель ЕГЭ по физике и математике всех студентов в трёх потоках машиностроительного факультета и проведено сравнение его с экзаменационной оценкой. Результаты вычислений приведены в табл. 2.

 

Т а б л и ц а 2 Средние результаты ЕГЭ по физике и математике в школе и экзамена по химии в вузе в потоках машиностроительного факультета

Поток

Физика и математика

(ЕГЭ)

Химия

(вуз)

Отличие оценки по химии

от оценки ЕГЭ

П-05

50,6

44,6

-6,0

П-06

53,1

46,3

-6,8

П-07

53,9

60,5

+6,6

Из этой таблицы видно, что студенты потока П-05 имеют самый низкий уровень школьной физико-математической подготовки (50,6), и экзамен по химии они сдали с результатом (44,6), который на 6,0 балла ниже, чем средняя оценка единого государственного экзамена по физике и математике. В потоке П-06 школьная подготовка несколько выше (53,1), и на экзамене по химии они получили более высокую среднюю оценку (46,3), но разность оценок на экзамене по химии со средней оценкой ЕГЭ по физике и математике ещё больше (-6,8). В потоке П-07 исходный уровень физико-математических знаний чуть выше (53,9), чем в потоке П-06 (53,1), но экзамен по химии они сдали заметно лучше - со средней оценкой 60,5 балла, что на 15,9 балла выше, чем в потоке П-05, и на 6,6 балла выше, чем средняя оценка ЕГЭ по физике и математике.

Можно предполагать, что более высокие результаты экзамена в потоке П-07 являются следствием более эффективной организации и технологии учебного процесса. Предположение подтверждается анализом количественных показателей успеваемости студентов в этом потоке по группам, результаты которого приведены в табл. 3.

Т а б л и ц а 3 Сравнение результатов экзаменов по физике и математике в школе и экзамена по химии в вузе по группам студентов в потоке П-07

Группа

Физика и математика(ЕГЭ)

Химия (вуз)

Отличие оценки по химии от оценки ЕГЭ

4Б91

51,6

56,3

+4,7

4Б92

48,8

53,6

+4,8

4В91

58,1

70,0

+11,9

4В92

57,0

52,9

-4,1

4790

54,4

64,5

+10,1

Эта таблица свидетельствует о том, что в четырёх студенческих группах наблюдается заметное увеличение среднего экзаменационного показателя по химии относительно ЕГЭ по физике и математике в школе: от +4,7 в группе 4Б91 до +11,9 (!) в группе 4В91. На этом фоне обращают на себя внимание показатели группы 4В92, которая занимает второе место по школьным показателям и последнее - по результату экзамена в вузе.

Эта группа оказалась в центре организационных неурядиц: на лабораторных занятиях она не была разделена, как положено при изучении химии, на две подгруппы, и лабораторные занятия во второй половине семестра со всей группой проводили разные преподаватели из-за длительной болезни основного преподавателя. Не секрет, что частая смена преподавателя на первом курсе всегда негативно отражается на результатах студентов. По-видимому, и в этом случае это стало основной причиной провала группы на экзамене по химии.

В таблицах отсутствуют два результата, заслуживающие внимания. Во-первых, в потоке П-07 имеются студенты, зачисленные по результатам региональных олимпиад по физике, математике и русскому языку, на которых они, по официальным данным, показали абсолютные результаты (по 100 баллов). Но их средний результат экзамена по химии составляет 62,5 балла, что выше среднего результата по потоку (60,5) только на 2,0 балла. Это вызывает сомнение в объективности результатов подобных олимпиад.

Во-вторых, несколько студентов этого потока на экзамене по химии показали отличные результаты - от 87,5 до 100 баллов. Усреднённый показатель ЕГЭ этих студентов по физике и математике равен 67,0 баллов. Можно сделать вывод, что абитуриенты, имеющие такой показатель школьных знаний по физике и математике, могут успешно осваивать университетскую программу изучения химии.

Выводы

  1. Результаты итогового контроля являются показателем качества освоения учебной дисциплины при условии проведения его объективным методом.
  2. Критерием эффективности учебного процесса студентов на первом курсе является отличие результата итогового контроля студентов от оценки единого государственного экзамена по соответствующей дисциплине.
  3. Эффективность и недостатки организации и методики при изучении химии в техническом университете проявляются при сравнении результатов объективного итогового контроля (экзамена) по этой дисциплине с результатами единого государственного экзамена по физике и математике.

Рецензенты:

  • Косинцев Виктор Иванович, доктор технических наук, заслуженный химик РФ, заслуженный работник высшей школы РФ, заслуженный профессор ТПУ, профессор кафедры общей химической технологии ГОУ ВПО «Научно-исследовательский Томский политехнический университет», г. Томск.
  • Саркисов Юрий Сергеевич, доктор технических наук, профессор, заведующий кафедрой химии ГОУ ВПО «Томский государственный архитектурно-строительный университет»,  г. Томск.