В Томском политехническом университете разработана система оценки качества образования, которая позволяет с достаточной степенью объективности контролировать процесс обучения студентов первого курса по общей и неорганической химии [5, 6, 8]. Все студенты, поступившие на первый курс очной формы обучения, проходят процедуру обязательного входного тестирования, по результатам которого происходит ранжирование студентов на две группы. Первая группа – это студенты, набравшие половину или меньшее количество баллов от максимально возможного, которым в дальнейшем предлагается посещать дополнительные корректирующие занятия, так называемые адаптированные практики. Студенты второй группы свободны в выборе траектории своего обучения, то есть могут ограничиться только обязательными видами занятий. По истечении двух месяцев занятий студенты проходят процедуру первого тестирования, так называемая первая рубежная работа, которая проводится с использованием компьютерных технологий. Для того чтобы отследить динамику процесса был разработан банк тестовых заданий [6, 7] и программа, позволяющая моделировать билеты для любого вида контроля, проводить изменение порядка следования дистракторов, тем самым увеличивая вариативность тестовых материалов. Студенты одного потока, а это 50-90 человек одновременно отвечают на вопросы теста, включающего 24 задания, вносят ответы в определенное поле на мониторе и одновременно дают развернутые пояснения на черновиках. Студенты не имеют возможности общаться друг с другом, поскольку, во-первых, сидят на отдаленном расстоянии, а во-вторых, время тестирования ограниченно 90 минутами, после чего программа прощается с пользователем. По окончании тестирования студенту выдается итоговый результат. Преподавателю предоставлялась распечатка с конкретными данными по каждому студенту и каждому заданию.
Результаты тестирования представлены на рис. 1
Рис. 1. Решаемость заданий первого рубежного тестирования
Таким образом, данная технология позволяет судить об уровне накопленных к этому времени знаний достаточно достоверно. Требование пояснений в черновиках отвергает возможность угадывания ответов в тех тестах, где приводится выборка возможных ответов. Нужно отметить, что 90% тестовых материалов представлены тестами с открытым ответом. К моменту первого тестирования, а это 10 неделя семестра, студенты изучили материал, касающийся строения вещества: строение атома, химическая связь, комплексные соединения, а также окислительно-восстановительные реакции и способы выражения концентрации растворов. Таким образом, первая рубежная работа имеет довольно сбалансированный контекст, то есть включает как задания теоретического плана, так и расчетные задачи.
Вторая рубежная контрольная работа является более сложной по наполнению, поскольку содержит в основном задачи. К 17 неделе семестра пройден практически весь материал общей химии: основы термодинамики, кинетики, химическое равновесие, растворы электролитов и неэлектролитов, электрохимические процессы. Все перечисленные разделы химии требуют от студента показать не знания, этого не достаточно, а умения и владения навыками претворять на практике полученную информацию. Поэтому, как правило, баллы, полученные за второе тестирование, невысоки, тем более, что студенты мало обращают внимания на точность расчетов, единицы измерения физических величин, на грамотность представления полученных числовых данных. Но эти аспекты также являются элементом обучения, так как при обсуждении итогов тестирования преподаватель обязательно обращает внимание студентов на общие недочеты. Как правило, в окончательную оценку тестирования преподавателем вносятся коррективы. Если у студента имеется в черновике абсолютно верное решение задачи, и он допустил ошибку при внесении ответа, или студент не внимательно прочитал вопрос задания и отсюда дал неверный ответ и т.д. Таким образом, система проявляет максимальную степень объективности, а преподаватель – лояльности.
Анализ результатов тестирования позволяет решать комплексную задачу: выявить отстающих студентов и рекомендовать им выбрать адаптированную траекторию обучения; оценить средний уровень подготовки; выявить материал с низким уровнем освоенности, сравнить уровень подготовки студентов (Рис. 2):
Рис. 2. Решаемость заданий итогового тестирования.
Из рисунка 2 видно, что средняя решаемость заданий составила больше 54 %, что разделы химии под номерами 4, 14 и 19 усвоены студентами недостаточно. Статистика позволяет преподавателю мобильно оценить результаты и принять адекватно отреагировать на проблемные моменты в обучении: на консультации, либо на практическом занятии еще раз пройтись по сложным вопросам, дать пояснения, рекомендовать литературные источники.
Сопоставление уровня знаний студентов, обучающихся в различных потоках, показало, что качество полученных знаний приблизительно одинаково (Таблица 1) и не зависит от человеческого фактора, а, скорее, определяется уровнем школьной подготовки студента по предмету:
Таблица 1
Результаты итогового тестирования нехимических специальностей
|
Преподаватель |
Число тестируемых, чел. |
Институт |
Средний балл |
Максимально возможный балл |
Средний % верного выполнения |
|
1 |
37 |
ИПР |
12,05 |
20 |
60% |
|
2 |
94 |
ИНК |
11,05 |
24 |
46% |
|
ИПР |
|||||
|
3 |
96 |
ИК |
11,26 |
24 |
47% |
|
4 |
66 |
ФТИ |
9,65 |
24 |
40% |
|
ИПР |
|||||
|
5 |
102 |
ИПР |
11,54 |
20 |
58% |
|
6 |
91 |
ФТИ |
12,12 |
|
51% |
|
7 |
83 |
ИК |
9,1 |
24 |
38% |
|
ИНК |
|||||
|
ИФВТ |
|||||
|
8 |
68 |
ИФВТ |
13,19 |
24 |
56% |
|
ИК |
|||||
|
9 |
65 |
ФТИ |
13,75 |
24 |
57% |
Корреляции тестовых баллов для групп одного института, но с разными преподавателями, не наблюдается. Коэффициент корреляции входного балла (входное тестирование) по химии и балла по экзаменационному тестированию для студентов-химиков составил около 60 %, для нехимиков – около 40%. Из 71 студента химических направлений (Рис. 3) 42 человека по результатам входного контроля попадали под адаптивный план обучения, из них 74% улучшили результат обучения по итогам экзамена, 29 человек выполнили верно входной тест более, чем на 50 %, из них 38 % улучшили результат по итогам экзамена.
Рис. 3. Корреляция тестовых баллов входного и итогового тестирования студентов
Для студентов нехимических направлений средний процент выполнения итогового контроля 49 %, средний процент выполнения входного теста 45 %, коэффициент корреляции входного и итогового контролей составляет 61,4 %. 42 человека по результатам итогового контроля попадали под адаптивный план обучения, из них 90 % улучшили результат обучения по итогам экзамена, 19 человек выполнили верно входной тест более, чем на 50 %, из них 52 % улучшили результат по итогам экзамена, средний % выполнения итогового контроля 57 %, средний процент выполнения входного теста 40 %, коэффициент корреляции входного и итогового контролей составляет 39,44 %.
Оценка результатов тестирования позволила выявить неравноценность некоторых тестовых материалов (Рис. 4), так например, один из вариантов билетов итогового тестирования был переусложнен, что сказалось на оценках, полученных студентами. Впоследствии была проведена большая работа по устранению подобных недостатков.
Рис. 4. Решаемость заданий в различных вариантах
Для повышения объективности итогов итогового тестирования по окончании экзамена с каждым студентам было проведено собеседование, на котором преподаватель мог как повысить, так и понизить итоговый результат. Поскольку технология обучения – это продуманная во всех деталях модель совместной педагогической деятельности по проектированию, организации и проведению учебного процесса с безусловным обеспечением комфортных условий для учащихся и преподавателя, то в этой связи важно таким образом организовать процесс обучения, чтобы конечные цели – получение и предоставление качественных знаний – совпали и у студента, и у преподавателя высшего учебного заведения.
По результатам итогового тестирования были сделаны следующие выводы:
1) низкий уровень школьной подготовки по химии оказывает доминирующее влияние на способность студентов адаптироваться в новой образовательной среде;
2) студенты первого курса не владеют в должной мере устной и письменной речью;
3) студенты принимают тестовые технологиии оценки качества знаний, легко воспринимают лаконичные формулировки заданий;
4) адаптивная траектория обучения является весьма эффективной и позволяет сохранить контингент студентов, способных к обучению в высшем учебном заведении, но не получивших базовых знаний по предмету в средней школе;
5) задания тестового типа не всегда способны объективно оценить уровень знаний студентов.
Ограниченность тестового задания состоит в том, что правильность ответа и решения не всегда совпадают: с точки зрения статистики ответ может быть верен (данный студентом ответ совпал с эталоном), а с химической – нет. Студент догадывается, что данный металл должен реагировать с такими-то веществами, но написать уравнения взаимодействий не способен. Как в этом случает оценивать правильность решения заданий? Нужен диалог, отстаивание позиций обеих сторон, привлечение различных методов убежденияи консолидированное решение. Таким образом, применение тестовых технологий может освободить преподавателя от некоторой рутинной работы по проверке решения задач, но не должно полностью упразднять контакт студент – преподаватель при проведении контроля, особенно на этапе обучения.
Рецензенты:Бакибаев А.А., д.х.н., заведующий кафедрой, физической и аналитической химии профессор, Институт природных ресурсов, Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Национальный исследовательский Томский политехнический университет», г. Томск;
Ильин А.П., д.ф.-м.н., профессор кафедры общей и неорганической химии, Институт физики высоких технологий, Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Национальный исследовательский Томский политехнический университет», г. Томск.