Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,813

FACE RECOGNITION IN PHOTOES BASED ON THE METHOD OF INVARIANT MOMENTS

Khachumov M.V. 1 Nguen T.Z. 2
1 Federal State Institution Federal Research Centre of "Informatics and Control" of the Russian Academy of Sciences
2 Peoples Friendship University of Russia
Настоящая статья посвящена анализу и разработке методов распознавания образов, которые могут быть применены в системе биометрической идентификации человека по изображению его лица. Дана математическая постановка задач кластеризации и распознавания лиц. Разработан комбинированный метод решения задачи распознавания лиц по фотографиям на основе инвариантных моментов полутоновых изображений в комплексе с метрикой Евклида-Махаланобиса и вероятностной искусственной нейронной сетью. Особенностью условий решения задачи является работа с фотографиями, подверженными различным искажениям (гримасы, мимика, эмоции) и шумам. Выполнена программная реализация и проведены экспериментальные исследования, подтверждающие перспективность предложенного подхода. Указаны достоинства и недостатки различных типов классификаторов. Даны предложения по дальнейшему развитию исследований в направлении использования 3D моделей лиц.
This article is dedicated to the analysis and development of pattern recognition methods that can be applied in the system of biometric identification of a person according to the image of his face. A mathematical formulation of the tasks of clustering and facial recognition is given. The combined method for solving the problem of face recognition in photos on the basis of the invariant moments of grayscale images in complex with the Euclidean-Mahalanobis metric and probabilistic neural network is developed. Special conditions for solving the problem is work with photos subject to various distortions (grimaces, facial expressions, emotions) and to noise. Software implementation is realized and experimental studies confirming the prospects of the proposed approach are executed. Advantages and disadvantages of different types of classifiers are specified. Proposals for the further development of research towards the use of 3D models of faces are given.
clustering
face recognition
metrics
invariant moments
artificial neural network

Среди современных работ, посвященных распознаванию лиц, отметим статью [6], в которой построена теоретико-вероятностная модель полутонового изображения и применен метод идентификации личности по фотографии лица на основе оптимального байесовского правила. В другой работе [5] решалась задача автоматического распознавания на основе принципа минимума информационного рассогласования. В работе [4] предложен оригинальный алгоритм распознавания лиц в режиме реального времени. В задачах идентификации лиц часто прибегают к использованию инвариантных моментов в качестве признаков. Так, в работе [8] применяется вектор особенностей, состоящий из 11 различных моментов, а в работе [1] исследуются свойства инвариантных моментов Hu. Показано, что инварианты имеют разную чувствительность к изменениям входных данных. Отметим капитальный в этой области труд [10], в котором систематизируются знания о применении инвариантных моментов. Укажем также на интересную работу [3], посвященную обработке трехмерных изображений, однако задача 3D-распознавания лиц еще недостаточно исследована. Разумеется, здесь нельзя не отметить подходы, связанные с выделением таких особенностей лица, как губы, нос, овал или профиль лица, но ввиду множества факторов, усложняющих анализ изображений (зашумления, повороты лица, выражения различных эмоций и др.) пока нет подхода, гарантирующего точное решение проблемы.

В настоящей работе предлагается комбинированный подход, в котором сочетаются следующие инструментальные средства: методы выделения инвариантных моментов Hu; методы формирования эталонных классов лиц; метрика Евклида-Махаланобиса [2] и аппарат искусственных нейронных сетей (ИНС).

Постановка задач кластеризации и распознавания лиц

Целью кластеризации является объединение изображений лиц в непересекающиеся классы. Каждое лицо, представляется множеством выделенных из фотографий особенностей и является отдельной точкой в пространстве признаков. Задача кластеризации формулируется следующим образом [7]: разбить множество точек , на классов , так, чтобы . Здесь – ядро класса , а – расстояние между и любой точкой .

Задача распознавания лиц формулируется следующим образом. Требуется построить распознающую функцию , , выход которой определяет класс произвольного изображения , представленного вектором признаков .

Для решения задачи используются методы дискриминантного анализа, ИНС, деревья решений, байесовский классификатор и другие методы. Узловым моментом является выбор метрики, от которой существенным образом зависит результат классификации.

Получение инвариантов как признаков для распознавания лиц

Инвариантные моменты используются как характерные признаки, извлекаемые из снимков. Для идеальных изображений их значения не зависят от позиции, масштаба и ориентации на плоскости графического объекта. На практике лица на фотографиях зашумлены и подвергаются различным деформациям, свойственным мимике человека. В таких условиях имеем «псевдо-инварианты». Для создания классов необходимо иметь представительный набор фотографий каждого человека. Центральные моменты цифрового изображения лица определяются следующим образом , где – центр тяжести, моменты – центральные моменты порядка не выше чем , – функция яркости, определяющая исходное растровое изображение. Целесообразно выполнить перевод цветных изображений в полутоновый вид. После предварительной обработки и нормализации образец представляет собой матрицу пикселей, каждый из которых имеет значение яркости в диапазоне [0,1]. Моменты Hu, инвариантные к повороту и сдвигу представлены в таблице 1.

Таблица 1

Инвариантные моменты и их чувствительность к флуктуациям

Инвариантный момент

Чувствительность

Здесь , – коэффициент, определяющий точность измерения координат точек объекта. Чувствительность инвариантов к флуктуациям является неодинаковой, что может быть учтено при отборе признаков для решения задачи распознавания [1]. Для формирования и корректного сравнения векторов признаков необходимо их нормализовать: , где – минимальное и максимальное значения. Рассмотрим задачу выбора адекватной метрики.

Выбор метрики

Для решения задачи о принадлежности к классу можно применить свертку в виде евклидовой меры , где – среднее инвариантных моментов всех изображений, входящих в класс . Расстояние Евклида не учитывает корреляционные связи изображений, что сказывается на качестве распознавания, поэтому предлагается воспользоваться расстоянием Евклида-Махаланобиса [2]. Метрику можно использовать для измерения расстояний между изображением (представленным вектором признаков ) и классом : , где – матрица ковариации класса , –центр класса. В качестве альтернативного классификатора предлагается использовать ИНС прямого распространения и вероятностную нейронную сеть.

Постановка задач классификации нейронными сетями

Решение задачи классификации предполагает обучение типовой ИНС. Пусть дано множество изображений лиц , каждое из которых формализуется вектором значений признаков , , , где – количество признаков. Вектора признаков отнесены экспертами к некоторым классам , следующим образом , ,…,, где . Вся выборка подразделена на два непересекающихся подмножества: обучающее и тестовое. После обучения ИНС ее качество проверяется на тестовой части. Предлагается ИНС прямого распространения с сигмоидальной функцией активации нейронов скрытого слоя и линейной функцией активации выходного слоя. ИНС должна быть настроена таким образом, чтобы при подаче вектора признаков, отнесенного экспертами к классу , на выходе с номером сеть выдавала значение «1», а на всех остальных выходах – «0». Это достигается настройкой сети методом обратного распространения ошибки. С учетом особенностей формирования классов для распознавания лиц представляет интерес вероятностная нейронная сеть. В ней образцы классифицируются на основе оценок их близости к классам с учетом особенностей вероятностного распределения значений признаков. Для каждого класса на основе учебных данных определяется функция плотности распределения признака, которая характеризуется математическим ожиданием и дисперсией. Функция активация нейрона, соответствующего -ому классу, имеет вид , где: – среднее квадратическое отклонение -го признака -го класса, – математическое ожидание -го признака -го класса. При подаче на вход вектора признаков неизвестного образца будет выбран класс, которому соответствует максимальное выходное значение функции.

Программная реализация и эксперименты

Для экспериментов были использованы фотографии лиц размером 380х420 пикселей из открытой базы данных [9]. В качестве среды разработки использовались программные средства C# и MATLAB. Из базы данных экспертами были отобраны изображения 30 человек на белом фоне с разрешением 380x420 пикселей. При создании классов на каждого человека приходилось по три фотографии с различными эмоциями и поворотами головы. В таблице 2 приведены примеры классов и образцов, которые подаются для распознавания.

Таблица 2

Пример фотографий после предварительной обработки.

Примеры фотографий из обучающих выборок трех классов

Образцы для распознавания

Класс 1

Класс 2

Класс 3

В таблице 3 представлены выборочно математические ожидания моментов различных классов и соответствующие дисперсии.

Таблица 3

Математические ожидания и дисперсии инвариантных моментов

Класс

1

9.7

0.1

0.4

0.1

0.2

0.1

0.2

0.1

7.9

0.0

3.5

0.0

1.1

0.0

2

5.8

0.5

4.6

16.8

0.5

0.1

1.0

0.4

7.8

0.0

4.1

0.3

1.1

0.0

3

6.7

0.0

4.3

0.8

0.7

0.0

0.4

0.0

7.8

0.0

3.7

0.0

1.1

0.0

4

5.3

0.3

5.6

13.8

1.0

0.0

2.9

0.2

7.7

0.0

4.6

0.4

1.2

0.1

5

7.4

0.2

6.1

3.3

0.8

0.0

0.9

0.2

7.8

0.0

4.0

0.1

1.1

0.0

В таблице 4 показаны результаты экспериментального исследования качества распознавания лиц различными методами.

Таблица 4

Сводная таблица результатов экспериментов

Метод

Метрика Евклида

Метрика Евклида-Махаланобиса

ИНС прямого распространения

Вероятностная ИНС

Кол-во ошибок

6

2

4

2

Из результатов эксперимента следует, что приоритет по качеству классификации принадлежит метрике Евклида-Махаланобиса и вероятностной нейронной сети.

Заключение

Проведение вычислительных экспериментов показало перспективность комплексного подхода распознавания лиц по полутоновым фотографиям на основе метода инвариантных моментов и классификаторов на основе метрики Евклида-Махаланобиса и вероятностной нейронной сети. При использовании метрики Евклида-Махаланобиса система справляется с поворотами и/или наклонами головы, а также с яркостными изменениями изображения. Вероятностная нейронная сеть лучше справляется с такими «сложными» для системы факторами как закрытые глаза, измененная мимика лица (улыбка, гримаса и т.п.). Недостатком нейронных сетей являются существенные временные затраты на обучение при больших объемах данных. Коренного улучшения результата, очевидно, следует ожидать после перехода на 3-D технологию распознавания лиц и применение высокопроизводительных вычислений для достижения реального времени при полном цикле обработки изображений.

Результаты исследований планируется применить в системе биометрической идентификации человека по изображению его лица, создаваемой в рамках проекта Программы фундаментальных исследований ОНИТ 1 РАН «Интеллектуальные информационные технологии, системный анализ и автоматизация».

Рецензенты:

Славин О.А., д.т.н., рук. проектов ООО «Смарт Энджинс Рус», г. Москва;

Морозова Т.Ю., д.т.н., профессор, зав. кафедрой «Автоматизированные системы управления» МИРЭА, г. Москва.