Примеры дефектов представлены на рисунке 1.
Рис. 1. Примеры дефектов на карте глубины
Существует множество методов заполнения областей карты глубины, которые основаны на алгоритмах реконструкции изображений.
Первая группа включает в себя методы, основанные на решении дифференциальных уравнений в частных производных (PDE) [3]. Основным недостатком таких подходов является появление размытия резких перепадов яркости на изображении, поэтому они применяются в основном только для восстановления царапин или маленьких участков на изображениях.
Вторая группа использует обработку в частотной области [4]. Методы основаны на ортогональной трансформации и требуют априорной информации для выбора параметров, ортогонального базиса и размера блоков спектрального представления. Следует заметить, что при восстановлении больших участков изображения также наблюдается заметное размытие линейных структур и резких перепадов яркости. А большое количество итераций приводит к значительным вычислительным требованиям.
Методы, основанные на синтезе текстуры (данный подход впервые предложил Criminisi) позволяют восстанавливать изображение путем поиска похожих блоков на исходном изображении и копировании их в поврежденные участки [5]. Данная группа методов хорошо восстанавливает линейные участки и не приводит к размытию, однако не подходит для восстановления криволинейных участков.
Основными недостатками известных методов восстановления при реконструкции карты глубины, являются размытие резких перепадов яркости, линейных структур, неспособность восстановления больших участков без искажений.
Целью работы является разработка алгоритма, восстанавливающего потерянные области карты глубины, подавляющего шум и улучшающего границы объектов, что необходимо для повышения качества информации о расстоянии от объектов сцены до камеры сенсора.
Математическая модель
Карта глубины представляет собой
двумерный массив размером N строк
и M столбцов 
, которой
соответствует цветной канал 
.
На рисунке 2 показана модель изображения
карты глубины, где 
восстанавливаемая
область с границей 
; 
- доступные значения пикселей; пиксель 
- точка с
наибольшим приоритетом 
на границе 
и окрестностью 
.
Рис. 2. Математическая модель карты глубины
Предлагаемый алгоритм
В данной статье предложен алгоритм, который позволяет восстанавливать поврежденные участки на карте глубины, с последующей корректировкой искажений на границах объектов. Это достигается за счет использования методов реконструкции и адаптивной медианной фильтрации, основанных на совмещении информации канала цветности и глубины.
Использование оригинального метода текстурного анализа [5] для восстановления поврежденных участков карты глубины может приводить к артефактам и ошибкам на границах объектов, что связано с низким разрешением исходного изображения. В предлагаемом методе в расчет берется также информация, получаемая с RGB камеры устройства Kinect, что позволяет более точно реконструировать линейные структуры на изображении [6].
Для корректировки артефактов на исходном изображении, предлагается использовать адаптивный медианный фильтр, который принимает во внимание не только информацию о глубине сцены, но и информацию с цветной камеры устройства Kinect. В данном методе используется LPA-ICI метод, который позволяет формировать блоки медианного фильтра, форма которых чувствительна к перепадам яркости на изображении [7]. В результате маска фильтра формируется по цветному изображению, а сама фильтрация применяется на карте глубины.
Эти два шага, учитывающие корреляцию между цветным снимком и картой глубины, позволяют значительно улучшить качество реконструкции.
Предлагаемый агоритм состоит из следующих этапов:
1) На вход поступает RGB изображение и карта глубины сцены;
2) Обнаружение поврежденных участков происходит с помощью порогового обнаружения;
3) Реконструкция поврежденных областей методом синтеза текстур [5];
4) Фильтрация изображения глубины методом поточечной адаптивной медианной фильтрации с использованием информации о цвете и глубине;
5) Запись результата восстановления.
Для обнаружения поврежденных областей используется априорная информация о том, что на карте глубины дефекты находятся в диапазоне черного цвета. Таким образом, происходит пороговое обнаружение, при этом остаются только те области, которые необходимо восстановить.
Для реконструкции карты глубины, на
первом шаге в окрестности точки 
определяется область с максимальным
приоритетом 
(рис. 3а).
После чего в области исходного изображения 
производится
поиск наиболее похожего блока 
, для
которого евклидова метрика минимальна и изображение в блоке 
восстанавливается путем копирования информации
из (рис. 3б).
(а) (б) (в)
Рис.3. Поиск похожих блоков и восстановление части изображения
Процесс восстановления начинается с
границ целевой области 
, а порядок определяется величиной
приоритета каждой области 
. Значение приоритета 
рассчитывается для всех пикселей границы
целевой области, и зависит от двух множителей (рис. 3в):
,
,
,
где - точка на границе исходное
изображение/поврежденная область;
- значение
достоверности;
- величина градиента;
- блок с
центром в точке ;
- количество
известных пикселей в блоке 
;
- вектор,
перпендикулярный градиенту в точке ;
- вектор,
перпендикулярный границе в точке ;
- фактор
нормировки (
стандартного изображения с
градациями серого)).
Значение достоверности 
для пикселей исходного изображения равно 1, для искаженной области равно 0.
Коэффициент 
позволяет корректировать влияние
цветного изображения на процесс реконструкции карты глубины.
Более высокое значение означает меньшее
влияние линейных структур на «сырой» карте глубины. Для 24-битного изображения 
рассчитывается следующим образом:
.
Данное выражение показывает, что
наибольший приоритет имеют пиксели, находящиеся на границах объектов, в
областях с резкими перепадами яркости и более близкие к области 
. Это приводит к тому, что в первую
очередь восстанавливаются участки, включающие в себя линейные структуры, что
исключает размытие изображения.
После нахождения области 
с наибольшим приоритетом, производится
поиск наиболее похожего блока 
на
исходном изображении :
,
где 
сумма квадратов разности между яркостью
пикселей области и 
.
На следующем шаге данные
достоверности 
в
блоке , пересчитываются в соответствии
со следующим выражением:
.
Данный алгоритм итеративно
выполняется до тех пор пока 
.
В качестве метода уменьшающего уровень шума и повышающего качество изображения глубины, используется поточечная адаптивная медианная фильтрация на основе локально-полиномиальной аппроксимации (LPA) [4].
Предлагается модификация данного подхода, которая заключается в том, что расчет LPA оценок, определение адаптивного размера LPA окна по правилу пересечения доверительных интервалов (ICI) и их объединение в адаптивную комбинацию окон происходит для каждого пикселя цветного изображения. А подавление шума происходит с помощью медианной фильтрации для карты глубины. В результате, происходит выравнивание границ и ослабление шума объектов карты глубины, с помощью информации о краях, извлеченной из цветного изображения.
Адаптивный размер окна определяется как наибольшее из окон в сетке, при котором оценка изображения существенно не отличается от соответствующих оценок при меньших размерах окон. Эти оценки сравниваются по правилу ICI, которое позволяет адаптивно выбирать размер окна и осуществлять пространственную адаптацию, что позволяет описать особенности изображения и сохранить детали, такие как границы объектов.
На рисунке 4 показан принцип использования информации о цвете при построении маски для адаптивного фильтра карты высот. Как видно из рисунка, границы объектов на цветном изображении (рис. 4а) более четкие и содержат меньше искажений, чем на карте глубины (рис. 4б).
(а) (б)
Рис. 4. Адаптивная медианная фильтрация с использованием LPA-ICI метода
После того, как получены все отдельные адаптивные окна по отношению одного пикселя x, они объединяются все в одно комбинированное адаптивное окно. Расчеты повторяются для каждого пикселя. Далее выполняется медианная фильтрация в каждой адаптивной анизотропной области.
Результаты
Для демонстрации эффективности предлагаемого решения представлен пример реконструкции карты глубины (рис. 5) предлагаемым методом (рис. 5д) в сравнении с методами «сглаживания» [8] (рис. 5в) и методом синтеза текстуры [5] (рис. 5г). Тестовые изображения и карты глубины взяты из базы данных B3DO: Berkeley 3-D Object Dataset.
Анализ результатов обработки показывает, что контуры объектов выровнены, объекты переднего и заднего фона имеют точные очертания, без шумов, что говорит о качественном восстановлении дефектных областей карты глубины.
(а) (б)
(в) (г) (д)
Рис. 5. Сравнение методов восстановления
Заключение
Предложен алгоритм предобработки изображений карты глубины с целью обнаружения и восстановления потерянных значений пикселей.
Эффективность алгоритма представлена на примере обработки тестовых изображений, полученных сенсором Kinect.
Работа поддержана Минобрнауки России в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014–2020 годы» (соглашение №14.586.21.0013).
Рецензенты:Федосов В.П., д.т.н., профессор, заведующий кафедрой ТОР инженерно-технологической академии Южного Федерального Университета, г.Ростов-на-Дону;
Безуглов Д.А., д.т.н., профессор, заведующий кафедрой «Кибербезопасность информационных систем», Донской государственный технический университет, г.Ростов-на-Дону.