Сетевое издание
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

АВТОМАТИЧЕСКАЯ СЕГМЕНТАЦИЯ ОБЛАЧНЫХ ОБЪЕКТОВ НА СНИМКАХ ЗЕМНОЙ ПОВЕРХНОСТИ ВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ

Королев Е.Е. 1 Кочергин А.М. 1 Кузнецов А.Е. 1 Побаруев 1
1 ФГБОУ ВПО «Рязанский государственный радиотехнический университет»
В статье содержится описание алгоритма надежного выделения облаков на изображениях, полученных аппаратурой, функционирующей по принципу пространственного разделения светового потока по светочувствительным элементам, соответствующим различным спектральным каналам. Рассмотрены причины, затрудняющие применение в подобной ситуации широко используемых алгоритмов выделения облачности. Показано, что многоэтапный алгоритм, использующий на первом этапе предварительное выделение облачности посредством колометрического алгоритма, на втором – уточнение выделения с помощь Байесовского классификатора и в заключение – стереофотограмметрическую фильтрацию результатов, обладает высокой надёжностью и быстродействием. Показано, что использование стереофотограмметрической фильтрации предварительно подготовленных данных существенно повышает качество сегментации, не приводя к значительному снижению быстродействия. Приведены примеры, иллюстрирующие способность разработанного алгоритма отличать облачные объекты от снежных и песчаных областей, а также объектов инфраструктуры. Проведено сравнение разработанного алгоритма с используемыми в настоящее время и показано его превосходство. Приведены оценки быстродействия и качества работы.
стереофотограмметрическая фильтрация
Байесовский классификатор
колометрический алгоритм
сегментация
выделение облачности
1. Астафуров В.Г., Скороходов А.В. Классификация облаков по спутниковым снимкам на основе технологии нейронных сетей // Современные проблемы дистанционного зондирования Земли из космоса. - 2011. - Т. 8. - № 1. - С. 65-73.
2. Ветров А.А., Кузнецов А.Е. Сегментация облачных объектов на панхроматических изображениях земной поверхности // Цифровая обработка сигналов. - 2011. - № 3. - С. 32-36.
3. Демидова Л.А., Нестеров Н.И., Тишкин Р.В. Сегментация спутниковых изображений с применением аппарата теории нечетких множеств // Вестник Рязанского государственного радиотехнического университета. - 2012. - № 3. - С. 11-17.
4. Демидова Л.А., Тишкин Р.В., Юдаков А.А. Разработка ансамбля алгоритмов кластеризации на основе матриц подобия меток кластеров и алгоритма спектральной факторизации // Вестник Рязанского государственного радиотехнического университета. - 2013. - № 4.1 (46). - С. 9-17.
5. Кочергин А.М. Алгоритмы и технологии предварительной обработки изображений в системах каталогизации данных дистанционного зондирования Земли : дис. … канд. техн. наук. - Рязань, 2008. - 116 с.
6. Пошехонов В.И. Алгоритмы и модели стереофотограмметрической обработки данных от систем спектрозональной съемки Земли : дис. … канд. техн. наук. - Рязань, 2010. - 193 с.
7. Huete A., Justice C., van Leeuwen W. MODIS VEGETATION INDEX (MOD13). Algorithm theoretical basis document. – 1999. - Verion 3. - April.
8. Steve Ackerman, Kathleen Strabala, Paul Menzel e.t.c. Discriminating clear-sky from cloud with MODIS // Algorithm theoretical basis document (Mod35)/NASA/LaRC, Hampton, VA. – URL: http://modistmos.gsfc.nasa.gov/_docs/atbd_mod06.pdf, 2002.

Одним из первых этапов наземной обработки данных дистанционного зондирования Земли (ДЗЗ) является выделение облачных объектов, представленных на спутниковых изображениях. Эта операция выполняется, как правило, в ходе каталогизации маршрутов съёмки и используется для оценки качества материалов съёмки. На основе параметра, характеризующего долю облачных объектов по отношению ко всей площади снимка, осуществляется отбор заархивированной информации и принимается решение об организации повторной съёмки требуемой территории. При выдаче потребителям выходной продукции каждый снимок сопровождается маской качества, в которой отмечены пиксели, принадлежащие облачным объектам и затенённым участкам земной поверхности.

Процедура выделения облачности на снимках земной поверхности высокого пространственного разрешения имеет ряд специфических особенностей.

Во-первых, изображения земной поверхности высокого пространственного разрешения, как, например, снимки от КА «Ресурс-ДК», «Канопус-В» и др. представляют собой сверхбольшие по объёму массивы видеоданных, достигающие сотен гигабайт. По этой причине из-за больших временных затрат не нашли применение нейросетевые технологии сегментации облачности [1].

Во-вторых, съёмка с высоким пространственным разрешением выполняется в видимом (в том числе панхроматическом) и ближнем инфракрасном спектральных диапазонах. Отсутствие данных в дальнем инфракрасном спектральном диапазоне не позволяет использовать алгоритмы распознавания облачности, которые применяются для гидрометеорологических спутников типа Aqua, Terra и др. [8].

В-третьих, практически все отечественные системы ДЗЗ высокого разрешения при съёмке земной поверхности используют, как показано на рисунке 1а, принцип пространственного разделения светового потока по светочувствительным элементам, соответствующим различным спектральным каналам.

Формирование разноспектральных данных в разное время приводит к появлению стереоэффекта, приводящего к несовпадению облачных объектов на геометрически совмещённых снимках (рис. 1б), что в свою очередь не позволяет использовать для сегментации облачности алгоритмы, основанные, например, на анализе вегетационного индекса [7].

Как показывает анализ работ отечественных и зарубежных ученых, в настоящее время существует большое количество подходов к решению задачи сегментации изображений [1-4; 8], но тем не менее очевидна необходимость разработки новых в связи со спецификой сегментации облачных образований.

 

 а б

Рис. 1. Спектрозональная съемка:

а – схема разновременной спектрозональной съёмки земной поверхности датчиком «Геотон» КА «Ресурс-ДК»;

б – пример взаимных сдвигов облачных объектов из-за стереоэффекта.

Применение для распознавания облачных образований, представленных на снимках объектами серого цвета, колометрического алгоритма [5] не всегда обеспечивает получение качественного результата, поскольку к серым объектам относятся также снег, крыши домов, пески и др.

В работе [6] для надёжного распознавания облачности на многозональных снимках высокого пространственного разрешения используется алгоритм стереообработки, в соответствии с которым определяются трёхмерные координаты каждого пикселя, и если высота какого-либо объекта превосходит значение, определённое по цифровой модели рельефа, то объект относится к облачному образованию. Сложность практического применения данного подхода заключается в большом объёме вычислений, связанных с построением карт диспарантности и расчётом по ним трёхмерных координат пикселей. Например, как показано в [7], для определения трёхмерных координат пикселей изображения от КА «Ресурс-ДК» размером 36000?36000 требуется порядка 3 часов машинного времени 8-процессорной ЭВМ.

В настоящей статье рассматривается высокоскоростной и высоконадёжный алгоритм сегментации облачных объектов, основанный на предварительном выделении всех объектов серого цвета и их последующей отбраковке по данным межканального смещения (диспарантности). Алгоритм включает в себя последовательное выполнение следующих этапов.

Этап 1. Предварительное выделение облачных объектов

Изображения , полученные в спектральных диапазонах, после геометрического совмещения представлены отсчётами яркости . В условиях межканального смещения облачных объектов (рис. 1б) для каждого объекта можно выделить область, в пределах которой пиксель принадлежит облачному объекту на всех . Будем называть такую область ядром облачного объекта. Ядра облачности на цветном изображении представлены объектами серого цвета. Рассмотренный в работе [5] алгоритм нормализации в виде линейного контрастирования изображений с облачностью применим только для изображений, имеющих гистограмму с распределением яркости по нормальному закону. Гистограмма изображений с облачностью имеет многомодальный вид, поэтому осуществлять поиск границ , где - левая граница динамического яркостного диапазона изображения, - правая граница динамического яркостного диапазона изображения, по правилу 3-х «сигма» для таких изображений некорректно.

Сформируем для каждого канала изображения гистограмму . Для корректного поиска с каждого конца гистограммы отсечем по 2,5% пикселей изображения.

Используя полученные значения , выполним яркостную нормализацию изображений :

, ,

где – нормализованное значение кода яркости; – соответственно, среднее и среднеквадратическое отклонения яркости снимка .

Далее определим ядра облачности. Так как формирование разноспектральных изображений в разное время приводит к появлению стереоэффекта, то, используя утверждение, что ядра таких объектов, как облака, на снимке остаются на месте, на снимках будем искать пиксели, удовлетворяющие следующему условию:

, (1)

где ; – пороговое значение яркости, позволяющее классифицировать серые объекты.

Найденные пиксели отнесём к множеству , а к множеству – все остальные.

 а б

Рис. 2. Многозональный снимок и маска облачности:

а – исходный многозональный снимок;

б – маска серых объектов, сформированная в результате работы колометрического алгоритма.

 

К полученному изображению применим морфологическую обработку, проведя операцию эрозии и дилатации, чтобы удалить единичные шумовые пиксели.

Расширим ядра облачности, для этого все пиксели вокруг ядра примем за облака.

Пример маски облачности показан на рисунке 2б. Как следует из рисунка, маска описывает только ядра, а не полностью облачные образования. Кроме того, в такой маске представлено большое количество ложно выделенных облачных объектов. Поэтому, используя полученные распределения и как обучающие выборки, уточним сформированную маску облачности.

Этап 2. Уточнение маски облачных объектов посредством Байесовского классификатора

Для точного выделения облачных объектов, а не только их ядер, применим Байесовский классификатор, для которого множества и могут быть использованы в качестве начального приближения. Классификацию будем выполнять, выбрав канал с наибольшей контрастностью (наиболее коротковолновый из доступных).

Получим гистограммы для классов и : и .

Зададим два класса пикселей: к множеству отнесём пиксели, принадлежащие к облачным объектам после уточнения, а к – все остальные. Обозначим как и априорные вероятности того, что пиксель относится к классам и соответственно. Определим эти вероятности, исходя из мощности множеств и , следующим образом:

, .

Вероятности того, что пиксель с кодом яркости относится к классам и , соответственно обозначим и ,

, (3)

, (4)

где и – количество пикселей с кодом яркости в множествах и соответственно.

В качестве решающего правила, относящего пиксель к или , будем использовать условие:

(5)

Рассчитаем значения и для всех и отнесём каждый пиксель выбранного канала к одному из классов и .

 а  б

Рис. 3.

а – маска облачных объектов для изображения , уточнённая в результате работы Байесовского классификатора;

б – контуры облачных объектов после фильтрации по критерию диспарантности.

По результатам работы Байесовского классификатора сформируем маску (рис. 3а), которая не только полностью определяет границы облачных объектов, но и описывает объекты земной поверхности. Для их отбраковки применим двухэтапную процедуру, включающую в себя отсеивание по площадному признаку и оценке диспарантности пикселей.

Этап 3. Удаление необлачных объектов

Сформируем векторное описание облачных объектов для изображения по найденной на предыдущем этапе маске. Для этого векторизуем объекты, состоящие из пикселей класса , и получим множество контуров , где – контур, описывающий -й облачный объект. После векторизации выполним фильтрацию найденных объектов по критерию площади , где – количество пикселей, принадлежащих -му объекту, – пространственное разрешение изображения в метрах на пиксель, – минимальная возможная площадь высококучевых облаков. Объекты, не удовлетворяющие данному критерию, будем считать точечными источниками отражённого солнечного света и исключим их из дальнейшего рассмотрения.

Из полученных векторных описаний выделим облачные объекты. Поскольку определение высоты объектов методом фотограмметрической засечки весьма трудоёмкая операция, то для выделения облачности ограничимся анализом диспарантности пикселей, принадлежащих контурам . Для этого выберем пару каналов, одним из которых является использовавшийся на предыдущем этапе канал . Второй канал выберем таким образом, чтобы соотношение ширины стереобазы к высоте орбиты было велико, а спектральные диапазоны достаточно близки. В случае КА «Канопус-В» и БКА в качестве таких каналов используются «красный» и «синий». Для пары каналов «ближний инфракрасный» и «синий» соотношение больше, однако велико и число межканальных инверсий яркости на облачных объектах, что затрудняет корреляцию. Для сокращения объёма вычислений снизим избыточность контуров , и, используя уравнения географической привязки (6), пересчитаем координаты контуров в систему координат изображения :

(6)

где – функции перехода от географических координат к планарным координатам изображения , а – функции перехода от планарных координат изображения координат к географическим.

Введя максимально возможную высоту облачности в виде , найдём соответствующее значение межканального смещения , где и – максимальные смещения в строчном и столбцовом направлениях. Изменяя межканальные смещения и в диапазонах , , найдём значения коэффициента корреляции между контурами,

, (7)

где , и , – соответственно среднеквадратические отклонения и средние значения отсчетов яркости для пикселей, принадлежащих к ,. Определим максимум корреляционной функции и соответствующие ему значения , , затем вычислим диспарантность. В случае если , будем считать, что контур описывает облачный объект. При использовании совмещения каналов по данным геодезической привязки для КА «Канопус-В» и БКА межканальное смещение составляет ~2 пикселя. Соответственно, был выбран порог . Контуры, не удовлетворяющие данному условию, удалим из множества и получим множество сегментированных облачных объектов. Пример результатов сегментации показан на рисунке 3б.

Так как бинарная маска требуется для всех спектральных каналов, пересчитаем координаты контуров из системы координат изображения в системы координат остальных изображений , используя (6).

Оценка эффективности алгоритма

Оценку качества выделения облачных объектов будем проводить, сравнивая сформированные экспертом и полученные в результате работы алгоритма контура облачных объектов, пример которых показан на рисунке 4.

Обозначим через множество выделенных вручную облачных объектов на цветосинтезированном изображении. Количество объектов, ложно отнесённых к облачности, обозначим как , а через – количество нераспознанных облачных объектов, , где – количество распознанных алгоритмом облачных объектов. Общую площадь снимка, занимаемую объектами множества , обозначим через , а площадь, занимаемую объектами множества , обозначим через .

Эффективность алгоритма сегментации можно оценить по следующим показателям:

  • по проценту ложно пропущенных облачных образований, ;
  • по проценту ложно обнаруженных облачных объектов, ;
  • по проценту общей площади выделенных облаков по отношению к истинному значению, .

Помимо сравнения с результатами выделения облачности экспертом, сравним разработанный алгоритм с модифицированным алгоритмом k-средних [5]. Данный алгоритм относится к обучаемым оператором алгоритмам, работающим по одному спектральному каналу. В таблице 1 приведены значения критериев качества для 4-х снимков, полученных КА «Канопус-В». Сюжет 1 (рис. 2а) содержит облачность на фоне объектов инфраструктуры и песчаных пляжей, сюжеты 2 и 3 – облачность над подстилающей поверхностью при их отсутствии, сюжет 4 – значительное количество полупрозрачной облачности («дымки»).

Рис. 4. Результат выделения облачности предложенным алгоритмом (контуры облачных объектов в видимых спектральных каналах показаны цветом).

Таблица 1

Показатели эффективности алгоритмов сегментации

Сюжет

, %

, %

, %

Предложенный алгоритм

Модифицированный k-средних

Предложенный алгоритм

Модифицированный k-средних

Предложенный алгоритм

Модифицированный k-средних

1

92

274

4

2

7

83

2

93

97

5

4

0

3

3

91.6

104.9

3

5

0

4

4

92

43

0

25

7

3

Как следует из таблицы 1, в случае простых сюжетов (2 и 3) разработанный алгоритм показывает схожие с модифицированным алгоритмом k-средних результаты, однако, в отличие от последнего, не требует участия оператора.

В случае сложных сюжетов качество выделения облачности разработанным алгоритмом остаётся на высоком уровне, в то время как модифицированный алгоритм k-средних выдаёт недопустимые результаты.

На рисунке 5 показан пример выделения облачности на сюжете, полученном в зимнее время и содержащем заснеженные участки (маршрут 03073_03068_2) с применением предлагаемого алгоритма, а также с совместным последовательным использованием колометрического алгоритма и Байесовского классификатора.

 а   б

Рис. 5. Пример выделения облачности на изображении, содержащем снег:

а – выделение облачности предложенным алгоритмом (ложные срабатывания отсутствуют);

б – результат сегментации с использованием колометрического алгоритма и Байесовского классификатора.

С помощью предлагаемого алгоритма, как и должно быть, не был выделен ни один облачный объект, в то время как с помощью колометрического алгоритма и Байесовского классификатора заснеженные объекты были выделены как облачные.

Экспериментальная оценка быстродействия алгоритма была проверена на двух снимках, полученных от датчика МСС космического аппарата «Канопус-В». Первый снимок имеет размеры 1728x15020 пикселей, объемом в 102.4 Мб и покрывает площадь в 3268.4 км2. Его обработка заняла 20 секунд. Второй снимок имеет размер 1728x19431 пикселей, объемом в 128.1 Мб и покрывает площадь 4947.8 км2. Его обработка заняла 29 с. Обработка выполнялась на ПЭВМ с четырёхъядерным процессором Intel Core i7 3.4 ГГц и 16 Гб оперативной памяти.

Заключение

По результатам исследования можно сделать вывод о том, что предложенный алгоритм, основанный на предварительном выделении всех объектов серого цвета и их последующей отбраковке по данным межканального смещения (диспарантности), обеспечивает распознавание и выделение на изображении облачных объектов с вероятностью не ниже 90%. В настоящее время алгоритм внедряется в комплекс обработки данных от КА «Канопус-В».

Рецензенты:

Пылькин А.Н., д.т.н., профессор, зав. кафедрой ВПМ, ФГБОУ ВПО «Рязанский государственный радиотехнический университет», г. Рязань.

Демидова Л.А., д.т.н., профессор, профессор кафедры ВПМ, ФГБОУ ВПО «Рязанский государственный радиотехнический университет», г. Рязань.


Библиографическая ссылка

Королев Е.Е., Кочергин А.М., Кузнецов А.Е., Побаруев АВТОМАТИЧЕСКАЯ СЕГМЕНТАЦИЯ ОБЛАЧНЫХ ОБЪЕКТОВ НА СНИМКАХ ЗЕМНОЙ ПОВЕРХНОСТИ ВЫСОКОГО ПРОСТРАНСТВЕННОГО РАЗРЕШЕНИЯ // Современные проблемы науки и образования. – 2014. – № 5. ;
URL: https://science-education.ru/ru/article/view?id=15042 (дата обращения: 28.03.2024).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1,674