Scientific journal
Modern problems of science and education
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 1,006

COMBINING IMAGES FROM SENSORS OF VARIOUS FREQUENCY RANGES

Vetrov A.N. 1 Osipova A.A. 1 Gakhzar M.A. 1 Artyukhin I.Yu. 1
1 Tambov State Technikal University
Theauthorspropose a method of combining images obtained from sensors operating in different frequency ranges. Initially, the total luminous flux is split into two streams. From the first stream forms an image in the visible range, and the second - image infrared. Then the pixels of both images are alternately stored in shared memory image. The order of entries is reduced to alternating lines of the image. For example, the odd-numbered lines correspond to the pixels of infrared images, and even - television image. Next, a mutual exchange of opposing pieces vertically adjacent pixels. To do this, each pixel is divided into three parts. One part of the pixel remains in place, the other two equal parts separately added to the vertically adjacent pixels of the image. By calculation proved that the proposed method increases the information content of image alignment generated image with respect to the original image up to six times.
the pixel
thermal image
Television image

Введение. Медицинская диагностическая аппаратура, формирующая изображения, позволяет приблизить диагноз к достоверному результату. Поскольку достоверность диагноза должна быть абсолютной, то в значительной степени это может обеспечить применение разнодиапазонной иконической аппаратуры. Но при этом возникает потребность в объединении (смешивании) двух изображений в одно с целью повышения информативности полученных изображений.

Основным преимуществом такого совмещения является наличие информации разного характера у конечного продукта. В связи с повышением информативности у обрабатываемых изображений работа врача становится качественней и затрачивает на много меньше времени. Большой интерес представляет метод совмещения инфракрасного и телевизионного изображений [5], особенно при диагностике кожных и онкологических заболеваний приповерхностного характера [6].

На сегодняшний день известно несколько способов такого совмещения. Существует «Способ дистанционного обследования объектов электрических сетей с помощью тепловидеосъемочного устройства» [4]. В этом методе используется два телевизионных датчика. Один из них формирует изображение в диапазоне видимого спектра, а другой – в диапазоне инфракрасного спектра. Затем полученные изображения накладываются друг на друга, при этом нагретые электрические сети закрывают фрагменты изображения, которые получились в видимом световом диапазоне.

Главным недостатком этого способа является потеря важных фрагментов результирующего изображения, что становится причиной плохого определения взаимного расположения объектов.

Есть методы, основными принципами которых является работа с яркостями пикселей. Примером может служить «Способ формирования матричного изображения» [1]. Суть метода – в том, что при наложении двух разнодиапазонных изображений складываются яркости пикселей. Для этого способа характерно использование только черно-белых изображений с большим числом градаций яркости, поэтому на конечном изображении просто невозможно определить максимально точно температуру участка объекта. Это приводит к искажению фрагментов, которое мешает производить достоверный анализ изображения.

Существует способ «Комплексирование цифровых полутоновых телевизионных и тепловизионных изображений» [2]. Совмещение изображений происходит на основе критериального суммирования каждого пикселя, формировании результирующего изображения и нормализации яркостного диапазона изображения. Исходные цифровые телевизионное и тепловизионное изображения получаются путем оцифровки с помощью аналого-цифровых преобразователей аналоговых сигналов от телевизионного и тепловизионного датчиков. Осуществляется комплексирование изображений, которое основано на определенном суммировании для каждого пикселя: производится формирование результирующего изображения в виде массива значений яркости комплексированного изображения заданного размера, и нормализуется яркостный диапазон.

У этого способа также есть свой недостаток. Пиксели конечного изображения содержат информацию, определяемую либо ИК диапазоном, либо видимым диапазоном частот. Это не дает существенного увеличения информативности, достичь которого все стремятся.

Большинство методов основано на чередовании пикселей в результирующем изображении. Примером такого способа является «Способ совмещения изображений, полученных с помощью различных фотодатчиков» [3].

Изначально световой поток разделен на два потока. Из одного формируется изображение видимого спектра, а из другого – изображение инфракрасного спектра. Затем попеременно записывается в общее изображение пиксели в шахматном порядке.

Этот способ имеет такой же недостаток, как и предыдущий, что говорит о меньшей информативности изображения, нежели изображение, пиксели которого могли бы совмещать в себе информацию от обоих изображений.

Материал и метод исследования. В связи с показанными недостатками предлагается предварительно световой поток разделять на два потока. Из первого потока формируется изображение видимого диапазона, а из второго – изображение инфракрасного диапазона. Затем пиксели обоих изображений попеременно записываются в память общего изображения. Каждая нечетная строка соответствует тепловизионному изображению, а четная – телевизионному изображению, как это показано на рисунке 1.

ИК ТВ

Рисунок 1. Иллюстрация чередования пикселей смешиваемых изображений (nk – информативность ИК изображения, nt – информативность ТВ изображения, nkt – информативность совмещенного изображения)

Пусть в смешанном изображении какие-то n-е пиксели (соседние по вертикали) получившихся соседних строк имеют значения – дляИК и для ТВ изображений. Затем организуется междустрочный обмен частей противоположных по вертикали пикселей по следующему алгоритму: каждый пиксель делится на три части, после чего две части i-го пикселя k-ой строки суммируются с оставшимися долями i-ых пикселей k-1-ой и k+1-ой строк.

На рисунках 2 и 3 представлена графическая модель предлагаемого смешивания изображений, если положить, что значение каждого пикселя делится в пропорции

,

.

Рисунок 2. Исходное состояние значений пикселей

Аналитический результат межстрочного обмена имеет следующий вид:

,

,

,

,

,

,

где – состояние значения n-го пикселя строки после проведения процедуры обмена

Конечный результат представлен на рисунке 3.

Рисунок 3. Итоговое значение пикселей

Практическая реализация метода может быть осуществлена благодаря компьютерной обработке, в частности программой Delphi 7 (рис. 4.).

Рисунок 4. Программная реализация способа

Результаты исследования и их обсуждение. Результат совмещения ТВ (рис. 5 а) и ИК (рис. 5.б.) изображений представлен на рисунке 6.

Рис.5. Исходные изображения а) ИК изображение, б) ТВ изображение.

Рисунок 6. Пример совмещения изображений а) изображение после построчной записи пикселей, б) итоговое изображение.

Благодаря предложенному способу информативность конечного изображения по отношению к исходному повышается.

Это достигается путем попеременной записи строк ТВ и ИК изображений в общее изображение с дальнейшим делением пикселей на три части и междустрочным обменом этих частей для пикселей одного номера в строках. В общем изображении количество пикселей определяется как: nk+ nt = 2nkt, где nk – количество строк кадра инфракрасного изображения, nt – количество строк кадра телевизионного изображения, а 2nkt – число строк кадра общего изображения. При этом:

- в результате формирования информативность после совмещения двух изображений в одно увеличилась в два раза относительно исходных изображений, что подтверждается формулой (1):

nk + nt = 2nkt(1)

- в процессе междустрочной интерполяции, в результате которого каждый пиксель полученного изображения будет представлять собой половину своего пикселя и четверти соседних, информативность пикселя увеличивается в три раза.

+ + = 3n ,

где – количество информации неизменной половины пикселя, – количество информации пришедшей четверти пикселя слева, – количество информации пришедшей четверти пикселя справа, 3n – конечное количество информации пикселя.

Итоговая формула информативности (2):

2nkt* 3n = 6n (2)

В итоге разработанный способ увеличивает информативность относительно исходных изображений в шесть раз.

Выводы. Предложен и смоделирован метод совмещения изображений, полученных от разнодиапазонных датчиков. Метод позволяет сохранить преимущества телевизионных и тепловизионных систем и увеличивает информативность сформированного изображения относительно исходных изображений в шесть раз.

Рецензенты:

Мордасов М.М., д.т.н., профессор кафедры «Управление качеством и сертификация», ФБГОУ ВПО ТГТУ, г. Тамбов.

Данилов С.Н., д.т.н., доцент кафедры «Радиотехника», ФБГОУ ВПО ТГТУ, г. Тамбов.