Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,737

КОНВЕЙЕРНО-ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ИНТЕГРИРОВАННЫХ ПОТОКОВ ДАННЫХ

Тищенко И.П. 1 Хачумов В.М. 1
1 ФГБУН Институт программных систем им. А.К. Айламазяна Российской академии наук, Исследовательский центр мультипроцессорных систем
Целью исследования является анализ методов и инструментальных программных средств конвейерно-параллельной обработки интегрированных потоков данных на высокопроизводительных вычислительных системах, снабженных универсальными многоядерными и графическими процессорами. Приводится информация о разработанных решениях и их возможностях. В частности, перспективный комплекс интеллектуальной обработки интегрированной информации (телеметрия, целевая и командная информация) на наземной станции космического назначения, связывающий центр управления полетом и космический аппарат. Рассматривается библиотека GPU-алгоритмов как средство для быстрого решения широкого спектра задач. Выделены преимущества архитектуры CUDA. Предлагаемые кроссплатформенные библиотеки значительно упрощают программирование современных вычислительных систем, они обеспечивают масштабируемость вычислений при увеличении числа вычислительных ядер и вычислительных узлов, возможность конвейерно-параллельной обработки потоков данных и решения задач контроля и диагностики.
интегрированный поток
кластерное вычислительное устройство
конвейерно-параллельная обработка
распараллеливание
1. Кондратьев A., Хачумов В.М. High-performance stream processing on multicore and graphics processors // Вторая международная конференция “Cluster Computing” CC 2013: сборник трудов (Львовский политехнический национальный университет, 3-5 июня 2013). — Львов, 2013. — С. 105-110.
2. Мажуга В.В., Хачумов В.М. Контроль и диагностика космических подсистем // Искусственный интеллект и принятие решений. — 2009. - № 4. — С. 80-87.
3. Талалаев А.А., Тищенко И.П., Фраленко В.П., Хачумов В.М. Разработка нейросетевого модуля мониторинга аномальной сетевой активности // Нейрокомпьютеры: разработка и применение. — 2011. - № 7. — С. 32-38.
4. Талалаев А.А., Фраленко В.П. Комплекс инструментальных средств для проектирования нейросетевых прикладных систем // Научно-технический вестник Поволжья. — Казань: Научно-технический вестник Поволжья. — 2013. - № 4. — С. 237-243.
5. Хачумов В.М., Фраленко В.П. Высокопроизводительная обработка изображений на кластерных устройствах // Нейрокомпьютеры: разработка, применение. — 2012. - № 6. — С. 38-45.

Введение

Одной из важнейших характеристик обработки информации является эффективность параллельных вычислений. К настоящему моменту известны работы по написанию распараллеливающих компиляторов. Несмотря на это, автоматическое распараллеливание последовательных программ остается сложной нерешенной задачей. Требуется создание новых эффективных инструментов для обработки потоков разнородных данных на современных высокопроизводительных вычислительных системах. Анализ ситуации позволил сделать следующие выводы:

1. Эффективному автоматическому распараллеливанию поддается небольшое множество последовательных программ, что обуславливает целесообразность применения упрощенных методов автоматизации распараллеливания.

2. Одним из эффективных решений является создание универсальных математических библиотек, ориентированных на решение широкого спектра задач, адаптированных к архитектуре кластерных вычислителей, снабженных графическими процессорами с архитектурой Nvidia и AMD.

Среди различных методов повышения эффективности обработки информации выделяются интеллектуальные методы, которые опираются на нейронные сети, генетические алгоритмы, продукционные правила, методы распознавания образов, когнитивную графику и другие инструменты искусственного интеллекта [2, 3].

Интеллектуальная обработка информации

В качестве примера можно привести перспективный комплекс интеллектуальной обработки интегрированной информации (телеметрия, целевая и командная информация) на наземной станции космического назначения (НС КИС), связывающей центр управления полетом (ЦУП) и космический аппарат (КА). Структурная схема взаимодействия указанных компонентов показана на рис. 1.

Рис. 1. Структурная схема взаимодействия компонентов

Очевидна актуальность интеграции современных кластерных вычислительных устройств (КВУ) с интеллектуальными системами для унифицированной обработки целевой, телеметрической и командной информации. Перспективные наземные станции, снабженные КВУ и программным обеспечением, позволяют вести полный комплекс обработки интегрированной информации, обеспечивают расширение функциональных возможностей и повышение автономности НС КИС, позволяют рационально распределять задачи между НС КИС и ЦУП.

В настоящее время реализован прототип высокопроизводительной программной нейросетевой системы, оптимизированной под задачи обработки данных, распознавания образов, контроля и диагностики космических подсистем. Сформированы принципы функционирования программной системы в составе НС КИС космического назначения. Актуальная задача формируется из библиотечных модулей и решается на КВУ, что обеспечивает требуемое быстродействие. Система, построенная на основе интеграции различных методов обработки информации, способна решать и другие задачи широкого назначения.

Предложена общая концепция построения и архитектура программного комплекса для решения задач конвейерно-параллельной обработки информации в гетерогенной среде. При этом учитываются возможности параллелизма данных, множества объектов и смежных операций. Особое значение придается конвейерной обработке как особому виду параллелизма. Разработанный комплекс инструментальных программных средств включает программные средства преобразования поступающих данных в специально предназначенную для последующего анализа конвейерно-параллельную форму; блок анализа данных на основе нейросетевых методов [4], предназначенный для обработки поступающих данных; универсальный графический интерфейс проектирования прикладных систем с помощью визуально-блочного программирования. Предложенная архитектура и программно-аппаратные инструменты позволяют полноценно использовать ресурсы гетерогенной среды GPU-кластера [1, 5].

Экспериментальные исследования показывают, что GPU-кластер является достаточно эффективным решением и позволяет легко наращивать производительность системы. Среди рассмотренных в работе вариантов реализации высокопроизводительных алгоритмов на основе GPU-кластеров выбрана модель параллелизма данных, позволяющая строить эффективный конвейер обработки, поддерживаемый программным комплексом.

Предложены программные библиотеки, позволяющие в комплексе решать задачи автоматизации распараллеливания задач мониторинга и обработки информации на высокопроизводительных вычислительных системах. Разработаны принципы построения кроссплатформенной системы распараллеливания программ на графических процессорах для платформы NET. Разработаны библиотеки, реализующие задачи линейной алгебры, обработки изображений в частотной области, включая спектрографический метод «закраски» с применением GPU. Библиотеки существенно облегчают решение задачи конвейерно-параллельной обработки информации в гетерогенной среде. Созданные библиотеки были практически использованы для решения задач мониторинга, обработки потоков сигналов и снимков. Библиотеки характеризуются тем, что содержат необходимый набор готовых инструментов для прикладных программистов и обеспечивают требуемую функциональность.

Экспериментальные исследования разработанных библиотек показали, что использование GPU, поддерживающих технологию OpenCL, существенно сокращает время обработки потоков данных, но при этом точность вычислений может понизиться по сравнению с вычислениями на CPU. Большое влияние на скорость обработки оказывают накладные расходы по передаче данных, производительность на GPU падает в программах, где много обращений к памяти.

По сравнению с традиционной организацией вычислений общего назначения использование возможностей архитектуры CUDA обеспечивает следующие преимущества:

  • более эффективные транзакции между памятью центрального процессора и видеопамятью;
  • полная аппаратная поддержка целочисленных и побитовых операций;
  • поддержка компиляции GPU-кода.

Разработанные программные компоненты библиотек обеспечивают: масштабируемость вычислений при увеличении числа вычислительных ядер и вычислительных узлов; возможность конвейерно-параллельной обработки потоков данных и решения задач контроля и диагностики.

Заключение

В ходе выполненного исследования разработано базовое математическое и программное обеспечение для автоматизации конвейерно-параллельных вычислений в гетерогенной среде при обработке интегрированной информации. К основным результатам можно отнести

1) разработку средств поддержки конвейерно-параллельной работы гетерогенных суперкомпьютерных систем, построенных на основе универсальных и графических процессоров;

2) универсальные библиотеки для решения комплекса задач мониторинга и обработки потоков данных на GPU.

Разработанные приложения являются кроссплатформенными как относительно аппаратуры (Nvidia и AMD), так и операционных систем (Windows, Linux). Достигнуто быстродействие приложений, сравнимое с эталонными реализациями стандарта OpenCL на целевых платформах. Предлагаемые библиотеки значительно упрощают программирование современных вычислительных систем, оснащенных графическими процессорами, при решении задач с различными видами параллелизма.

Работа поддержана Министерством образования и науки Российской Федерации (Государственный контракт № 14.514.11.4109 по теме «Разработка алгоритмов и методов организации высокопроизводительных конвейерно-параллельных вычислений в облачных средах»).

Рецензенты:

Славин О.А., д.т.н., заведующий лабораторией, ФГБУН Институт системного анализа Российской академии наук (ИСА РАН), г. Москва.

Знаменский С.В., д.ф.-м.н., заведующий лабораторией, ФГБУН Институт программных систем им. А.К. Айламазяна Российской академии наук, Исследовательский центр системного анализа, с. Веськово.


Библиографическая ссылка

Тищенко И.П., Хачумов В.М. КОНВЕЙЕРНО-ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА ИНТЕГРИРОВАННЫХ ПОТОКОВ ДАННЫХ // Современные проблемы науки и образования. – 2013. – № 5.;
URL: http://science-education.ru/ru/article/view?id=10667 (дата обращения: 24.08.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252