Электронный научный журнал
Современные проблемы науки и образования
ISSN 2070-7428
"Перечень" ВАК
ИФ РИНЦ = 0,791

МАКСИМАЛЬНО ПРАВДОПОДОБНАЯ ОЦЕНКА ДИСПЕРСИОННО-КОВАРИАЦИОННОЙ МАТРИЦЫ

Полянский И.С. 1 Патронов Д.Ю. 1
1 Академия ФСО России
В работе сформировано аналитическое выражение, определяющее максимально правдоподобную оценку дисперсионно-ковариационной матрицы наблюдения вектора случайных величин, распределенных по многомерному нормальному закону. Решение основано на получении выражения, определяющего точку экстремума сформированной на основе распределения Уишарта функции правдоподобия. Полученная оценка дисперсионно-ковариационной матрицы позволяет повысить эффективность оценки с точки зрения снижения разброса дисперсии ошибки. Что по существу приводит к увеличению точности оценки дисперсионно-ковариационной матрицы (на величину порядка нескольких тысяч раз) уже на выборках малого объема независимо от разрядности дисперсионно-ковариационной матрицы (размера вектора случайных величин). Причем вычислительные затраты сформированной оценки не хуже существующих. Представлены результаты экспериментальной проверки сформированного аналитического выражения максимально правдоподобной оценки дисперсионно-ковариационной матрицы.
дисперсионно-ковариационная матрица
распределение Уишарта
максимально правдоподобная оценка
1. Андерсон Т. Введение в многомерный статистический анализ / пер. с англ. Ю.Ф. Кичатова, Е.С. Кочеткова, Н.С. Райбмана ; под ред. Б.В. Гнеденко. – М. : Гос. изд-во физико-математической литературы, 1963. – 500 с.
2. Амосов А.А. Скалярно-матричное дифференцирование и его применение к конструктивным задачам теории связи / А.А. Амосов, В.В. Колпаков // Проблемы передачи информации. – 1972. – С. 3–15.
3. Батенков А.А. Оценка корреляционной матрицы сигналов на входе приемной фазируемой антенной решетки на основе многомерного распределения Уишарта / А.А. Батенков, К.А. Батенков, В.А. Пискун // Телекоммуникации. – 2012. – № 8. – С. 40–43.
4. Берг Дж. П. Оценивание ковариационных матриц с заданной структурой / Д.Г. Люнбергер, Д.Д. Венгер // ТИИЭР. – 1982. – Т. 70. – № 9. – С. 63–76.
5. Леховецкий Д.И. Ленточно-диагональная регуляризация МП оценок корреляционных матриц гауссовских помех в алгоритмах адаптации антенных решеток / Д.И. Леховецкий [и др.] // Сборник материалов докладов Всероссийской конференции «Радиолокация и радиосвязь». – М. : ИРЭ РАН, 2010. – С. 336–358.
6. Магнус Я.Р. Матричное дифференциальное исчисление с приложениями к статистике и экономике / Я.Р. Магнус, Х. Нейдеккер ; пер. с англ. ; под ред. С.А. Айвозяна. – М. : ФИЗМАТЛИТ, 2002. – 496 с.
7. Рао С.Р. Линейные статистические методы и их применения / пер. с англ. А.М. Кагана, В.М. Калинина, К.П. Латышева ; под ред. академика Ю.В. Линника. – М. : Наука, 1968. – 548 с.
8. Wishart John. The generalized product moment distribution in samples from a normal multivariate population / Biometrika 20A. – 1928. – Р. 32–52.

Введение

Подавляющее большинство задач прикладной статистики сводится к необходимости оценки дисперсионно-ковариационной матрицы (ДКМ) наблюдения вектора случайных величин , распределенных по многомерному нормальному закону. Из [1; 7] и многих других источников известно, что существующие аналитические методы определения элементов ДКМ на практике сводятся к оценке [1]:

; , (1)

где K – объем выборки элементов вектора случайных величин ; и – выборочные средние i-го и j-го элементов вектора случайных величин , значение которых определяются известным отношением [7]:

. (2)

Однако правило (1) не определяет максимально правдоподобную оценку ДКМ . Другие решения, к примеру [3–5] и др., нахождения ДКМ по известной статистике (конечному набору наблюдений элементов вектора ) направлены на численное решение градиентными релаксационными методами условных оптимизационных задач по критерию максимума правдоподобия, что в свою очередь не позволяет достигнуть точного определения оптимума целевой функции правдоподобия и в виду итеративного подхода значительно увеличивает вычислительную сложность процесса оценки.

Цель статьи заключается в получении аналитического выражения максимально правдоподобной оценки ДКМ для произвольного размера вектора случайных величин , распределенных по многомерному нормальному закону.

Теорема о максимально правдоподобной оценке ДКМ

Теорема. Пусть есть конечная последовательность векторов размерности N случайных величин, определенных в области действительных чисел R, и распределенных по многомерному нормальному закону. Тогда максимально правдоподобная оценка ДКМ полученной выборки объема K определяется отношением:

, (3)

где – наблюдаемая ДКМ на выборке вектора случайных величин размера k, определяемая отношением:

. (4)

Доказательство. Поскольку элементы вектора определены в области действительных чисел R и распределены по многомерному нормальному закону, то функция плотности распределения наблюдаемой ДКМ , формируемой конечной последовательности наблюдаемых векторов , согласно [8] определяется выражением (функция распределения плотности вероятности Уишарта):

, (5)

где – оператор, определяющий величину следа матрицы; – наблюдаемая на выборке размера k ДКМ и определяемая известным отношением [1]:

. (6)

В выражении (6) – вектор выборочных средних элементов вектора случайных величин .

Согласно представленному равенству (5) составим функцию максимально правдоподобной оценки ДКМ по известным конечным наблюдениям векторов случайных величин :

. (7)

Для нахождения точек экстремума определим аналитический дифференциал скалярной функции (7) от матриц по матричному аргументу, в соответствии с правилами, представленными в [2]:

. (8)

Приравняв полученную систему уравнений к нулю, определим корни, удовлетворяющие условию:

. (9)

Заметим, что , тогда получим равенство (9) в виде:

. (10)

Помножив обе части равенства (10) на , получим:

, (11)

где – единичная матрица размерности .

Выразив в выражении (11), получим:

. (12)

Раскрыв в правой части равенства (12) скобки, получим:

. (13)

Заметим, что для уменьшения вычислительной сложности определения ДКМ выражением (13) наблюдаемую матрицу на выборки объемом k, рассчитываемую в соответствии с выражением (6), можно справедливо представить в виде:

. (14)

Очевидно, что ввиду линейности системы уравнений (9) решение (13) является для целевой функции (7) единственной точкой экстремума, а из унимодальности функции (5) следует, что найденной решение (13) соответствует точке, удовлетворяющей правилу (7), и максимально правдоподобная оценка ДКМ справедливо запишется в виде (3). Теорема доказана.

Аналогичным образом определяется максимально правдоподобная оценка ДКМ , формируемой конечной последовательностью векторов размерности N случайных величин, определенных в области комплексных чисел С и распределенных по многомерному нормальному закону. В данном случае ДКМ будет рассчитываться выражением:

, (15)

где – оператор комплексного сопряжения.

Оценка полученных результатов

Для определения качества оценки по полученному выражению (3) оценки ДКМ определим зависимость нижней границы дисперсии оценки от объема выборки K и размерности N вектора наблюдений из многомерного неравенства Крамера-Рао [7]:

, (16)

где – след обратной информационной матрицы Фишера, определяемой соотношением [7]:

, (17)

где – оператор математического ожидания.

Для определения элементов информационной матрицы Фишера представим её в виде блочной матрицы:

. (18)

Затем, воспользовавшись правилами дифференцирования матричной функции по матричному аргументу, сформированными в [6], определим i-е, j-е элементы (подматрицы) блочной матрицы (17):

, (19)

где – матричная функция размерности , n-е, m-е элементы которой определяются согласно выражению:

 (20)

На рисунках 1–4 представлена зависимость дисперсии оценки ДКМ, произведенной по известному выражению (1) и полученному – (3), от объема выборки K для вектора наблюдений , распределенного по многомерному нормальному закону, размерности 2, 4, 6, 8 соответственно.

а) б)

Рисунок 1 – Зависимость дисперсии оценки от объема выборки K для размера вектора наблюдений, равного 2 (N = 2)

(а – оценка ДКМ выражением (1); б – оценка ДКМ выражением (3)).

а)б)

Рисунок 2 – Зависимость дисперсии оценки от объема выборки K для размера вектора наблюдений, равного 4 (N = 4)

(а – оценка ДКМ выражением (1); б – оценка ДКМ выражением (3)).

а)б)

Рисунок 3 – Зависимость дисперсии оценки от объема выборки K для размера вектора наблюдений, равного 6 (N = 6)

(а – оценка ДКМ выражением (1); б – оценка ДКМ выражением (3)).

а)б) 

Рисунок 4 – Зависимость дисперсии оценки от объема выборки K для размера вектора наблюдений, равного 8 (N = 8)

(а – оценка ДКМ выражением (1); б – оценка ДКМ выражением (3)).

На рисунке 5 представлены графики зависимости отношения дисперсии оценки ДКМ выражением (3) к дисперсии оценки ДКМ выражением (1) от объема выборки K, для N равном 2, 4, 6.

 

Рисунок 5 – Зависимость отношения дисперсии оценки ДКМ выражением (3) к дисперсии оценки ДКМ выражением (1) от объема выборки K, для N = 2, 4, 6.

Выводы

Из полученных результатов следует, что наряду с очевидным улучшением точности оценки ДКМ выражениями (1) и (3) с ростом объема выборки вектора случайных величин предложенное выражение (3) максимально правдоподобной оценки ДКМ приводит к существенному увеличению точности оценки ДКМ (на величину порядка нескольких тысяч раз) уже на выборках малого объема независимо от разрядности ДКМ (размера вектора случайных величин). Такая ситуация обуславливает очевидную предпочтительность оценки ДКМ вектора случайных величин произвольной размерности , распределенных по многомерному нормальному закону, полученным аналитическим выражением (3) по сравнению с известным и применяемым на практике отношением (1).

Рецензенты:

Архипов Н.С., доктор технических наук, доцент, сотрудник Академии ФСО России, г. Орел.

Сычев К.И., доктор технических наук, доцент, сотрудник Академии ФСО России, г. Орел.


Библиографическая ссылка

Полянский И.С., Патронов Д.Ю. МАКСИМАЛЬНО ПРАВДОПОДОБНАЯ ОЦЕНКА ДИСПЕРСИОННО-КОВАРИАЦИОННОЙ МАТРИЦЫ // Современные проблемы науки и образования. – 2013. – № 1.;
URL: http://science-education.ru/ru/article/view?id=8516 (дата обращения: 11.12.2019).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.074