Scientific journal

Modern problems of science and education

ISSN 2070-7428

"Перечень" ВАК

ИФ РИНЦ = 1,006

Введение

Случайная среда (однородный процесс с независимыми значениями в терминологии [4]) с бинарно распределенными доходами – это управляемый случайный процесс , принимающий значения 0 и 1, интерпретируемые как текущие доходы и зависящие только от выбираемых в текущие моменты времени действий , т.е.

(1)

Такая среда описывается векторным параметром . В данной постановке задачи параметр фиксирован, но неизвестен тому, кто управляет процессом.

Постановка задачи

Введем целевую функцию потерь , значениями которой являются потери за время моделирования, где определяет вероятности выигрыша на действиях, – используемая стратегия. Если параметр известен, то наилучшей стратегией является та, которая применяет только то действие, которому соответствует большая из величин , и максимальный полный доход в этом случае равен . Если же неизвестен, то неизбежно возникают потери вследствие неполноты информации о среде, равные:

. (2)

Здесь представляет собой математическое ожидание потерь полного дохода. Предполагается, что ограничения на множество допустимых значений параметра имеют следующий вид:

. (3)

При использовании минимаксного подхода, предложенного, например, в [2], цель управления состоит в минимизации величины потерь полного дохода на множестве параметров по множеству стратегий . При этом минимаксный риск выглядит следующим образом:

. (4)

Для реализации этой цели предлагается использовать пороговую стратегию, предложенную в [5].

Стратегия управления с одним порогом

Итак, рассмотрим пороговую стратегию . Она применяет действия и среды по очереди, накапливая доходы и соответственно. На каждом шаге вычисляется абсолютная разность доходов на действиях . Действия применяются до тех пор, пока эта величина не превысит порога , где – полное время управления, , – пороговая константа и дисперсия соответственно , или не истечет время управления. Если время управления не истекло, то действие, которому соответствует меньшая величина набранного дохода, исключается из рассмотрения, а оставшееся время применяется только другое действие.

Можно показать, что наибольшие потери полного дохода при достаточно больших будут иметь место при

, (5)

где . Ограничения на накладываются, исходя из свойства инвариантности функции потерь [3]. Очевидно, что в таком случае дисперсия оказывается максимальной, т.е. этот случай представляет наибольший теоретический интерес для исследования.

На основе пороговой стратегии , рассмотренной выше, была разработана программа. Прежде сделаем замечание. Целевая функция потерь , вообще говоря, зависит от параметров и . Но для расчетов нам удобнее полагать, что она зависит от и , где – пороговая константа, использующаяся пороговой стратегией, – параметр среды.

Итак, алгоритм работы программы построен таким образом, что в ней для каждой пары вычисляется средний доход , где – доход за одно моделирование, – количество моделирований. Затем вычисляются средние потери математического ожидания дохода . После этого при каждой константе определяются минимальные потери . При каждой константе подбираются максимальные потери . Точка, в которой , и является минимаксной точкой, в которой достигается минимальная гарантированная величина потерь полного дохода.

В результате вычислений выяснилось, что достаточно рассмотреть , , поскольку предварительные значения и оказались заключенным именно в этих интервалах. При этом максимальные потери . Более точные вычисления, достигающиеся за счет уменьшения шага изменения параметров, дают следующие результаты: , , . Время моделирования выбиралось из условия , количество моделирований , что позволяет говорить о точности вычислений [1].

Таблица 1 показывает результаты предварительных вычислений. Все потери в таблице являются приведенными путем деления на . Желтым цветом обозначены локальные минимумы по для каждого , зеленым – локальные максимумы по для каждого , сиреневым – точка, в которой минимум по равен максимуму по .

Таблица 1 – Значения

Двухпороговая стратегия управления

Итак, получены значения пороговой константы и параметра при , для которых гарантированные потери полного дохода минимальны. Рассмотрим пример. Предположим, что имеется два беспроводных модема. С помощью них можно передавать данные, однако вероятности передачи данных без ошибок различаются. Необходимо выяснить, который из модемов работает более стабильно. Подразумевается, что вероятности успешной передачи данных на модемах не равны. При вероятностях успешной передачи данных , у первого и второго модемов соответственно тестирование модемов следует проводить до тех пор, пока разница между количеством успешных передач достигнет величины 29.

Рассмотрим теперь потери на множестве допустимых параметров для следующих двух случаев. На диаграмме линия 1 показывает минимальные потери для минимальных для каждого , линия 2 – потери для фиксированного (все потери также являются приведенными):

Рисунок 1 – Графики значений функции потерь на множестве значений . Линия 1 показывает потери при минимальных для каждого , линия 2 – потери для фиксированного .

Как нетрудно заметить, начиная с и до потери за моделирование практически идентичны. После этого потери для случая с фиксированным увеличиваются и в определенный момент устанавливаются на величине порога . Очевидно, это связано с тем, что при больших значениях параметра лучшее действие определяется достаточно быстро (так как, например, при вероятности выигрыша на действиях ), но большое значение пороговой константы (при порог ) не позволяет исключить из рассмотрения неоптимальное действие раньше, чем будет достигнут порог.

Итак, большие потери дохода для случая фиксированного имеют место в силу того факта, что на достижение порога при больших требуется фиксированное время. Этот недостаток стратегии можно устранить, если ввести дополнительный порог , с помощью которого при больших оптимальное действие будет определяться быстрее. В этом случае стратегия будет выглядеть следующим образом. Начиная с некоторого времени текущий порог заменяется на , после чего моделирование продолжается в обычном порядке.

Очевидно, что теперь при высоких значениях неоптимальное действие будет в среднем исключаться из рассмотрения быстрее. Однако не совсем понятно, что будет происходить на этапе, где мало. Попробуем взять тестовые параметры и и посмотрим на результаты. Возьмем, например, , . Полученные результаты отобразим на диаграмме:

Рисунок 2 – Графики значений функции потерь на множестве значений . Линия 1 показывает потери при минимальных для каждого , линия 2 – потери для фиксированного , линия 3 – потери при фиксированном , , .

Линия 3 показывает значения потерь при выбранных случайных параметрах. Как видно, параметры оказались удачны: ни одно из значений потерь не превышает вычисленной ранее величины гарантированных потерь полного дохода, и при больших значениях потери снизились, видно, что получившиеся потери совпадают с потерями для случая простого порога. Однако отметим, что сравнивать результаты в таком виде не очень удобно. Поэтому введем новую величину , которая будет показывать суммарные потери на всём множестве . Рассматривание данной величины вполне уместно, так как можно считать, что значения множества распределены равномерно.

Расчет значений

Итак, рассчитаем значения данной величины для приведенных выше данных. Более конкретно нас интересуют следующие значения: – для первого случая, – для случая фиксированного и – для случая двойного порога. Вычисления показывают, что , , . Как видно, введение второго порога для тех «тестовых» параметров, которые мы рассматривали, позволило в среднем снизить суммарные потери по сравнению с одиночным фиксированным порогом, и довольно значительно (на 37%). В предположении, что имеются более оптимальные параметры, был проведен полный расчет значений суммарных потерь за время моделирования при , , , , , . Искались такие параметры и , при которых будет наименьшим, при этом ни одно из значений потерь не превышает вычисленной величины гарантированных потерь полного дохода. В итоге удалось достигнуть значения при , . Диаграмма это демонстрирует, потери при таких параметрах обозначены линией 4:

Рисунок 3 – Графики значений функции потерь на множестве значений . Линия 1 показывает потери при минимальных для каждого , линия 2 – потери для фиксированного , линия 3 – потери при фиксированном , , .

Это позволяет судить о том, что введение дополнительного порога позволяет значительно уменьшить потери по сравнению с фиксированным , делая их сравнимыми с потерями первого случая.

Заключение

Итак, рассмотрена пороговая стратегия управления в случайной среде с бинарными доходами с двумя действиями. Найдены оптимальные значения пороговой константы и параметра среды. Также рассмотрены суммарные потери дохода на множестве допустимых параметров среды и показано, что их можно значительно снизить с помощью введения дополнительного порога.

Автор благодарит А.В. Колногорова за помощь в постановке задачи и обсуждение полученных результатов.

Рецензенты:

Едемский Владимир Анатольевич, доктор физико-математических наук, профессор кафедры ПМИ, ФГБОУ ВПО «Новгородский государственный университет имени Ярослава Мудрого», г. Великий Новгород.

Кирьянов Борис Федорович, доктор технических наук, профессор, ФГБОУ ВПО «Новгородский государственный университет имени Ярослава Мудрого», г. Великий Новгород.