Файл: Методы оптимизации в статистических задачах управления..pdf

Для расчета а = М {W0 (і -f А, у)\х {t) = х) воспользуемся разложением функции W 0 (t -f Д, у) в ряд Тейлора в окрест­ ности точки х:

где Iу — *|| — норма вектора (у — х).

Согласно определению вектора коэффициентов сноса и ма­ трицы коэффициентов диффузии для марковского процесса можно записать:

М \(у — х) I * (t) = х] — с ((, х) А + о (А);

М [(у — х) (у — х)*\х (t) = х] = Ѳ (t, х) А + о (А).

Поскольку для рассматриваемого здесь объекта управления, системой уравнений описываемого (342), справедливы соотно­ шения

В пределе при А —>0 получим уравнение Веллмана:

155

У р а в н е н и е В ел л м а н а и м еет оч ев и д н ое гр а н и ч н о е у сл ов и е:

Поставим задачу определения уравнения, которому удовле­ творяют потери при произвольном, не обязательно оптимальном управлении. Вывод, который приводится ниже, наглядно показы­ вает связь уравнения Веллмана с уравнением Колмогорова для марковского процесса х (t).

—00

Дифференцируем полученное выражение для оставшихся по­ терь по переменной t:

со

7ІГ = — j d&<P У. “ (01Р У, У\ t, X) +

156

П о с к о л ь к у

р (t, y\t, х) = Ö(у — х),

то

J dyq> It, у, и (/)] р (t, y\t, х) = ф U, Ху и (01. (358)

Согласно обратному уравнению Колмогорова для марков­ ского процесса х (t) (см. п. 4 гл. I) запишем:

Подставляя последнее уравнение и уравнение (358) в фор­ мулу (357), после несложных преобразований, связанных с изме­ нением порядка дифференцирования по переменной х и интегри­ рования по переменным т, у, получим

*—со

dy4T, у]р(Т, y\t, х)

Используя выражение (356), получим уравнение

на интервале времени [t, Т\ при произвольном управлении, удовлетворяют уравнению (359), а потери W0 в оптимальной

157

системе— уравнению (353). Сравнивая формулы (353) с (359), устанавливаем, что

при произвольном допустимом законе управления и С U. Нера­ венство (360) представляет собой достаточное условие оптималь­ ности управления и0.

2. Оптимальное линейное управление

Рассмотрим применение метода динамического программиро­ вания на примере управления линейным объектом при квадра­ тичном критерии качества.

Пусть объект управления описывается линейным дифферен­

где X — вектор выходных координат п измерений; и — вектор управлений q измерений; £ — вектор возмущающих воздей­ ствий т измерений со статистическими характеристиками, опи­ сываемыми формулой (343); А (t), В (t), G (t) — матрицы пере­ менных коэффициентов соответствующих размерностей.

Требуется минимизировать квадратичный функционал

т

I Іх* (т) V (т) X (т) +

/ (t, X, и) = А (t) X + В (t) u.

158