Файл: Специальные разделы теории управления. Оптимальное управление.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 05.05.2024

Просмотров: 75

Скачиваний: 0

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

СОДЕРЖАНИЕ

1.3. Необходимые условия оптимальности управления, достаточные условия оптимальности и проблема существования оптимального управления Рассмотренные в данном пособии необходимые условия оптимальности управления для различного типа задач оптими- зации получены на основе использования аналитических непрямых методов оптимизации и образуют совокупность функ- циональных соотношений, которым обязательно должно удовлетворять экстремальное решение. При выводе их сделано существенное для последующего применения предположение о существовании оптимального управления (оптимального решения). Другими словами, если оптимальное решение существует, то оно обязательно удовле- творяет приведенным (необходимым) условиям. Однако этим же необходимым условиям могут удовлетворять и другие ре- шения, не являющиеся оптимальными (подобно тому, как необходимому условию 0=dxdf для минимума функции одной переменной удовлетворяют, например, точки максимума и точки перегиба функции f (x)). Поэтому, если найденное решение удовлетворяет необходимым условиям оптимальности, то это еще не означает, что оно является оптимальным. Использование одних только необходимых условий дает возможность в принципе найти все решения, им удовлетво- ряющие, и отобрать затем среди них те, которые действительно являются оптимальными. Однако практически найти все ре- шения, удовлетворяющие необходимым условиям, чаще всего не представляется возможным в силу большой трудоемкости такого процесса. Поэтому после того, как найдено какое-либо решение, удовлетворяющее необходимым условиям, целесо- образно проверить, является ли оно действительно оптимальным в смысле исходной постановки задачи. Аналитические условия, выполнимость которых на полученном решении гарантирует его оптимальность, называются достаточными условиями. Формулировка этих условий и особенно их практическая (например, вычислительная) проверка часто оказывается весьма трудоемкой задачей. В общем случае применение необходимых условий оптимальности было бы более обоснованным, если бы для рассмат- риваемой задачи можно было установить факт существования или существования и единственности оптимального управле- ния. Этот вопрос является математически весьма сложным. Проблема существования, единственность оптимального управления состоит из двух вопросов. 1. Существование допустимого управления (т.е. управления, принадлежащего заданному классу функций), удовлетво- ряющего заданным ограничениям и переводящего систему из заданного начального состояния в заданное конечное состоя- ние. Иногда граничные условия задачи выбраны так, что система – в силу ограниченности ее энергетических (финансовых, информационных) ресурсов – не в состоянии их удовлетворить. В этом случае не существует решения задачи оптимизации. 2. Существование в классе допустимых управлений оптимального управления и его единственность. Эти вопросы в случае нелинейных систем общего вида не решены еще с достаточной для приложений полнотой. Про- блема осложняется также тем обстоятельством, что из единственности оптимального управления не следует единственность управления, удовлетворяющего необходимым условиям. К тому же, обычно удовлетворяется какое-либо одно, наиболее важное необходимое условие (чаще всего – принцип максимума). Проверка дальнейших необходимых условий бывает достаточно громоздкой. Это показывает важность любой инфор- мации о единственности управлений, удовлетворяющих необходимым условиям оптимальности, а также о конкретных свой- ствах таких управлений. Необходимо предостеречь от заключений о существовании оптимального управления на основании того факта, что ре- шается «физическая» задача. На самом деле, при применении методов теории ОП приходится иметь дело с математической моделью. Необходимым условием адекватности описания физического процесса ММ как раз и является существование ре- шения для математической модели. Поскольку при формировании математической модели вводятся различного рода упро- щения, влияние которых на существование решений трудно предсказать, доказательство существования является отдельной математической проблемой. Таким образом: • из существования ОУ вытекает существование, по крайней мере, одного управления, удовлетворяющего необходи- мым условиям оптимальности; из существования управления, удовлетворяющего необходимым условиям оптимальности, не вытекает существование оптимального управления; • из существования ОУ и единственности управления, удовлетворяющего необходимым условиям, вытекает единст- венность оптимального управления; из существования и единственности ОУ не следует единственность управления, удовле- творяющего необходимым условиям оптимальности. 1.4. Общая характеристика результатов, которые могут быть получены методами теории оптимального управления ТОП является основой единой методологии проектирования оптимальных движений, технических, экономических и информационных систем. В результате применения методов ТОП к задачам конструирования различных систем могут быть получены: 1) оптимальные по тому или иному критерию временные программы изменения управляющих воздействий и опти- мальные значения постоянных управляющих (проектных, настроечных) параметров с учетом различного рода ограничений на их значения; 2) оптимальные траектории, режимы с учетом ограничений на область их расположения; 3) оптимальные законы управления в форме обратной связи, определяющие структуру контура системы управления (решение задачи синтеза управления); 4) предельные значения ряда характеристик или иных критериев качества, которые затем можно использовать как эта- лон для сравнения с другими системами; 5) решение краевых задач попадания из одной точки фазового пространства в другую, в частности, задача попадания в заданную область; 6) оптимальные стратегии попадания в некоторую движущуюся область. 1.5. Условие рационального применения методов оптимизации Методы оптимизации управления рационально применить: 1) в сложных технико-экономических системах, где отыскание приемлемых решений на основе опыта затруднительно. Опыт показывает, что оптимизация малых подсистем может приводить к большим потерям в критерии качества объединен- ной системы. Лучше приближенно решить задачу оптимизации системы в целом (пусть в упрощенной постановке), чем точ- но для отдельной подсистемы; 2) в новых задачах, в которых отсутствует опыт формирования удовлетворительных характеристик процесса управле- ния. В таких случаях формулировка оптимальной задачи часто позволяет установить качественный характер управления; 3) на возможно ранней стадии проектирования, когда имеется большая свобода выбора. После определения большого количества проектных решений система становится недостаточно гибкой и последующая оптимизация может не дать суще- ственного выигрыша. При необходимости определить направление изменения управления и параметров, дающих наибольшее изменение кри- терия качества (определение градиента качества). Следует отметить, что для хорошо изученных и долго эксплуатируемых систем методы оптимизации могут давать не- большой выигрыш, так как найденные из опыта практические решения обычно приближаются к оптимальным. В некоторых практических задачах наблюдается определенная «грубость» оптимальных управлений и параметров, т.е. большим локальным изменением управлений и параметров отвечают малые изменения критерия качества. Это дает иногда повод к утверждению, что на практике всегда пологие и строгие методы оптимизации не нужны. На самом деле «грубость» управления наблюдается лишь в случаях, когда оптимальное управление соответствует ста- ционарной точке критерия качества. В этом случае изменение управления на величину ε приводит к отклонению критерия качества на величину ε2В случае управлений, лежащих по границе допустимой области, указанная грубость может и не иметь место. Это свой- ство должно исследоваться для каждой задачи специально. Кроме того, в некоторых задачах даже небольшие улучшения критерия качества, достигаемые за счет оптимизации, могут иметь существенное значение. Сложные задачи оптимизации управления часто предъявляют чрезмерные требования к характеристикам ЭВМ, исполь- зуемых при решении. Контрольные вопросы 1. Расскажите о роли теории оптимальных процессов при решении технических задач. 2. Дайте характеристику общей задачи управления. Какие математические модели и почему она должна включать? 3. Дайте характеристику прямым и косвенным методам теории оптимальных процессов. 4. Перечислите условия рациональности применения методов оптимизации. 5. Дайте общую характеристику результатам, которые могут быть получены вследствие применения методов теории оптимальных процессов. 6. Расскажите о необходимых и достаточных условиях в теории оптимальных процессов. 7. Расскажите о проблеме существования оптимальных управлений. Г л а в а 2 ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ МАТЕМАТИЧЕСКОЙ ТЕОРИИ ОПТИМАЛЬНЫХ ПРОЦЕССОВ УПРАВЛЕНИЯ 2.1. Математические модели. Переменные состояния (фазовые координаты) управляемого процесса ТОП управления имеет дело с ММ технических или экономических (ТЭ) задач оптимизации процесса управления фи- зическими системами. ММ есть достаточно полная сводка функциональных соотношений, описывающих основные свойства физических объектов, процессы их функционирования и управления в рамках выбранной степени приближения и детализа- ции и отражающая все существенные требования к конкретным техническим характеристикам системы. Математическая модель ТЭ задачи оптимизации процесса управления состоит из ряда частных математических моде- лей, включая ММ управляемого процесса, математическая модель ТЭ ограничений на величины управляющих воздействий и на возможное расположение на траектории, математическое описание показателя эффективности (критерия качества) про- цесса управления и т.д. Основные элементы общей ММ ТЭ задачи оптимизации процесса управления приведены в табл. 1. Математическая задача оптимизации процесса управления считается полностью определенной (корректно поставлен- ной), если точно описаны все элементы ММ, представленные в табл. 1. В основе ММ ТЭ задачи ОПУ лежит ММ управляемого процесса. Эта модель основывается на понятии переменных со- стояния (фазовых координат), которые вводятся в задачу следующим образом. Пусть управляемая система S может быть идеализирована настолько, что в каждый фиксированный момент времени на- блюдения tt′= на интервале TtttttT∈′≤≤=},,{1 0 ее свойства могут быть описаны конечным множеством действитель- ных чисел )(...,),(),(2 1txtxtxn′′′, которые рассматриваются как компоненты некоторого вектора Tntxtxtxt))(...,),(),(()(2 1′′′=′xПри изменении момента времени наблюдения, вообще говоря, изменяется и вектор х. Это изменение может быть вы- звано приложенными к объекту воздействиями. Если и при tt′> свойства системы по-прежнему полностью описываются вектором Tntxtx))(,),((1K=xи если n – наименьшее количество величин )(txi′, с помощью которых оказывается возможным предсказать значение ( )txпри всех tt′> по известным значениям )(tx ′ и известным на Т значениям приложенных воздействий, то вектор x(t) называ- ется вектором состояния (детерминированной) системы S в момент t (или векторам фазовых координат). Величины ix называются компонентами вектора состояния, или фазовыми координатами. Множество всех возможных состояний Tntxtx))(,),((1K=x в различные моменты времени Tt∈ образуют n-мерное пространство состояний nnRX⊂ (n – мерное фазовое пространство), точка nX∈x является изображающей точкой этого пространства. 1. Этапы построения и элементы математической модели технической задачи оптимизации процесса управления для детерминированных систем с сосредоточенными параметрами и непрерывным временем Этап Содержание этапа Элементы ММ Примечания I Неформальное описание за- дачи и ее анализ; выбор и обоснование степени точно- сти и детализации описания системы физическими тео- риями. Физическая поста- новка задачи Формулировка рассмотренного случая или узкой задачи исследова- ния в содержательных терминах. Установление физических законов, которым подчиняются различные объекты задач Подготавливают данные, на основе которых в дальнейшем строится ММ и формулируются специфиче- ские допущения, позволяющие ис- пользовать математические допу- щения II Формирование ММ. Матема- тическая постановка задачи На базе I этапа Выбор и перечисление пере- менных состояния (фазовых координат), области их опре- деления и интервала време- ни, на котором целесообраз- но рассматривать управляе- мый процесс. Выбор системы (или систем) координат, в которых целесообразно рас- сматривать процессы движе- ния и управления Вектор состояния (фазовых координат) nxRXxxxxxxnnTn=⊂∈=)dim(,,),...,,,(3 21размерность фазового пространства.Область определения x: nX, отрезок времени },{1 0ttttT≤≤=Выбор фазовых координат для кон- кретной задачи не является единст- венным (например, он зависит от выбора системы координат) II Установление общих зако- нов, которым подчиняется эволюция состояния рас- сматриваемой системы. Оценка области их примени- мости (области определения). ДУ движения ;)...,,,(;),,(2 1Tnffftdtd==fyxfxобласть определения f: 1,,mnYXTt∈∈∈yxЗдесь y – вектор пока неопределен- ных элементов в правой части уравнений движения. Выбор и перечисление управляющих переменных к Управляющие переменные mmTmRUuuu⊂∈=uu,)...,,,(2 1Вектор неопределенных элементов y либо становится управлением u, области их определения, а также управляющих пара- метров и возмущений. Управляющие (проектные)параметры rrTnRAaaa⊂∈=aa,)...,,,(2 1; возмущение ;,)...,,,(1 21msrmRWwwwssTs=++⊂∈=wwлибо известной функцией (t, x), либо управляющим параметром а. В стохастических задачах w – слу- чайные функции. Анализ технических ограни- чений на значение управ- ляющих воздействий, фазо- вые координаты и управ- ляющие параметры. Ограничения типа равенств 0)...,,,(),(2 1=ψψψ=µTt xψ; 0)...,,,(),,,(v2 1==TkkktauxkОграничения типа неравенств.Иногда ограничения представляют в виде: mmUU⊂∈u; nnXX⊂∈x; rrAA⊂∈a, где rnmAXU,,– замкнутые ограничения области. II Выбор функциональных классов для управлений и траекторий. Определение допустимых траекторий, управлений и управляющих параметров. Обычно u(t) – кусочно-непрерыв- ные ограничения функции времени t, x(t) – непрерывные кусочно- гладкие функции времени. Формулировка начальных и граничных условий (цели эволюции системы). Условие типа 0)...,,,()),(,;0)...,,,()),(,();2 2(0)...,,,()),(),(,,(2 21 11 12 10 02 11 01 0====++≤===TlTlTlgggtthhhttrnlgggttttg1   2   3   4   5   6   7   8   9   ...   15

4.1. Краткая формулировка задачи Пусть даны: • система дифференциальных уравнений движения ),,,(auxfxtdtd =, (11) где ),,,(auxf t определены для всех ,)...,,,(2 1nnTnRXxxx⊂∈=xrmAUttt∈∈≤≤au,,1 0, непрерывны по совокупности переменных (t, x, u, a) и непрерывно дифференцируемы по (x, a); • соотношения, которым удовлетворяют начальные ),(0 0xtи конечные ),(1 1xt фазы движения системы (11): )2 2...,,2,1(0),,,,(1 01 0rnljttgj++<==axx, (12) где функции jg непрерывно дифференцируемы по всем своим аргументам; • критерий качества управления (функционал) ∫+Φ=2 1),,,(),,,,(]),([0 10 10ttdttftttJauxaxxau, (13) где 0, fΦ обладают всеми необходимыми производными. Множество mU представляет собой замкнутую и ограниченную область евклидова m-мерного пространства mR. Функ- ция u(t) считается допустимой, если она кусочно-непрерывна и ее значения принадлежат множеству mmUtU∈)(: u, т.е. та- кие управления ui(t), каждое из которых непрерывно для всех рассматриваемых t, за исключением лишь конечного числа моментов времени, где функция ui (t) может терпеть разрывы первого рода. Во избежание недоразумений отметим, что, по определению разрывов первого рода, в точке разрыва τ предполагается существование конечных пределов: )(lim)0(),(lim)0(tuutuuttttτ>τ→τ<τ→=+τ=−τ4.2. Некоторые вспомогательные построения и терминология Вводятся: • зависящий от времени вектор сопряженных координат (вектор-функция множителей Лагранжа) Tntttt))(...,),(),(()(1 0λλλ=λ; (14) • постоянный вектор µ: Tl)...,,,(2 1µµµ=µ; (15) • вспомогательные функции (гамильтониан задачи оптимизации и функция Лагранжа) ),,,(),,,(),,,,(0 01auxauxaλuxtftftHniiiλ+λ=∑= (16) и ∑=Φλ+µ=ljjjttttgttL1 10 10 01 01 01 01 0),,,,(),,,,(),,,,,(axxaxxµaxx; (17) • система дифференциальных уравнений, сопряженная к (11) (13) и определяющая изменение вектора )(tλ, ),0(),,,(0nixtfxHdtdiknkkii=∂∂λ−=∂∂−=λ∑=aux. (18) З а м е ч а н и е . Система линейных дифференциальных уравнений yy)(tB=& называется сопряженной для системы x& = A(t)x + f(t), если )()(tAtBT−= и размерность векторов x и y (а также матриц B(t) и A(t)) одинаковы. Таким образом, система (18) является фактически сопряженной к линеаризованной системе (11), (20): )()(),()(),((ttutxtutxuufxxfxδ∂∂+δ∂∂=δ))))&, где )(ˆ),(ˆtt ux – некоторая опорная траектория и опорное управление, соответственно. С помощью функции H исходная система уравнений (1) записывается в виде ),0(),,,(nitfHdtdxiii==∂λ∂=aux. (19) Индексу i = 0 соответствует новая переменная )(0tx, определяемая скалярным уравнением ),,,(0 0auxtfdtdx =, (20) с начальным условием ),,,,()(1 01 000 00axxttxtxΦ==. (21) Система уравнений ∂∂−=∂∂−==∂∂=,;λxfxλfλxTTTHH&& (22) где xffλ∂∂=,TH – матрица Якоби, )...,,,(1 0nxxx=x, )...,,,(1 0nfff=f; 1+∈nXx, называется канонической системой дифференциальных уравнений, связанной с основной задачей. 4.3. Принцип максимума Л.С. Понтрягина Пусть ],[,))(...,),(()(1 0**1*ttttututTm∈=u – такое допустимое управление, а Traaa)...,,,(**2*1*=a – такое допустимое значение вектора параметров, что соответствующая им траектория x*(t) системы (11) удовлетворяет условиям (12) для кон- цов. Для оптимальности (в смысле минимума) критерия качества (13) управления u*(t), траектории x*(t) и вектора управ- ляющих параметров а*необходимо существование такого ненулевого переменного вектора 0const)(,))(...,),(),(()(0 10≥=λλλλ=tttttTnλ (обычно можно принимать 1 0=λ, см. следствие 2, п. 4.4) и такого постоян- ного вектора Tl)...,,,(2 1µµµ=µ, что выполняются следующие условия. 1. Вектор-функции x*(t), u*(t), )(tλ и вектор a* удовлетворяют системе =∂∂−=λλ∂∂=),0()),(),(),(,(;)),(),(),(,(*******1nixttttHdtdttttHdtdxiiiaλuxaλux (23) 2. Функция )),(,),(,(**aλxtuttH переменного mU∈u при каждом ],[1 0ttt∈, т.е. при фиксированных x* и λ и при фиксированном векторе а* достигает при u = u*(t) минимума): )),(,),(,(min)),(),(,()),(),(),(,(********aλuxaλxaλuxutttHtttHttttHmU∈=== (24) Случай максимума функционала J[u, a] сводится к задаче в данной постановке путем рассмотрения функционала ],[],[1auauJJ−=З а м е ч а н и е . В отличие от классической формулировки принципа максимума Л.С. Понтрягина в данном случае опе- рация max в (24) заменена на min. В соответствии с такой заменой необходимое условие (24) можно было бы назвать прин- ципом минимума. Следует обратить внимание, что в данном случае 0 0≥λ, тогда как в классической формулировке 0 0≤λТаким образом, оптимальное управление определяется как )),(,),(,(min arg)),(),(,()(******aλuxaλxuuutttHttttmU∈==. (25) Принцип максимума, следовательно, утверждает, что оптимальное управление u*(t) в каждый момент времени t мини- мизирует проекцию фазовой скорости ),,(uxfxt=& управляемого процесса (т.е. проекцию скорости изображающей точки 1+∈nXx) на направление, задаваемое вектором )(tλ; напомним, что ),,,(0auxfλxλtfHTniTii==λ=∑=& – скалярное произведение векторов )(tλи x&3. Сопряженные переменные )(tiλ и функция )),(),(),(,(***aλuxttttH непрерывны вдоль оптимальной траектории (аналог условия Эрдмана-Вейерштрасса классического вариационного исчисления). 4. Условия трансверсальности. Для концевых точек ),(0 0xt, ),(1 1xt и вектора параметров а* при произвольных вариа- циях концевых точек и параметров выполняются обобщенные условия трансверсальности 0 10 10 10=δ∂∂++δλ−δρ=ρρ=∑ ∫∑dtaaHdLxtHr ttttniii. (26) Здесь dL – полная вариация функции ),,,,,(1 01 0aµxxttL, определяемой уравнением (17): )27(,)()()()(1 10 10 00 11 00ρ=ρρ==δ∂∂+δ∂∂++δ∂∂+δ∂∂+δ∂∂=∑∑∑aaLtxtxLtxtxLttLttLdLriniiinii где ρδδδδδatxtxttii),(),(,,1 01 0 – произвольные вариации концевых точек и параметров. Обобщенные условия трансверсальности (26) с учетом выражения (27) приводят в силу независимости δt0, δt1, δti(t0), δti(t1), δaρ к следующим 2n + 2 + r соотношениям: 0 00 0=δ∂∂+−ttLHt; (28) 0 11 1=δ∂∂+ttLHt; (29) ),1(0)(0 0nitxxLitii==δ∂∂+λ; (30) ),1(0)(1 1nitxxLitii==δ∂∂+λ−; (31) ),1(0 10radtaHaLtt=ρ=δ∂∂+∂∂ρρρ∫. (32) Если какое-либо конечное условие )(),(1 0txtxii или параметр ρa закреплены (не варьируются), то соответствующая вариация равна нулю: )),(),(,,(0 10 10ρ==δatxtxttzzii. Если какое-либо конечное условие )(0txi, )(1txi или управляющий параметр ρa свободны, то равен нулю коэффициент при свободной вариации zδ в (30) – (32). Таким образом, совокупность условий, выражающих принцип максимума (23), (25), условий трансверсальности (26), дают необходимые условия оптимальности программного управления. Условия принципа максимума позволяют среди множества всех траекторий и управлений, переводящих систему из ),(0 0xt в ),(1 1xt, выделить те отдельные, вообще говоря, изолированные траектории и управления, которые могут быть оп- тимальными. В формулировке принципа максимума участвует 2n + 2 + m + 1 неизвестных функций )(...,),(),(:)(...,),(),(1 01 0ttttxtxtxnnλλλ; )(...,),(1tutum, для определения которых имеется (n + 1) дифференциальных уравнений физической системы (11), (20), (n + 1) дифференциальных уравнений сопряженной системы (18) и m конечных соотношений для ju, вытекающих из (24). Следовательно, для (2n + 2 + m) неизвестных функций имеется (2n + 2 + m) соотношений. Если известны все начальные условия λλλλ==Φ==TnTnttttttxtxtxt))(...,),(),(),(()(;))(...,),(),(,()(0 02 01 00 00 00 20 10 01   2   3   4   5   6   7   8   9   ...   15

λλxx (33) и фиксированное значение управляющего параметра а, то система (23) может быть проинтегрирована. Однако начальный и конечный моменты времени t0, t1, начальное и конечное значения вектора фазовых координат )...,,(),...,,(1 11 10 10 0nnxxxx==xx, начальное и конечное значения вектора сопряженных переменных )...,,,1(0 10 0nλλ=λ, )...,,,1(1 11 1nλλ=λ, постоянный вектор )...,,,(2 1lµµµ=µ и вектор управляющих параметров )...,,,(2 1raaa=a для опти- мального решения заранее неизвестны. Они могут быть определены из условий трансверсальности (28) – (32) и граничных условий (12). В самом деле, для определения (2 + 4n + l + r) неизвестных aµλλxx,,,,,,,1 01 01 0tt имеется два условия (28), (29), 2n условий (30), (31), r условий (32) и l условий (12); кроме того, 2n соотношений вида ),,,()(0 01 01 1xλxtttϕ=, ),,,()(0 01 02 1xλλtttϕ= будут получены в результате интегрирования системы (23). Таким образом, для полученной крае- вой задачи имеется достаточное число соотношений, позволяющих считать ее, по крайней мере, теоретически разрешимой. Необходимо также отметить, что принцип максимума дает глобальный минимум. Численные методы решения краевых задач приведены в [20, 23]. 4.4. Некоторые следствия принципа максимума 1. Непосредственным следствием системы (23) и условия (24) является выполнение между точками разрыва функции u(t) соотношения tHdtdH∂∂=. (34) Это условие для автономных систем (т.е. систем, не зависящих явно от t) приводит к первому интегралу: H = const вдоль всей оптимальной траектории, хотя в общем случае условие (34) неверно, условия скачка обоснованы и получены. 2. В большинстве практических случаев 0 0>λ (так называемый нормальный случай), и поэтому без нарушения общ- ности в силу однородности функции H по переменным λi можно принять λ0 = 1. П р и м е ч а н и е . Из-за однородности H по λi управление u из (25) определяется не самими величинами λi, а их отно- шениями к одной из них, например, к λ0. Это эквивалентно принятию λ0 = 1. Случай λ0 = 0 является особым (анормальным) и здесь не рассматривается. 3. Условия (24), (25) принципа максимума позволяют найти оптимальные значения всех m компонент вектора u. Если минимум H по u достигается во внутренней точке множества Um и функции if дифференцируемы по u, то *ju опре- деляются из условия ),1(0*mjuHj==∂∂=uu. (35) Это условие совместно с (23) образует условие Эйлера-Лагранжа классического вариационного исчисления для задачи (11) – (13) [24 – 27]. П р и м е ч а н и е . Минимум H по u далеко не всегда достигается во внутренней точке множества mU, а в тех случаях, когда он достигается во внутренней точке, последняя не обязательно является стационарной (рис. 7). Типы минимизирую- щих точек довольно разнообразны. Из них особо следует отметить случаи нестрогого минимума, так как принцип максиму- ма не позволяет для них однозначно определить u*. Этот случай в теории оптимального управления является особым. а – внутренний min H(u) в стационарной точке; б, в – граничный min H(u); г – граничный min H(u); uс1, uс2 – стационарные точки локальных max и min; д – внутренний min H(u) в угловой точке; uс3 – точка перегиба; е – две изолированные минимизирующие точки 2 и 3; ж – нестрогий min H(u) на отрезке 4 – 5 и изолированный min H(u) в точке 6 Если функция H достигает минимального значения в точке на границе mUГ области mU, то условие (35) не является более необходимым в этой точке. При этом возможны три случая: а) множество mU описывается системой связей в виде равенств )...,,2,1(0)...,,,(2 1msuuumS<ν==χ; (36) тогда минимум H при условиях (36) находится методом неопределенных множителей Лагранжа; б) множество mU задано системой неравенств ...),3,2,1(0)...,,,(1 21 1=≤ℵsuuums; (37) тогда задача сводится на каждом шаге интегрирования к проблеме нелинейного программирования; в) множество mU является ограниченной областью, не имеющей границ (например, замкнутой двумерной поверхно- стью типа сферы или эллипсоида в трехмерном пространстве). Для всякой непрерывной функции H(u), имеющей непрерыв- ные частные производные, заданной на замкнутой поверхности и выраженной через параметрические координаты этой по- верхности, точка максимума H по этим параметрическим координатам принадлежит к числу решений (35), где роль ju иг- рают параметрические координаты поверхности. П р и м е р . Пусть ),,(3 21uuuH задана на сфере. Тогда замена ϕθ=cos sin1ru, ϕθ=sin sin2ru, θ= cos3ru приводит к ),,(),,(3 21rHuuuHϕθ= – периодической функции с периодом π2 по θ и ϕ и в точке минимума HH= имеют место равенства 0=∂ϕ∂=∂θ∂HH4. Условия (35) определяют лишь внутреннюю стационарную точку функции H. Если u* = u удовлетворяет системе (35) и доставляет минимум функции H(u), то должны быть выполнены необходимые условия второго порядка: матрица ча- стных производных второго порядка функции H(u) ),1,(2mjiuuHHji=∂∂∂=uu (38) должна быть неотрицательно определенной в точке u* минимума функции H(u). Положительная определенность матрицы Нuu при выполнении условий (35) в точке u* является достаточным условием для относительного (но не абсолютного!) минимума H(u) в этой точке. Условие (38) неотрицательной определенности мат- рицы Нuu представляет собой условия Лежандра-Клебша классического вариационного исчисления [25 – 27]. Проверка положительной определенности матрицы Нuu может проводиться по критерию Сильвестра: для положитель- ной определенности матрицы Нuu необходимо и достаточно, чтобы ее угловые миноры были положительными. В частности, для положительно определенной матрицы Нuu выполняется условие 0det2>∂∂∂u*jiuuH, (39) являющееся аналогом условия Гильберта неособенности (невырожденности) вариационной задачи (см. п. 9.4). 5. Приведенная формулировка принципа максимума остается справедливой и для случая, когда область mU зависит явным образом от времени t: )(tUUmm=З а м е ч а н и е . Принцип максимума является, вообще говоря, лишь необходимым условием. Любое допустимое опти- мальное управление, если оно существует, удовлетворяет принципу максимума. Однако не всякое допустимое управление, удовлетворяющее принципу максимума, является оптимальным. Поэтому после определения управления на основе необхо- димых условий следует убедиться в его оптимальности. Для этого служат достаточные условия оптимальности. В некоторых случаях принцип максимума является не только необходимым, но и достаточным условием оптимально- сти управления u(t). Пусть, например, найдено допустимое управление u*(t), которое переводит заданное начальное состоя- ние 0 0)(xx=t линейной относительно фазовых координат системы mUttA∈+=uuhxx),,()(&, (40) где mU – замкнутое ограниченное множество; A(t), h(u, t) – непрерывные функции t, u; ),...,,(2 1nxxx=x, )...,,,(2 1muuu=uв заданное конечное состояние 1 1)(xx=t. Введем такую систему начальных значений сопряженных переменных 0,),...,,()(00 010 00 0>λλλλ=Tntλ, что u*(t) минимизирует в каждый момент t функцию ),()(),(0 00ttthHTuhλu+λ=по всем mU∈u, где xxλλ∂∂λ−−=)),(()()()(*0 00ttfttAtTT&Тогда управление u*(t) минимизирует на траекториях x*(t) системы (40), проходящих через 1 0,xx, критерий качества ∫+=1 0)],(),([)]([0 0ttdtthtftJuxu, если только ),(0tfx является однозначной выпуклой вниз функцией x для всех ],[1 0ttt∈З а м е ч а н и е . Функция ),(0tfx называется выпуклой вниз по x при ],[1 0ttt∈, если для всех nnRR∈∈xx,),(),()(),(0 00tftftfxxxxxx≤+−∂∂Контрольные вопросы 1. Приведите формулировку принципа максимума. 2. Расскажите о следствиях принципа максимума. 3. Каким условием является принцип максимума? Г л а в а 5 НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ ДЛЯ ОСНОВНОЙ ЗАДАЧИ СИНТЕЗА ЗАКОНА УПРАВЛЕНИЯ. МЕТОД ДИНАМИЧЕСКОГО ПРОГРАММИРОВАНИЯ 5.1. Задача синтеза оптимального закона управления Для синтеза оптимального закона управления систем с обратной связью, оптимальных замкнутых контуров управления, оптимальных законов наведения и т.д. более естественен другой подход, чем использованный при решении задач, описан- ных в гл. 4, 9. В отличие от уравнений Эйлера–Лагранжа и принципа максимума Понтрягина, использующих временное представле- ние оптимального управления [в форме u* = u(t)] для единичного объекта управления, этот подход рассматривает оптималь- ное управление в форме закона u* = v*(x, t) (координатное управление, управление в форме обратной связи) для множества однородных объектов, отличающихся различными начальными состояниями. С точки зрения механики, этот подход соответствует рассмотрению распространения «волн возбуждения» от некоторо- го источника в неоднородной среде. Общность обоих подходов устанавливает проективная геометрия, с точки зрения кото- рой траектория точки в фазовом пространстве может рассматриваться и как последовательность точек и как огибающая сво- их касательных. Последовательное применение описываемого подхода к задачам оптимального управления приводит для непрерывных процессов к дифференциальному уравнению (нелинейному) в частных производных первого порядка типа уравнения Га- мильтона–Якоби [25 – 27]. Один из возможных способов получения этого уравнения состоит в использовании принципа оптимальности динамиче- ского программирования. Динамическое программирование является довольно общим методом, разработанным для решения общих задач многоэтапного выбора (т.е. задач, в которых результаты предыдущих операций можно использовать для управ- ления ходом будущих операций). 5.2. Принцип оптимальности динамического программирования Принцип оптимальности. В основе динамического программирования лежит сформулированный Р. Беллманом прин- цип оптимальности: «Оптимальная политика обладает тем свойством, что каковы бы ни были начальное состояние и перво- начально принятое решение, последующие решения должны составлять оптимальную политику относительно состояния, получившегося в результате первоначально принятого решения» [19, 28]. Или, оптимальное управление не зависит от того, каким образом пришла система к данному состоянию при tt′= (т.е. не зависит от «предыстории» движения) и для будущих моментов времени полностью определяется лишь состоянием системы в рассматриваемый момент времени. Как частный случай в динамическом программировании рассматриваются задачи управления непрерывными процесса- ми (основная задача оптимального координатного управления). Краткая формулировка задачи. Пусть дана система уравнений движения ),,(uxfxtdtd =, (41) где mTmUuuu∈=)...,,,(2 1u; nTnXxxx∈=)...,,,(2 1x; Tntftftf)),,(...,),,,(),,,((2 1uxuxuxf=, и граничные условия 1 10 0)(;)(xxxx==tt. (42) Требуется синтезировать закон оптимального управления u* = v*(x, t), минимизирующий значение функционала dttftJtt∫=1 0),,(],,[0 00uxux. (43) Необходимые условия. Пусть в (n + 1)-мерном пространстве ),(TXn имеется некоторая область G(x, t) начальных значений )),(),((,0 00 0tGttxxx∈, для каждой точки которой существует оптимальное (в смысле минимума ],,[0 0uxtJуправление u*(t), переводящее эти начальные точки в некоторую фиксированную точку ),)((1 11ttxx=; 1 1, tx – заданы. На таких оптимальных управлениях минимальное значение критерия качества (43) будет зависеть лишь от начальных значений 0 0, tx. Таким образом, ),(0 0*minxtVJJ==, где ),(0 0xtV – некоторая функция (n + 1) переменного 0 10 0...,,,nxxtИмея в виду произвольную точку области G(x, t), в дальнейшем, в целях упрощения записи, нижний индекс «0» будем опускать. Таким образом, функция V(t, 1   2   3   4   5   6   7   8   9   ...   15

ηuℵ. (111) Здесь ∂∂∂∂∂∂∂∂∂∂=∂∂2 12 11 21 12 21 12 21 2,,,,mmmuHuuHuuHuHHLLLLLuУсловия (110) и (111) эквивалентны требованию положительности корней s характеристического уравнения 0 0,det)(2 12=∂∂∂∂−∂∂=uuuℵℵTsEHsD. (112) Неравенство нулю определителя матрицы ∂∂∂∂∂∂0 21 2uuuℵℵTH (113) во всех точках x*(t), u*(t) оптимальной траектории эквивалентно условию Гильберта (см. п. 9.4) и в данном случае означает непрерывность управления u*(t). Если указанный определитель отличен от нуля в каждой точке экстремали, то задача назы- вается невырожденной. С л е д с т в и я . 1. Условия для открытого ядра области ),( xtUm (условия (95) – (99)) означают, что во всех точках тра- ектории, в которых минимум H по u, ),( tUmxu∈ достигается при выполнении строгих неравенств ),1(0),,(viti=>ℵux (114) (т.е. в так называемом открытом ядре области ),( tUmx) справедлив принцип максимума (см. п. 4.3), не учитывающий нали- чие связей (89). Здесь все ),1(0 1vii==β и дифференциальные уравнения (95)–(96) при условии (99), дающем ),,(λxuut=имеют единственное решение: λλ=λλ=).,,,();,,,(0 00 00 0iiiiiittttxxxx (115) В этом случае ),,,(0 00ittλ=xuu (116) и решение задачи оптимизации погружено в (2n + 1) параметрическое семейство решений, причем решение (115) зависит от параметров ),,,(0 00iixttλ, по крайней мере, непрерывно. Если же на траектории нет точек разрыва функции u(t), то решение, по крайней мере, дважды непрерывно дифференци- руемо по ),,,(0 00iixttλ2. Если ),,(uxtiℵ не зависит явно от x, то условия (95), (99) эквивалентны принципу максимума п. 4.3, так как в этом случае ),( tUmx зависит лишь от t: )(tUUmm=3. Условия для границы области ),( tUmx находятся следующим образом. Если при определении минимума H по u часть компонент вектора ℵ удовлетворяются в виде равенств, то недостающие множители jβ могут быть найдены из усло- вий (102). Если минимум H по u достигается во внутренней точке области mU, то управление ju и множители jβ нахо- дятся из условий (102) и тех из (89), которые выполняются в виде равенств 0),,(;0==∂∂+∂∂uxβuutHTℵℵ (117) Из (117) находятся u и β. При этом ),(),,(λxββλxuu== непрерывны в точке соединения, если только в ней нет раз- рыва в функции u(t). Контрольные вопросы 1. Типы граничных условий. 2. Необходимые условия оптимальности. 3. Аналог необходимого условия Клебша. Г л а в а 9 ЭЛЕМЕНТЫ КЛАССИЧЕСКОГО ВАРИАЦИОННОГО ИСЧИСЛЕНИЯ Задачи, в которых уравнения движения не приведены к форме Коши (т.е. не записаны в виде дифференциальных урав- нений первого порядка, разрешенных относительно производных)*, а управляющие функции u(t) явно не введены (и по ка- ким-либо причинам такое приведение невозможно или нежелательно), можно решать методами классического вариационно- го исчисления. Отметим, что с точки зрения вычислений всегда желательно привести систему уравнений к форме Коши, так как имен- но для такой системы разработаны эффективные алгоритмы численного интегрирования. 9.1. Задачи Больца, Майера, Лагранжа Задача Больца. Одна из наиболее общих формулировок для задач с однократными интегралами и дополнительными условиями заключается в следующем. Пусть класс траекторий определяется: 1) кривыми x(t) c координатами 1 0),,1()(tttnitxi≤≤=; 2) параметрами ),1(rjaj=Параметры ja можно рассматривать как некоторые постоянные координаты кривой С: Ytt)),(()(axz= в (n + r)-мерном пространстве, Trnaaxxxz)...,,,...,,,(1 21=Пусть кривые (x(t), a) удовлетворяют уравнениям движения (или уравнениям связей, вообще говоря, неинтегрируемым) вида ),1(0),,,(nmjtFj<===axx& (118) и условиям ),1(0),,,()),(,),(,(1 01 10 0ρ==+Φ=∫kdttfttttIttkkkaxxaxx&, (119) где Tnxxdtd)...,,(1&&&==xxНеобходимо найти кривую из указанного класса траекторий, которая минимизирует функционал ∫+Φ=1 0),,,(),,,,(1 10 0ttdttfttJaxxaxx&. (120) Задача Майера. Эта задача формально получается из задачи Больца при ),1(0,0ρ=≡≡kffk. В этом случае краевые условия (119) становятся общими граничными условиями, число которых должно быть 2 2++=ρrn. Если фиксирован век- тор параметров а, то число степеней свободы σ системы дифференциальных уравнений (118), равное разности между чис- лом зависимых переменных и числом независимых дифференциальных уравнений, для задачи Майера равно: mn−=σЗадача Лагранжа. Эта задача вытекает из задачи Больца при ρ=≡≡Φ,1,0,0kfkВиды связей и граничных условий. Связи вида (119) при )(akkΦ=Φ, т.е. при ∫Φ−=tttkkdttf0)(),,,(aaxx &, где все или часть компонент вектора а фиксирована, называются изопериметрическими. Если 0≡kf, то связи типа (119) задают под- вижные граничные условия. Если связи типа (119) имеют вид ,,0);,1(0)();,1(0)(10 12 200 01 22 11 10 02 22 11 1ttttnkxtxnkxtxnnkkkkkk−≡Φ=−≡Φ==−≡Φ==−≡Φ++где 10 0...,,1txk – заданные числа, то граничные условия называются закрепленными. Если 0;0;,1;,1 10 100 01 21=−=−<==ttttnnknk, то 1n концов закреплено, а остальные условия называются свобод- ными граничными условиями. Если граничные условия 0),,,(1 01 0=Φxxttk при ),1,0(ρ==kfk можно разбить на две группы 0),(0 01=Φxtk; 0),(1 12=Φxtk; nkk<ρρ+ρ=ρ=1 12 11,...,,1,,1 и если ),(),(0 01 1xxthtq−≡Φ, то задача называется задачей с разделенными условиями для концов. Общие условия (119) называются смешанными граничными условиями. 9.2. Первое необходимое условие экстремума функционала в задаче Больца Первое необходимое условие экстремума состоит из: • правила множителей Лагранжа; • уравнений Эйлера–Лагранжа; • условий Эрдмана–Вейерштрасса; • условий трансверсальности. Пусть минимизирующая кривая С: {x = x(t), a} допускает в любой точке слабые (малые как по x(t), так и по )(tx&) ва- риации )()()(),()()(ttttttxxxxxx&&&−=δ−=δ по любым совместимым со связями (118) направлениям в пространстве nnXX∈x, и функции kkffΦΦ,,, обладают непрерывными производными до третьего порядка. Тогда необходимые ус- ловия экстремума формулируются следующим образом. Правило множителей Лагранжа: существуют функции µ0, µk, )(tjλ и функции ∑∑ρ==++=1 10),,,()(kmjjjkktFtffFaxxλµµ&; (121) ∑ρ=Φ+Φ=1 11 00 11 00 0)),(,),(,()),(,),(,(kkkttttttttLaxxµaxxµ (122) такие, что множители kµµ,0 0≥ – постоянные и решение исходной задачи на условный экстремум лежит среди решений задачи на безусловный экстремум для вспомогательного функционала ∫+=1 0ttFdtLJВсегда можно считать 1 0=µ, за исключением особых (анормальных) случаев. Уравнения Эйлера–Лагранжа. Между угловыми точками (см. 126) минимизирующей кривой: C: {x = x(t), a} выполня- ются уравнения Эйлера–Лагранжа: tnixiFFxFdtdi=−∑=1&&; (123) ),1(0niFdtdFiixx==−&, (124) где tFFxFFxFFtixixii∂∂=∂∂=∂∂=;;&&З а м е ч а н и е . Уравнение (123) является следствием остальных (при условии, что все )(txi обладают вторыми произ- водными) и для функций F, не содержащих явно t, приводит к первому интегралу. CFxFnixii=−∑=1&& (125) в силу (127), (128), непрерывному при переходе через угловую точку. Решения x(t) уравнения Эйлера–Лагранжа называются экстремалями независимо от того, являются ли они минимизи- рующими, максимизирующими или седловыми кривыми для функционала J со связями (118), (119). Условия Эрдмана–Вейерштрасса. Величины ∑=−nixiiFxF1&& и ),1(niFix=& непрерывны вдоль кривой С: {x = x(t), a}. В частности, если при tt′= кривая С имеет угловую точку, т.е. хотя бы по одной компоненте )(txi имеет место разрыв (перво- го рода) в производной: ++′=−′==≠=ittittiixdttdxdttdxx&&0 0)()(, (126) то справедливы соотношения ),1(niFxFxFFiiiiiixxxixxix==∂∂=∂∂=+==+&&&&&&&& (127) и 1 11 1∑∑∑∑=+++=====−=−=−=−+−nixixxnixixxnixinixiiiiiiiiiFxFFxFFxFFxF&&&&&&&&&&&&(128) Здесь ),...,(;),...,,(;),,,(;),,,(2 12 1TnTnxxxxxxtFFtFF−−−−++++=+=−=====+−&&&&&&&&&&&&&&xxaxxaxxxxxxУсловие трансверсальности. Концевые точки 0 и 1 кривой С: {x = x(t), a} таковы, что равенство ∑∫∑∑====+++−rjttjaniixnixidtdaFdLdxFdtFxFjii1 10 11 10 0&&& (129) выполняется тождественно для jiiiidatdxdxtdxdxdtdt),(),(,,1 10 01 0== (т.е. для всех произвольных и независимых значений указанных вариаций концов траекторий и вариаций параметров). Здесь dL – полный дифференциал функции ),),(),(,,(1 01 0kttttL1   ...   7   8   9   10   11   12   13   14   15

µaxx: ∑∑∑===∂∂+∂∂+∂∂+∂∂+∂∂=rjjjniiiniiidaaLdxxLdttLdxxLdttLdL1 11 11 11 00 00. (130) З а м е ч а н и е . Если )(),(1 10 0aatttt==, то jrjjdaatdt∑=∂∂=1 00)(a, ∑=∂∂=rjjjdaatdt1 11)(a. В силу независимости величин 1 01 0,,,iidxdxdtdt условие (129) эквивалентно 2n + 2 + r равенствам вида ),1(0,...,0 11 11 1nidxxLFdttLFxFittixttnixiii==∂∂+=∂∂+−===∑&&&; (131) ),1(0...,,0 01 00nidxxLFdttLFxFittixttnixiii==∂∂+∂∂+−===∑&&&; (132) ),1(0 10nidadtaFaLjttjj==∂∂+∂∂∫, (133) число которых достаточно для того, чтобы совместно с уравнениями (118), (119), (124) определить недостающие значения ),1(),,1()(),,1()(),,1(,0rjanitxmjtkjijk===ρ=λµµ9.3. Второе необходимое условие минимума функционала в задаче Больца (условие Вейерштрасса) для случая f≡ 0, fk≡ 0 Для допустимой кривой С: {x = x(t), a}, реализующей минимум в задаче Больца, всегда существует такая система мно- жителей ),1()(),,0(mjtkjk=ρ=λµ, что для кривой С с этими множителями выполняется правило множителей (см. п. 9.2), а для всякого элемента ),,,,(λµxx &t (в том числе и в угловых точках) кривой С функция Вейерштрасса ),,,,(XλxxE&&t: ∑=−−−=nixiitFxXtFtFti1),,,()(),,,(),,,(),,,,(λxxλxxλXxXλxxE&&&&&&&& (134) удовлетворяет неравенству 0),,,,(≥XλxxЕ&&t. (135) Неравенство (135) имеет место при всех возможных допустимых элементах ),,,(λXx&t, не совпадающих с элементами ),,,(λxx&t кривой С, но удовлетворяющих условиям ),1(0),,,(mjtFj==axx &Если минимизирующая кривая C: {x = x(t), a} нормальна, то система множителей ),1,,1()(λ,µ,1µ0ρ===kmjtjk – единственна и условие Вейерштрасса для этой системы выполняется. 9.4. Третье необходимое условие минимума в задаче Больца (условие Лежандра–Клебша) для случая f = 0, fk = 0 Если кривая С: {x = x(t), a} реализует минимум в задаче Больца, то всегда найдется такая система множителей µ0, µk),1(ρ=k, ),1()(λmjtj=, что для этой кривой С удовлетворяется правило множителей, а для всякого ее элемента ),,,,(λµxx&tвыполняется неравенство 0ξξ),,,(1 1≥∑∑==ninkkixxtFkiλxx&&& (136) при любых )0...,,0,0()...,,,(2 1≠ξξξ=nξ, удовлетворяющих уравнениям ),1(0),,(1mjtFinixjj==∑=ξxx&&, (137) где kixxijjxxxFFxFFkii&&&&&∂∂∂=∂∂=2;В рассматриваемой задаче важную роль играет матрица =αγ0)(0TxxxxFFFFFFkikixxxx&&&&&&&& (138) ),1,(;),...,,(),...,,(),,1,(2 21 21mxxFFxxxFFFFnkikinm=γα∂∂∂=∂∂==&&&&&&&&xxxОпределитель этой матрицы называется определителем Гильберта. Вариационные задачи с отличным от нуля опреде- лителем Гильберта называется регулярными (невырожденными). 9.5. Четвертое необходимое условие в задаче Больца (условие Якоби–Майера–Кнезера) Условие Якоби–Майера–Кнезера носит нелокальный (интегральный) характер и характеризует экстремальность всей кривой в целом на основе рассмотрения поведения экстремалей, лежащих в малой окрестности от данной экстремали. Условие Якоби–Майера–Кнезера. Чтобы экстремаль C: {x(t)} доставляла на отрезке ],[1 0tt минимум функционалу в задаче Больца, необходимо, чтобы отрезок ],[1 0tt не содержал точек, сопряженных с 0tСопряженная точка. Считается, что экстремаль C: {x(t)} имеет на интервале ),(1 0tt точку t, 1 0 ttt<<, сопряженную с 0t, если существует последовательность экстремалей, выходящих из той же начальной точки ))(,(0 0ttx и бесконечно близких к данной экстремали x(t), такая, что каждая из этих экстремалей пересекает данную экстремаль x(t) и последова- тельность точек пересечения имеют точку tсвоим пределом. Сопряженная точка ))(,(ttx является точкой касания экстре- мали x(t) с огибающей семейства экстремалей, в которое данная экстремаль x(t) включена (заметим, что огибающая может вырождаться в точку). Это показывает, что в сопряженной точке ))(,(tt x расстояние между данной экстремалью x(t) и про- извольной близкой экстремалью )( tx, выходящей из той же начальной точки ))(,(0 0ttx, есть величина выше первого поряд- ка малости по сравнению с указанным расстоянием вне сопряженной точки ))(,(ttx (т.е. при ttt0<≤). Методы определения сопряженных точек весьма трудоемки. В частности, они могут основываться на вычислении опре- делителей Майера–Кнезера. Для задачи Майера (см. п. 9.1) с закрепленными концами ,),,1(0),,(1 0tttmjtFj≤≤==xx & (139) где 1 0, tt – заданные числа, ))(...,),((ˆ)(ˆ,)(1 11 11 10 0txtxttn−===xxxx, (140) где 1 0ˆ,xx – заданные векторы, и с функционалом )(),,,(1 10 10txttJn=Φ=xx (141) сопряженная точка tможет быть вычислена как момент времени, в который обращается в нуль определитель Кнезера: 0),(),(),(),(),...,,(),...,,(),(0,1 01 10 01 0,1 01 10 010,1 20 10 12 10=∂λλ∂∂λλ∂∂λλ∂∂λλ∂=λλλ∂∂=λ=−−−−=−−ttnnnnttnntxtxtxtxxxxtDLLLLL, (142) Tn)...,,,(0,1 20 10 0−λλλ=λ; (143) где )),(...,),,((),(0 10 10λλλxtxtxxn−=) – экстремаль, удовлетворяющая при 0λλ= заданным условиям (140). З а м е ч а н и е . При применении численных методов решения краевой задачи иногда [например, в методе Ньютона] од- новременно с основной экстремалью x(t) вычисляется (n – 1) дополнительных экстремалей )(1tn−x, лежащих в близкой окре- стности к основной и выходящих из той же точки (начальной) ),(0 0xt по линейно-независимым направлениям (соответст- вующим линейно-независимым начальным условиям для множителей Лагранжа 0λ). В этом случае можно утверждать, что точка t будет сопряженной с точкой 0t в сформулированной выше задаче, если в точке t определитель ttnnnnnnnnntxtxtxtxtxtxtxtxtxtxtxtxtxtxtxtxtxtxt1 11)1(2 2)1(1 1)2(1 1)2(2 2)2(1 1)1(1 1)1(2 2)1(1 10)()(,),()(),()()()(,),()(),()()()(,),()(),()(),(=−−−−−−−−−−−−−−−−−−=λ∆LLLLLLL(144) представляет бесконечно малую величину более высокого порядка, чем при ttt0≤≤Контрольные вопросы 1. Задачи Больца, Майера, Лагранжа; привести формулировки. 2. Первое необходимое условие экстремума функционала в задаче Больца. 3. Второе необходимое условие минимума функционала в задаче Больца (условие Вейерштрасса) для случая f ≡ 0, fk≡ 0. 4. Третье необходимое условие минимума в задаче Больца (условие Лежандра–Клебша) для случая f = 0, fk = 0. 5. Четвертое необходимое условие в задаче Больца (условие Якоби–Майера–Кнезера). Г л а в а 1 0 НЕОБХОДИМЫЕ УСЛОВИЯ ОПТИМАЛЬНОСТИ В ЗАДАЧАХ С РАЗРЫВНЫМИ ФАЗОВЫМИ КООРДИНАТАМИДля ряда технических систем, в частности механики полета (особенно для ракетодинамики) важен случай, в котором допускаются конечные разрывы (разрывы первого рода) в фазовой траектории (например, мгновенный «сброс» массы после отделения ступени). При расчете ступенчатых ракет, химических реакторов, а также целого ряда химико-технологических и информационных процессов, полезны результаты следующей задачи с фиксированным заранее числом разрывов и варьи- руемой переменной величиной «скачка» в точке разрыва. 10.1. Краткая формулировка задачи Пусть q – 1 – число интервалов, внутри которых траектория непрерывна; ),1(qjtj= – моменты времени, в которые на- ступают разрывы фазовых координат. Точки jt считаются в общем случае неизвестными. Индекс j указывает, что функции рассматриваются на j-ом отрезке времени 1+≤≤jjtttНа каждом j-ом отрезке задана система связей 0))(),(,()(=tttjxxF&, (145) где ,)...,,,(;)...,,,(;)...,,,(2 12 1)()(2)(1)(TnTnTjmjjjxxxxxxFFF&&&& ===xxFи краевые условия в точке разрыва функций )(txi0))(),(,(=−+srjtttxxg, (146) где )1(2;;2;;1 1;;,1;)...,,,(2 12 1qnqpttttqjjsqjjrqjgggqjTp+−≤<<<<<≤≤=−≤≤===gТребуется минимизировать функционал ))(),(,(−+Φ=srjtttJxx. (147) З а м е ч а н и е . Здесь величины )(+rt1   ...   7   8   9   10   11   12   13   14   15

x) – минимальное значение критерия качества (43) на оптимальных траекториях системы
(41), начинающихся в точке (t, x) и заканчивающихся в фиксированной точке (t
1
, x
1
),


=
1
)
,
,
(
min
)
,
(
0
t
t
U
dt
t
f
t
V
m
u
x
x
u
(44) на траекториях (1) из (t, x) в (t
1
, x
1
).
Функция V(t, x) является аналогом «действия» в аналитической механике и «экстремального интеграла» в классическом вариационном исчислении.
Если функция V(t, x) существует и является непрерывно дифференцируемой по (t, x), то она удовлетворяет основному уравнению динамического программирования, которое является необходимым и достаточным условием, – дифференциальному уравне- нию в частных производных первого порядка (уравнению Гамильтона–Беллмана)
0
)
,
,
,
(
min
=


+



u
x
x
u
V
t
H
t
V
m
U
(45) с граничным условием
0
)
,
(
1 1
=
x
t
V
; (46) здесь
)
,
,
(
)
,
,
(
)
,
,
,
(
0
u
x
f
u
x
u
x
x
x
t
V
t
f
V
t
H
+
=
, (47) где
x
x


=
V
V
(см. табл. 2).
Уравнение (45) аналогично уравнению Гамильтона–Якоби классического вариационного исчисления – достаточное ус- ловие:

0
)
,
,
(
=


+


x
x
H
V
t
t
V
, (48) где функция H получена в результате подстановки в функцию
)
,
,
,
(
u
x
x
V
t
H
управления
)
,
,
(
0 0
x
x
u
u
V
t
=
, найденного из условия стационарности этой функции,
)
,
1
(
0
m
j
u
H
j
=
=


. (49)
Из (45) можно определить оптимальный закон управления








=








=
=

x
x
u
u
x
x
x
v
u
u
V
t
V
t
H
t
m
U
,
,
,
,
,
min arg
)
,
(
*
*
*
. (50)
Геометрический смысл условия (50) пояснен на рис. 3.8. Если функция V(t, x) найдена путем решения уравнения (45) с условием (46), то проблема синтеза решена, так как для известной функции V(t, x) имеем
)
,
(
)
,
(
,
,
*
*
*
x
v
x
x
x
u
u
t
t
V
t
=








=
. (51)
Рис. 3.8. Геометрический смысл условия
)]
,
,
(
[
min
)
,
,
,
(
min
u
x
u
x
x
u
x
u
t
f
V
V
t
H
m
m
U
U


=
:
,
0
,
2
,
)],
(
[
min
)
,
(
0
=
=
=


=
=

f
m
n
V
V
t
u
J
t
V
m
U
x
x
x
u
*
x& – оптимальная фазовая скорость:
)
,
,
(
*
*
u
x
f
x
t
=
&
;
u
*
(t, x) – оптимальное управление:
)
,
,
,
(
min arg
*
u
x
u
x
u
V
t
H
m
U

=
;
x
*
– оптимальная траектория
Подобно тому, как принцип максимума Понтрягина придает удобную форму и уточняет условие Вейерштрасса (см. п.
9.3) для основной задачи оптимального программного управления в случае замкнутой области значений управления
m
U
, так и уравнение Гамильтона–Беллмана является уточнением и обобщением уравнения Гамильтона–Якоби. Уточнение состоит в том, что вместо условия стационарности
0
=


u
H
там, где оно не отвечает существу дела, в (45) используется условие









u
x
x
u
,
,
,
min
V
t
H
m
U
В приведенном условии (45) требование непрерывной дифференцируемости (гладкости) функции V(t, x) является суще- ственным. Но в отличие от принципа максимума, где утверждается существование необходимой для него вектор-функции
)
(t
λ
, существование гладкого потенциала V(t, x) в методе динамического программирования не доказывается. Это снижает ценность необходимого условия (45), так как для негладкой функции V(t, x) трудно сохранить необходимость его в полном объеме.


5.3. Ослабленное необходимое условие
Уточненное необходимое условие для основной задачи оптимального координатного управления на основе принципа оптимальности, частично свободное от требования непрерывной дифференцируемости функции V(t, x), формулируется сле- дующим образом.
Формулировка задачи
.
Пусть краевые условия имеют вид
0
))
(
,
(
;
)
(
1 1
0 0
=
=
t
t
t
x
q
x
x
. (52)
Минимизируемый функционал имеет вид
dt
t
f
t
t
t
J
t
t
)
,
,
(
))
(
,
(
]
,
,
[
2 1
0 1
1 0
0
u
x
x
u
x

+
Φ
=
(53) и определен на траекториях системы (41) с управлением
)
,
(
)
(
x
u
t
U
t
m

Закон управления v(t, x) считается допустимым, если u(t) = v(t, x(t)),
)
,
(
))
(
,
(
x
x
v
t
U
t
t
m

, и является кусочно- непрерывным.
Если управление u = u*(t),
1 0
t
t
t


доставляет минимум функционалу J, то ему соответствует оптимальная траектория
x
*
(t).
Пусть
)
54
(
))
(
),
(
,
(
))
(
,
(
)
,
,
(
))
(
,
(
min
)
,
(
*
1 0
1 0
*
*
0
*
1
*
1 0
1 1
0 0
dt
t
t
t
f
t
t
dt
t
f
t
t
t
V
t
t
t
t
U
m


+
Φ
=
=








+
Φ
=

u
x
x
u
x
x
x
u
Тогда

+
Φ

1 0
))
(
),
(
,
(
))
(
,
(
)
,
(
0 1
1 0
0
t
t
dt
t
t
t
f
t
t
t
V
u
x
x
x
, где u(t) произвольно.
Необходимые условия
.
Предполагается, что искомое оптимальное управление u* = v
*
(t, x) существует. Тогда можно ус- тановить необходимые условия для основной задачи оптимального координатного управления.
Пусть в области G пространства состояний
n
X
выполняются следующие условия.
1. Для
G
x
∈ в момент t функция

=


+
=








n
i
i
i
t
f
x
V
t
f
V
t
H
1 0
)
,
,
(
)
,
,
(
,
,
,
u
x
u
x
u
x
x
имеет абсолютный минимум по u, т.е.
)
,
,
(
min
*
x
u
x V
t
H
H
=
при
)
,
,
(
)
,
(
*
*
*
x
x
u
x
v
u
V
t
t
=
=
по всем допустимым
)
,
(
)
(
x
u
t
U
t
m

, где
x
x


= V
V
– градиент V(t, x).
2. Решение x(t) системы (41) существует и является непрерывной функцией для всех допустимых
)
,
(
)
(
x
u
t
U
t
m

3. Функция
)
,
,
(
0
u
x
t
f
непрерывна по t.
4. Функция
t
V
t
V
t


=
)
,
( x
непрерывна по t и x; вектор-функции
)
,
( x
x
t
V
и f(t, x, u) либо непрерывны по t и x, либо имеют равные левый и правый пределы для скалярного произведения f
x
V
вдоль любой траектории x(t) системы (41):
))]
(
),
(
,
(
)
,
(
[
lim
))]
(
)),
(
,
(
)
,
(
[
lim
0 0
0 0
t
t
t
t
V
t
t
t
t
V
t
t
t
t
u
x
f
x
u
x
f
x
x
x


+

=
5. Существует оптимальное движение для каждого начального
G
x

0
в некоторое состояние, удовлетворяющее усло- вию
0
)
,
(
1 1
=
x
q t
, и причем такое, что траектория не выходит из G.
6. Каждая точка в G, не удовлетворяющая условию q(t, x) = 0, имеет окрестность, целиком лежащую в G.
Тогда функция V(t, x) в области G удовлетворяет уравнению Гамильтона–Беллмана
0
))
(
),
(
,
(
min
0
=








+





t
t
t
f
dt
dV
m
U
u
x
u
u
, (55) или


0
))
,
(
,
,
(
)
,
(
)
),
,
(
,
,
(
min
)
,
(
)
,
,
(
)
,
,
(
)
,
(
)
,
(
min
*
0
=
+


=
=
+


=
=






+
+




x
x
x
u
x
x
x
u
x
u
x
f
x
x
x
x
u
x
u
t
V
t
H
t
t
V
t
V
t
H
t
t
V
t
f
t
t
V
t
t
V
m
m
U
U
(55') с граничным условием
)
,
(
)
,
(
x
x
t
t
V
Φ
=
(55") на гиперповерхности q(t, x) = 0.
Здесь обозначено
)
),
,
(
,
,
(
min
))
,
(
,
,
(
*
u
x
x
x
x
x
u
x
t
V
t
H
t
V
t
H
m
U

=
;
u




dt
dV
– полная производная вдоль траектории, реализуемой под действием управления u.
Так как при известной функции V(t, x)
)
,
(
*
))
,
(
,
,
(
min arg
*
*
x
v
x
x
u
u
x
u
t
t
V
t
H
m
U
=
=
=

, то найденное решение V(t, x) уравнения (55) одновременно дает решение проблемы синтеза оптимального закона управле- ния.
З а м е ч а н и я .
1. Требование 4 влечет за собой непрерывность функций
u




dt
dV
и V(t, x) по времени t.
2. Когда
x
V
V
t
,
и
i
f
непрерывны по t и x, уравнение (55) представляет собой уравнение Гамильтона–Якоби.
Общая последовательность действий, которой целесообразно придерживаться при решении задачи синтеза оптимально- го закона управления методом динамического программирования, представлена в табл. 2.
2. Последовательность действий при использовании метода динамического программирования
Шаг
Последовательность действий
1
Образуется функция H, в которой сопряженные перемен- ные
i
λ заменяются на компоненты вектора












=
=
=
n
x
x
t
V
x
t
V
x
t
V
V
t
V
d
dV
)
,
(
,...,
)
,
(
,
)
,
(
)
,
(
grad
2 1
x
x
x
x
x
x
, т.е.
)
,
,
(
)
,
,
(
)
,
,
,
(
0
u
x
u
x
f
u
x
x
x
t
f
t
V
V
t
H
+
=
2
Минимизируется
)
,
,
,
(
x
u
x
V
t
H
по
m
U

u
и находится явная зависимость управления u
*
от компонент вектора
x
V
:
)
,
,
,
(
min arg
)
,
,
(
*
*
x
u
x
u
x
x
u
u
V
t
H
t
V
m
U

=
=
3
Находится минимальное значение H
*
путем подстановки в
H значения
)
,
,
(
*
x
x
u
V
t
:
)
),
,
,
(
,
,
(
)
,
,
(
*
*
x
x
x
x
u
x
x
V
V
t
t
H
V
t
H
=
4
Решается дифференциальное уравнение в частных производных Гамильтона–Беллмана
0
)
,
,
(
*
=


+
t
V
V
t
H
x
x
с соответствующим граничным условием для функции
V(t, x)
)
,
(
)
,
(
x
x
t
t
V
Φ
=
на гиперповерхности q(t, x) = 0 5
Подставляя результаты шага 4 в выражение для
)
,
,
(
*
x
x
u
V
t
, получаем закон управления с обратной связью










=
=
x
x
x
u
x
v
u
)
,
(
,
,
)
,
(
*
*
*
t
V
t
t
5.4. Сводка общих процедур метода динамического
программирования для вычисления оптимального закона
управления
u
*
= v
*
(t, x)
П р и м е р 2. Синтез оптимального закона управления для линейной системы с квадратичным критерием качества. Про- блема аналитического конструирования оптимальных автопилотов.
Пусть нестационарная линейная система описывается векторным линейным дифференциальным уравнением
)
(
)
(
)
(
t
C
t
B
t
A
f
u
x
x
+
+
=
&
(I) с начальным условием
1 0
0
;
)
(
t
t
t
t


= x
x
, (II) где
1
t
– фиксировано;
0 0
, x
t
– известные величины (которые, однако, специально не выбираются), и пусть критерий качест- ва имеет вид
)
III
(
)
)
(
)
(
)
(
)
(
(
2 1
)
(
)
(
)
(
2 1
]
[
1 0
1 1
1 1
1











+
+
+
+
+
+
+
+
+
=
t
t
T
dt
t
P
t
N
t
N
t
Q
t
t
t
R
J
1   2   3   4   5   6   7   8   9   10   ...   15

u
u
x
u
u
x
x
x
u
l
x
l
x
x
x
l
u
T
T
T
T
T
3
T
2
T
T
Здесь
T
n
T
n
f
f
x
x
x
)
...,
,
(
;
)
...,
,
,
(
1 2
1
=
=
f
x
; C, A(t) – матрицы размерности n
× n;
)
(
,
)
...,
,
(
1 1
1
t
u
u
T
m
x
x
u
=
=
; B(t), N(t) – мат- рицы размерности n
× m;
)
(
,
1
t
Q
R
– положительно полуопределенные симметричные матрицы размерности n
× n; P(t) – положительно определенная симметричная матрица размерности m
× m; P(t) – известная функция времени;
)
(
,
2 1
t
l
l
,
)
(
,
2 1
t
l
l
n-мерные векторы;
)
(
3
t
l
m-мерный вектор.
Напомним, что симметричная матрица Q называется положительно полуопределенной, если все ее собственные значе- ния неотрицательны или если соответствующая ей квадратичная форма неотрицательна, т.е.
0

x
x Q
T
для всех
0
)
...,
,
,
(
2 1

=
T
n
x
x
x
x
. Для того чтобы матрица Q была положительно полуопределенной, необходимо и достаточно, чтобы все главные (а не только угловые!) миноры были неотрицательны:
)
,
1
;
1
(
0 2
1 2
1 2
1
n
p
n
i
i
i
i
i
i
i
i
i
Q
p
p
p
=

<
<
<








Предполагается, что на значения управляющего вектора u не накладывается каких-либо ограничений, а матрицы Q(t),
N(t), P(t) таковы, что выполняется условие
0
)
(
)
(
)
(
)
(
1



t
N
t
P
t
N
t
Q
T
(это условие гарантирует отсутствие сопряженных точек в данной задаче).
Необходимо найти закон управления с обратной связью
u
*
= v
*
(x, t), минимизирующий критерий J[u]. Заметим, что значения вектора фазовых координат x при
1
t
t
=
не заданы (т.е. рассматри- ваемая задача относится к числу задач оптимального управления со свободным правым концом).
Пусть V(t, x) – минимальное значение критерия качества J[u] при движении системы (I) из произвольной начальной точки (t, x) (нижний индекс «0» опущен) на отрезке времени
1 1
],
,
[
t