Файл: Васильев Ф.П. Лекции по методам решения экстремальных задач.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 248

Скачиваний: 1

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

§ 8]

Метод Ньютона

109

гласно теореме

1.3 это означает, что в точке и* =

ип функция J (и)

достигает своего минимума на 0, и, следовательно, задача решена.

Поэтому ниже всюду

будем

считать «п+1=#=н„(/г=0,

1, ... ).

 

'

В

(4)

положим

и— ип.

Получим

(/'(«„) + J" (u n) (un+I—,и„),

ип— «n-ьi) ^ 0 .

С

учетом

этого неравенства

и условия

теоремы

имеем

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(А I ^п+1

Мп |2 ^

( J

(ип) (МпЦ-1

Г ^л) >

un+l

 

Мп)

(J

(ttn) ,

Un

Ип-\-\)>

 

 

 

 

 

 

 

п = 0,

1, . . .

 

 

 

 

 

 

 

(5)

Оценим ’(/ '(“«)>

1ип — Чп+\) сверху.

Для)

этого в

(3)

заменим

п на

t v

1.

Получим {J 'n- 1 (и„),

и — и „ )> 0,'

u e U ( n >

1). В частности,

при и = Ып+1 отсюда находим (/„-i (ип),

ипurt+i) <

0.

С

учетом

этого

неравенства,

формулы

(1.7) и условия Липшица для

J ” (и) бу­

дем

иметь)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(J' (Мп)> ип

W/1+l)

(«7 (^л)

*7л—1 (^л)> “ л

^n+l)

 

 

 

=

(«л)

(Л (wn—l)

*7 (Ыл—l) (ыл

 

—0 > ил ^rt+l)

 

 

 

=

([/ ' (£/._1 +

0 (и„ — U „_i)) — 7 " (Ид- l ) ]

(«„ —

Ип_1),Ип —

« л + 0 <

 

 

 

Lt |

йл—112 1^л

^л^-11*

 

^

2, .. .

 

 

 

Подставив

полученную)(оценку) в

(5), получим

 

 

 

 

 

 

 

 

|«п-ы — и „ |<

— U „ — «л- l l 2,

 

п =

1 , 2 , . . .

 

 

(6)

Так! [как^ по условию

q =

— \u^— uQ|< il ,

то'

из

(6)

гпри п = 1

?вы-

текает |и2— u j <

q2.

Сделаем индуктивное предположение:

 

 

 

 

 

 

L

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

|ип — ип1 1<

i

<72"

1(п > 1).';

 

 

 

 

 

Тогда

из (6) имеем, что

 

 

 

 

 

 

 

 

 

 

 

 

|и*+1 — «*|

k = 0, 1, 2, .. ..



п о М И Н И М И З А Ц И Я Ф У Н К Ц И И М Н О ГИ Х ПЕРЕМЕННЫХ [Гм. 2

Отсюда находим

ТП— 1

 

т—1

 

 

„2*

 

 

 

 

 

 

f c = f l

 

k=n

k=n

1 — q*n

 

 

 

 

 

 

->-0

 

(7)

при т > / г —»-оо. Таким образом, последовательность {«„}

фундамен­

тальна и поэтому

сходится

к некоторой точке «*. В силу

замкну­

тости множества

U точка

« *e t/ .

Переходя к пределу

в

(7) при

т-*-оо, получим

 

 

 

 

 

 

| и * -и я | < 4

S

? к

(Я = 0 , 1 , . . . ) .

 

 

 

L

л—j

 

 

 

 

 

 

k — n

 

 

 

 

Теперь остается убедиться в том, что «* — точка минимума /(«)

на U. Так как J{u )j= C 2(U),

то /'(«„)-► /'(«*), J" (u n) - + J " (и*) при

п~+оо. Поэтому переходя к пределу в

(4) при л—►-оо,

будем

иметь

(/'(и *), и— «*)^ г 0 при

всех

u ^ U . В

силу теоремы

1.3 и

выпук­

лости J (и) это означает,

что и* есть точка минимума J (и) на U-Jl

Как видно из оценки и

как подтверждает практика,

метод

Ньютона сходится очень быстро, если начальное приближение «0 выбрано достаточно близким к точке минимума и*. Однако если хорошего начального приближения ио нет, то метод Ньютона за­ частую расходится. В этом можно убедиться на простом примере.

Возьмем функцию

 

 

 

 

 

 

 

при

|и |<

б,

 

 

 

 

 

 

 

J (и) = — и2 + 2 1и I — б

 

 

 

 

w

2

 

1 '

4

 

 

 

при |и |> б,

u(zE lt

 

 

 

 

 

 

где б — произвольное малое

положительное

число,

0 < 6 < 1 . Не­

трудно убедиться в том, что

Z (« )e C 2(£ i)

и

J " ( u ) ^ 1, так что

J (и) сильно выпуклая функция.

Эта

функция

достигает своего

минимума на Е i .b точке ы *= 0 . В

качестве начального приближе­

ния возьмем

«о = б . Применяя

метод

Ньютона,

получим последо­

вательность

 

 

 

 

 

 

 

 

 

Г K _ i)

 

 

( л =

1, 2 , . . . ) ,

«„ = «„ _ ,------ = ( - 1 ) " 2

 

 

 

J

(“n-l)

 

 

 

 

 

 

которая расходится, хотя начальное приближение

отличается от

«* = 0 на малое число б.

 

 

 

 

 

 


§ 8}

Метод Ньютона

111

2. Возникает вопрос, нельзя ли изложенный выше мет Ньютона видоизменить так, чтобы модифицированный метод не был столь чувствителен к выбору начального приближения? Такие модификации метода Ньютона существуют, см., например, [81], [82].

Опишем одну из этих модификаций. Пусть U — выпуклое замкнутое множество, / (и )е С 2(£У). Пусть выбрано произвольное начальное приближение u0^ U . Если un^.U уже известно, то сле­ дующее приближение un+i^ U находим так. Возьмем главную квадратичную часть

J п f a ) — ( J ' fa n ) > ^

^ п ) '1 “ ( J fa n ) f a

^н)> ^

 

^ п )

 

 

приращения J (и)— / (« „ )= / „ (« )+о(|ы — ип \2)

и определим

вспо­

могательное приближение йп из условия:

 

 

 

 

 

 

 

 

J n(un) =

m in Jnfa).

 

 

 

 

(8)

 

 

 

 

 

и

 

 

 

 

 

 

 

Сразу заметим, что J п (ип) <

J n (ы„) =

0.

Далее полагаем

 

 

 

 

 

Ц-п-\-\— ип -f- а„ (ип

tin),

 

 

 

 

(9)

где а„ выбирается из условий

 

 

 

 

 

 

 

 

J fa n )

fa n “Т &п fa n

^/1))

 

|J п fa n )

6

^ п

^ »

( 1^)

е — некоторое фиксированное число, 0 < е < 1 . Если

ип не являет­

ся точкой минимума / (и)

на U, то при некоторых

ограничениях

на функцию J (и)

можно

доказать

возможность выбора >йп, а„,

ип+\ из условий (8— 10)

(см. ниже теорему 2),

причем для ускорег

ния поиска минимума желательно выбирать а п как

можно

ближе

к 1. Метод

(8— 10)

естественное обобщение

одного

из вариан­

тов метода

условного

градиента

(см.

(6.1-—2), (6.8)).

В

методе

условного градиента учитывалась лишь линейная часть прираще­ ния J (и)J(u n), а здесь учитывается квадратичная часть этого приращения. Выбор а п из (10) практически можно осуществлять так же, как и в методе условного 'градиента. Именно сначала бе­

рем а „= 1

и

проверяем

условие (10).

Если оно .выполнено,

то

оставляем

ап= 1 ; если

же

(10)

при а „= 1

нарушается,

то

производим

дробление ап до

тех

пор

пока неравенство

(10)

не

выполнится,

стараясь остановиться

на

значении

а„, как

можно

близком к

1.

При некоторых ограничениях на функцию J (и) ука­

занный выбор ап может быть произведен за конечное число дроб­ лений. Замечательно также и то, что независимо от выбора на­ чального приближения описанный 1нетод будет сходиться, причем начиная с некоторой итерации, он превратится в метод Ньютона, обретая свойственную этому методу высокую скорость сходи­ мости.


112

М И Н И М И З А Ц И Я Ф У Н К Ц И И М Н О ГИ Х ПЕРЕМЕННЫ Х

[Гл. 2

Таким

образом, метод (8— 10) ненамного сложнее

метода

Ньютона, по скорости сходимости не уступает ему и в то же вре­ мя не столь чувствителен к выбору начального приближения, как метод Ньютона. При.наличии эффективных методов минимизации

квадратичной функции /и(«)

на U метод

(8— 10) можно с успехом

применять для минимизации достаточно гладких функций.

 

Т е о р е м а

2.

Пусть U

замкнутое выпуклое множество,

/ (ы )е С 2(П ),

ц|||2< (/ "(и )| , .|)<М |||а

при всех

и всех

u<=U, и пусть

||/"(«)—/"(o)J|^L|u— п|

при всех u, vt=U, где ц,

М, L — положительные константы. Пусть ei — некоторое число,

 

 

0 < е 1< — — (1 — б).

 

Тогда на отрезке

e ^ a ^ l

при

каждом

п существуют числа а„,

удовлетворяющие условиям

(10)

и среди них найдется максималь­

ное. Подставляя

это максимальное а п в

(9) для любого

началь­

ного приближения Uo^U, получим последовательность {«п}, для

которой:

1)

{ J (ип)}

монотонно

убывает

 

и

стремится

к

/* = inf/(u) (n-voo); 2)

существует

такой

номер

/г0=/г0(е),

что

 

<7 =

1«п„+1 — ып„| < 1,

и

а п =

I,

un+i = un

 

 

при всех

п ^ щ ,

т. е. метод (8— 10)

с номера

п — п0 превращается

в метод Ньютона, и, следовательно,

будет

верна оценка

(2)

при

всех п ^ п 0.

 

 

 

 

 

 

 

 

 

 

 

Д о к а з а т е л ь с т в о . По условию (У"(ц)£,

g)^|i|£|2

ПРИ всех

и ^ e £ m, p ,= co n st> 0 . Следовательно,

J (и)

сильно выпук­

лая функция

и в силу

теоремы

1.7 ограничена

снизу на

U и до­

стигает своей нижней грани в единственной точке и *еН . Посколь­

ку

J n (и) = 7 " (ип),

то функция J n(u)

также

сильно

выпукла_на U

и

достигает своей

нижней грани

в

единственной

точке

«пе У .

Может случиться,

что ип= и п. Тогда

 

и* = ип= ип. В самом деле,

применив теорему 1.3 к функции /«(и),

имеем

 

 

 

 

 

(/п(ип),

и — ип) > 0 ,

 

 

 

 

или

 

 

 

 

 

 

 

 

 

 

(J ' (и-п) + J" («л) («„ — ип),

и — ип) >

О,

и 6 и.

 

Если ип= и п, то

отсюда следует,

что

(J'(un), иип)^ 0,_ и < = и .

В силу теоремы 1.3 и выпуклости / (и)

 

заключаем,

что и*_==ип= ип,

и задача решена.

Поэтому ниже будем считать,

 

что ипФ и п, и,

следовательно, /п (м п )< ^ п (« п )= 0

при всех

п = 0,

 

1, 2, . . .

. Пока­

жем, что на отрезке E i ^ a ^ l

существуют

числа

ап, удовлетво­

ряющие условиям

(10).