Файл: Химмельблау Д. Анализ процессов статистическими методами.pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 09.04.2024

Просмотров: 755

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

416

Глава 6

ный вектор задает направление наискорейшего спуска. Геометри­ ческая интерпретация ф, Ѵ<£ и —Ѵф в пространстве двух пара­ метров ß t и ß 2 дана на фиг. 6.2.7. Замкнутые кривые являются контурами постоянных значений ф, охватывающими точку мини­ мума ф.

А

чО ) \

/ Ф =б У I 1 рШ)

Ь(п,П

_

— J—

 

1 Ѵ - ^

\

~\

Г \

Ф и г. 6.2.7. Геометрическая интерпретация суммы квадратов отклонений ф, ѴФ и направления наискорейшего спуска — \ф в пространстве параметров в точке Р.

Пусть функция ф разложена в ряд Тейлора

относительно Ь ( 0 ) ,

в котором сохранены только члены первого

порядка:

m

 

(обозначения приведены в разд. 6.2.3). Величины составляющих вектора —Ѵф 1)

- • Ф Іь<« = - (ж) о 6 ß - іж)о * * - • • • - (жг)оÄ «v

вычисленные в точке Ь ( 0 ) , совпадают с соответствующими членами разложения ф первого порядка в пространстве параметров; эти составляющие используются в методе наискорейшего спуска для определения направления поиска.

Предположим, что функция ф, построенная по формуле (6.2.1), является однозначной, непрерывной и в области поиска имеет один минимум. Тогда, определяя составляющие вектора —Ѵф, можно с помощью некоторой итерационной процедуры привести

х) oß — единичный вектор в направлении ß j .

 

 

 

 

 

Нелинейные

 

модели

417

значение ф по крайней мере к относительному

(локальному)

минимуму.

Общая схема

расчета

такова.

 

1.

Вычисляют

аналитически

(или численно) значения состав­

ляющих вектора

—

в

точке Ь( 0 ) .

 

 

Определяют единичный вектор —ѴфІ\ —Ѵф |, характеризую­

щий

направление

поиска:

 

 

 

 

 

 

 

 

 

 

 

 

дф

 

дф

 

 

 

I — Ѵ Ф |

 

ГI

 

v2

I

дф \ 2

(6.2.18)

 

 

 

д ф

 

Например,

для

линейной

функции

z

= 2ßf — ß 2

 

 

 

 

 

 

V z = 2ôP l

— oß „

 

 

 

2.

Составляющие

вектора

— V ^ / j

—V^> j , подсчитанные в точ­

ке b<0),

задают

направление поиска

минимума ф. (Если в преды­

дущем примере

под величиной z понимать ф, то начальные при­

ращения

Щт

равнялись

бы

Щ0)

= —2/Ѵ 5,

АЬ2 0 ) = 1 / / 5;

составляющие градиента здесь не зависят от ß, так как функция z линейна по ß.) Величина Ь$п) для каждого нового цикла вычисляет­

ся по результатам предыдущего цикла

(начиная с Ь( 0 ) ) с помощью

формулы (6.2.17)

 

Ь ( п + і ) = & ( п ) +

h(n)^(n):

3. Итерационную процедуру продолжают до тех пор, пока величина ф не станет меньше некоторого заданного значения или пока процесс не станет расходящимся или приведет к колебаниям,

так что дальнейшее уменьшение

ф окажется невозможным.

При минимизации ф определенную трудность может

вызвать

неправильный

выбор

масштаба

(т. е.

относительных

величин

составляющих

вектора

— V ф).

Если гиперпространство

сильно

вытянуто, как

показано на фиг. 6.2.8,

метод наискорейшего

спуска требует для достижения сходимости очень большого вре­ мени, так как направление наискорейшего спуска оказывается почти перпендикулярным направлению, в котором находится минимум ф. Вектор, противоположный градиенту ф, определяет

направление движения,

обеспечивающее минимизацию

ф только

в некоторой локальной

области, а не направление на

абсолютный

минимум, который требуется найти, если соответствующие отрезки контуров не являются дугами окружностей с центрами в точке минимума ф.

Маркуардт [14] при решении практических задач заметил, что для вытянутых областей метод наискорейшего спуска и метод

418

Глава 6

Гаусса — Зайделя определяют направления движения, почти ортогональные друг другу. Им был предложен некоторый ком­ промиссный метод. Метод Маркуардта приводит к лучше обуслов­ ленной матрице частных производных X T w X == А. Предполо­ жим, что в выражении (6.2.15) к матрице А прибавляется некото­ рая диагональная матрица

 

(А + И ) В = Z,

-

(6.2.19)

где

Х^О. При X = О выражение (6.2.19)

переходит в

выраже­

ние

(6.2.15) и векторы В<п> вычисляются

по формуле

(6.2.16),

А

0=6

+

Ф и г . 6.2.8. Недостаток

метода

наискорейшего

спуска .

метод наискорейшего спуска

из

точки

А ; + + + метод

Гаусса — Зайделя

из точки А; -+ ->• метод

Маркуардта из точки А .

как в методе Гаусса — Зайделя. Если X - > оо, то в некотором смысле XI ^> А и матрица В по существу определяется выражением

В методе наискорейшего спуска составляющие единичного вектора в оптимальном направлении можно умножить на размер шага Ып1,

что

дает

 

 

 

дф (Ь<™>) -,

 

В<п> =

fem) (— уф(Ь<т»))

 

 

I —ѴФ(Ь<">; I

Так

как производная

К»)

 

Нелинейные

модели

419

равна взятому со знаком минус

элементу

вектора Z, находим^

что

 

т

 

г

<?ф (Ы™>)

 

 

 

= z(n).

 

 

Ü Ü

I

 

Следовательно, в случае, когда X ->- оо, можно записать

| _ Ѵ ф ( Ь < п > ) |

Лш> •

Итак, было показано, что выражение (6.2.19) охватывает как предельные случаи и метод наискорейшего спуска и метод Гаусса— Зайделя. Промежуточные значения X соответствуют некоторому сложению направляющих векторов поиска. Вообще говоря, с уве­ личением числа итераций значение X уменьшается.

Когда условия таковы, что немодифицированный метод Гаус­ са — Зайделя (обладающий квадратичной сходимостью) сходится удовлетворительно, выбирают некоторое малое значение X. Боль­

шие значения X следует использовать

лишь тогда, когда

необ­

ходимо

удовлетворить

условию, чтобы

функция ф на (г +

1)-м

цикле

была меньше,

чем на r-м

цикле:

 

 

 

ф (Н-1) <

ф(г).

 

 

Величину X, в частности, можно выбрать следующим способом. Пусть ѵ > 1 и символом Х(г _ 1 > обозначено значение X, полученное при предыдущей итерации (начальное значение Хт « Ю - 2 ) .

Вычислим ф (Х(г~1)) и ф ( X ( r _ t ) / v ) . Выбор значения А4 ' определяет­ ся тремя условиями:

1.

Если

ф ( Я ( г _ 1

) / ѵ ) <

ф{г\

полагают

Х(Т) =

Х(т-і}/ѵ.

2.

Если

ф (X(r-l)h)

>

ф(г),ьф

(Х ( г - 4 ) ) <

ф{г),

полагают Х(г) =

=х^-{).

3.

Если ф ( А ^ Ѵ ѵ ) >

ф(г)

и ф ( Х ( г - 1 ) ) > ф{г),

увеличивают

X,

последовательно умножая

на

ѵ до тех пор, пока

для некоторого

малого значения w не будет выполнено неравенство ф (A,( r _ 1 > •ѵ"')

^

< фіт).

Тогда полагают Х{г)

=

Х ( г ~ 1 ) •ѵ"'. Последний случай встре­

чается крайне редко, например тогда, когда имеет место сильная корреляция между оценками параметров, что вызывает неразумно большие значения X. Здесь метод Маркуардта нуждается в неко­ тором специальном дополнительном уточнении. Обсуждение этого вопроса можно найти в оригинальной работе.

Маркуардт рекомендует выбирать масштаб для элементов матриц А и Z таким образом, чтобы сделать целевую функцию

Смотрите также файлы