ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 19.06.2024
Просмотров: 219
Скачиваний: 1
ГЛАВА И
190
примера на рис. 2.2.6 показано такое дискретное распре деление, рассчитанное по формулам (2.2.46) для случая
rf=l; k=\; 2; 4; 8; 16. Характерно относительное увели чение вероятности на концах ребра по сравнению с его серединой. Это, по-видимому, является результатом по координатного характера обучения, в процессе которого система движется вдоль диагоналей.
Далее определим среднее приращение функции каче ства при W = WJ:
4
M[AQ/W{ ]= ^ T / 5 ( A X U ) / W i ) A Q ( ^ = [P(AX(')/Wi ) -
-P(AXW/Wi )]AQ<1 ) + [ P ( A X < 2 ) / W i ) - |
|
-P(AX<3)/Wi)]AQ<2 >, |
(2.2.48) |
где AQW определены формулой (2.2.10). По формулам, приведенным в таблице 2.2.2, получаем:
P(AX(')/W i ) - P(AXW/W i ) = у |
( 2 Л + 1 - 0 6 ; |
|
(2.2.49) |
Р(АХ<2>/\У0 - P(AX <3)/W,) = — |
(i- 1)6. |
Поэтому
M[AQ/W,-]= 1 [ ( 2 & + 1 - t')6AQ<1 ) + (t - 1)6AQ( 2 ) ].
(2.2.50)
Усредняя это выражение по всем возможным значе ниям i, в предельном случае N-^-oo получаем
M[AQ]=—dau |
(2.2.51) |
что совпадает с результатом, полученным для случая 6^2d (2.2.22). Это доказывает, что при статистической оптимизации с обучением в двумерном пространстве па раметров в случае линейной функции качества оптими зируемой системы скорость оптимизации при N-+oo не
ПОИСК С САМООБУЧЕНИЕМ
191
зависит от величины параметра б, т. е. предельные свой ства обучения не зависят от скорости обучения. Это можно доказать и для других размерностей простран
ства |
параметров оптимизируемой |
системы. |
||
3. |
Случай п>2; |
b^2d |
( 0 < d < l ) . Вектор W теперь |
|
может находиться |
в одном |
из 2п |
состояний. Эти состоя |
|
ния пронумеруем по тому же принципу, по которому мы
это делали |
в двумерном пространстве параметров, т. е. |
||
|
|
|
(2.2.52) |
W2"-i=( |
— d,—d,...,—d,d); |
W2 « = (— d, — d,.., |
|
|
-d, |
-d). |
|
Число возможных направлений движения оптимизи руемой системы в n-мерном пространстве параметров также равно 2™. Эти направления AX ( i ) пронумеруем в таком же порядке, как векторы Wj. Пусть функция ка чества оптимизируемой системы является линейной и пусть для простоты направляющие косинусы градиент ного вектора он (г'=1, ... ,п) удовлетворяют условиям
а 1 > а 2 > - > о с „ > 0 ; |
( 2 2 5 3 ) |
a i > a 2 + ••• + a n . |
|
Тогда, проделав те же самые выкладки, что и для слу чая п = 2, получаем:
1
(2.2.54)
p 2 n - i + 1 = ••• = р 2 " = 0.
Для |
среднего приращения функции Q(X) при N-+oo |
|
имеем |
|
|
M[AQ]=-Ldai. |
(2.2.55) |
|
Эта формула дает возможность оценить среднее смеще ние к цели Af[AQ] для достаточно больших N в зависи мости от п, d и ai. Видно, что в пределе при n->oo M[AQ]-*-0, т. е. эффективность этого алгоритма обучения с ростом я уменьшается.
ГЛАВА II
192
§2.3. С В О Й С Т В А П О К О О Р Д И Н А Т Н О Г О
С А М О О Б У Ч Е Н И Я П Р И С Т А Т И С Т И Ч Е С К О Й
О П Т И М И З А Ц И И С П О М Е Х А М И
Пусть на функцию качества оптимизируе мой системы Q(xi,..., х„) накладывается помеха е(о), которая является нормально распределенной случайной величиной с математическим ожиданием, равным нулю, и дисперсией D = o2. Тогда оптимизация системы прово дится по следующей величине:
Q' (*ь . . . . х п ) = Q (*ь . . . , * » ) + в (о). |
(2.3.1) |
Алгоритм покоординатного самообучения можно пред ставить в виде
wivf+» |
= wiw |
+ 6sign |
( A Q V U ^ ) ) , |
|
(2.3.2) |
|
где б — шаг |
изменения параметра |
wu |
определяющий |
|||
|
интенсивность |
обучения |
( б > 0 ) ; |
|
||
AQ'JV — |
приращение |
функции |
Q(xu |
..., |
хп) на N-u |
|
|
шаге поиска; AQ'N = Q'N |
— Q'N-I. |
|
|||
Как и в предыдущем параграфе, |
полагаем |
|ДХ| = 1, а на |
||||
изменение величин Wi накладываем обычное ограниче
ние \wi\<d |
(i=l,...,n). |
|
1. Двумерный |
случай (п=2; 6^2d). |
Плоскость па |
раметров оптимизируемой системы и плоскость обучения имеют тот же вид, что и в предыдущем параграфе (см. рис. 2.2.1). Из формулы (2.3.1) следует, что для единич ного шага вдоль направления АХ<->> имеем приращение функции качества в виде
A Q ' ^ A Q ^ + eO^o) = (ДХО), grad Q) +е(У2а), (2.3.3)
где е(аУ2) — нормально распределенная случайная ве личина с математическим ожиданием, равным нулю, и дисперсией 2а2 .
Для линейной функции Q(X), вектор градиента кото рой равен
grad Q(X) = ( a b |
a 2 ) |
(2.3.4) |
(a,2 |
+ a 2 2 |
= l ) , |
ПОИСК С САМООБУЧЕНИЕМ
193"
получаем следующие выражения для приращения функ ции качества по направлениям АХ*-*':
AQ(i) = aI + |
a 2 |
; AQW = a i - a 2 ; |
AQ(3) = _ ( a i |
(2.3.5) |
|
_ a 2 ) ; AQ< 4 >= - (a, + a2 ). |
||
Алгоритм |
покоординатного самообучения представ |
|
ляет собой автомат, функционирование которого описы вается цепью Маркова с матрицей переходных вероят
ностей (2.1.60). Вероятности o,j |
(i, }=\,...,п) |
этой мат |
|||||
рицы |
задаются |
таблицей 2.2.1, |
а вероятности |
штрафов |
|||
Sj — формулой |
(2.2.11). |
|
|
|
|||
Используя равенства |
(2.3.5), находим |
|
|||||
$ 4 = 1 — 5 ь |
S3 = 1 — s2. |
|
|
(2.3.6) |
|||
Вводим обозначения |
|
|
|
|
|||
|
|
|
|
|
AQO) |
|
(2.3.7) |
|
|
|
I |
I -4- Ш I |
|
||
|
|
2 |
|
|
|||
|
|
|
|
|
|
|
|
Ai = fln + ai4= у (1 + d2 ); |
|
|
|||||
|
|
|
|
|
|
|
(2.3.8) |
A2 |
= c 'l2 + <7l3 = |
|
|
|
|
|
|
где |
Ф(г) = |
J2 ' |
e~t2dt |
— интеграл вероятности. Тогда |
|||
|
|
Ул о |
|
|
|
|
|
из матрицы |
(2.1.60), |
учитывая |
формулы (2.3.6) — (2.3.8), |
||||
получаем следующую матрицу переходных вероятностей для вектора W [49]:
|
АхФх А2Ф2 |
Л 2 Ф 3 |
Л,Ф 4 |
|
||
Л = |
Л2 Ф, Л!Ф2 Ахф3 |
Л 2 |
Ф 4 |
(2.3.9) |
||
Л2 Ф! АХФ2 |
Л,Ф 3 |
Л 2 |
Ф 4 |
|||
|
|
|||||
|
Л : Ф ! Л 2 Ф 2 |
Л 2 Ф 3 |
Л1Ф4 |
|
||
Видно, что при йф\ и 0=^0 из любого состояния возмо жен переход в любое другое состояние, т. е. цепь Мар кова является неприводимой. Из матрицы (2.3.9), ис пользуя формулу Перрона, получаем матрицу переход ных вероятностей за N шагов для вектора W:
13 — 2014
ГЛАВА II
194 |
|
|
|
|
AN = |
|
|
|
|
| 0 > j ( l + d^)X- Ф 2 ( 1 - |
6^)1 ф 3 |
( J _ d2JV)I ф 4 ( 1 |
+ d2N) |
|
Ф , ( 1 - d2W)l ф 2 ( J + d2N)\ ф 3 |
( !+ d2W) I ф 4 ( 1 _ d2N) |
|||
-2 Фх (1 - d ™ ) ^ Ф 2 (1 +d 2 J V ) ^ Фз (1 +d2N)1- Ф 4 ( 1 - d 2 J V ) |
||||
^ Ф , ( 1 + d™^ Ф 2 ( 1 - |
^ Фз ( 1 - ^ |
Ф 4 ( 1 |
+ ^ 2 W ) |
|
|
|
|
|
(2.3.10) |
Пусть jt?i(0) обозначает вероятность того, что в начале по иска вектор W находится в состоянии i; piN — вероят ность того, что на JV-M шаге поиска вектор W находится в состоянии i, и. Pi — вероятность того, что в пределе при JV-VOO вектор W будет принимать значение Wj. Тогда по матрице (2.3.10) имеем:
р , ( № ) = 1 . ф 1 + 1 . ф 1 ^ ( р 1 ( 0 ) + р 4 ( 0 ) ) _
- у Ф , ^ ( р 2 < 0 > + р 3 < 0 > ) ;
р2(Ю= 1 |
ф 2 - | ф ^ ( Р 1 1 0 ) + р 4 ( 0 ) ) + |
+ |
1 ф 2 ^ ( р 2 ( 0 ) + / , 3 ( 0 ) ) ; |
(2.3.11)
Рз<Ю = — Ф з - — ф 3 ^ . ( р 1 ( 0 ) + р 4 ( 0 , ) +
+у < М ш ( Р 2 ( 0 ) + Р з ( 0 > ) ;
р,(Ю = i . ф 4 + 1 ф 4 ^ ( р , ( 0 ) + р 4 ( 0 ) ) -
- у Ф 4 ^ ( р 2 ( 0 ) + р 3 ( 0 ) ) •