ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 19.06.2024
Просмотров: 223
Скачиваний: 1
ПОИСК С САМООБУЧЕНИЕМ
211
12М(Ш)
1
0,75-
0,50 -
0,25 -
6
О |
0,5 |
1 |
1,5 |
2 |
2,5 |
3 |
3,5 |
4 |
|
Рис. 2.4.3.. Сравнительная характеристика изменения среднего приращения функции качества за один шаг поиска в зависимости от помехи а при обучении для случаев b = d и 6=s2rf (d=l).
На рис. 2.4.3 сравнивается изменение |
У2.М[Д(2],_вычис- |
||
ленное |
по формуле (2.4.30), |
с изменением y2M[AQ], |
|
вычисленным для ai = l ; аг = 0 |
при d=l, |
в случае, когда |
|
6^2d. |
Видно, что для случая |
8 = d среднее приращение |
|
функции качества на один шаг поиска примерно на 1/3 больше, чем для случая 8^2d. Это показывает, что в об становке помех для оптимизации системы целесообразно применять самообучение с меньшей интенсивностью. Этот вывод согласуется с экспериментально полученным результатом, приведенным в работе [6]: уменьшение ско рости обучения улучшает свойства поиска.
§2.5. С В О Й С Т В А П О К О О Р Д И Н А Т Н О Г О
СА М О О Б У Ч Е Н И Я
СД Е Т Е Р М И Н И Р О В А Н Н О Й
П Е Р Е Х О Д Н О Й Ф У Н К Ц И Е Й , Н Е З А В И С Я Щ Е Й О Т В Ы Х О Д А А В Т О М А Т А
Такое самообучение задается формулой (2.1.76) параграфа 2.1 и представляет собой автомат с детерминированными переходами и случайными выхо дами.
14*
ГЛАВА II
212
1. Случай m = 2 n = 4 (b^2d). Матрицы переходов для этого случая задаются формулами (2.1.84). Полное функционирование автомата в случайной среде описыва ется цепью Маркова с матрицей переходных вероятнос тей (2.1.25). Элементы матрицы штрафов (2.1.26) опре деляются по формуле (2.1.27). По матрице (2.1.25) на ходим
|
|
l-s*1 ) |
0 |
0 |
sw |
|
|
|
А = |
О |
1 -S<2 > |
S<2> |
О |
|
|
(2.5.1) |
|
О . |
s<3> |
l-s<3> |
О |
|
|
|||
|
|
|
|
|
||||
|
|
s<4> |
0 |
0 |
l-s<4 > |
|
|
|
|
|
|
Множество |
состояний |
и |
переходы |
||
|
|
|
из |
одного |
состояния |
в другое для |
||
|
|
|
этой цепи показаны на рис. 2.5.1. |
|||||
|
|
|
Видно, что состояния 1 и 4 образуют |
|||||
|
|
|
одно замкнутое множество, а состо |
|||||
|
|
|
яния 2 и 3 — второе замкнутое мно |
|||||
|
|
|
жество. Исходя из матрицы |
(2.5.1) |
||||
|
|
|
имеем систему уравнений для опре |
|||||
|
|
|
деления предельных |
вероятностей |
||||
Рис. |
2.5.1. Перехо |
|
S ( 1 ) P i = p 4 S < 4 > ; |
|
|
(2.5.2) |
||
ды |
вектора W для |
|
SWp2 = sWp3. |
|
|
|||
случая |
т — А; п — 2. |
|
|
|
|
|||
|
|
|
Поскольку |
состояния |
цепи |
Мар |
||
кова |
распадаются на два замкнутых класса, |
то |
можно |
|||||
рассматривать две цепи Маркова, отдельно для каждого замкнутого множества состояний. Из системы уравнений
(2.5.2), |
|
используя |
начальные |
вероятности |
состояний |
|||||
Pi ( 0 ) , Р 2 ( |
0 |
) , Рз( 0 ) , Р 4 ( 0 ) |
и учитывая |
условия нормировки |
||||||
Pi + p 4 |
= l ; |
р 2 |
+ Р з = 1 , |
|
|
(2.5.3) |
||||
находим |
|
предельные |
вероятности |
|
||||||
р, |
= S (4) |
( р , (0) + р4(0)) ; |
p2 = |
s(3) (р2(0)+ рз (0)) . |
(2.5.4) |
|||||
p3 |
= s ( 3 ) ( p 2 |
( 0 ) + p 3 ( 0 ) ) ; |
|
= |
sw{piW+Pi(0)). |
|||||
P i |
|
|||||||||
Теперь |
|
по |
формуле |
(2.1.27) |
определим |
вероятности |
||||
штрафов |
s( i ) |
(i— 1 , . . . , 4). Вероятности |
цц (/, t' = |
|||||||
ПОИСК С САМООБУЧЕНИЕМ
213 |
• |
= 1,...,4), содержащиеся в этой формуле, даны в таб лице 2.2.1. Вероятности штрафов Sj действий АХ<^ опре деляются по формуле (2.2.11):
(2.5.5)
Следовательно, |
для вероятностей |
штрафов |
s^' (t' = |
|||
= 1,2,3,4) имеем: |
|
|
|
|
||
sW=±[l+d(Sl-s2)]; |
|
|
s ( 2 ) = l [ |
l + d ( S 2 - |
S 3 |
) ] ; |
|
|
|
|
|
|
(2.5.6) |
s t 3 ) = - i [ l - d ( s 2 - s 3 ) ] ; |
s » ) = ^ - [ l - d ( s 1 - s 4 ) ] . |
|||||
Отсюда видно, что |
|
|
|
|
||
S (i) + S(4) = i ; |
S (2)+ S (3) = i . |
|
|
(2.5.7) |
||
Среднее приращение функции качества Q(X) определя |
||||||
ется по формуле |
|
|
|
|
|
|
т |
|
|
|
|
|
|
M[AQ]= ^ |
pfM[AQ/W<*>]. |
|
|
(2.5.8) |
||
Если функция |
Q(X) линейная, то в формуле |
(2.5.8) |
||||
|
|
4 |
|
|
|
|
Af[AQ/W<*>]= ^ |
qijAQU) |
= d&QW, |
|
|
|
|
|
3=1 |
|
|
|
|
|
где AQW — приращение функции Q(X) (на одном шаге) по направлению АХ( г ) . Следовательно, среднее прираще ние функции качества
M[AQ] = d[(sW-s^) (р,(°) + /74(0)) (а! + сс2) + (s<3>-s<2)) х
X (Р2<°) + Рз( 0 ) ) ( с с 1 - а 2 ) ] = б ? 2 [ Ф ( ^ 2 ? ) ^ ' ( ° ) +
ГЛАВА II
214 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
+ р4<°>) (а, + а 2 ) + Ф ( ^ |
~ |
) |
(Р2( 0 ) +Рз ( 0 >) X |
|
|
|
|||||||||
X ( с ц - а 2 ) |
] • |
|
|
|
|
|
|
|
|
(2.5.9) |
|
||||
Рассмотрим случай, когда а-*-0, |
т. е. когда |
отсутствует |
|
||||||||||||
помеха. Тогда |
Si->0, |
s2 -»-0, s 3 - > l , |
s 4 |
- ^ l . |
Следовательно, |
||||||||||
S ( l ) _ ^ l ( l _ d ) ; |
S ( 2 ) ^ i . ( 1 _ d ) ; |
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
(2.5.10) |
|
||
Из формулы |
(2.5.9) |
имеем |
|
|
|
|
|
|
|
|
|
|
|||
УИ[А Q] = d2[ai + (Pi( 0 ) |
+ p 4 |
( 0 ) - p 2 ( 0 ) |
- Рз( 0 ) ) a2 ]. |
|
|
(2.5.11) |
|
||||||||
2. Случай |
m = 4 2 = 16 |
(6 = 2c?/3). В этом |
случае |
по |
|
||||||||||
матрице (2.1.25) |
находим |
матрицу (2.5.12). |
|
|
|
|
|
|
|||||||
|
|
|
|
1_S<1) |
0 0 |
|
0 |
0 |
|
0 |
|
0 |
0 |
||
|
|
|
|
1_S (2) |
0 |
0 |
|
0 |
0 |
0 |
S(2) |
0 |
0 |
||
|
|
|
|
|
0 |
0 |
0 |
1-S(3) |
0 |
s<3> |
0 |
|
0 0 |
||
|
|
|
|
|
0 |
0 0 |
1 _ S (4) |
0 |
0 |
s<4> |
0 0 |
||||
|
|
|
|
1-s<5> 0 0 |
|
0 |
0 |
0 |
0 0 0 |
||||||
|
|
|
|
1_s (6) |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
0 0 |
||
|
|
|
|
|
0 |
0 0 l - s < 7 > |
0 |
0 |
0 |
0 0 |
|||||
|
|
А = |
|
0 |
0 0 |
1_S(8) |
0 |
0 |
0 |
|
0 0 |
||||
|
|
|
0 |
0 0 |
|
0 |
0 S<9> 0 0 0 |
||||||||
|
|
|
|
|
|
||||||||||
|
|
|
|
|
0 |
0 |
0 |
|
0 |
0 |
0 |
S(10) |
0 |
0 |
|
|
|
|
|
|
0 |
0 0 |
|
0 |
0 |
s<u> |
0 |
|
0 0 |
||
|
|
|
|
|
0 |
0 0 |
|
0 |
0 0 s<12> |
0 0 |
|||||
|
|
|
|
|
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
0 |
0 |
|
|
|
|
|
|
0 |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
0 |
0 |
|
|
|
|
|
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
0 |
0 |
|
|
|
|
|
|
0 |
0 |
0 |
0 |
0 |
0 |
0 |
|
0 |
0 |
|
ПОИСК С САМООБУЧЕНИЕМ
215
|
|
|
|
|
в |
|
9 |
|
|
• |
1гР |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
\ |
б |
/ |
/ |
I |
|
|
|
|
ПС |
|
|
|
|
|
|
hz |
|
|
|
|
|
|
|
|
|
|
/ |
к |
|
|
|
|
|
|
|
|
|
|
\ |
|
|
|
|
|
|
|
|
|
|
|
|
9 * |
|
|
|
|
'6 |
|
12 |
8 |
|
|
|
|
|
|
|
|
Рис. |
2.5.2. Переходы |
вектора W для |
|||||
|
|
|
|
случая т= 16; п = 2. |
|
|
|
|
|||
|
Переходы |
этой |
цепи |
Маркова |
показаны на рис. 2.5.2. |
||||||
Из рисунка |
видно, |
что состояния |
цепи Маркова обра |
||||||||
зуют два замкнутых |
множества. В первое множество |
||||||||||
0 |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
|
|
|
0 |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
|
|
|
0 |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
|
|
|
0 |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
|
|
|
sC5) |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
|
|
|
0 |
S<6> |
0 |
|
0 |
0 0 |
0 |
|
|
|
|
|
5(7) |
0 |
0 |
|
0 |
0 |
0 |
0 |
|
|
|
|
0 |
s<8> |
0 |
|
0 |
0 0 |
0 |
|
|
|
(2.5.12) |
|
0 |
0 |
0 |
l-s<9 > |
0 |
0 |
0 |
|
|
|
||
0 |
0 0 |
l-s<1 0 > 0 0 |
0 |
|
|
|
|
||||
0 |
0 0 |
|
0 |
0 0 1- s < n > |
|
|
|
|
|||
0 |
0 |
0 |
|
0 |
0 0 |
1-S02) |
|
|
|
|
|
S(I3) |
0 |
0 |
1_S<13) 0 0 |
0 |
|
|
|
|
|||
0 |
S (14) |
0 |
1_S04> 0 0 |
0 |
|
|
|
|
|||
S(15) |
0 |
•0 |
|
0 |
0 |
0 |
1-5(15) |
|
|
|
|
0 |
S(15) |
0 |
|
0 |
0 |
0 |
1_S(16) |
|
|
|
|
ГЛАВА II
216
входят состояния 1, 6, 11, 16, во второе — состояния 4, 7, 10, 13. Другие состояния являются невозвратными. Предельные вероятности невозвратных состояний равны нулю, т. е.
P2 = P3 = P5 = P& = P9 = Pl2=Pl4 = P\S = 0. |
(2.5.13) |
Из матрицы (2.5.12) получаем уравнения для нахожде ния предельных вероятностей состояний 1, 6, 11, 16, при надлежащих первому замкнутому множеству:
S(')p1 = =(l-S (6))p6 ; |
|
s<6>p6 = 5<'»p u ; |
(2.5.14) |
( l - s < n > ) p „ = s<16>pi6, |
|
и для состояний 4, 7, 10, 13, принадлежащих второму замкнутому множеству:
S<4)p4 =(l-S <7))p7 ; |
|
|
|
||
sWP7 |
=s m P l o ; |
|
|
|
(2.5.15) |
( l - S U O ) ) p ) 0 = |
s(13)p]3. |
|
|
||
Решая |
систему уравнений |
(2.5.14), с учетом условий нор |
|||
мировки и начальных вероятностей получаем: |
|
||||
|
S (18)s(n)( 1 _s(6)) |
|
|
||
Pi= |
^ |
|
* V ' . |
|
|
|
5<16)S(11)S(1) |
|
|
|
|
Рб |
S ( 1 ) |
г i |
, |
|
|
|
|
|
|
|
(2.5.16) |
P n = |
S<n |
Л < ° ) ; |
|
|
|
|
(1-S(">)5<6>SP> |
|
|
||
P16 |
S ( 1 |
) |
^1 |
, |
|
где |
|
|
|
|
|
S<n = s (i6) s (U)( s (i) + s (n)) |
+ S (i )S (6)(S (6)+ S(i6))_ |
(2.5.17) |
|||