Файл: Галушкин, А. И. Синтез многослойных систем распознавания образов.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 17.10.2024
Просмотров: 110
Скачиваний: 1
при использовании дополнительных условий Сильвестра для матрицы смешанных производных второго порядка R по компонентам вектора b (хк).
Рассмотрим оптимальную модель |
СР |
с Кр = К реше |
||
ниями при произвольной квалификации учителя Ь. |
||||
Необходимо так определить функцию |
потерь |
I (х, Ь*. , |
||
b, lkpk) , чтобы в режиме обучения |
при |
b = 1 |
/==/* и . |
|
в режиме самообучения |
при b — О |
I = |
р (х, Ь*. |
), а при |
b — — 1 определялся |
функционал |
первичной |
оптимиза |
ции с обратной экстремальностью по отношению к режиму
обучения. Такая |
функция потерь может быть записана |
в следующем виде: |
|
/ (х, b*p, |
b, lkpk) = blkpk + ( \ — Ь2)р(х, bftp). |
Выражение для средней функции риска имеет вид:
R |
к |
I |
2 р Л ( х) ijkpk |
b+ |
2 |
||||
|
* Р = 1 |
о ( * р ) , |
k=l |
|
|
|
s K P ' ( x ) > 0 |
|
|
|
+ |
(1 b2) Ix— bAp |2 / (x)j dx. |
(2-28) |
Оптимальная область kp-ro решения может быть пред ставлена следующим образом:
S ( P\ x ) = g ' (х)—gk ( х )> 0 , ko =£k = 1 , . . . , К п.
Выражение для оптимальных значений Ьк ; имеет вид, аналогичный (2-26).
Выше предполагалось, что квалификация учителя из вестна точно при построении оптимальной модели СР. Не точное знание квалификации учителя имеет место, напри мер, при решении задач медицинской диагностики, когда известно, что квалификация обучающей выборки сделана врачом, имеющим конечную, неточно известную конструк тору СР квалификацию. При этом объективная квалифи кация b учителя определяет вид распределения входного сигнала, а субъективная квалификация учителя Ьс, сооб щаемая системе, определяет вид функционала оптимиза
ции. В случае К = |
Кр классов и решений СР |
|||
|
. |
к |
|
|
R |
V |
{21 [bcPkhkpu ь |
'6с)р(х- Ь* )]х |
|
' |
—J |
* р = 1 |
(х) > О |
|
х /'(х /е — k)} dx. |
62
С учетом выражения для закона распределения вход ного сигнала оптимальная модель СР, в данном случае оп ределяемая системой К неравенств, запишется в следую щем виде:
V lbc ^pklkkp- p klkk^ + ( \ - b l ) Гр(х, Ь*р) - р | х , b / j lj x
fe=l |
р |
V |
р. J |
|
к |
|
|
|
Pk'fk' (хУ°кк' |
|
(2-29) |
|
X -£=*----------------- > о, |
|
|
|
2 Pk'akk’ |
|
|
где kp = 1, |
k'=l |
|
|
. . . , К. |
|
|
В этом случае предполагается, что субъективная квали фикация учителя, сообщаемая СР, не зависит от номера класса.
Из (2-29) следует, что в случае bc = 1 и ] = A lt
где А 1 — единичная матрица (см. § 1-3), имеют дело с ре жимом обучения. В случае Ьс = 0 при произвольных зна чениях ak,k система работает в режиме самообучения. В об
щем случае, когда объективная b и субъективная Ьс квали фикации учителя совпадают, система способна к настройке. В том случае, когда учитель имеет нулевую квалификацию, а систему принуждают работать в режиме обучения, она оказывается неспособной к настройке.
Вышеизложенный материал позволяет следующим образом классифицировать априорную информацию, необходимую для по строения оптимальной модели СР: а) число классов образов (два, К, континуум); б) характер нестационарное™ входного сигнала; в) функция квалификации учителя СР от двух аргументов, являю щихся индексами соответствующих классов; г) функция «собствен ного мнения учителя СР о своих способностях»; это также функция двух аргументов, являющихся индексами соответствующих клас сов; д) априорные вероятности появления классов; е) структура пространства решений СР (два, К р, континуум решений); ж) класс критериев первичной оптимизации СР; з) функция потерь при от несении СР образов одного класса к другому.
Это указывает на значительность объема априорной информа ции, необходимой для построения оптимальной модели СР. Необ ходимо отметить, что иногда отпадает необходимость в некотором виде априорной информации, например в априорных вероятностях появления классов при использовании минимаксного критерия или эмпирического байесовского подхода.
Как было указано во введении, количество априорной инфор мации о виде I' (х/е) определяет пути реализации оптимальных мо делей СР, указанные в табл. В-1.
63
Г л а в а т р е т ь я
ПОСТРОЕНИЕ СР, НАСТРАИВАЮЩИХСЯ ПО РАЗОМКНУТОМУ ЦИКЛУ
3-1. Классификация типовых распределений
Построение СР, настраивающихся по разомкнутому циклу, предполагает априорное знание в той или иной
форме |
общего |
вида |
условных плотностей распределений |
|||||
/' (х/е) |
с |
точностью |
до |
неизвестных |
параметров, |
которые |
||
|
|
|
|
|
определяются в процессе настройки |
|||
х(п) |
|
|
Х к (п ) |
по реализациям входного сигнала. |
||||
|
|
|
= > |
|
Подобное априорное задание /' (х/е), |
|||
|
|
а(п) |
|
естественно, |
ограничивает возмож |
|||
|
|
|
ности СР при распознавании обра |
|||||
|
|
|
|
|
||||
|
|
|
|
|
зов с характеристиками, изменя |
|||
|
I |
=t> |
л |
|
ющимися в широких пределах. |
|||
е(п) |
|
|
|
|
Однако если |
информация |
о |
виде |
t--- |
|
|
условной плотности имеется, |
то ее |
||||
ш |
|
|
||||||
|
|
|
|
|
использование приводит к упроще |
|||
Рис. 3-1. |
Общая струк |
нию реализации СР. При наличии |
||||||
турная схема СР, на |
данной информации и выражения, |
|||||||
страивающихся |
по ра |
описывающего оптимальную |
мо |
|||||
зомкнутому циклу. |
|
дель СР конкретного вида, задача |
||||||
|
|
|
|
|
синтеза СР, |
настраивающихся по |
разомкнутому циклу, заключается в подстановке выраже ния для f' (х/е) в формулу, описывающую оптимальную модель. Общая структурная схема СР, настраивающихся по разомкнутому циклу, представлена на рис. 3-1, где / — блок оценки параметров условных плотностей /' (х/е), II — блок расчета параметров разделяющей поверхности, III — априорная информация о виде условных плотностей.
Решение задачи синтеза СР, настраивающихся по ра зомкнутому циклу, возможно для любой оптимальной ма тематической модели СР и любой функции распределения. Использование информации о типовых распределениях при синтезе СР, по сути дела, есть использование опыта, накопленного математической статистикой при описании существующих в природе процессов детерминированными характеристиками.
Типовые распределения могут быть классифицированы, следующим образом: дискретные (одномерные и много мерные), непрерывные первообразные; непрерывные выбо рочные.
64
Перечень наиболее часто встречающихся распределе ний каждого из классов представлен в табл. 3-1. Конкрет ные выражения для данных распределений можно найти в известной литературе [Л. 16, 18, 25, 27, 32, 34, 37, 38, 39, 43, 45] по математической статистике.
|
|
Т а б л и ц а 3-1 |
|
|
Н епрерывные распределения |
|
|
распределения |
первообразные |
выборочные |
|
|
|||
ГипергеометриРавномерное (прямо- |
X2 — распределение * |
||
ческое |
угольное) |
t — Стьюдента * |
|
Биномиальное |
Симпсона (треугольное) |
||
Пуассона |
Нормальное (Гаусса)* |
у — распределение * |
|
Геометрическое |
Релеевское * |
р — распределение * |
|
Паскаля |
Обобщенное релеевское |
F (или V2) |
|
Пойа |
Коши * |
Уишарта |
|
Полиномиальное |
Экспоненциальное |
г — Ришера * |
|
Пуассона |
Лапласа |
Т2 — Хэттелинга |
|
Многомерное |
Гиперэкспоненциальное |
W — распределение |
|
|
Показательно-степенное |
нецентральное |
|
|
Логарифмическое |
Т — распределение |
|
|
Логнормальное |
S2 — распределение |
|
|
Вейбулла * |
Вилкоксона |
|
|
Арксинус * |
II — распределение |
|
|
Логистическое |
X — |
» |
|
Пойа — Эттли |
R — |
» |
|
Sech 2 |
Г— |
» |
|
|
rxy г ~~ |
>у |
* Распределения |
охваченные системой Пирсон а. |
|
|
3-2. Построение СР, оптимальных для совокупностей образов, распределенных по некоторым типовым законам
Нормальное распределение
В случае нормальных распределений
fi (х) |
1 |
ехр — — |
( х - |
mi)T Ul I (x ~ - m■>] |
|
||||
JL |
|
2 |
v |
|
(2л;) 2 |
| U t | |
|
|
|
выражение для оптимальной разделяющей поверхности (СР двух классов образов на два р<ешения) имеет следующий вид:
S (х) = хт( и ^ ' - и ^ 1) х + 2хг ( l/f 'm , — |
m2) — Го = 0. |
3 З а к а з № Э75 |
65 |
Здесь индекс Т означает операцию транспонирования вектора х.
Пороги Т0 для критериев: минимума средней функции риска |
R (Г j), |
|||||||||||
минимума R при условии |
р ггх — р 2г2 (Т2), |
минимума R при ус |
||||||||||
ловии р 1г1 = а |
|
(Т3) — имеют следующий вид: |
|
|
|
|||||||
|
|
|
In |
Ui 1 |
+ |
|
|
т/ 7 — 1, |
|
|
||
|
|
|
U, I |
|
1ш1 — m2 U2 |
‘т 2 + |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
+ 2 In - ^ + 2 In /и ~ /и- |
|
|
|
|
|||||
|
|
|
|
|
Pl |
|
/ц — //2 |
|
|
|
|
|
Т2 = |
In |
|
I U l |
-f |
Ul 1Ш1— 1П2 |
U2 }m2 + 2 \ n |
P2 -f |
|
||||
|
|
|
I/. |
|
|
|
|
1 — X _ |
|
Pi |
|
|
|
|
|
|
2 1 n ./22- / 21_ |
In |
|
|
|
||||
|
|
|
|
|
^li — hi |
1 +Я, ’ |
|
|
|
|||
|
|
|
|
|
|
|
|
|
||||
T„ = |
In |
' |
i'll |
, T , t- |
1, |
|
|
|
2 In |
+ |
|
|
|
+ шГУ, |
‘m, — nij U2 ‘m + |
|
|||||||||
3 |
|
I и | |
1 |
1 |
1 |
J |
г |
2 |
|
Pi |
|
|
|
|
|
|
+ 2 1 п-/ и _ / г 1 + In X. |
|
|
|
|
||||
|
|
|
|
|
Л1 — h |
|
|
|
|
|
|
|
Множители Лагранжа в T2 и T3 определяются |
подстановкой |
|||||||||||
fl (х) и S (х) в уравнения для |
соответствующих ограничений. |
|||||||||||
Релеевское распределение. |
В данном |
случае |
при |
М = 1 |
(один |
|||||||
признак) имеем: |
|
|
|
|
|
х- |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
х2а\
h W = — е • ai
Для системы распознавания 2 (табл. 2-1) при оптимизации по критерию минимума средней функции риска имеем:
|
in £l + -L in ( J n - J u |
£1 |
|
|
|
Т = 20^2 |
аi 2 l /22-/21 Рг |
|
|
|
Ямин — Pl^ll — Pl^2l — Pi (^11 — ^1 2 ) x
Oo—a21
Pi (^11 — ^12) |
/ °2 \ 2 |
|
P2 (^21 — ^2 2 ) X |
. P2 (^22 — ^2l) |
\ 0l / - |
|
|
|
a21 |
||
|
|
|
|
|
|
|
2 |
|
|
|
Oo—О |
Pi (hi — ^1 2 ) |
/ g2 \ 2 |
1 |
|
|
|||
. P2 ( ^ 2 2 ~~ ^2 1 ) |
\ CTl / . |
|
66