Файл: Галушкин, А. И. Синтез многослойных систем распознавания образов.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 17.10.2024
Просмотров: 101
Скачиваний: 1
Уверенность ответа системы распознавания образов о принад лежности текущего образа х на входе, например, к первому классу должна определяться разницей апостериорных вероятностей при надлежности к первому и ко второму классу. В этом плане много мерное пространство признаков должно делиться на три части:
область / соответствует решению СР о принадлежности ее к первому классу
г ( е = - 1 / х ) - ^ > / " ( 8 = 1/х);
область I I соответствует решению СР о принадлежности ее ко
второму классу
Г (е = — 1/х) |- d2< /" (8 = 1/х);
область I I I , в которой СР либо вообще не может ответить на
вопрос о принадлежности текущего образа к первому или второму
классу, либо отвечает на |
этот |
вопрос |
с |
некоторой |
вероятностью |
|||
Г (в = - |
1/х) — <*!</" (е = |
1/х); |
|
/" (8 = |
- |
1/х) + dt > |
r (е = 1/х). |
|
Здесь |
величины dx и d2 (0 |
< |
< |
1, |
0 < d2 < |
1) |
определяют |
степень уверенности СР в отнесении образов на входе к первому или второму классу. В частном случае возможно, что d1 = d2 — d или rfi = d2 = d — 0; в последнем случае вариант с двумя разде ляющими поверхностями вырождается Ввариант с одной разделяю
щей поверхностью. В случае двух разделяющих поверхностей си стема распознавания образов с оптимальными параметрами разде-
/ляющих поверхностей преобразует входной сигнал х (га) в выходной xk(n) (указание системы о принадлежности текущего образа к тому или иному классу) следующим образом: х (га) в области / — х* (га) =
= — 1 (1-й класс); |
х (га) в |
области |
I I |
— х* (га) = 1 (2-й класс); |
х (га) в области I I I |
— х* (га) |
= 0 (1-й |
и |
2-й класс). |
Общее выражение для разделяющих поверхностей, оптималь ных по величине апостериорной вероятности, имеет вид:
Pi/i (х)_______ d |
= |
Р2/2 (х) |
, |
|
Pl/l (х) + Р2/2 (х) |
1 |
Pl/l (X) + р 2/2 (х) |
’ |
|
Pl/l(x) |
| d |
Pifi (х) |
|
|
Pl/l (х) + Pifi (X) |
2 |
Pi/i (х) + p2f2 (х) |
' |
|
Преобразовывая, получаем: |
|
|
|
|
S' (Х) = |
^ W |
_ |
(! — di) Pi . |
|
|
/1 (х) |
|
(1 + d i ) р 2 |
|
( 2- 1)
5" лл _ / 2
/ 1
(х) _ (1 -f- Д?г) Pi
(х) |
(1 — d2) p 2 |
Это окончательное выражение для разделяющих поверхностей, когда в качестве критерия первичной оптимизации используется величина апостериорной вероятности. В работе автора (Л. 52] представлена более подробная интерпретация величин d1 и d2 через условные плотности [' (х/е) и /" (г]х).
Система распознавания, оптимальная по критерию ми нимума средней функции риска, делит многомерное про
2 |
З а к а з № 975 |
33 |
странство признаков на три части: область, относимую СР к первому классу; область, относимую СР ко второму классу; область, в которой СР отказывается от принятия решения о принадлежности образов к тому или иному классу:
S' ( х )< 0 ; |
|
S" (х)> 0; |
(2-2) |
S " (x )< 0 < S '(x ). |
|
Условная функция риска есть сумма потерь при отне сении образа г-го класса к /-й области. Потери вычисляются как соответствующие вероятности, умноженные на вели
чины коэффициентов 1ц (i = 1 , 2 ; / = |
1, 0 , 2 ) |
матрицы |
|||||
потерь L |
|
|
|
Ао |
|
|
|
|
|
|
^11 |
^12 |
|
|
|
|
|
|
_ ^21 |
^20 |
^22 |
|
|
Коэффициенты |
/10, /20 — коэффициенты потерь |
при от |
|||||
казе системы от |
распознавания. Очевидно, что |
|
|||||
|
hi < ^1о |
^12» |
hi^> ho^> 4г- |
|
|||
Выражения для условной функции риска имеют сле |
|||||||
дующий вид: |
|
|
|
|
|
|
|
|
N |
|
|
|
N |
|
|
О = |
J • • • |
j lufi (х) d x + |
j . . . j |
/ю/i (x) dx + |
|||
|
S ’ (x)<0 |
|
|
S" (x)<0<S' (x) |
|
||
|
|
+ j |
• • • [ |
/12/1 (x) dx\ |
|
(2-3) |
|
|
N |
S" ( X )> 0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
r 2 = |
f • ■• j |
4 iM x) dx + |
j |
• • • f |
W a (x)dx + |
||
|
S' (x)<0 |
|
N |
S" (x)<0<Sr (x) |
|
||
|
|
|
|
|
|
|
|
|
|
+ f |
• ■• J W 2 (x) dx. |
|
(2-4) |
||
|
|
S" (x)>0 |
|
|
|
|
|
Усредняя условные функции риска, получаем выраже |
|||||||
ние для средней функции риска |
|
|
|
||||
|
N |
|
|
|
|
|
|
|
R ~ J • |
• • j" UnPifi (х) -f- /21Р2/2 (х) ] dx -j- |
|
||||
|
s' |
(x)<d |
|
|
|
|
|
34
|
+ |
|
f |
‘ |
[ |
KioPi/i (x) + |
hoPifz (x)l dx~{- |
||||||||
|
|
S" |
(x)<0< S ' |
(x) |
|
|
|
|
|
|
|
|
|
||
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
+ |
j • |
• • |
j [^2PlM x)-M 22P2/2(x)]dx. |
|
|||||||||
|
|
|
S" |
(x)>0 |
|
|
|
|
|
|
|
|
|
|
|
Учитывая, |
что |
|
|
|
|
|
|
|
|
|
|
|
|||
|
N |
|
|
|
N |
|
|
N |
|
|
|
N |
|
||
J |
- . |
f |
|
S" |
(x)<0 |
S' (x)<0 |
|
Г |
ч |
= |
|||||
S" (x)<0<S' (x) |
|
S"(x)>0 |
|||||||||||||
|
|
|
|
|
|
N |
|
|
N |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
- |
S |
|
- |
H |
- |
|
S |
|
|
|
|
а также то, что |
|
|
|
|
|
S ’’ |
(x)<0 |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
j |
. . . J [lizPxfi (x) -j- hiPifi (x)] dx = |
/i2P i+ |
/22p2> |
||||||||||||
выражение |
для |
средней |
функции |
|
риска |
можно записать |
|||||||||
в следующем виде: |
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
R = |
(^i2Pi+ 4гРг)+ j |
' ' ' j t^nPi/i (х) + |
4 1 Р2/2 (х)— |
||||||||||||
|
|
|
|
|
|
|
S' (х)<0 |
|
|
Л/ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
— /10Р1/1 (х) — 4 оР2М х)М х + |
j |
|
• • • |
J UloPlfl(X) + |
|||||||||||
|
|
|
|
|
|
|
|
|
S" (х)<О |
|
|
|
|||
|
|
+ |
koPvh Сх ) — |
/i2 p i/i( x ) — |
/22Р2/2 (х )1 dx. |
|
|||||||||
Отсюда следует окончательное выражение для средней |
|||||||||||||||
функции |
риска: |
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
R |
= |
Ц 1 2 Р 1 + ^ггРг) ~Ь j* |
• • • |
J |
[(^11 |
^10) P i f i |
Iх) ~"Ь |
||||||||
|
|
|
|
|
|
|
о' (х)<0 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
+ { k i — |
^20) Р2/2 (х)1 ^х + |
j • • |
• |
j |
К^о— /12) P l/l(X) + |
||||||||||
|
|
|
|
|
|
|
|
S” (x)<0 |
|
|
|
|
|
||
|
|
|
|
~f~(^20 |
^22) P2/2 (x)l dx. |
|
|
(2-5) |
2 |
35 |
Необходимо найти выражения для S' (х) и S " (х), обес печивающие минимум R. Достаточно просто показать, что минимум R обеспечивается в том случае, когда подынтег ральные выражения отрицательны внутри соответствую щей области интегрирования и положительны вне ее, т. е. минимум R обеспечивается при условии
S '(x )~ |
(ln |
l10) Pi/i (х) -f- (/2i — /20) Ра/а (х); |
\ |
5 (х) = |
(/10 |
ll2) px/i (х) -J- (/2о — ^22) Р2/2 (х)- |
I |
Выражения (2-2) и (2-6) определяют оптимальную мо дель СР двух классов образов с двумя разделяющими по верхностями. Рассмотрим несколько подробнее частный случай, который более физически отражает сущность СР двух классов образов с дву мя разделяющими поверх
ностями. Примем
Рис. 2-3. Исследование струк |
S '(x) = |
туры СР в зависимости от коэф |
= (1 — Ш я (х)— hf\ (X), |
фициента потерь при отказе си |
|
стемы от распознавания. |
S"(x) = |
|
= Ы г (х)—(1 — /о) h (х). |
На рис. 2-3 представлена иллюстрация (в одномерном случае) зависимостей изменения порогов Лх и /г2 от /0.
Анализ выражений для разделяющих поверхностей позволяет сделать следующие выводы:
а) При /0 = 0 зона, в которой СР отказывается от распознава ния, занимает все пространство признаков. Это естественно, так как в данном случае потери при отказе от распознавания равны нулю.
б) При 10 = 1/2 СР с двумя разделяющими поверхностями вырождается в СР с одной разделяющей поверхностью. Это случай, когда потери при отказе от распознавания в 2 раза меньше потерь при неправильном распознавании, а потери от правильного рас познавания равны нулю.
в) При конечном значении 10 в пределах 1/2]> /о^>0 сущест вует зона нечувствительности, где СР не относит текущий образ на входе ни к первому, ни ко второму классу.
г) При значении /0 в пределах 1 > /„ > 0 ,5 СР имеет две разде ляющие поверхности, причем в зоне между ними СР относит теку щие образы на входе и к первому и ко второму классу. На рис. 2-3
кривые |
изменения порогов симметричны как относительно линии |
ti (х) = |
1г (х)> так и относительно уровня /0 = 1/2. |
36
На рис. 2-3 кг — порог, которым определяется (в одномерном случае) поверхность S' (х), h2 — порог, которым определяется по верхность S ” (х).
д) При l0 = 1 все многомерное пространство признаков счи тается принадлежащим и первому и второму классу.
Если сравнить оптимальные модели СР, построенные по крите рию апостериорной вероятности (2-1) и критерию минимума сред ней функции риска (2-5), то видно, что при условии
j |
(1ц 4" Al)-- |
(^1 0 ~W2o), . j |
(/j2 + ^2 2 ) — (ho + 4o) |
dl=* |
-------------- 2-------------- |
’ |
2 |
оптимальные решения по указанным критериям совпадают. Кроме того, данные равенства являются дополнительной интерпретацией коэффициентов dt и d2. Использование того или другого критерия возможно при наличии априорной информации о коэффициенте di или 1ц.
Анализ выражения для средней функции риска показы вает возможность рассмотрения критериев первичной оп тимизации при следующих ограничениях:
1) равенство отдельных составляющих средней функции риска
|
Piri = p2r2; |
(2-7) |
2 ) постоянная величина составляющей средней функ |
||
ции риска для одного из классов |
|
|
|
р2г2 = а = const. |
(2 -8 ) |
Для решения задачи минимизации с учетом первого |
||
ограничения запишем функционал Лагранжа в виде |
|
|
I |
= R + K(p1r1 — р2г2). |
|
Подставив в уравнение (2-7) значения функций |
и г2 |
|
из (2-3) и (2-4), получим: |
|
|
|
N |
|
P1A 2 + J • • • j (/1 1 — /1 0 ) Р1 / 1 (х) dx -f- |
|
|
|
S ' (х)<0 |
|
N |
|
|
+ f • |
• • f (/lO— /l2)P lfl(x)dX = |
|
S" (x)<0 |
|
|
|
N |
|
= P2^22+ |
j • • • |(* 21— /20)Р 2М*МХ + |
|
|
S' (x)«) |
|
|
N |
|
+ j |
. . . j (/20- / 22) P%f2(X) d x . |
(2-9) |
S " (x)<0
37