Файл: Горелик, А. Л. Некоторые вопросы построения систем распознавания.pdf

Таким образом, качество признака Х^ выше, чем признака Х 2.

3.4.МЕТОД, ОСНОВАННЫЙ НА СРАВНЕНИИ ВЕРОЯТНОСТНЫХ ХАРАКТЕРИСТИК ПРИЗНАКОВ

Оценить качество признаков можно также и в том случае, когда законы распределений fi(Xj) неизвестны,

однако известны первые и вторые моменты распределе­ ний: rriji и Dji. Оценка, основанная на использовании этих данных, возможна, так как признаки объектов Xj

могут быть условно подразделены на две группы.

К первой группе относятся такие признаки, значения которых мало изменяются при переходе от одного объек­ та данного класса к другому и заметно изменяются при переходе от объектов одного класса к объектам другого класса. Ко второй группе относятся признаки, которые чувствительны к переходам от объекта к объекту данно­ го класса и лишь незначительно изменяются при пере­ ходах от одного класса к другому. Естественно, что при­ знаки, относящиеся к первой группе, намного полезнее признаков второй группы.

Количественная оценка меры полезности или качест­ ва признаков Xj, /=1, 2 , . . . , N, может быть произведе­

на следующим образом. Пусть некоторый механизм вы­ рабатывает значения /-го признака объектов с вероятно­ стями, равными априорным вероятностям появления объектов соответствующих классов £ = 1, ... , т. Обозна­ чим эти априорные вероятности через P(Qi). Определим

математическое ожидание некоторой фиктивной случай­

69

ной величины, принимающей значения тц с вероятнос­ тями P ( Q i ) :

І= 1

атакже математическое ожидание дисперсии /-го при­ знака по классам, т. е.

выше, чем признака Xs, так как вдоль оси признака Хі

'объекты располагаются компактнее, чем в направлении оси признака Х8.

Определим теперь дисперсию математического ожи­ дания распределений признаков при переходе от класса к классу

Очевидно, что если Du>Dsi, то при прочих равных условиях качество признака Хі выше, чем признака Xs, так как в пространстве признака Хі изображения, отно­

сящиеся к разным классам, располагаются на удалени­ ях, больших чем в пространстве признака Xs. Геометри­

ческая интерпретация рассмотренного вопроса легко прослеживается из рис. 3.2. В качестве критерия срав-

70

нительной оценки признаков целесообразно использо­ вать величину

При этом наилучшим признаком является тот, который реализует

3.5.МЕТОД, ОСНОВАННЫЙ НА ОПРЕДЕЛЕНИИ КОЛИЧЕСТВА ИНФОРМАЦИИ

Сравнительную оценку качества двух признаков Xt и Хв можно произвести также на основе определения ко­

личества информации, получаемой системой распозна­ вания в процессе распознавания данного объекта в' ре­ зультате определения этих признаков. Пусть, как

проведения экспериментов исходная априорная неопре­

Пусть в результате проведения соответствующего экспе­ римента определен признак объекта Хі и найдены услов­

ные апостериорные вероятности отнесения этого объекта к соответствующим классам Р(0,ііХ{).

После этого эксперимента неопределенность состоя­ ния системы изменилась и условная энтропия системы будет равна

7 !

множеству возможных значений признака Хі величина

энтропии системы будет равна

занные с определением признака Хі, и рассчитаны апо­

стериорные значения вероятностей признаков по клас­ сам, то количество информации, которое получает в ре­ зультате проведения этих экспериментов система распо­ знавания, равно

o(

если Xi — непрерывный признак.

Аналогичные выражения могут быть получены и для всех признаков Xj. При этом будем полагать, что каче­ ство признака Хі выше, чем признака Xs, в том случае,

когда количество информации, поступающей на вход

72

системы распознавания при определении признака Xlt

будет больше, чем количество информации, получаемой системой при определении признака Xs, т. е. С1ХI Ло

Определим на основе данных рассмотренного в § 3.4 примера, какой из признаков: АУ или Х2— вносит в систему распознавания большее количество информации.

1.Начальная энтропия системы

Н0 = —[Я(£2і) log'2 P(&i) + Я (0 2) log2 P (fi2)] = —(0,4 log20,4+

+0,6 log2 0,6) =0,97.

2.Конечная энтропия системы при условии использования приз­ нака Хі

H1= - ^ f l (Xi)P(Ql/Xi) log2 P(Qi І2У) X

X(:AК іЬ + І Ы ^ О ^ г Д і ) log2P(1ß 2|y 1)(A2f1)2],

где апостериорные вероятности

P(Q1/Z1)= P (fi1)/i(^)/[^(^0/i№ )+/5(ß2)/2№)] =

= 0,4 • 0,166/(0,4 • 0,166+0,6 • 0,2) =0,36.

P(Q2IXi) =0,64.

Интервалы изменения признака Xt по классам (AAi)i = 6[c];

(ДАі)2 = 5[с]. Таким образом, Я[ = —(0,166 • 6 • 0,36 • log2 0,36+0,2 X Х5 • 0,64 log2 0,64) =0,93.

Изменение энтропии системы или количество информации, полу­ ченное при измерении признака ЛУ:

ü Xi = Я 0—Я, =0,97—0,93=0,04 дв. ед.

3. Конечная энтропия системы при использовании признака Х2

Я 2 = Н /, (Х2)Рій ^ Хг ) \ogzP(Qi\X2) (ДА2) t +

+ I 2( X 2) P ( Q 2\ Х і ) log2 Р (Q21X i ) ( \ X i ) il

где апостериорные вероятности

______ ‘ P (Q,)fi(Xj)

P(Q2/X2) =0,43.

Интервалы изменения признака Х2 по классам (ДХ2)і = 5(тА ), (АА2) 2= Ю(гпА). Таким образом,

Я 2 = —(0,2 ■5 • 0,57 • log 0,57+0,1-10- 0,43 • log 0,43) = 0,96.

Количество информации, полученное при измерении признака Х г\

/7 ^ = 0,97 — 0,96 = 0,01 дв. ед.

Таким образом, прлзнак Лу более информативен, чем признак Х г.

73