Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

или об ошибках классификации. Меняя правила разбиения области X на подобласти S lt S 2, S 3, мы можем изменять относительные потери, добиваясь их минимума, или уменьшать ошибки неправильной класси­ фикации.

Таким образом, в нашем примере каждый класс і был связан с на­ бором измеряемых признаков известной функцией /у (U). Предпола­ галась известной также вероятность встретить объект г-го класса при случайном извлечении изделия из всей совокупности, кроме этого, счи­ талось возможным численное определение потерь С Q/i), возникающих при отнесении изделия к /-му классу, в то время как оно в действитель­ ности принадлежит к классу і.

1.Постановка задачи

втерминах статистических решающих правил

Говоря о полностью описанных классах, мы будем предполагать что известны:

1) fi (U) — плотности распределения вероятностей исследуемого признака в предположении, что соответствующие наблюдения произ­ водятся в пределах і-го класса (і = 1, 2, ..., k)\

из класса і к классу j (і, j = 1, 2, ..., k).

Таким образом, произвольное наблюдение X; может быть интерпре­ тировано как наблюдение из генеральной совокупности, описываемой смесью k классов с плотностью вероятностей

h ( U ) = I i ni f l (U),

і= 1

к классу і. Такие функции обычно называются решающими. Очевидно, каждая такая решающая функция ф (U) определяет раз-

биение множества X на k подмножеств Slt S 2, ■■■, S k и S t = {U : ф (U) = = dt}. Вместо множества решающих функций ф (U) можно рассматри­

Так как каждому разбиению 5 можно поставить в соотвётствие решаю­ щую функцию cp (U), а каждой функции ф (U) можно поставить в соот­ ветствие разбиение S, то эти задачи являются эквивалентными.

Зафиксируем некоторую функцию ф (U) и рассмотрим средние потери.

Очевидно, для наблюдений, принадлежащих к і-му классу, матема­ тическое ожидание потерь для заданного решающего правила ф (U) будет равно

Если мы хотим так классифицировать наблюдения {XJ, чтобы сред­ ние потери были минимальными, то нам следует так решать задачу вы­

Если нам удалось найти такую функцию ф* (U) (такое разбиение

S* = {Sf, SI, ..., S|}), что С* {ф} = min С (ф), то говорят, что найде-

ф

но байесово решение задачи классификации, или байесово решающее правило.

Принципиальное решение задачи построения байесовских решаю­ щих правил известно [1], [8].

ожидание потерь минимально, определяются следующим образом: область Sm состоит из тех точек U, для которых

34

Особенно простой вид решение задачи приобретает, когда потери от

2. Решающие правила в случае нормальных классов

Предположим, что плотности / г (£/) нормальны с разными средними п, но с одинаковыми ковариационными матрицами 2, т. е. / г (//) 6 6 А (йг, 2). В случае, когда потери от неправильной классификации равны между собой, области S* определяются из условия

П)

Это означает, что границы областей, задаваемые так называемыми дискриминантными функциями, имеют вид гиперплоскостей в исследуе­ мом р-мерном факторном пространстве, а соответственно сами дискри­ минантные функции линейны.

Аналогично поступают и в случае, когда априорные вероятности я г- неизвестны. В этом случае рассматриваются дискриминантные функ­ ции (и соответствующие им плоскости) вида

Постоянные ct и с;-, входящие в уравнение дискриминантной функ­ ции, определяются так, чтобы средние потери (Сг и Су), возникающие при классификации объектов соответственно і-го и /-го классов, были

определению констант с* и с;-, при котором оказываются равными меж­ ду собой вероятности P (j\j) правильной классификации объектов /-го класса.

Для реализации этого подхода используют тот факт, что (k— ^-мер­ ные случайные векторы-столбцы 8j-(X), компонентами которых явля­ ются (k — 1) случайные величины б7-г (X ) + Cj—ct (і = 1,2, ..., k), но

(г ф /), имеют нормальную плотность распределения /у (иР\ ..., и**-1')

скомпонентами вектора средних значений вида

=-^-{аі — аі) ' ^ г 1{а}~ а і) (г -- 1, 2 ,..., /г; но іф})

иэлементами ковариационной матрицы вида

—й і У ^ і а } — üi) (г, I --1,2, ... , k; но іф-j и l=f=j).

Поэтому константы сг и Cj, в конечном счете, определяются из ус­ ловия взаимного равенства величин

оо оо со оо

X d z il)

При разных ковариационных матрицах классов и разных векторах средних значений используется аналогичный подход, который приво­ дит, правда к нелинейным (квадратичным) дискриминантным функциям и соответствующим наилучшим граничным поверхностям. В частности, решение вопроса об отнесении точки U к /-му классу (области Sj) про­ изводится с помощью функций

— üj) + Cj, если априорные вероятности лу неизвестны. Это показы­ вает, что границы наилучших областей состоят из кусков поверхно­ стей второго порядка. Константы можно определить из тех же со­ ображений, что и выше, только более громоздким образом.

3. Метод классификации наблюдения, не принадлежащего к одному из известных классов

На практике следует учитывать ситуации, в которых наблюдение X может не принадлежать ни к одному из известных классов. Однако об­ щей теории, которая бы включала эту возможность, до сих пор нет. Более того, иногда нет возможности приписать априорную вероят­ ность новому классу и оценить потерю от пропуска нового класса, т. е. потери от отнесения наблюдения из нового, неизвестного класса к ка­ кому-либо ранее известному классу. Но все-таки некоторые частные случаи этой общей ситуации можно исследовать.

36