Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

Другими словами, основная гипотеза состоит в том, что наблюдение X получено из нового нормального класса, центр которого располо­ жен на прямой, соединяющей точки ах и а2. Описанная ранее проце­ дура приводит к линейной разделяющей функции. Поэтому если рас­ смотреть, например, наблюдение Х г и Х2, то как Х ъ так и Х2 будут отнесены к одному из заданных классов (Хг — к классу 2, а Х2 —

кклассу 1), хотя интуитивно ясно, что Хг может и не принадлежать

кклассу 2, хотя и относится к некоторому новому классу, центр кото­

рого лежит на прямой, соединяющей центры заданных двух классов,

*(г)

Рис. 1.5. Классификация наблю­ дений Х\ и Хі с учетом возмож­ ности извлечения наблюдения из нового класса

х !’)

а Х 2 по-видимому, получено из класса, центр которого не находится даже на прямой, соединяющей точки ах и а2. Рис. 1.5 отражает эту ситуацию при р = 2.

Известно [8], что при справедливости основной гипотезы статистика

распределена как %2 с р—1 степенями свободы, где р — размерность наблюдения X.

Это дает возможность не присоединять наблюдение X ни к одному из классов N (ах, 2) и N (а2> 2) и, более того, отвергнуть гипотезу о том, что наблюдение X извлечено из нового класса, центр которого лежит на прямой, соединяющей центры заданных классов. Если ве­ личина (1.12) статистически значима, т. е. больше, например, 5%-ной точки ^-распределения с (р—1) степенями свободы, то наблюдение X не следует относить ни к одному из классов, несмотря на то, что ис­ пользование линейной разделяющей поверхности, или линейной дис­ криминантной функции привело бы к этому.

37

Если же величина (1.12) мала, статистически незначима, то сле­ дует проводить дальнейший анализ, основанный на статистиках

. _ [(aa-fli)' ^ ( Х - Щ )]2 1 («2—%)' S _1 (“2 —öl)

поскольку в отношении классификации наблюдения остаются еще три возможности: либо X принадлежит к классу 1, либо X принадлежит к классу 2, либо X принадлежит к некоторому новому классу, центр которого лежит на прямой, соединяющей центры заданных двух классов.

Первое решение (X £ Sj) следует принимать в случае ф і< ф 2 и °Дн0' временно > Xo.osÜ)1- Второе решение (X £ S2) принимается в случае ф2 < Фі и одновременно ф2 •< Xo.osU). И наконец, если min (фх, ф2) ^

^Хо,05 (1), то принимается решение о принадлежности наблюдения X

кновому классу с центром, лежащим на прямой, соединяющей цент­ ры заданных двух классов. Применение описанной процедуры к на­ блюдениям Х г и Х2, изображенным на рис. 1.5, дало следующие ре­

4. Решающие правила, допускающие неопределенные решения

Рассмотрим еще один случай классификации наблюдения X, при­ надлежащего к одному из k классов, но в ситуациях, когда кроме решений dj — отнести наблюдение к классу /, возможно решение d0 — воздержаться от отнесения наблюдения к какому-либо классу. В этом случае необходимо, кроме С (/ | і) знать еще С (0 | і) — потери от приня­ тия решения d0, когда X принадлежит к классу і.

В этом случае функции, приведенные в п. 1 настоящего парагра­ фа, будут иметь вид

о функциях бj (X) как о решающих функциях. Это не приведет к пу­ танице, но позволит не вводить новый термин, дискриминантный ин­ формант, если следовать[8].

1 Здесь и в дальнейшем (т) —Ю0а% -ная точка %2-распределения с т сте­ пенями свободы.

38

средними значениями ait но с одинаковыми ковариационными матри­ цами 2 . В этих предположениях

и известно [1], что эта величина распределена по нормальному закону

N ( Р, Р ) при X е N (at, 2),

Р (j\i) принятия решения dj, когда X принадлежит классу /, выража­ ются в этом случае следующим образом:

где Ф (и) — функция распределения стандартного нормального зако­ на [8].

39

и ошибки Р (і\і) будут зависеть от распределения квадратичной фор­

Используя это, можно получить ошибки классификации для клас­ сов с одним средним и разными эллипсоидами рассеивания.

§3. КЛАССИФИКАЦИЯ ПРИ НАЛИЧИИ ОБУЧАЮЩИХ ВЫБОРОК

В параметрическом случае вид разделяющей поверхности известен (см. § 2, п. 2) с точностью до параметров, зависящих от Ѳг (і = 1 ,2 ,.., k) и классификация, т. е. разбиение X, состоит в том, чтобы по обуча­ ющей последовательности определить параметры разделяющих функ­ ций, задающих границы исходных областей S,.

Естественно, что в общем случае параметры разделяющих (дискри­ минантных) функций не совпадают с параметрами Ѳг, определяющими распределение внутри каждого класса. Например, § 2, в п. 2 данной

40

главы были приведены линейные разделяющие функции, общий вид которых

Ьи {Ц) = Ь’и + Ь0.

При этом, например, вектор-столбец b зависит от г и у и может быть выражен через параметры Ѳ распределения нормальных классов і и j с разными средними at и а;- одинаковыми ковариационными матри­ цами 2, так

ь = '2г1(а}— аі).

Обычным является следующий подход: по обучающей последова­ тельности определяют оценки параметров Ѳг (і = 1, 2, ..., k) и, как в предыдущем параграфе, определяют разделяющие поверхности, вер­ нее, оценки этих поверхностей бі;- (U) или функций 6; (U).

Метод получения вида разделяющих поверхностей бі} (U) или функций бі (0) был достаточно подробно описан в предыдущем па­ раграфе и сводился к методу отношения правдоподобия, где констан­ ты Сі были известны, если известны априорные распределения и потери от неправильной классификации, или неизвестны, если не было дан­ ных о потерях и априорных вероятностях. Но и в том и в другом слу­ чае метод отношения правдоподобия был наилучшим. Будем обозначать этот критерий, т. е. систему областей, определенных неравенствами

1±Ш1 с через L (с). fj(U) "

Два метода классификации Lx и L2 называются асимптотически подобными над семейством плотностей F — {/ (U | Ѳ)}, если для любых

Заметим, что часто семейство F состоит из распределений одного вида, например, нормальных, но с неизвестными средними и ковариа­ ционными матрицами.

41

предлагается следующий способ классификации нормальных наблю­ дений, когда неизвестны средние значения и ковариационные матри­ цы, т. е. f (U I Ѳг) — нормальные плотности, а Ѳ* состоит из вектора

средних а'і = (аі(1>, а\2), ...,а\р)) и элементов матрицы 2 . Таким образом,

неизвестный параметр Ö имеет размерность р + —~ —- =

Предполагается также, что потери от ошибочных классификаций одинаковы.

пи Ч=і

в качестве оценок at и 2 г классифицируют наблюдение X по максиму­ му величины

(''О — fp. ггц—р(4 (X)),

где fp, m._p — плотность /•'-распределения с р и ті — р - степенями

цию можно уточнить в смысле сближения ошибок неправильной клас­ сификации точного и приближенного (по оценкам 2 и at) методов, если

р{пц —\) I 2 Ші—kj

Тогда классификация сводится к отысканию максимума величины

ö« (X) — fp, m,+m2+. . .+mk—k—p+ 1(ti (X)),

т. e. X относят к классу і0, если б* ^ бг (X) (і = 1,2, ..., k).

42