Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

Г л а в а II

КЛАССИФИКАЦИЯ БЕЗ ОБУЧЕНИЯ. ПАРАМЕТРИЧЕСКИЙ СЛУЧАЙ: РАСЩЕПЛЕНИЕ СМЕСЕЙ НА ОСНОВЕ ОЦЕНКИ НЕИЗВЕСТНЫХ ПАРАМЕТРОВ

§ 1. СМЕСИ И УСЛОВИЯ ИХ РАЗЛИЧИМОСТИ

Прежде чем приходить к формальному описанию смеси, оста­ новимся на простейшем примере. Допустим, что необходимо распознавать рукописные цифры, соответствующие 0, 1, 2, ..., 9. Каждая цифра, например 8, может быть написана многими способами, соответствующими почеркам различных людей. Таким образом, мы будем иметь дело с целой группой написаний, которые относятся к понятию цифры 8, т. е. будем иметь дело с однородной группой на­

писаний.

Но различных цифр десять, поэтому можно говорить о смеси десяти однородных групп, соответствующих различным цифрам. Следователь­ но, при разбиении совокупности рукописных цифр на группы мы сталкиваемся со смесью не более чем десяти однородных в некотором смысле групп.

При разбиении совокупности городов (семей, производственных предприятий, стран) на однородные группы, естественно, могут наб­ людаться аналогичные явления. Поэтому каждая однородная группа обладает какими-то общими признаками и каждый объект этой группы может иметь индивидуальные (случайные) отличия.

Говоря более формально, каждая”однородная группа может быть представлена в виде генеральной совокупности, задаваемой своей функцией плотности распределения вероятностей /(£У|Ѳ), где пара­ метр Ѳможет играть, например, роль номера класса.

Часто при классификации объектов, как в нашем примере, имеют дело не с одной, а с целой серией (конечной или бесконечной) однород­ ных групп, каждая из которых представлена в некоторой пропорции, т. е. имеют дело со смесями однородных групп. При этом возникает задача: выяснить, имеем ли мы дело со смесью или с одной однородной группой, другими словами, не является ли смесь однородных в некото­ ром смысле групп, однородной группой в том же самом смысле.

57

1. Математическая постановка задачи

Пусть имеется семейство плотностей распределений

ния, или h (U) = ^ f (U I Ѳ) dG (Ѳ) (интеграл в смысле Лебега-Стил ьтье-

са) называется смесью (G-смесью) семейства F. Когда G (Ѳ) пробегает все точки класса G(J I, то h (U) пробегает класс Н, называемый клас­ сом смесей.

Класс смесей Н различим, или проще, смесь h (U) различима, если из равенства

h(U) — ^f(U\Q) dG(Ѳ) = J / ( і/1Ѳ)dG* (Ѳ)

следует, что G (Ѳ) == G* (Ѳ) для всех G (Ѳ) £ G (J I-

Если все смешивающие функции имеют скачки в конечном числе дискретных точек, а в остальных точках не изменяются, то класс смесей называется классом конечных смесей.

Возможность различимости класса конечных смесей

2. Некоторые свойства классов различимых смесей

Семейство F аддитивно замкнуто, если для любых Ѳх и Ѳ2

f (U \ ®i)*f (U \Ѳ2) = / (GIѲ, + Ѳ2) и /(С/|Ѳ1 + Ѳ2) e-F-

Символ * означает обычную операцию свертки, т. е.

/ (^ I Ѳі) * / (£/1Ѳ2) = § / (U-—Y I Ѳх) f {YI Ѳ2) dY.

58

Если Ѳ— одномерный параметр, т. е. т = 1, то класс смесей Н адди­

Для конечных смесей известно еще несколько свойств [7]. Для раз­ личимости класса конечных смесей конечного семейства F = {/х (U),

h (U), fh (U)’ U 6 ^ 1} необходимо и достаточно, чтобы существо­ вало k действительных чисел ІІЪ U2, ..., Uh ..., Uh, для которых

в частности, следует, что классы конечных смесей конечного семейст­ ва нормальных и Г-распределений различимы.

Для различимости класса Н конечных смесей, но бесконечного

семейства F необходимо и достаточно, чтобы семейство F (U | Ѳ) ==

и

J f (U I Ѳ) dU было линейно, независимо по параметрам Ѳ [7].

— 00

Отсюда следует, что:

— семейство Fx конечных произведений (р — целое положи­ тельное число множителей) экспоненциальных распределений разли­ чимо, т. е. образует класс различимых смесей;

личимые конечные смеси.

Таким образом, очень широкий класс конечных смесей различим. Чтобы не создалось ложного впечатления, что неразличимых

h(U) = lf(U\Q)f(Q)dö^f(U\a, о2 + а[)

принадлежит семейству нормальных распределений и поэтому может быть представлена следующим образом

и имеет скачок в точке а. Это значит, что нормальная смесь h (U) =

— f(U\a, о2 + а2) может быть представлена несколькими раз­

59

ными способами, т. е. является либо одним представителем класса, либо бесконечной смесью различных представителей этого же клас­ са. Другими словами, специальная смесь различных наборов из

так и о некоторой специальной смеси бесконечного числа однород­ ных нормальных групп.

П р и м е р 2. Пусть семейство состоит из равномерных распреде­

Рассмотрим класс конечных G-смесей, когда функция G (Ѳ) = G (а) имеет лишь два скачка, что соответствует смешиванию двух различ­ ных однородных классов. Легко проверить (рис. 2.1), что для любого Я (0 < Я < 1)

величины Я и (1 — Я) и если Ях Ф Я2, то Gx, (а) ф Gx2(а). Аналогично можно произвести разбиение для любого числа классов. Другими сло­ вами, однородная группа представителей, которые могут появиться равновероятно в любой точке неопределенной области, может тракто­ ваться как смесь (даже конечная) однородных групп представителей, однородных в том же смысле. Но если об области, где могут появ­ ляться представители, кое-что известно, например, в нашем случае а = 1/2, то равномерное распределение уже нельзя разбить на смесь двух равномерных распределений с а = 1/2.

П р и м е р 3. Рассмотрим семейство двумерных равномерных распределений на секторах круга единичного радиуса с центром в точке

что означает, что семейство смесей F неразличимо. Следовательно, рав­ номерное распределение на круге с плотностью f (U \0, 2я) £ F можно представить в виде

— /( t/| ф, я) + — f{U I ф+ я, я).

Это означает, что возможно любое разделение точек на два класса прямой, проходящей через центр (см. рис. 2.2).

60

PjlX)

3 ------------------

2 -

Класс I

* Г З

Рис. 2.1. Пример неразличимых смесей: произвольное разбиение то­ чек, равномерно распределенных на отрезке прямой, на два класса

61

Класс И

Рис. 2.2. Пример неразличимых смесей: произвольное разбиение точек, равно­ мерно распределенных на секторах круга, на два класса

6 2