Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

§ 2. Р А З Л И Ч И М Ы Е С М Е С И И О Ц Е Н К А П А Р А М Е Т Р О В

В практических ситуациях обычно имеют дело^с наблюдениями

из различимой смеси, плотность которой далее будет обозначаться через h (U).

Мы будем предполагать, что смесь h (U) является конечной смесью. Это ограничение объясняется тем, что по конечному числу п наблю­ дений нельзя определить бесконечное число компонент смеси. Мы будем предполагать также, что существуют плотности / (U | Ѳ) у каждой составляющей смеси, причем функции / (U | Ѳ) — известные функции своих аргументов U и Ѳ.

Ранее было показано (см. главу I), что наблюдения Xj можно достаточно хорошо классифицировать, если удается хорошо оценить параметры Ѳг и вероятности я г, и число компонент k, которые опреде­ ляют смесь

h(U)= 2 ni f(U\Qi).

І = 1

Таким образом, для того, чтобы различить смесь h (U) или класси­ фицировать Xj из выборки {Xj} (/ = 1, 2, ..., п) следует оценить:

—число классов (компонент), входящих в смесь, т. е. число k различных функций / (Л/ | Ѳг) в смеси;

—доли каждого класса — вероятности яф;

—распределение каждого класса, т. е. оценить параметр Ѳг или функцию / (U I Ѳг).

Это означает, что следует оценить по данным Х г, Х 2, ..., Х п пара­

Отсюда следует, что при неизвестном k не определена даже размер­ ность пространства неизвестных параметров.

В работе [6] доказано, что существуют состоятельные оценки всех этих параметров. Идея доказательства состоит в следующем. Разли­

чимость смеси h (U) = J / (U I ѲdG (Ѳ) означает, что по h (U) £ Н функция G (Ѳ) = Gh (Ѳ) определена однозначно для любой h £ Н (см. § 1 гл. II). По результатам наблюдений Х г, Х 2, ..., Хп, получен­ ным из смеси к (U), строится подходящая состоятельная оценка плот­

ности смеси h (U) (см. § 3 гл I). Затем строится G (Ѳ) = G% (Ѳ), которая, оказывается состоятельной оценкой G (Ѳ). Метод, которым доказано существование состоятельных оценок, мало пригоден для практичес­ ких целей классификации. Поэтому в практических задачах еще бо­ лее ограничивают класс смесей. Обычно рассматривается следующая схема (модель) получения наблюдений Xj.

63

Пусть имеется целочисленная случайная величина ѵ (номер класса),

принимающая значения 1, 2, М (М — возможное число классов)

м

где Ѳ — конечное множество точек Ѳ (не более чем М 0) и Ѳ— параметр, принимающий какое-либо случайное, с распределением рѵ (Ѳ), но фик­

сированное значение для всей выборки (X)', Х\, ..., XJ, ...}. Выборка получена по следующему правилу: на каждом шаге t вначале разыг­ рывается значение ѵ с вероятностями ріу не зависящими от t, затем

параметр принял значение Ѳг. Некоторые pt могут быть равны нулю, поэтому действительное число классов k ^ М.

В этой модели мы имеем дело уже с пространством фиксированной размерности, поэтому задача классификации (различения смеси) несколько упрощается, так как нам следует оценить только параметры Ѳг и itj, т. е. параметр Ѳ = (яг, Ѳг) по наблюдениям Xj из смеси h (U). Дальнейшее упрощение модели уже связано с предположениями типа:

V = 1

и при некоторых дополнительных, довольно общих предположениях

доказано, что байесовские оценки Ѳдля Ѳединственны и состоятельны. Более того, существуют числа с, 0 < с <Z <х>, % > 0 и зависящее от функций f (U\Q) число s > 0 такие, что при п > п0

М{IѲ—Ѳ||2}^ cn~s.

Вработах [5] и [9] приводится обзор методов различения смесей, когда выполнены предположения а) и б) вместе. Эти методы основаны на определении апостериорных вероятностей параметров Ѳг по апри­

орным и имеют ряд серьезных недостатков как теоретического, так и вычислительного планов.

Далее мы остановимся подробнее на одном специальном случае оценки параметров смеси, для которого вычислительные процедуры достаточно просты и хорошо обоснованы.

64

§3. СМЕСИ И МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

1.Общие свойства метода

Рассмотрим задачу классификации наблюдений, когда известны виды плотностей, каждая из которых определяет однородную гене­ ральную совокупность — класс. Параметры совокупности неизвестны,

где f (U I Ѳ;) — плотность распределения вероятностей в і-ш классе, который определяется векторным параметром Ѳг.

В предположении, что смесь h (U) — различима, можно ставить задачу о классификации членов последовательности {Х;} на& классов. Задача классификации была бы решена, если бы удалось оценить не­ известные Я; и Ѳг по результатам наблюдений Х ъ Х 2, ..., Х п. Подход, использующий метод максимального правдоподобия для оценивания

Требуется определить такую точку Ѳ, для которой

InL (é) = шах ln L (Ѳ),

ѳ 6 в

где Ѳ — множество допустимых значений параметров. Обозначим через Р (і I Xj) вероятность наблюдать класс і при получении точки

Xj, тогда в соответствии с правилом вычисления условных, в данном случае так называемых апостериорных вероятностей

k

Введем вспомогательные величины gi} ^ 0, такие, что 2 ёи — 1

г=1

для любого /. В этом случае выражение для ln L (Ѳ) можно предста­ вить в виде

^ i mf(Xj\Qi)

/ = 1

и использовать итерационную процедуру для определения точки Ѳ,

вкоторой достигается максимум ln L (Ѳ). Итерационная процедура состоит в следующем.

П

66