Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

З а м е ч а н и е

3. Для целей классификации следует

знать по­

ведение

(і | Xj)

с ростом t, так как в случае сходимости

(i |ХД

Т е о р е м а

1.

Если

и

значения

Ѳ на t-м и (t

+ 1)-м

шагах приведенной ранее итерационной процедуры и Ѳб) ф

тогда

ln L (0^ + ')) >

ln £ (Ѳ<г)).

Можно доказать1,

что справедлива

с <С оо

для

Ѳ£ Ѳ и P ( t)

( і | X j )

Т е о р е м а

2.

Если ln

L (Ѳ) ^

и P(t+ и (i I Xj)

величины,

полученные на

t-м

и (t + 1)-м

шагах

Т е о р е м а

3. Если множество

неподвижных точек Ѳ0 состоит

из изолированных точек

Ѳ

(щ, я 2, •.. , л-k, öj,

Ѳ2, .. • , ѲА) £ 0Q,

дѲ

- - W J ( і = і , 2 ,..., k),

2

дпі

і= 1

/=1

2}Р{І\ Xj) - 1п/^

І 8іи

^

= о,

П

/= 1

1 1

дѲи

Р(ЦХі)

д \nfjXj I §и , е2)

= 0

(і = 1, 2 ,..., к).

2

2

/= 1

і= 1

дѲг

совокупности N (üj, 2) и at различны для разных классов, а 2

совпа­

дают,

но неизвестны компоненты ни at (і = 1, 2, ..., k),

ни 2.

Кроме

того,

неизвестны априорные вероятности классов л г (і =

1, 2,

..., k).

«i = 2

и ßi = —

1at + ln n i.

lnL ; = 2

P ^ (i \X j) ln

- г ( х і - аіу

L (2 < /2I2 1/ 2

i= 1

=2

2

(2я)Р/2| 2 і,/2

«=i /= 1

и 02+ 1> = 2(Ж > по Данным ѲіУ

и Ѳ^°.

Две

последующие теоремы

определяют точку максимума для ln Lt

k

ln Lt в итерационной

и

2

процедуре, приведенной в п. 1

настоящего

і—1

параграфа.

кивающий

связь

с

шагом процедуры. Если последовательность gu

(і =

1,2,

...,& ;/

=

1,2, ...,

п) такова, что

П

П

g i j> 0 ,

s

8ti = g t > ° <

S g i = n,

/=1

I—i

то справедливы следующие теоремы.

последователь­

Т е о р е м а

4.

Пусть

gtj — определенная выше

ность и / (U I Ѳг)—р-мерные нормальные плотности, такие, что Ѳг= (аи

2 г).

Тогда для любых векторов-столбцов Хь Х 2, ...,

Хп величины

ln Li

(i =

1, 2, ...,

п) достигают максимума при

8l

1=1

Т е о р е м а 5. Пусть

gtj — определенная

выше

последователь­

ность и /

(U\ Ѳг) —р-мерные нормальные

плотности, такие, что Ѳг =

= (аг, 2),

тогда для любых векторов-столбцов Хь Х2, ..., Х„ величина

k

2 ln Li

достигает максимума

при

і= і

а,

~

2

в « х >- 2

2

2

<

*

!

- “ .)'

и

/ = 1

І=1/=1

п

шах

V

InL,

— ^

[In (2л)] —

In

„

~2

at. 2

I= 1

1

При доказательстве этих теорем используется следующая

Л ем м а.

Пусть Хх, Х2, ..., Х п—р-мерные векторы-столбцыgj^ О

для / =

1,

2, ....

п и g1 + g2 +

... + gn = g >

0.

Тогда для

любого I

2

—

—

= 2

gt(x J — a)(Xj— а)' + g { a — l ) { â ~ І)',

/= 1

/=і

где

т

/2= і*

х '-

k

k

n

2 ln L,

2

2

g ij + J - \ n \ W

2 2

ga-

/= 1

2 1п(2 я ) i=

1/ = 1

i= l/=1

k

g i {ai— a ) ' x¥{ai— â),

2

2

где

=

а ¥

= 2

*•

Результат леммы 3.2.2 из [1, с.

67] завершает доказательство тео­

ремы 5. Теорема 4 доказывается аналогично.

Таким образом,

показано, что при заданных

ра) (i I Xj) =

expk; {t) X' + Pi (0]

,

2

exp [ос/ (t) Xj + ßi (*)]

где

/'= 1

2« >

«г (*) =

‘

И

ß* (t) = 2 - â; (t) 2 (0 â; (t) +

ln я |° ,

величины

k

n

2 a + i ) = — 2

a f ) ( X } - w y

n i=l/=l

2

P(0 (i I Xj) Xj

; « ) _ / = 1___________

2

p(0 (/i^ )

/=1

максимизируют

2

lnZ.£.

i=l

Далее легко получить, что

я (< +

і ) .

2

/=і

ѳ(t+ ,,- M

<+I). ^

+1), 2«+і))-

Если существуют пределы

1 іт я /0 =

я г,

1 іта-° = йг,

/ 00

t~УОО

t =

1, 2, ... , k,

П т 2(0 = 2

£->■oo

является локальным.

в

качестве начальных

данных

можно

задать

Легко

видеть, что

не точку

Ѳ(°) =

(яі0),

...,

л40), а '0’, ..., а[0),

2 (0)), а

набор величин

а і (0), ßj (0), с

помощью которых можно получить Р(°) (і I Xj)

и т. д.

дура сильно упрощается. Для

произвольных а'

(0) = (а2 (0), ...,

ah (0)) и ß (0), имеем

(1 I Xj)

------■---- — --- ——

,

1 +ехр [а' (0) Xj + ß (0)]

Р(0) (2 I Xj) =

1 —Р<0>(1 I Xj),

V

рО)(/ \Xj)X}

а<°>-І=2___________

у

и1

—

V

p(0)(f|Xj)

/ = 1

ß ( l ) = ------ а'(0) (4°) +

тО)

а<2°>) + In

где

т(0)

V = ^ V ( X j - X ) ( X j - X Y ,

* = ~

І

Xj.

п

-Ad

/= 1