Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

знаков. Естественно полагать, что ошибка прогноза X по У (обозна­ чим ее 6) будет определяться так называемой остаточной дисперсион­ ной матрицей вектора X при вычитании из него наилучшего прогноза по Y, т. е. матрицей А = (Ді;-), где

где f (А) — некоторая функция (качества предсказания) от элементов остаточной дисперсионной матрицы А.

Рао [29] решал задачу наилучшего прогноза X только в классе р'

*і= і / = і

tr (А) и II А И называются соответственно следом и евклидовой нормой матрицы А. Он показал, что функции (4.13) и (4.14) одновременно достигают минимума тогда и только тогда, когда в качестве г/W, г/(2)......

,...,г/(р,) выбраны первые р' главных компонент вектора X, причем величина ошибки прогноза б явным образом выражается через последние р — р' собственных чисел А,р+ъ ..., Ар исходной ковариа­ ционной матрицы 2 или через последние р — р' собственных чисел

АР' +1...... Ар выборочной ковариационной матрицы 2, построенной по

предсказывающих признаков zW, z<2>, ..., z<p>и более широкого клас­ са функций f (А) и показано, что шіп / (А) достигается тогда и только

143

нам удобнее будет рассматривать теперь как проекцию исследуемых

Геометрическая интерпретация сформулированных выше экстре­ мальных свойств «автопрогноза» (самовоспроизводимости) главных ком­ понент позволяет получить следующие интересные факты.

С в о й с т в о 1. Сумма квадратов расстояний от исходных точекнаблюдений X lt Х2, ...,Хп до пространства, натянутого на первые р главных компонент, наименьшая относительно всех других подпрост­ ранств размерности р', полученных с помощью произвольного линей­ ного преобразования исходных координат.

Это свойство станет понятным (в свете вышеописанного экстремаль­ ного свойства «автопрогноза»), если напомнить, что сумма квадратов расстояний от исходных точек до подпространства, натянутого на р ’ первых главных компонент, есть не что иное, как умноженная на я (об­ щее число наблюдений) суммарная дисперсия остаточных компонент

подпространству, натянутому на первую главную компоненту (т. е. р = 2 и р' = 1), а сумма квадратов расстояний до этого подпространст­ ва есть сумма перпендикуляров, опущенных из точек, изображающих

наблюдениях; = (х-1*, Х;2)), на эту ось (сама ось может быть ин­ терпретирована в данном случае как линия ортогональной регрессии х<2> пох<[>), см. [1, с. 127].

С в о й с т в о 2. Среди всех подпространств заданной размерности

р' главных компонент, наименее искажается сумма квадратов расстоя­ ний между всевозможными парами рассматриваемых точек-наблюдений.

Поясним это свойство. Пусть Yp' (С) ■— подпространство размер­ ности р', натянутое на координаты у<1), #(2), ..., у {р'\ получаемые из

!= 1/=1

выражающие суммы квадратов расстояний между всевозможными па­ рами имеющихся у нас наблюдений соответственно в исходном про­ странстве X и в подпространстве Yp>(С).

145

Из простых геометрических соображений очевидно, что всегда

Мр' (С) < Мр при р' < р.

Рассматривая в качестве меры искажения суммы квадратов попар­ ных взаимных расстояний между точками-наблюдениями величину

МР- М Р-(С),

матрицы 2 (т. е. подпространство YP' (Lp-) является подпространст­ вом, натянутым на первые р' главных компонент вектора наблюде­

ных компонент, наименее искажаются расстояния от рассматриваемых точек-наблюдений до их общего «центра тяжести», а также углы между прямыми, соединяющими всевозможные пары точек-наблюдений с их

~\-х(п)!п—среднее арифметическое по всем наблюдениям і-то признака,

т. е. yU) x(l)

■xi0 x2 ■

Введем в рассмотрение матрицу размера (п X п)

Нетрудно установить геометрический смысл элементов этой ма­ трицы:

рр

это квадрат расстояния от точки-наблюдения Ху до общего «центра

тяжести» X, а

146

величина, пропорциональная косинусу угла между прямыми, соединя­

Кстати, из описанного выше следует, что естественной мерой отно­ сительного искажения геометрической структуры исходной совокуп­ ности наблюдений при их проектировании в пространство меньшей раз­ мерности, натянутое на первые р' главных компонент, является ве­

Lpt-f 1-f-... 4-Lp

7 (P')

k\+kl + ...+k2P ‘

При неизвестной истинной ковариационной матрице 2 ее собственные значения L1; ..., кр следует заменить собственными значениями L1(

..., кр выборочной ковариационной матрицы 2 и соответственно снаб­ дить «крышками» сверху характеристики к и у степени искажения гео­ метрической структуры исследуемой совокупности наблюдений.

3. Статистические свойства выборочных главных компонент; статистическая проверка некоторых гипотез

Смысл математико-статистических методов, как известно, состоит в том, чтобы по некоторой части исследуемой генеральной совокупности (т. е. по выборке, или, что то же, — по ограниченному ряду наблюде­ ний Х ъ Х 2, ..., Хп) выносить обоснованные суждения о ее свойствах в целом.

Применительно к нашей задаче нас, в первую очередь, будет инте­ ресовать, как сильно свойства и характеристики выборочных главных компонент могут отличаться от соответствующих свойств и характери­ стик главных компонент всей генеральной совокупности, и, в частности,, как эта мера отличия зависит от объема выборочной совокупности (п),. по которой эти выборочные главные компоненты были построены. Так,, например, для изучения природы внутренних связей между характе­ ристиками различных статей семейного бюджета потребления и для

147