Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

Г л а в а IV

МЕТОДЫ СНИЖЕНИЯ РАЗМЕРНОСТИ

В настоящей главе мы остановимся на некоторых линейных методах сокращения размерности факторного пространства, т. е.

пространства исследуемых признаков. Во многих исследовательских работах исходное число р рассматриваемых, т. е. замеряемых на ис­ следуемых объектах, признаков довольно велико, но тем не менее эти измерения следует обработать и осмыслить. Для наглядности картины, простоты интерпретации и упрощения счета очень часто необходимо представить каждое из наблюдений в виде набора чисел, состоящего из существенно меньшего (чем р) количества признаков. При этом остав­ шиеся признаки могут либо выбираться из числа исходных, либо опре­ деляться по какому-либо правилу по совокупности исходных призна­ ков, например как линейные комбинации последних. При формиро­ вании новой системы признаков к последним предъявляются разного рода требования, такие, как наибольшая информативность с точки зре­ ния правильного разбиения наблюдений на классы, взаимная некор­ релированность, наименьшее искажение внутренней и внешней гео­ метрической структуры множества исходных наблюдений и т. п. В за­ висимости от варианта формальной конкретизации этих требований мы будем приходить к тому или иному алгоритму снижения размерности.

§ 1. МЕТОД ГЛАВНЫХ КОМПОНЕНТ

Главные компоненты представляют собой новое множество иссле­ дуемых признаков

У1", г/(2), .... У[р),

каждый из которых получен в результате некоторой линейной комби­ нации, непосредственно измеренных на объектах, исходных признаков х(1>, х(2), ..., Полученные в результате такого преобразования новые признаки г/(1), у(2), ..., обладают рядом удобных статисти­ ческих свойств. В частности они упорядочены по степени рассеяния в изучаемой совокупности объектов; первый признак обладает наиболь­ шей степенью рассеяния, т. е. наибольшей дисперсией.

Действительно, во многих задачах обработки многомерных наблю­ дений и, в частности, в задачах классификации исследователя интере-

134

суют в первую очередь лишь те признаки, которые обнаруживают наи­ большую изменчивость (наибольший разброс) при переходе от одного объекта к другому. Так, например, при классификации «семей-потреби­ телей» с целью выявления типологии потребления многие из замеряе­ мых по каждой из семей признаков, таких, как душевое потребление хлеба, масла, мыла и некоторых других основных статей, вряд ли будут обнаруживать существенное различие, следовательно, не сыграют почти никакой роли в процедуре обоснованного разбиения совокупно­ сти исследуемых семей на различные типы потребителей.

С другой стороны, не обязательно для описания состояния объекта использовать какие-то из исходных, непосредственно замеренных на нем признаков. Так, например, для определения специфики фигуры че­ ловека при покупке одежды достаточно назвать значения одного из двух признаков (размер-рост), являющихся какими-то производными от измерений ряда параметров фигуры. При этом мы, конечно, теряем ка­ кую-то долю информации (портной измеряет пять-шесть признаков на своем клиенте!), как бы огрубляя (агрегируя) получающиеся при этом классы. Однако, как показали исследования, к вполне удовлетвори­ тельной классификации людей с точки зрения специфики их фигуры приводится система, использующая три признака, каждый из которых является некоторой комбинацией от большего числа непосредственно замеряемых на объекте параметров.

Для пояснения сущности того линейного преобразования исходной системы признаков, которое приводит к так называемым главным ком­ понентам, рассмотрим его геометрическую интерпретацию на примере двумерной системы наблюдений (х)11, х)2’), і — 1, 2, ... п, извлечен­ ной из нормальной генеральной совокупности со средним значением

а г — коэффициент корреляции между ними. Геометрически это озна­ чает, что точки (хр>, х)2>) будут располагаться примерно в очертаниях

В этом случае для изучения (х(1), х(2)) удобно перейти к новым ко­ ординатам (уП), г/<2)) с помощью преобразования:

г/d) =(*U)—а (1>)cosa + (x<2) —a(2>)sin a,

г/(2) = — (x<J) —пД)) sin a -f- (x(2>—a(2>) cos a,

где

135

X № •

х(г)

S

Рис. 4.1. Эллипс рассеяния исследуемых наблю­ дений и направление координатных осей глав­ ных компонент г/<‘> и р<2): а) умеренный раз­ брос точек; б) отсутствие разброса точек в на­ правлении второй главной компоненты (вырож­

денный случай)

136

геометрически это будет означать следующее: сначала производится перенос начала координат в точку (а*1*, а(2>), а затем оси поворачи­ ваются на угол а так, чтобы ось у шла вдоль главной оси эллипсои­ да рассеивания (рис. 4.1а). Чем ближе [ г | к единице, тем теснее груп­ пируются наблюдения около главной оси эллипсоида рассеивания (т. е. около новой оси */<■>) и тем менее значащим для исследователя яв­

(т. е. совокупности всех мыслимых наблюдений), определяемой соот­ ветствующей вероятностной мерой. Однако для приводимых здесь поня­ тий из всех характеристик исследуемой генеральной совокупности су­

произвольные постоянные числа), то будем в дальнейшем считать, что

Назовем первой главной компонентой исследуемой генеральной совокупности наблюдений такую нормированную линейную комбина­ цию р исходных признаков х(1), х<2>, ..., х(р),

л:(1>, х (2), ..., х (р> обладает наибольшей дисперсией.

137

и, во-вторых [2, с. 371], вектор /г, определяющий преобразование пере­ хода отх^), х<2>, ..., х<р) к уб) является так называемым і-м собствен­ ным вектором ковариационной матрицы 2, т. е. его компоненты /г1,

Под I М I подразумевается определитель матрицы М, под I —так назы­ ваемая единичная матрица, а под X — неизвестное число [2].

Из сопоставления (4.4), (4.5) и (4.6) вытекает, что

Опираясь на то, что преобразование

L=

спомощью которого осуществляется переход от исходных компонент X к главным компонентам Y (Y = LX), является ортогональным [2],

138