Файл: Айвазян, С. А. Классификация многомерных наблюдений.pdf

Тогда описанная выше линейная модель факторного анализа фор­ мализуется с помощью соотношений

x ^ q y + u ,

фициентов линейного преобразования (нагрузок общих факторов на

признаков, которая не может быть объяснена общими факторами, в том

Будем предполагать, что вектор остаточных специфических факто­ ров 0 подчиняется р-мерному нормальному распределению N (О, F), не зависит от К и состоит из взаимно независимых компонент, т. е. его ковариационная матрица Ѵ = Ш(UU') имеет диагональный вид, где по диагонали стоят элементы ѵи = DuW.

Вектор общих факторов Y = (//<*>, ..., у ^ ”1)', в зависимости от со­ держания конкретной задачи, может интерпретироваться либо как //-мерная нормальная случайная величина со средним MY = 0 (в си­ лу центрированности исходных наблюдений) и с ковариационной мат­ рицей специального вида МY Y ’ = / \ либо как' вектор неизвестных неслучайных параметров, вспомогательных переменных, значения ко­ торых меняются от наблюдения к наблюдению. При последней интер­ претации вектора общих факторов более правильной является запись модели в виде (4.20'), причем уеловия центрированности независимости и нормированности дисперсий компонент вектора Y в этом случае имеют вид:

2Fv = 0,

Ѵ= 1

2/.

v= 1

сий объясняется в основном соображениями идентификации модели, см. выше,

стр. 167

168

Однако при обоих вариантах интерпретации вектора общих фак­ торов Y исследуемый вектор наблюдений X оказывается нормально распределенной р-мерной случайной величиной: при первом варианте как линейная комбинация двух нормальных случайных векторов (Y и U), а при втором варианте за счет нормальности специфических факторов ц('). При этом из (4.20) и из сделанных выше допущений не­ медленно следует, что

v= 1

или в матричной записи МХ = 0,

Примером достаточно прозрачной интерпретации модели факторно­ го анализа может служить ее формулировка в терминах так называе­ мых интеллектуальных тестов. При этом наблюдение по признаку

х\і) выражает отклонение оценки, например, в баллах, данной /-му индивидууму на экзамене по Z-му тесту, от некоторого среднего уровня. Естественно предположить, что в качестве ненаблюдаемых общих фак­ торов у ^ \ ..., г/(р'>, от которых будут зависеть оценки индивидуумов по всем р тестам, выступят такие факторы, как характеристика общей одаренности индивидуума г/<>>, характеристики его математических у (2>, технических у или гуманитарных г/(4>способностей.

Отметим, что соотношения (4.20) в точности воспроизводят модели множественной регрессии и дисперсионного анализа [26], в которых под «/<') (t = 1, 2, ..., p') понимаются так называемые независимые переменные (факторы-аргументы). Однако принципиальное отличие мо­ дели факторного анализа от регрессионных схем и дисперсионного ана­ лиза состоит в том, что переменные уѴ\ выступающие в роли аргумен­ тов во всех этих моделях, не являются непосредственно наблюдаемыми в моделях факторного анализа, в то время как в регрессионном и в дис­ персионном анализе значения у <г’> измеряются на исследуемых объ­ ектах.

З а м е ч а н и е . Связь метода главных компонент и метода фактор­ ного анализа. Рассмотрим следующую общую схему, включающую в себя в качестве частных случаев обе сравниваемые модели. Примем гипотезу, что существуют такие взаимно некоррелированные факторы

X = AY,

169

где о случайных переменных уххх, у<-2), ... без ограничения общности можно предположить, что Dг/<‘>= 1.

Очевидно, представление (4.22), если оно существует, не единствен­ но, так как переходя от У с помощью произвольного ортогонального преобразования С к новым переменным Z = CY будем иметь вместо

(4.22)

Исследователю не известны коэффициенты а.ц, но он хочет научить­ ся наилучшим (в некотором смысле) образом аппроксимировать приз­ наки ..., с помощью линейных функций от небольшого (за­ ранее определенного) числа т факторов «/<*> (т), ..., г/(ш) (т), которые поэтому естественно назвать главными или общими. Аппроксимация признаков X с помощью г/(1>(т), ..., у ХтХ(т) означает представление X в виде (4.22), но с «урезанной» суммой, стоящей в правой части, т. е.

Х{т) = AmY (т),

где А т — матрица, составленная из первых т столбцов матрицы А,

а Y (т) = (уХХ) (т), ..., г/<ш>(т)'.

Оказывается, что по-разному формулируя критерий оптимальности аппроксимации X с помощью Y (т), мы придем либо к главным компо­ нентам, либо к общим факторам. Так, например, если определение эле­ ментов матрицы Ат подчинить идее минимизации отличия ковариа­ ционной матрицы 2 исследуемого вектора X от ковариационной мат­

венный вектор матрицы 2, соответствующий характеристическому корню

Если же определение аппроксимирующего вектора Х(т) = BmY(m) подчинить идее максимального объяснения корреляции между

показать [29], [16], что і-я строка оптимальной в этом смысле матрицы преобразования Вт состоит из т факторных нагрузок общих факторов t/d) (т), уХгп) (т) на t-й исходный признак л4г>в модели факторного

170

анализа вида (4.20). Другими словами, сущность задачи минимизации (по Вт и Y (т)) величины (4.24) состоит в следующем. Первый из т об­ щих факторов (т) находится из условия, чтобы попарные корреля­ ции между исходными признаками были как можно меньше, если влия­ ние на них этого фактора у(1>(т) учтено. Следующий общий фактор у(2) (т) находится из условия максимального ослабления попарных корреляционных связей между исходными признаками, оставшихся после учета влияния первого общего фактора г/(1) (т) и т. д.

Из сказанного, в частности, следует, что методы главных компонент и факторного анализа должны давать близкие результаты в тех случа­ ях, когда главные компоненты строятся по корреляционным матрицам исходных признаков, а остаточные дисперсии ѵц сравнительно неъелики.

З а м е ч а н и е . Вопрос о существовании модели факторного анализа. По-видимому, не всякая ковариационная матрица 2 допускает представление вида (4.21), а следовательно, не всякий вектор наблю­ дений X допускает интерпретацию в рамках модели факторного анализа типа (4.20). Очевидно, условия представимости Еектора наблюдений X в рамках модели факторного анализа должны формулироваться в тер­ минах свойств ковариационной матрицы 2, а также в виде некоторых соотношений между размерностью исходного пространства р и числом общих факторов р' . Одним из наиболее общих (но малоконструктивных) результатов такого рода является, например, следующее утверждение: для того чтобы вектор X допускал представление вида (4.20), необхо­ димо и достаточно, чтобы существовала диагональная матрица V с не­ отрицательными элементами такая, что матрица 2 — V была бы неот- рицательно-определенной и имела бы ранг р '. Более детальное и конст­ руктивное исследование условий существования модели факторного анализа читатель сможет найти, например, в [16]. Заметим лишь, что изучение проблемы существования (разрешимости уравнений (4.20)) модели факторного анализа дает основу для построения различных статистических критериев адекватности модели по отношению к ис­ следуемым наблюдениям Х г, Х2, ..., Х п.

2. Вопросы идентификации модели факторного анализа

Будем в дальнейшем предполагать, что имеется по меньшей мере одно решение (Q, V) уравнений (4.21). При исследовании вопроса единственности решения системы (4.21) относительно (Q, V) (при заданных аи) следует различать два аспекта проблемы. Во-первых, надо понять, при каких дополнительных условиях на искомую мат­ рицу нагрузок Q и на соотношение между р и р не может существовать двух различных решений Q(,) и Q<2) таких, чтобы одно из них нельзя было бы получить из другого с помощью соответствующим образом подобранного ортогонального преобразова­ ния С (единственность с точностью до ортогонального преобразования, или с точностью до вращения факторов). Оказывается [16], достаточным условием единственности такого рода является требование к матрице Q, чтобы при вычеркивании из нее любой строки оставшуюся матрицу

171

можно было бы разделить на две подматрицы ранга р', откуда автома­ тически следует требование

дели факторного анализа в указанном выше смысле (более подробное исследование идентификации этого типа можно найти в [16]).

Будем предполагать далее, что имеется по меньшей мере одно ре­ шение (Q, V) системы (4.21) и что оно единственно с точностью до орто­ гонального преобразования.

Вставляя в уравнения (4.21) вместо найденного решения (Q, V) дру­ гую пару матриц (QC, V), где С — матрица (размера p' X р') любого ортогонального преобразования, легко убедиться, что и она (эта пара матриц) удовлетворяет данной системе уравнений. Следовательно, возвращаясь к модели (4.20), получаем, что наряду с общими факторами Y = (г/(1), ..., г/(р,))' можно рассмотреть (при тех же нагрузках qij) общие факторы Z = CY. Поскольку, как известно, ортогональное преобразование координат Y геометрически означает вращение осей #<>>, ..., уіР') около начала координат на некоторый угол, то получает­ ся, что при отсутствии дополнительных условий на природу искомой матрицы нагрузок Q общие факторы г/(1), ..., г/<р,) могут быть опреде­ лены лишь с точностью до вращения системы координат в соответст­ вующем р'-мерном пространстве. Существует несколько вариантов до­ полнительных условий на класс матриц Q, в котором следует искать решение системы (4.21), обеспечивающих уже окончательную одно­ значность решения (Q, V). От конкретного содержания этих условий зависит и способ численного выявления структуры искомой модели и соответственно способ статистического оценивания неизвестных пара­ метров qtj, Ѵн и факторов г/<г>. Поэтому мы остановимся на них парал­ лельно с описанием методов статистического исследования модели фак­ торного анализа.

3. Определение структуры и статистическое исследование модели факторного анализа

Итак, в распоряжении исследователя — последовательность мно­ гомерных наблюдений Хъ Х 2, ■■■, Хп, и он хочет с помощью модели (4.20) перейти от исходных коррелированных признаков х*1', х,<2>...,

..., являющихся компонентами каждого из наблюдений, к мень­ шему числу некоррелированных вспомогательных признаков (общих факторов) у ^ \ ..., у {р,)- Для этого надо суметь определить оценки

неизвестных нагрузок qі}, остаточных дисперсий ѵа и, наконец, самих общих факторов г/<‘>.

172