Файл: Сирл, С. Матричная алгебра в экономике.pdf

г) ОЦЕНИВАНИЕ ДИСПЕРСИИ ОШИБКИ

В регрессионном анализе у — ХЬ — вектор предсказываемых величин. На основании этого выражения может быть вычислена сумма квадратов ошибок SSE, ранее определенная в выражении (18) главы X

как у'у — Ъ'Х'у. Теперь исследуем такую же ситуацию для линейной модели. Как и ранее,

Поскольку справедливо утверждение (9), то SSE имеет одно и то же единственное значение вне зависимости от того, какая обобщенная обратная к Х 'Х матрица была взята. Более того, из (8) вытекает, что X (Н — 1) — нулевая матрица, таким образом, SSE может быть записано, исходя из (13), как

SSE = у'у — у'Х [GX'y + (Н — 1) г] =у'у—у ’ХЬ=у'у— Ь'Х'у. (14)

Отсюда сумма квадратов ошибок равна общей нескорректирован­ ной сумме квадратов у'у после вычитания из нее суммы элементов век­

тора Ь, умноженных на соответствующие правые стороны нормальных уравнений X'ХЬ = Х'у. Получен точно такой же результат, что и в регрессионном анализе, однако в последнем Ь было единственным, тогда как здесь Ь представляет только одно из многих решений нор­ мальных уравнений Х'ХЬ — Х'у. Кроме того, здесь для любого реше­

ния, полученного по (5), сумма квадратов ошибок равна у'у — Ь'Х'у. Эта величина не зависит от того, какое решение было использовано.

Для вывода математического ожидания SSE подставим у = ХЬ + е в (13) и получим

SSE = (Ь'Х' -f е') (/ — XGX') {ХЬ 4- е).

После упрощения на основе (8) получим •

Кроме того, воспользовавшись выражением (12) и сноской, приведен­ ной в конце раздела в параграфа 3 главы X, можно показать, что мате­ матическое ожидание величины (15) равно:

Е (SSE) = (п — г) о2.

2 9 3

Здесь п — г — ранг матрицы / — XGX', где г — ранг матрицы X и Х'Х. Таким образом, несмещенная оценка величин а2 составит:

п — г

4. ФУНКЦИИ, ДОПУСКАЮ Щ ИЕ ОЦЕНКУ

Выражение (6) показало, что Ь не является несмещенной оценкой Ь\ однако можно вывести единственные несмещенные оценки некото­

рых линейных комбинаций элементов b на основе о. Это достигается с помощью теоремы 5 из раздела в параграфа 6 главы VII, которая

утверждает, что некоторые линейные комбинации элементов о имеют единственное значение вне зависимости от того, какое решение (5)

относительно Ь было получено. Эти комбинации имеют вид q'b, где q' таково, что

q’H = q’,

т. е. для любого q', удовлетворяющего это уравнение, q'b инвариантно к использованному значению Ь. Кроме того, математическое ожида­

q'b будет инвариантной к решению относительно Ъ, полученному из (5), она представляет собой несмещенную оценку q'b. Это и есть свой­

ство оцениваемости: линейные функции элементов Ь, инвариантные к Ь, представляют собой инвариантные несмещенные оценки таких же линейных функций элементов Ь. Это единственные линейные функции, которые могут быть оценены таким путем, они называются функция­ ми, допускающими оценку. Отсюда, если q' таково, что q'H — q', то

q'b — инвариантная несмещенная оценка q'b, a q'b — функция, допускающая оценку.

Отметим теперь, что любое q’в форме q' = w'H (независимо от того, каково значение вектора w') удовлетворяет q’H = q’, поскольку q’H равно w'H2 = w'H = q', откуда Я 2 = Я. Следовательно, для любого произвольного вектора w' выражение

q'b — w'Hb

будет функцией, допускающей оценку, а ее оценка, инвариантная к вы­ бору Ъ, равна:

q'b =■ w'Hb = w'H [GX'y + (Я — /) * ] = w'HGX'y =w'GX'y, (17)

что вытекает из (10).

294

Выражение (17) можно также приравнять к w'b, где Ь берется рав­

ным GX'y. Величина b получается путем подстановки г ~ 0 в выра­ жение (5).

Дисперсия оценки q'b на основе (18) (см. параграф 6 главы III) равна:

var (q'b) = q' var (b) q,

а из (7) следует, что

<?'var (b)q = q’GX' XG' qa2.

Из определения G получим

q'GX'XG'qo2 = q'GX' XGX' XG' qo2.

Наконец, из определения Я находим

рый был получен для случая, когда Х 'Х — невырожденная матрица

(см. (17) из главы X).

Ковариация оценок qxb и q2b — двух допускающих оценку функ­ ций может быть определена подобным же путем. Она может быть упро­ щена до

cov (q(b, q2 &) = q[Gq2a2.

Пример (продолжение). Вернемся к примеру из параграфа 1 для иллюстрации общих результатов, полученных ранее. Нормальные уравнения имеют вид:

Обобщенная обратная к Х'Х матрица равна:

2 9 5

Отсюда решение нормальных уравнений на основе (5):

b = GX'y + (Я —7 ) z -

Имея эту величину, получим по (14) значение SSE как у'у — Ь'Х'у.

Поскольку XGX' является единственным, то Ъ'Х'у = y’XGX’y имеет одно и то же значение вне зависимости от того, какой результат полу­

чен для о. Продемонстрируем теперь единственность результата для нашего примера. Из выражения (20) следует

= Zj_(— 504 + 300 + 172 + 32) + 100 (300) + 86 (172) + 32 (32) = 45 816.

Последняя величина независима от zx. Получено значение Ь'Х'у для любого b и, следовательно,

2 9 6

получены на основе (20) для 6. Допускающими оценку функциями будут q'b, где q' — w'H для любого произвольного вектора до', и

На основе (17) оценки для них составят q'b = w'GX'y. Исходя из существа классификационной модели, функцию выразим как

а именно они применимы для любого вектора до'; иначе говоря, выра­ жения (24) и (25) справедливы для любых значений до', которые же­ лательно придать дох, до2 и до3. Имеются два следствия этого: 1) при­ давая до конкретное значение, мы можем получать на основе (24) спе­

так что разность а х — а 2 является оцениваемой. Аналогично нахо­ дим, что р не оцениваемо, поскольку q', удовлетворяющее q'b = р, равно [1 0 0 0] при q'H Ф q'. Таким образом, невозможно выбрать значения до, которые приводят (24) точно к р. Для всех случаев оценка (24) задается соответствующим значением (25). Конечно, существует неограниченное число наборов значений, которые могут быть приданы до, и, следовательно, неограниченное число функций, но только п — г = 3 из них могут быть линейно-независимыми. В табл. 2 при­ водятся примеры таких значений. Можно показать, что наборы зна­ чений до, представленные в табл. 2, линейно-независимые и, следова­ тельно, они представляют собой корреспондирующие оцениваемые функции.

297