Файл: Химмельблау Д. Анализ процессов статистическими методами.pdf

Скачать файл (30,27Мб)

Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 09.04.2024

Просмотров: 708

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

314 Глава 5

валентную

уравнениям (4.3.5):

Ь0 2

W i - f - V O

- r - b ü - O - f . . . +

b g . o = 2

w,y t ,

i=l

1 = 1

V O

+bt

»г (^ii —a?i) (ЖІІ — Жі) +

&2 2

и>г (ЖІ2 —ж2 )

#i)+• • • +

і=1

i=l

" 1 "

(%iq

Xq) («il — « i )

i=l

i=l2

WiYi

(хц

—

хі),

+bi

» i (vu — Xi) (xi2 — x2)A-b2

wi {Хіг—хг)

(xi2—x2)Ar • • • +

i=l

w i

(«ig— xq)

( « І 2 — x 2 )

bq2j

i=l

MiYi

(xi2

—

x2),

i=l

(5.1.5)

b0-0	+ b l 2	">i («il — «i) («ig — Xq) + b2 2	ш і ( « І 2 ~ «2)(«ig— «g)
	г=1	г=1

"Г" bq i=l2 ^ і («ig — Xq)(xlq — Xq)

: 2n ">i^i («ig —«g). i=l

Заметим, что в силу тождества

г2=1 m (xik — xk)=sO

Линейные

модели

несколькими

переменными

315

первое

из

уравнений

(5.1.5)

дает

1=1

(5.1.6)

ßo = К = 2 тУі

Термин

нормальные

уравнения

допускает

следующее геометри

ческое истолкование. Наблюдения Yt

можно

интерпретировать

как компоненты вектора наблюдений Y с основанием в начале

координат

в пространстве

наблюдений,

как

показано на

фигу

ре 5.1.1, а 1 ) ; требуется

выбрать

такие

(из пространства

пара

метров),

которые определяют

значения

Yt,

реализующие

мини

мум ф. Аналогично по компонентам Yt

можно восстановить

неко

торый вектор Y в

пространстве

наблюдений;

различный

выбор

параметров bk образует плоскость оценок і\. Нужно найти такую оценку Y вектора ц, которая дает наикратчайшее расстояние от

конца вектора Y до поверхности оценок г\. Нормальные		уравне
ния — это уравнения, которые определяют параметры bk		так, что
вектор (Y — Y) проходит через конец вектора Y и	перпендику
лярен (нормален) к поверхности, образованной всеми	возможными
значениями оценок TJ. Этот перпендикуляр и является		векто
ром, который реализует минимум ф.

На фиг. 5.1.1, г изображен вектор ненаблюдаемых ошибок е, который равен разности между вектором г| и вектором наблюде ний Y. С некоторой заданной вероятностью конец вектора т) попа дает внутрь сферы радиуса е, описанной вокруг конца вектора Y. Компоненты вектора Y по направлениям Ху и х2 равны соответ ственно by и Ъ2. Так как в методе наименьших квадратов вектор Y представляет собой нормальную проекцию вектора Y, то проекции всевозможных векторов е на плоскость Ху, х2 образуют наимень ший возможный круг. Его проекции на оси Ху и х2 дают соответ ственно доверительные пределы для р\ и ß 2 - Если корреляция между Ху и х2 велика, т. е. косинус угла между осями Ху и хг приближается к единице, проекции круга на оси становятся

больше, чем для случая ортогональных	(перпендикулярных) осей
Ху и х2, когда они имеют минимальную	длину. Ортогональность

*) Геометрическая трактовка метода наименьших квадратов дана недо статочно корректно . С геометрической интерпретацией метода наименьших квадратов можно познакомиться в монографиях: Линник Ю. В . , Метод наименьших квадратов и основы теории обработки наблюдений, Физматгиз, 1962; Шеффе Г., Дисперсионный анализ . Физматгиз, 1963.— Прим. ред.

316

Глава 5

Ф и г . 5.1.1. Интерпретация вектора остатков к а к нормали к поверхности оценок ц.

а — пространство наблюдений (три наблюдения); б — пространство параметров (два параметра); в — вектор нормали Е в пространстве наблюдений ( Y — наилучшая оценка іу,

Y — худшая оценка г\); г — пространство экспериментальных наблюдений (две неза висимые переменные).

двух переменных г) xk	и Xj	означает,	что
n
S	XijXik =	0, если	кФ].

і=1

Теперь опишем в общих чертах процедуру оценивания в матрич

ных	обозначениях 2 ) ,	поскольку			пример уравнений		(5.1.5)	ясно
1 Условие ортогональности, приведенное выше, представляет интерес
только	в случае одинаковых весов			w;.	Е с л и веса наблюдений		разные,	необ
ходимо пользоваться более общим				условием		ортогональности,	имеющим вид
		xTvfXj	=	О,	і ф j ,
где w	— (n X га)-матрпца	весов.—		Прим.		ред.
2 )	Читателям, незнакомым с матричными обозначениями,						рекомендуется
сначала прочитать приложение			Б .

Линейные модели с несколькими переменными 317

показывает необходимость более компактного способа представ

ления	результатов.			Пусть	п наборов		экспериментальных данных
и q +	1	параметров		записаны		в виде		следующих матриц:
Y =		Y2	-матрица		n x l ,	Y =		— матрица и X 1,
Y =			-матрица		n x l ,	Y =		— матрица и X 1,
							L	Y„
				ßo'
				ßi	—матрица		(q-\~ 1) X 1,
			ß =		—матрица		(q-\~ 1) X 1,

1 (Хц— Xi) (ХІ2 — Xz) • • • (Xiq—- Xq)

1(Xzi — Xi) (x2 2— X2) • • • (X2q — Xq)

1(#nl —XÙ (ХП2 — X2) . . . (Xnq — Xq) J

—матрица n x (g + 1)- Единицы в первом столбце матрицы х являются фиктивными переменными, которые нужны только в том случае, когда модель (5.1.1) имеет свободный член, но в матричной форме записывается в виде г\ = xß, а соответствующая оценка

уравнения регрессии представляется как Y = xb. Каждый век тор хг имеет вид

X ? = [1 (Хц — Хі) , . . (Xtq — Xq)].

В равной степени можно было бы представить модель уравнением

Ц — ßo + x'ß, а ее оценку — уравнением Y = Y + x'b, где матрица х' совпадает с матрицей х, в которой исключен первый

столбец	из	единиц.	Веса интерпретируются так же,	как
в разд.	4.4,	и образуют	матрицу n х п:

О . . . О

ОО

0 0 . . . wnl

а остатки записываются как Et = Yt — У г или в виде матрицы n X 1:

ЕІ

Е=

318 Глава 5

Взвешенная сумма	квадратов		ненаблюдаемых	ошибок равна
	n
	ф = 2	«;,ef = 8 r w e .		(5.1.7)
Так как 8 = Y — TJ =	Y — xß,		величину
ф =	( Y -	xß)r w ( Y - xß)		(5.1.7a)

можно минимизировать по всем ßf t , вычисляя дф/dß и приравнивая нулю получившуюся матрицу г ) :

дф

дф	_ 2 [d (Y xßff w (Y - xß)= _ 2 x r w		— xß) = 0. (5.1.8)
дф
(Напомним,	что при таком	дифференцировании Y и х считаются
постоянными.)		(5.1.8) вместо ß оценку Ь, получаем
Подставляя в уравнение
	x^wxb = x T w Y ,		(5.1.9)

что точно совпадает с уравнениями (5.1.5). Это можно показать,

расписывая матричные элементы уравнения							(5.1.9) и последова
тельно		выполняя	умножение.		Решение		матричного	уравне
ния	(5.1.9) имеет вид
		Ь = (x^wx)-1 (x*VY) =			c w G w ,	I x^vx \| ф 0,		(5.1.10)
где	для	упрощения	записи	введены		обозначения
		( x T w x ) - 1 = a w _ 1		= cw	и x T w Y = G w .

Матрица x r w x симметрична, что можно увидеть по членам в урав

нениях (5.1.5),		следовательно, симметрична и матрица cw ,		так что
т
C\v	C w .
	5.1.2. Оценивание методом максимального		правдоподобия
	Требование	минимума суммы квадратов	ф приводит	к такой