Файл: Химмельблау Д. Анализ процессов статистическими методами.pdf

236

Глава 4

Ф и г . 4.2.1а.

Изображение

линей­

ной модели,

когда

случайной ве­

личиной я в л я е т с я

одна

зависи­

мая

переменная .

х- — значения,

выбранные

экспери­

ментатором;

— геометрическое

УІ = ßo + ßi (ХІ - x) + ги

(4.2.5)

ность 8г - = YI

— % {Yi I ж}, имеющую

известное распределение

(обычно нормальное) с математическим

ожиданием, равным нулю,

и дисперсией

аЕ2.. Кроме того, предполагается, что при измере-

Линейные

модели с одной

переменной

237

ниях, используемых для

вычисления Yu

ненаблюдаемые

ошибки

не зависят от х и е, т. е.

от предшествующих ошибок.

Сначала

а затем (разд. 4.4) рассмотрим случай, когда

о|. изменяется с из­

менением x. Другой способ описания той же самой модели

связан

с предположением, что

g

(У,

I x,)

=

т), = ß 0

+

ßi

(xt

- x),

(4.2/

)

т. е. что математическое

ожидание Yt

при заданном xt

равно ß 0

+

4-

ß4 (xt

— x).

-

Итак, в основе процедуры оценивания параметров лежат четыре

главных

предположения:

1. Математическое ожидание величины Yt

при заданном

зна­

чении Х і

является линейной

(по параметрам)

функцией.

2. Значения х,

выбранные для проведения эксперимента, не яв­

ляются

случайными

величинами.

\

3. Дисперсия

al.

величины гг равна

дисперсии а\

величины

Yі

1

х1).

і

и может быть постоянной или зависеть от

4. Различные

измерения

величины

Y

взаимно

независимы,

предположениях,

дает несмещенные оценки

Ь0 и bt

3 ) параметров

ßo и ß l t причем,

согласно теореме Маркова,

такие

оценки имеют

щенными линейными оценками. Методом

наименьших

квадратов

называется процедура получения оценок Ь0

и Ьи основанная на ми­

нимизации суммы квадратов отклонений

наблюдаемых

значений

п

Yj от их математических ожиданий r\t, т. е. 2

{Yi—чг)2-

г=1

В некотором смысле метод наименьших квадратов

представляет

*)

Дисперсия

выборочного

среднего

ai?

связана с дисперсией

единич-

ного

наблюдения

а у

соотношением

і

где РІ

— число повторных измерений зависимой переменной.— Прим.

ред.

2 ) Здесь достаточно сделать более слабое предполоя^ение о некоррели ­

рованности

величин

У; или et.

Если наблюдения

подчинены нормальному

з а к о н у распределения, то из некоррелированности

вытекает

т а к ж е и

неза­

висимость.— Прим-

ред.

3 )

Х о т я оценки параметров

ß 0 и ß l t

ß 0

= Ъ0 и

ß, = bt

сами

я в л я ю т с я

случайными

величинами,

для их

обозначения

принято использовать

строчные

латинские

буквы .

236

Глава 4

Ф и г . 4.2.1а.

Изображение

линей­

ной модели,

когда

случайной ве­

личиной я в л я е т с я

одна

зависи­

мая

переменная .

— значения,

выбранные

экспери­

ментатором;

геометрическое

Yt = ß 0 + ßi fa - x) + . 8 » ,

(4.2.5)

ность ег- = YІ

— % {Yі I х}, имеющую

известное распределение

(обычно нормальное) с математическим

ожиданием, равным нулю,

и дисперсией

о Е 2 . Кроме того, предполагается, что при измере-

Линейные

модели

с одной

переменной

237

ниях,

используемых для вычисления Yt,

ненаблюдаемые

ошибки

не

зависят от х и е, т. е. от предшествующих

ошибок.

Сначала

предположим, что а|. — постоянная,

не зависящая от х (разд. 4.3),

а

затем (разд. 4.4) рассмотрим случай,

когда а|. изменяется с из­

менением x. Другой способ

описания той же самой модели

связан

с предположением, что

% {У,

I xt)

=

Г)І = ß 0

+

ß,

(xt -

x),

(4.2.' )

т. е. что математическое ожидание Yt

при заданном xt

равно ß 0 +

- f

ßi

(я* — x).

—\

Итак, в основе процедуры оценивания параметров лежат четыре |

главных предположения:

1. Математическое ожидание величины У, при

заданном

зна­

чении

ХІ является линейной (по параметрам)

функцией.

2.

Значения х, выбранные для проведения эксперимента, не яв­

ляются случайными

величинами.

3.

Дисперсия а%. величины

ег равна

дисперсии

а% величины

YІ

1

х1).

і

и может быть постоянной или зависеть от

4. Различные измерения величины У взаимно

независимы,

или,

что то же самое, статистически независимы

ошибки

е, 2 ) .

Метод наименьших квадратов, основанный только на этих

предположениях, дает несмещенные оценки Ь0 и 64

3 )

параметров

ßo

и ß 4 , причем, согласно

теореме Маркова, такие

оценки

имеют

щенными линейными оценками. Методом

наименьших

квадратов

называется процедура получения оценок Ъ0

и Ьи основанная на ми­

нимизации

суммы квадратов отклонений

наблюдаемых

значений

п

Yt от их

математических ожиданий т]г , т. е. 2 Wi

— ЛІ)2 -

і=1

В некотором смысле метод наименьших квадратов

представляет

собой просто некоторый способ решения

переопределенной

систе-

1 ) Дисперсия выборочного среднего Oy

связана с дисперсией

единич­

ного

наблюдения Oy

соотношением

2

о Y •

0 2 -

= — —

,

Yi

Pi

г Де РІ

— число повторных измерений

зависимой переменной.— Прим.

ред.

2 ) Здесь достаточно сделать более слабое предположение о некоррели ­

рованности

величин

Yt

или е;. Если

наблюдения

подчинены нормальному

з а к о н у распределения, то из некоррелированности

вытекает

т а к ж е

и

неза­

висимость.— Прим.

ред.

3 )

Х о т я

оценки

параметров

ß 0

и

ß t ,

ß 0

=

b0 и

ß t = Ъі

сами

я в л я ю т с я

случайными

величинами,

для их

обозначения

принято использовать

строчные

238

Глава

4

мы уравнений в пространстве параметров

ß 0 и ß t , если считать,

что каждая пара данных образует уравнение. Например,

16,08

-

ß 0

+

l,80ßi =

0,

16,32 -

ß 0

+

2,100! =

0,

16,77

-

ß 0

+

2,40ßj =

0.

Разность между суммой

квадратов левых

частей этих уравнений

ßo,

ßi H l .

На фиг. 4.2.2

представлены

оценка

линии регрессии, задавае­

мая

уравнением

Y = bQ + bt

(x — x),

истинная модель п =

x

*і

er

Ф и г .

4.2.2. Соотношения между

экспериментальными

данными,

средними

значениями и теоретической

линейной моделью и ее оценкой.

Ytj

обозначает одно /-е,

1 ^

j^CPi,

измерение или наблюдение

зависимой переменной Y при x = xt;

У,- представляет собой выбо­

рочное

среднее по измерениям

при x = xt,

1 ^

і ^ п.

Чтобы оценить доверительную

область

для переменных ß 0

и ß 4 и применить статистические критерии,

необходимо

принять

пятое

предположение: