Файл: Химмельблау Д. Анализ процессов статистическими методами.pdf

Скачать файл
Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 09.04.2024

Просмотров: 621

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

 

Статистический

анализ

и его

применения

 

 

117

деления

вероятности.

Функция

правдоподобия

для

парамет­

ров, построенная по

нескольким

наблюдениям,

является

про­

изведением индивидуальных

функций,

если

наблюдения

неза­

висимы:

 

 

 

 

 

 

 

 

 

 

. . . I Xi, x2,

 

п

 

 

1 Xi)

 

 

L (Ѳі, Ѳ2 ,

. . ., xn)

=

[j L (Ѳи

Ѳ2 ,

. . •

=

 

 

 

 

І = І

 

 

 

 

 

= p (xu- Ѳц Ѳ2 , . . .) p (xz; Ѳи

Ѳ2 , . . . ) . . . p (хп; Ѳи

Ѳ2 , . . . ) .

(3.2.1)

При выборе в качестве оценок параметров, Ѳг значений, ко­ торые максимизируют L при данных значениях (Хі, х2, • • •> хп), оказывается более удобным работать с In L , а не с самой функ­ цией L :

In L = In p (XÙ ѲІ 7 Ѳ2 , . . .) + In p (x2; Qu Ѳ2 , . . . ) + . . . =

= S In p (xt; Qu Ѳ2 , . . .).

(3.2.2)

г=1

Величину In L можно максимизировать относительно вектора Ѳ, приравнивая нулю частные производные от In L по каждому из параметров:

n

д I n L

д

2

\пр{хь;

Ѳ ь

Ѳ2 , . . . )

 

 

i—i

 

 

 

О,

 

 

 

 

 

 

 

д

2

1пр(хг;

Ѳ ь

Ѳ2 , . . . )

 

^

= —

 

ж

 

= о

< 3 - 2 - 3 )

Решение уравнений (3.2.3) дает искомые оценки Ѳ\, Ѳ2 , . . . .

(Часто при получении Ѳ вместо аналитического решения при­ ходится ограничиваться итерационным.) Выполнив эти выкладки можно показать, что при довольно слабых условиях при стремле­ нии п к бесконечности максимально правдоподобные оценки обла­ дают желаемыми асимптотическими свойствами:

1) l i m g {6,} = ѲГ, n-юо

2) величина ]/~п (Ѳг — Qt) распределена по нормальному закону;

3) оценки параметров совместно эффективны.

118

Глава 3

Максимально правдоподобные оценки не обязательно должны быть несмещенными; например, максимально правдоподобная оцен­ ка дисперсии случайной величины с нормальным распределением оказывается смещенной, как показано в примере 3.2.1. Однако максимально правдоподобные оценки являются эффективными и, следовательно, состоятельными. Более того, если можно полу­ чить достаточную оценку, то метод максимального правдоподобия позволяет ее получить. Наконец, если Ѳ является максимально

правдоподобной оценкой Ѳ, то / (Ѳ) будет максимально правдопо­ добной оценкой функции / (Ѳ).

Пример 3.2.1. Оценивание параметров плотности нормального

распределения вероятности методом максималь­ ного правдоподобия

Найдем максимально правдоподобные оценки Qi и Ѳ3 для плотности нормального распределения вероятности

 

Р і х ;

ѳ " Ѳ 2 ) = ігЫ е

х р

Г - у ( ^ ) 2 ] -

Решение

 

 

 

 

 

 

Прежде всего образуем функцию правдоподобия для выборки

{хі:

х2, • • -, хп}

из

измерений

случайной

величины X:

 

 

 

п

 

 

 

L

(Ѳь Ѳ2 1 xi, x2,

•. •,

Xn) = L = Д

p

(xi; Ѳ І , e2 )

=

 

 

 

i=l

 

 

 

 

 

 

 

 

n

 

и для удобства прологарифмируем обе части равенства (а):

n

 

 

In L = - n In (Ѳ2 ѴЩ - 1 2 (

2 •

(б)

і = 1

 

 

Затем получим максимально правдоподобные оценки, приравни­

вая нулю частные производные

от

In L :

 

4 - у,

(Х1-вл

= о.

(в)

Статистический

анализ и его

применения

119

і=1

 

 

 

 

 

 

 

 

 

 

Tl

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

i =i

 

 

 

 

 

Следовательно,

максимально

правдоподобные

оценки

9j

и Ѳ2

равны

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

M.

 

'

 

 

 

 

 

 

 

 

 

 

 

 

 

n

 

 

 

 

 

 

 

 

 

 

 

 

 

М42<«.-х>"Г-Г"-^4Г

 

 

 

 

 

 

 

i=l

 

 

 

 

 

 

 

оо) эффективными

Итак, 6j и Ѳ2

являются асимптотически (при n

 

оценками \іх

и ох',

при

этом

Ѳ2

является

смещенной

оценкой,

ибо

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

8

 

 

 

7 1 - 1 .

 

} * а х

 

 

 

 

 

 

 

 

 

{ [ ^ * ] 1 / 2

 

 

 

 

•Однако

&і — несмещенная

оценка,

так

как

% { Ѳ і }

=

% {X}

= Цх-

Заметим,

что оценки

9 t

и

Ѳ2

независимы.

 

 

 

 

 

 

 

5.2.5.

Метод

 

моментов

 

 

 

 

Методом

моментов

называется

один

из

наиболее

старых

методов

оценивания

параметров,

развитый

Карлом

Пирсоном.

При исследовании с помощью этого метода плотности распределе­ ния вероятности, содержащей п параметров (Ѳ^ Ѳ2 , . . ., Ѳп ),

вычисляются

первые

п моментов

случайной

переменной X:

 

оо

 

 

 

 

 

 

 

И* =

2 Х*Р

(х>

Ѳі>

• • •>

Ѳп )

( д и с к р е т н о е

распределение)

ИЛИ

— оо

 

 

 

 

 

 

 

оо

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Иг =

j ххр

(х;

Ѳ І , . . .,

Ѳ П )

dx

(непрерывное распределение),

 

— оо

 

 

 

 

 

 

 

которые затем приравниваются выборочным моментам, получен­

ным из экспериментальных данных. После этого можно найти ліетодзначениймаксимальногѲ (возможныправдоподобиянекоторые осложнения)метод моментов.В отличивсегднеота

120 Глава 3

приводит к эффективным оценкам, но всегда обеспечивает состоя­ тельные оценки.

В качестве примера применения метода моментов можно вос­ пользоваться табл. 2.3.1, из которой видно, что первый момент случайной величины с биномиальным законом распределения равен ?гѲ; кроме того, в разд. 2.3 было показано, что первый

момент для нормального распределения равен

цх, а второй цен­

тральный момент равен а\- Приравнивая эти моменты величины

X

соответствующим выборочным моментам, получим для оценок

Ѳ,

М-х и

dx следующие

выражения:

 

 

.

у. ЩХІ

=Х

-

или

1 _

распределение),

nQ—==^

 

Ѳ = — X (биномиальное

 

S » *

 

 

 

 

 

 

Hoc — —=j

= A

,

(нормальное

распределение).

 

s » *

Обычно получение оценок сопряжено с большими трудностями.

Пример 3.2.2. Метод моментов

 

В некотором

эксперименте

наблюдаемые исходы относятся

к одной из двух

совокупностей,

но ни до проведения эксперимен­

та, ни после не было известно, какую из совокупностей следует

выбрать. Плотности

распределения вероятности для двух сово­

купностей

(А

 

и

В)

имеют

следующий вид:

 

 

^

 

1

- 4

<»-«)•

Р

А

=

^)Ще

 

(—оо < г / < о о ) ,

 

 

 

 

I

_ І

(J/-ß)2

Р

в

^

=

^\Щв

 

( —оо < г / < оо).

Обозначим через со вероятность

надлежит совокупности А.

Тогда

ности величины Yt (і =

1, . .

того, что некоторый исход при­ плотность распределения вероят­

., п) имеет вид

Р (Уі) = ®РA ІУІ) + (1 — со) рв (уі)

( - о о < У і < оо).

По выборке из п наблюдений требуется найти оценки параме­ тров ОС, ß И (О.

Статистический

анализ и его

применения

121

Решение

При использовании метода максимального правдоподобия потребовалось бы максимизировать выражение

n

П РІУІ' а ' ß» ®) i = l

относительно трех параметров, однако в результате получились бы трансцендентные уравнения, фактически не разрешимые. К сча­ стью, оценки в этой задаче можно найти методом моментов. Используя определение математического ожидания, можно пока­ зать, что

g {У} =

соа +

(1 -

 

о)

ß,

 

 

(a)

g

{У2 }

=

(о (1 +

а 2 )

+

(1 -

и) (1 +

ß2 ),

(б)

g

{Y3}

=

к» (За

+ а

3 )

+

(1 -

<о) (3ß

+ ß 3 ) .

(в)

(Заметим, что для оценивания трех параметров требуется три момента.)

Пусть выборочные моменты вычисляются по формулам

1

П ' 4

n

i a

n

Теперь, приравнивая выборочные моменты их математическим ожиданиям, получим уравнения

 

 

 

 

 

 

и (а — ß)

= ai

 

— ß,

 

 

 

(г)

 

 

 

 

ш (1 -

о)

(а

-

ß)2

=

а 2 -

1,

 

 

(д)

 

 

 

о

(1

-

о)

(1

-

2(a) (а

 

-

ß) 3

=

а3.

 

(е)

Напомним, что

 

g {У2

-

(g {У})2 }

 

=

g {У2 }

-

(g {У})2 .

Из уравнения

 

(г)

имеем

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(o =

 

 

 

 

 

fcß.

 

(ж)

Подставляя выражение (ж) в уравнения

(д) и

(е) и

обозначая

и = ах — ß, у =

а

— бц, преобразуем

уравнения

(д) и

(е) к сле­

дующему

виду:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

иѵ =

а 2 —

1>

 

 

 

 

(3 )

 

 

 

 

 

 

 

( у — w) =

 

а3.

 

 

 

 

(и)

Решив

эти

уравнения, получим

оценки

 

 

 

 

 

°

=

Й 1

+

2 (о, - 1 )

t g a

 

+

 

+

4

—

I ) 8

] .

(к)

 

P =

= g

i +

2 ( a 2 - l )

fa

 

— У ^

+

^ а д

— l ) 8

] ,

(л)

Смотрите также файлы