Файл: Химмельблау Д. Анализ процессов статистическими методами.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 09.04.2024

Просмотров: 740

Скачиваний: 2

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

Линейные модели с несколькими

переменными

383

L S F I T W — программа подгонки кривой

методом наименьших

квадра ­

тов, написанная на языке BASIC. Составлена Шумакером (Shumaker J. В . ,

National Bureau of Standards) с помощью

алгоритма ORTHO Уолша . C-E-I-R

Multi-Access Computer

Services . Library.

См.: Walsh

P. J., Algorithm 127,

ORTHO , Communications

of

the

ACM,

5, 511—513

(1962).

 

 

 

LSTSQ — подпрограмма

на

языке

 

F O R T R A N

 

I V

для решения

пере­

определенной системы АХ

m

линейных уравнений

с

п неизвестными для

р правых частей.

Написана

Бусингером

 

(Businger

P.,

Computation Center,

Univ . of Texas), использовавшим алгоритм

Бусингера — Голуба.

 

M A T H - P A C K , ORTHLS, подгонка

кривой

с

помощью

 

ортогональ­

ных полиномов

методом

наименьших

квадратов — написанная

на

я з ы к е

F O R T R A N

V одна из программ Univac 1108 M A T H - P A C K .

Uniyac

1108

Multi-Processor

System,

M A T H - P A C K

 

Programmers

Reference,

ÜP - 7542,

Univac Division of Sperry Rand Corp.,

 

1967.

 

 

 

 

 

 

MPR3, шаговая множественная регрессия с преобразованиями пере­

менных —

программа

на

языке F O R T R A N

I I , написанная

Ефроимсоном

на основе

алгоритма

Ефроимсона. SHARE

Library.

7090-G2

3145 MPR3.

См.: Efroymson M . A . , Multiple Regression Analysis, i n : Mathematical Methods

for Digital Computers, V o l . 1,

Ralstmand

A . , W i l f H . S., eds., W i l e y , N . Y . ,

1960.

 

 

O M N I T A B — машинная

программа

общего назначения для статистиче­

ского и численного анализа . Допускает эффективную связь с вычислитель­

ной

машиной с

помощью

простых английских фраз. Имеется

вариант

ASA

F O R T R A N . См.:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Hilsenrath

J.,

Ziegler G..

Messina С.

G.,

Walsch

P. J., Herbold

R . ,

O M N I T A B ,

 

A Computer Program for Statistical

and

 

Numerical

Analysis,

National Bureau of Standards Hanbbook 101, U.S. Government Printing

Office,

Washington,

D.C.,

1966.

Reissued Jan.

1968.

w i t h corrections.

 

 

 

 

 

ORTHO — программа,

написанная

 

Уолшем

(P.

 

J.

Walsh),

 

который

использовал

процедуру

ортогонализации

Грама — Шмидта

для

подгонки

кривой методом наименьших квадратов . ORTHO была написана к а к проце ­

дура

A L G O L

и программа F O R T R A N

(см. O M N I T A B ) и

программа

BASIC

(см.

L S F I T W ) .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

POLRG ,

полиномиальная регрессия — одна

из программ

I B M

System

360 Scientific

Subroutine Package, написанная

на

языке

F O R T R A N

I V . См.:

I B M

Application

Program,

System/360

 

Scientific

Subroutine

Package

(360A-CM-03X)

Version

I I I ,

Application

Description,

 

H20-0166-5,

1968.

I B M

Application

Program,

System/360

 

Scientific

Subroutine

Package

(360A-CM-03X)

Version

I I I ,

Programmer's

Manual, H20-0205-3,

1968.

 

 

STAT - PACK,

G L H ,

общая

линейная

 

гипотеза — одна

из

программ

Univac 1108 STATPACK, написанная на

языке F O R T R A N

V . См.: Univac

1108 Multi-Processor System, STAT-PACK

Programmers

 

Reference,

UP-7502,

Univac Division

of

Sperry

Rand

Corp.,

 

1967.

 

 

 

 

 

 

 

 

 

 

STAT - PACK, REBSOM, обращенная множественная

регрессия — одна

из программ

Univac 1108 STST-PACK, написанная на

 

языке F O R T R A N

V .

 

STATPACK, RESTEM, общие линейные гипотезы — одна из

программ

Univac 1108

STAT-PACK, написанная на языке F O R T R A N

V .

 

 

 

 

STAT

20*** — программа,

написанная

 

на языке

 

BASIC

для

 

шаговой

множественной регрессии. C-E-I-R Multi-Access Computer Services

Library .

(См.

L I N F I T . )

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

STAT

21*** — программа,

написанная

 

на

языке

BASIC

для

множе­

ственной линейной регрессии с

детальным выходом. C-E-I-R Multi-Access

Computer Services Library . (См.

L I N F I T . )


Глава 6

Н Е Л И Н Е Й Н Ы Е МОДЕЛИ

Как уже объяснялось во введении к гл. 4, термин «нелиней­ ные» . применительно к моделям в этой части книги означает, что эти модели нелинейны по параметрам (коэффициентам), которые должны быть оценены (как правило, они оказываются нелинейны­ ми и по независимым переменным). По сравнению с линейными моделями в случае нелинейных моделей усложняется не только оценивание параметров по причинам, которые будут объяснены ниже, но и в значительной мере затрудняются вычисление и интер­ претация доверительных интервалов для этих параметров, провер­

ка гипотез

и

рассмотрение всего

комплекса вопросов,

описанных

в гл. 4 и 5. Поэтому часто приходится ограничиваться

приближен­

ными, а

не

точными методами

расчета.

 

Прежде чем перейти к детальному описанию эксперименталь­ ных данных: посредством нелинейных моделей, необходимо оста­ новиться на обозначениях и предположениях, лежащих в основе методов нелинейного оценивания. Затем рассматривается несколь­ ко конкретных методов, эффективно используемых для оценива­ ния параметров модели. Одновременно указывается на те трудно­ сти, с которыми приходится сталкиваться при применении этих методов. После этого обсуждаются ошибки оценок параметров и, наконец, дается краткий обзор методов оценивания в случае, когда на переменные или параметры модели наложены некоторые ограничения.

6.1. В В Е Д Е Н И Е

Пусть дана некоторая случайная наблюдаемая зависимая пере­ менная, или отклик, Yt или Yt, i = 1, . . ., п, в соответствии с тем, проводились или нет повторные наблюдения, и несколько неслучайных независимых (контролируемых) переменных xh, к =

=

1, 2, . . .,

q.

этой главе в основном будет использоваться

Yi,

а не Yi,

так как

при работе с нелинейными моделями весьма

редко производятся повторные наблюдения.) Предполагается, что

как Yt, так и xh

непрерывны, т . е .

принимают

действительные

значения из некоторого конечного или,

возможно, бесконечного

интервала. Пусть

ßj, / = 1, . . ., m,

будут

параметрами

модели

•n =

RI и

ßl,

ß 2 ,

. . -,

ßm),

(6.1:1)


Нелинейные модели 385

или в

матричных

обозначениях

 

 

 

 

 

где *)

 

 

 

 

 

4 =

 

4 ( x ; ß ) ,

 

 

 

(6.1.2)

 

 

 

 

хи

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Хі2

.

xlq

 

 

rßi "I

 

 

 

 

 

х

=

Х

х22

x2q

.

ß =

ß2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

_Хщ

хп2

xnq_

 

_ßm.

 

и

n >

т.

Каждое

наблюдаемое

значение

Yt,

соответствующее

данному

набору

переменных

 

щ

= (xtl,

хі2,

• • -, xiq),

связано

с

математическим

ожиданием величины

Yt,

Щ {Yt

\ х,} = т]г ,

соотношением

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Yt

= т ] і

+

е„

 

і

= 1,

2, . . . . и,

(6.1.3)

где 8 ; — ненаблюдаемая ошибка

какого-нибудь типа.

измерении

 

Можно

различать

ошибки

 

двух типов: ошибка в

экспериментальной

зависимой

переменной

и

ошибка

в форме

модели.

Если некоторый

эксперимент

содержит и «модельную»

и «измерительную» ошибки, то ошибка ег представляет собой неко­ торую их комбинацию. Пусть вектор ошибок s описывается плот­ ностью распределения вероятности известной функциональной

формы, содержащей набор

неизвестных параметров

Ѳ. Как

в разд. 4.3 и 5.1, значения Y и х можно считать заданными, а вели­

чины ß и Ѳ рассматривать как переменные и образовать

функцию

правдоподобия

 

 

L (ß,

Ѳ I Y, x).

(6.1.4)

Если задача оценивания параметров формулируется таким обра­ зом, можно заметить, что информация, полученная об оценках ß и Ѳ, будет зависеть от значений элементов матрицы х, т. е. от того, как планируется эксперимент. Очевидно, если значения элементов матрицы x выбираются не в соответствии с некоторой эффектив­ ной схемой, оценки параметров ß и Ѳ могут оказаться недостаточно точными.

Для получения оценок параметров ß и Ѳ предположим, что компоненты Yt вектора Y представляют собой случайные наблю­ дения из распределения Yt относительно к\{ и что величины Yt можно интерпретировать согласно соотношению (6.1.3). Матема­ тическое ожидание ошибки е, для частного набора значений xk будет равно нулю, а дисперсия 8 ; равна о| . = 0 у . . Выраже-

х ) В предыдущей главе буквой х обозначалась матрица независимых

переменных. Здесь этот символ используется для обозначения матрицы

плана.— ТТпим. neß.


386

 

Глава

6

 

 

ние (6.1.3),

записанное

в явном

виде

как

 

 

Y = i) и

. . ., xq; ßj, . . .,

ß m ) - f e,

(6.1.5)

называется

уравнением

регрессии.

 

 

 

Можно предложить и другую нелинейную модель, обладаю­ щую большой практической ценностью, хотя она и не будет

использоваться

здесь в

силу

ее

сложности, а именно модель,

в которой Y и X являются случайными величинами с некоторым

совместным

распределением:

 

 

 

 

Y

=

ц ( Х І ,

. . .,

Xq;

ß l t

. . ., ß m ) -f- е.

(6.1.6)

В этой формуле величины Xk являются

наблюдаемыми

значениями

случайных переменных, тогда как в (6.1.5) жй представляют собой просто фиксированные числа.

Как и при линейном оценивании, хотелось бы получить не только оценки b параметров ß нелинейной модели (6.1.2), но и оценки Ѳ параметров Ѳ плотности распределения вероятности е, так как значения Ѳ позволяют оценить рассеяние значений b относительно истинных значений ß. Однако получить оценки b оказывается проще, чем Ѳ, и поэтому основное внимание будет уделено этой задаче. Существует много методов численного оце­

нивания, и в

некотором смысле одни оказываются лучше других.

Метод максимального правдоподобия

как

метод оценивания

параметров ß

и Ѳ, т. е. процедура получения

значений b и Ѳ,

реализующих

максимум функции (6.1.4),

описывался в разд. 4.3

и 5.1, однако

его применение связано с двумя затруднениями.

Во-первых, необходимо знать функциональную форму функции правдоподобия (6.1.4). Во-вторых, эта процедура, вообще говоря, не может быть проведена аналитически для нелинейных моделей. Хотя всегда целесообразно исследовать, если это возможно, пове­ дение функции правдоподобия в окрестности ее максимума, на практике наиболее часто предполагают, что справедливы следую­ щие основные предпосылки разд. 4.2 (независимо от того, выпол­

няются

они или нет в

реальном эксперименте):

1. Ошибка 8 j имеет

нормальное распределение.

2 . Дисперсия У г

при

данном хг постоянна (или, возможно,

является

некоторой

функцией х ; ) .

Так как оценивание методом наименьших квадратов является наиболее простым, здесь будет отдано предпочтение этому методу перед методом максимального правдоподобия. К тому же многие из желательных свойств оценок, полученных по методу наимень­ ших квадратов (состоятельность, эффективность, несмещенность и минимальная дисперсия), не зависят от предположения о нор­ мальности распределения в случае линейных моделей, и это при-

•°—u п -м —^™нейдых_жодедей^_Если плотность


Нелинейные

модели

387

распределения вероятности для г имеет один параметр сгу , то функция правдоподобия обладает такими же контурами уровней, как и функция, выражаемая суммой квадратов отклонений наблю­ даемых значений Y от предсказываемых значений. Таким образом, здесь будет использоваться метод оценивания, такой же, как и в гл. 4 и 5, а именно метод наименьших квадратов.

6.2. Н Е Л И Н Е Й Н О Е О Ц Е Н И В А Н И Е М Е Т О Д О М Н А И М Е Н Ь Ш И Х К В А Д Р А Т О В

Вспомним, что в гл. 4 и 5 для получения требуемых оценок параметров минимизировалась функция суммы квадратов ф. Точно такой же метод будет использован и здесь. Будем миними­ зировать функцию

n

Ф=?\и>і[Уі-і\і(хі,№,

(6.2.1)

і=1

где wt — соответствующие веса, возможно равные единице, a.Yt единичное наблюдение в точке х,. На фиг. 6.2.1 дана геометриче-

Ф и г. 6.2.1. Геометрическая интерпретация метода наименьших квадратов для нелинейной модели.

а—пространство наблюдений (три наблюдения); б—пространство параметров (два параметра).

екая интерпретация метода наименьших квадратов для нелиней­ ной модели *). Как и на фиг. 5.1.1, разыскивается кратчайший вектор от точки Р в пространстве наблюдений до искривленной поверхности, которая представляет собой геометрическое место предсказанных значений Y для данного набора оценок пара-

*) Эта геометрическая интерпретация, строго говоря, справедлива л и ш ь при равных весах.— Прим. ред.