Файл: Химмельблау Д. Анализ процессов статистическими методами.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 09.04.2024
Просмотров: 740
Скачиваний: 2
Линейные модели с несколькими |
переменными |
383 |
L S F I T W — программа подгонки кривой |
методом наименьших |
квадра |
тов, написанная на языке BASIC. Составлена Шумакером (Shumaker J. В . ,
National Bureau of Standards) с помощью |
алгоритма ORTHO Уолша . C-E-I-R |
||||||||||||||
Multi-Access Computer |
Services . Library. |
См.: Walsh |
P. J., Algorithm 127, |
||||||||||||
ORTHO , Communications |
of |
the |
ACM, |
5, 511—513 |
(1962). |
|
|
|
|||||||
LSTSQ — подпрограмма |
на |
языке |
|
F O R T R A N |
|
I V |
для решения |
пере |
|||||||
определенной системы АХ |
=В |
m |
линейных уравнений |
с |
п неизвестными для |
||||||||||
р правых частей. |
Написана |
Бусингером |
|
(Businger |
P., |
Computation Center, |
|||||||||
Univ . of Texas), использовавшим алгоритм |
Бусингера — Голуба. |
|
|||||||||||||
M A T H - P A C K , ORTHLS, подгонка |
кривой |
с |
помощью |
|
ортогональ |
||||||||||
ных полиномов |
методом |
наименьших |
квадратов — написанная |
на |
я з ы к е |
||||||||||
F O R T R A N |
V одна из программ Univac 1108 M A T H - P A C K . |
Uniyac |
1108 |
||||||||||||
Multi-Processor |
System, |
M A T H - P A C K |
|
Programmers |
Reference, |
ÜP - 7542, |
|||||||||
Univac Division of Sperry Rand Corp., |
|
1967. |
|
|
|
|
|
|
|||||||
MPR3, шаговая множественная регрессия с преобразованиями пере |
|||||||||||||||
менных — |
программа |
на |
языке F O R T R A N |
I I , написанная |
Ефроимсоном |
||||||||||
на основе |
алгоритма |
Ефроимсона. SHARE |
Library. |
7090-G2 |
3145 MPR3. |
См.: Efroymson M . A . , Multiple Regression Analysis, i n : Mathematical Methods
for Digital Computers, V o l . 1, |
Ralstmand |
A . , W i l f H . S., eds., W i l e y , N . Y . , |
1960. |
|
|
O M N I T A B — машинная |
программа |
общего назначения для статистиче |
ского и численного анализа . Допускает эффективную связь с вычислитель
ной |
машиной с |
помощью |
простых английских фраз. Имеется |
вариант |
ASA |
|||||||||||||||||
F O R T R A N . См.: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Hilsenrath |
J., |
Ziegler G.. |
Messina С. |
G., |
Walsch |
P. J., Herbold |
R . , |
|||||||||||||||
O M N I T A B , |
|
A Computer Program for Statistical |
and |
|
Numerical |
Analysis, |
||||||||||||||||
National Bureau of Standards Hanbbook 101, U.S. Government Printing |
Office, |
|||||||||||||||||||||
Washington, |
D.C., |
1966. |
Reissued Jan. |
1968. |
w i t h corrections. |
|
|
|
|
|||||||||||||
|
ORTHO — программа, |
написанная |
|
Уолшем |
(P. |
|
J. |
Walsh), |
|
который |
||||||||||||
использовал |
процедуру |
ортогонализации |
Грама — Шмидта |
для |
подгонки |
|||||||||||||||||
кривой методом наименьших квадратов . ORTHO была написана к а к проце |
||||||||||||||||||||||
дура |
A L G O L |
и программа F O R T R A N |
(см. O M N I T A B ) и |
программа |
BASIC |
|||||||||||||||||
(см. |
L S F I T W ) . |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
POLRG , |
полиномиальная регрессия — одна |
из программ |
I B M |
System |
|||||||||||||||||
360 Scientific |
Subroutine Package, написанная |
на |
языке |
F O R T R A N |
I V . См.: |
|||||||||||||||||
I B M |
Application |
Program, |
System/360 |
|
Scientific |
Subroutine |
Package |
|||||||||||||||
(360A-CM-03X) |
Version |
I I I , |
Application |
Description, |
|
H20-0166-5, |
1968. |
|||||||||||||||
I B M |
Application |
Program, |
System/360 |
|
Scientific |
Subroutine |
Package |
|||||||||||||||
(360A-CM-03X) |
Version |
I I I , |
Programmer's |
Manual, H20-0205-3, |
1968. |
|
||||||||||||||||
|
STAT - PACK, |
G L H , |
общая |
линейная |
|
гипотеза — одна |
из |
программ |
||||||||||||||
Univac 1108 STATPACK, написанная на |
языке F O R T R A N |
V . См.: Univac |
||||||||||||||||||||
1108 Multi-Processor System, STAT-PACK |
Programmers |
|
Reference, |
UP-7502, |
||||||||||||||||||
Univac Division |
of |
Sperry |
Rand |
Corp., |
|
1967. |
|
|
|
|
|
|
|
|
|
|||||||
|
STAT - PACK, REBSOM, обращенная множественная |
регрессия — одна |
||||||||||||||||||||
из программ |
Univac 1108 STST-PACK, написанная на |
|
языке F O R T R A N |
V . |
||||||||||||||||||
|
STATPACK, RESTEM, общие линейные гипотезы — одна из |
программ |
||||||||||||||||||||
Univac 1108 |
STAT-PACK, написанная на языке F O R T R A N |
V . |
|
|
|
|||||||||||||||||
|
STAT |
20*** — программа, |
написанная |
|
на языке |
|
BASIC |
для |
|
шаговой |
||||||||||||
множественной регрессии. C-E-I-R Multi-Access Computer Services |
Library . |
|||||||||||||||||||||
(См. |
L I N F I T . ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
STAT |
21*** — программа, |
написанная |
|
на |
языке |
BASIC |
для |
множе |
ственной линейной регрессии с |
детальным выходом. C-E-I-R Multi-Access |
Computer Services Library . (См. |
L I N F I T . ) |
Глава 6
Н Е Л И Н Е Й Н Ы Е МОДЕЛИ
Как уже объяснялось во введении к гл. 4, термин «нелиней ные» . применительно к моделям в этой части книги означает, что эти модели нелинейны по параметрам (коэффициентам), которые должны быть оценены (как правило, они оказываются нелинейны ми и по независимым переменным). По сравнению с линейными моделями в случае нелинейных моделей усложняется не только оценивание параметров по причинам, которые будут объяснены ниже, но и в значительной мере затрудняются вычисление и интер претация доверительных интервалов для этих параметров, провер
ка гипотез |
и |
рассмотрение всего |
комплекса вопросов, |
описанных |
в гл. 4 и 5. Поэтому часто приходится ограничиваться |
приближен |
|||
ными, а |
не |
точными методами |
расчета. |
|
Прежде чем перейти к детальному описанию эксперименталь ных данных: посредством нелинейных моделей, необходимо оста новиться на обозначениях и предположениях, лежащих в основе методов нелинейного оценивания. Затем рассматривается несколь ко конкретных методов, эффективно используемых для оценива ния параметров модели. Одновременно указывается на те трудно сти, с которыми приходится сталкиваться при применении этих методов. После этого обсуждаются ошибки оценок параметров и, наконец, дается краткий обзор методов оценивания в случае, когда на переменные или параметры модели наложены некоторые ограничения.
6.1. В В Е Д Е Н И Е
Пусть дана некоторая случайная наблюдаемая зависимая пере менная, или отклик, Yt или Yt, i = 1, . . ., п, в соответствии с тем, проводились или нет повторные наблюдения, и несколько неслучайных независимых (контролируемых) переменных xh, к =
= |
1, 2, . . ., |
q. (В |
этой главе в основном будет использоваться |
Yi, |
а не Yi, |
так как |
при работе с нелинейными моделями весьма |
редко производятся повторные наблюдения.) Предполагается, что
как Yt, так и xh |
непрерывны, т . е . |
принимают |
действительные |
|||
значения из некоторого конечного или, |
возможно, бесконечного |
|||||
интервала. Пусть |
ßj, / = 1, . . ., m, |
будут |
параметрами |
модели |
||
•n = |
RI (хи |
ßl, |
ß 2 , |
. . -, |
ßm), |
(6.1:1) |
386 |
|
Глава |
6 |
|
|
ние (6.1.3), |
записанное |
в явном |
виде |
как |
|
|
Y = i) (хи |
. . ., xq; ßj, . . ., |
ß m ) - f e, |
(6.1.5) |
|
называется |
уравнением |
регрессии. |
|
|
|
Можно предложить и другую нелинейную модель, обладаю щую большой практической ценностью, хотя она и не будет
использоваться |
здесь в |
силу |
ее |
сложности, а именно модель, |
|||
в которой Y и X являются случайными величинами с некоторым |
|||||||
совместным |
распределением: |
|
|
|
|
||
Y |
= |
ц ( Х І , |
. . ., |
Xq; |
ß l t |
. . ., ß m ) -f- е. |
(6.1.6) |
В этой формуле величины Xk являются |
наблюдаемыми |
значениями |
случайных переменных, тогда как в (6.1.5) жй представляют собой просто фиксированные числа.
Как и при линейном оценивании, хотелось бы получить не только оценки b параметров ß нелинейной модели (6.1.2), но и оценки Ѳ параметров Ѳ плотности распределения вероятности е, так как значения Ѳ позволяют оценить рассеяние значений b относительно истинных значений ß. Однако получить оценки b оказывается проще, чем Ѳ, и поэтому основное внимание будет уделено этой задаче. Существует много методов численного оце
нивания, и в |
некотором смысле одни оказываются лучше других. |
||
Метод максимального правдоподобия |
как |
метод оценивания |
|
параметров ß |
и Ѳ, т. е. процедура получения |
значений b и Ѳ, |
|
реализующих |
максимум функции (6.1.4), |
описывался в разд. 4.3 |
|
и 5.1, однако |
его применение связано с двумя затруднениями. |
Во-первых, необходимо знать функциональную форму функции правдоподобия (6.1.4). Во-вторых, эта процедура, вообще говоря, не может быть проведена аналитически для нелинейных моделей. Хотя всегда целесообразно исследовать, если это возможно, пове дение функции правдоподобия в окрестности ее максимума, на практике наиболее часто предполагают, что справедливы следую щие основные предпосылки разд. 4.2 (независимо от того, выпол
няются |
они или нет в |
реальном эксперименте): |
|
1. Ошибка 8 j имеет |
нормальное распределение. |
||
2 . Дисперсия У г |
при |
данном хг постоянна (или, возможно, |
|
является |
некоторой |
функцией х ; ) . |
Так как оценивание методом наименьших квадратов является наиболее простым, здесь будет отдано предпочтение этому методу перед методом максимального правдоподобия. К тому же многие из желательных свойств оценок, полученных по методу наимень ших квадратов (состоятельность, эффективность, несмещенность и минимальная дисперсия), не зависят от предположения о нор мальности распределения в случае линейных моделей, и это при-
•°—u —п -м —^™нейдых_жодедей^_Если плотность