Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf

г— 1

Максимум функций (3.4) и (3.4') совпадают и, следова-

•гельно, оценки максимума правдоподобия могут быть найдены как корни урав­ нения

Теория метода призвана оценить, насколько «хорош» пред­ лагаемый способ оценивания параметров. Эта теория до­ статочно полно разработана. Подробное исследование свойств оценки максимума правдоподобия можно найти в работах [2, 621.

Основное содержание теории заключается в том, что для определенных функций Р (х, а) (которым заведомо принадлежат оба класса рассматриваемых распределе­ ний вероятностей) метод максимума правдоподобия! обеспечивает асимптотическую несмещенность и асимп-І тотическую эффективность оценки.

§ 4. Байесов принцип восстановления

Байесов принцип восстановления плотности распреде­ ления основан на использовании формулы Байеса:

Пусть известна априорная плотность распределения вероятностей Р (а) вектора параметров а, которая харак­ теризует предполагаемую возможность осуществления различных значений а до того как проведен эксперимент

56 ГЛ. III. МЕТОДЫ ВОССТАНОВЛЕНИЯ РАСПРЕДЕЛЕНИЙ

(дана выборка). Апостериорная вероятность Р (а | хх, . . .

. . хі) характеризует возможность осуществления раз­ личных значений а после того, как к априорному знанию добавлено знание, извлеченное из экспериментальных данных хх, . . ., х х. В этом случае формула Байеса ут­ верждает, что апостериорная вероятность параметра а получается умножением априорной вероятности на функ­

цию правдоподобия

I

Ь(хх, ..., ж,Iа) = П * ( * И І—1

Р(хъ ..., хі) = '21Ь(хі, ..., хі I ак) Р (afc),

если значения параметра а дискретны.

Таким образом, с помощью формулы Байеса по апри­ орному распределению вероятностей параметров а и ре­ зультатам эксперимента может быть вычислена плотность апостериорного распределения вероятностей Р (а \ хх, . . .

• • •» ®і)*

Теперь задача заключается в том, чтобы, зная плот­ ность Р (a I хх, . . ., Ж(), определить искомый параметр.

Здесь может быть несколько идей оценивания.

1. В качестве искомого значения вектора параметро выбирается такое а, которое доставляет максимум функ­ ции Р (а \ х1, . . ., хі).

É2. В качестве искомого значения вектора параметров выбирается математическое ожидание значения а, т. е.

a = § aP(ajxl t ..., xt) da.

3. Принята и такая идея восстановления, когда с по­ мощью плотности распределения Р (а | хх, . . ., хі) кон­ струируется плотность Р (X) по правилу

т. е. в качестве оценки выбирается математическое ожи­ дание плотности Р (х I а). Вообще говоря, полученная

в результате восстановления (3.5) плотность Р (х) вовсе не должна принадлежать рассматриваемому параметри­ ческому семейству Р (х , а). Поэтому, строго говоря,

рассматриваемый метод конструирования плотности Р (х) нельзя называть восстановлением функции в классе Р (X, а), тем не менее он получил название байесовой стра­

тегии восстановления функции Р (х).

Байесова оценка плотности распределения вероят­ ностей обладает замечательной особенностью, делающей получение ее крайне желательной. Она реализует опти­ мальную стратегию в следующей игре с «природой». Игра состоит в том, чтобы «угадать» ход, сделанный при­ родой. Функция Р (а) задает вероятность того, что при­ рода назначит вектор а = а0 в качестве параметра плот­ ности распределения Р (х, а). Пусть теперь дана выборка

задать такую функцию я (х; х^, . . ., хі), которая была бы как можно «ближе» к Р (х, а 0). «Партия» в такой игре определяется стратегией природы а = а0, стратегией

Средний проигрыш игрока в игре определяется выраже­ нием

\ I = §D (а; хъ ..., х,) Р (а) Р (хъ ..., Хі\а)йхъ ..., dxt da, (3.7)

Минимум этого слагаемого равен нулю и достигается тогда, когда

я (ж; жх, . . ., хі) = Р (ж).

§5. Сравнение байесова метода оценивания

иоценивания методом максимума правдоподобия

Рассмотренные методы оценивания не являются рав­ нозначными ни по сложности их реализации, ни по эф­ фекту, который может быть с их помощью получен. Наи­ большую трудность в реализации метода максимума прав­ доподобия представляет отыскание решения системы уравнений

Хотя система уравнений, вообще говоря, не является линейной, численное решение ее не составляет принци­ пиальной трудности, тем более что для широкого класса функций существует лишь единственное решение (3.9).

Реализация байесовой стратегии — задача значитель- „ но более трудная. Как правило, эта стратегия может быть реализована лишь тогда, когда удается провести