Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 215

Скачиваний: 4

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

260 гл . XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ

Действительно,

Сп-С21t--гП

сггI

есть вероятность вынуть г черных шаров из урны, содер­ жащей п черных и 21 п белых шаров, когда вынимается случайно I шаров без возвращения. При этом математи­ ческое ожидание числа черных шаров в выборке равно nt2 и правая часть формулы (11.23) выражает вероят­ ность того, что число черных шаров в выборке отклонит­ ся от математического ожидания более чем на гп. Пос­ кольку для схемы без возвращения справедлив закон больших чисел, формула (11.23) верна, начиная с дос­ таточно больших I.

Аналогично

есть вероятность вынуть t черных шаров из урны, содер­ жащей р черных и 21 п р белых шаров, когда вынимается шаров, опять-таки без возвращения. Математическое ожидание черных шаров в выборке равно

гР ( і - г ) l 2I п р

и, следовательно, формула (11.24) выражает закон боль­ ших чисел в этом случае.

Тогда, учитывая что число разбиений R k подвыборки

Х п для фиксированного

г равно Сгп,

получим при I

/0

К >

(1 - ц )\

 

 

Окончательно для ^ |0

и

S(c) = J

 

 

Р { Ps (*i,..., я2;)>26} >

 

^

К{хъ ..., x2l) X

 

lg, As

(sci......лг2г)

с

 

 

 

гг

> Т

 

х й Р ( Х 2г)>(і-т])*(і-р-(-і-, г)).


§ 5. ПРИМ ЕРЫ И ДОПОЛНИТЕЛЬНЫ Е КРИТЕРИИ

261

Поскольку, согласно лемме 2,

- 0'

 

lim Р {ps й ^

М

 

имеем

 

 

 

( а . ! , х21) >

26} > (1 — ц)2.

 

1—*оО

 

 

 

Ввиду произвольной малости ц

 

 

lim iD{ps (a;1,

x2,)>2ö} = 1.

 

*<х>

 

 

 

Теорема доказана.

§ 5. Примеры и дополнительные критерии

При выводе необходимых и достаточных условий по­ путно было установлено (§ 4), что если

# S(2Z)

,

 

21

~~ у’

 

ТО

 

1

Pt{sup I v' (А) — ѵ" (Л)| > 1} =

Aes

 

 

и соответственно

 

 

Р{вир|Р(Л) — V (4)j > 0 ,5 } =

1,

AsS

 

 

т. е. в этом случае максимальное отклонение частоты от вероятности остается большим даже при сколь угодно длинных выборках.

1. В примере 2 § 3 главы X было принято, что X — сегмент [0, 1], система S состоит из всех множеств, каж­ дое из которых является объединением конечного числа замкнутых сегментов с рациональными концами. Система

S счетна. Было установлено, что

А« (хи . . ., я,) = 2г,

если только выборка не содержит повторений.

При любом непрерывном распределении выборка с вероятностью 1 не содержит повторений. Поэтому


262 ГЛ. X I. НЕОБХОДИМ Ы Е И ДОСТАТОЧНЫЕ УСЛОВИЯ

и, следовательно, с вероятностью 1

sup IV (Ä) P (A) I > 0,5

A e s

(в действительности нетрудно убедиться, что в данном

случае почти наверное sup | ѵ (.4) —- Р (А) \ = 1). AeS

Таким образом, равномерной сходимости нет, несмот­ ря на то, что система S содержит лишь счетное число событий.

2. В примере 3 § 3 главы X рассматриваются «-мер­ ное пространство Е п и система событий вида

: (.X, ф) > 0}

цри всевозможных ф (ф=^0).

Нетрудно убедиться, что если точки хѵ . . ., х2і на«

ходятся в общем положении при 21 ^ п,

то

As (Xl , . .

., x2l) = 22г.

 

При любом непрерывном

распределении,

как известно,

с вероятностью 1 выборка удовлетворяет условию общ­ ности положения. Поэтому при 1< - т

Л І Ш - і 21 — А

и

sup IV (4) — Р (A) I ]> 0,5

Ae S

свероятностью 1. Таким образом, пока длина выборки меньше половины размерности пространства, максималь­ ное уклонение частоты от вероятности остается большим.

3.Установим еще один критерий, который позволяет судить о наличии равномерной сходимости в тех случаях, когда достаточные условия не выполняются.

Теорема 11.2. Пустъ в пространстве X заданы веро­ ятностная мера Р (х) и система событий S . Допустим,

что для всякого е 0 можно указать

системы А'1(е) и

S г(б), удовлетворяющие условию равномерной сходимости,

так что

для всякого множества

А S

найдутся мно­

жества В

S x и С ЕЕ S 2 такие,

что

 

В ^ А ^ С


§ 5. ПРИМЕРЫ И ДОПОЛНИТЕЛЬНЫЕ КРИТЕРИИ

263

и

I Р (А) - Р (В) I < 6, I Р (А) - Р (С) I < е.

Тогда для системы S также имеет место равномерная сходимость частот к вероятностям (по вероятности).

Д о к а з а т е л ь с т в о .

В самом деле, пусть

е >» О

и т] > 0 — произвольные числа. Выберем такое

10,

чтобы

выполнялось

 

 

 

 

 

 

 

 

 

 

р \

sup I v' (Л) — Р (Л) I >

-|Л < Т],

 

 

 

UeS,(e/4)

 

 

 

 

4 )

 

(11.25)

 

р {

sup ! ѵ Д Л ) - [ Р ( Л )|> - іЛ < п

 

 

 

 

 

lAeS2(£/4)

 

 

 

 

4 J

 

 

для всех

I >

l0.

 

 

 

 

 

 

 

 

Возьмем произвольное событие А ее S и найдем для

него события

£ g ^

и С е

5 2 такие,

что В ZD А э С и

\ Р ( А ) - Р ( В )

K - J - ,

\ Р ( А ) - Р ( С ) \ < ^ .

.

(11.26)

Тогда

 

V (В) > V (А) >

V (С).

 

(11.27)

 

 

 

Сопоставляя (11.25),

(11.26) и

(11.27), получаем, что

 

Р (sup IV1(А) Р (,4) I

 

е} <( 2г|.

 

 

 

 

A e s

 

 

 

 

 

 

 

 

Теорема доказана.

примера,

где применяется этот кри­

4.

Приведем два

терий.

X — счетное

множество,

на

котором задана

Пусть

вероятностная

мера

Р (х),

S — произвольная

система

подмножеств. Занумеруем каким-либо образом элементы X. Поскольку

2 р (*і) = 1-

г= 1

то по всякому е > 0 можно указать п такое, что

п}

2 Р ( х ;) > 1 - 6 ,


264 ГЛ. X I. НЕОБХОДИМ Ы Е И ДОСТАТОЧНЫЕ УСЛОВИЯ

Обозначим

конечное

множество ху , . . хп через

X (п).

В качестве системы

возьмем все подмножества X

(п), а

в качестве

S ±— все множества вида

 

Си ( Х / Х п),

где Q произвольное подмножество X (п).

При этом для каждого А ЕЕ S можно указать В g= S t и С S 2, удовлетворяющие условию теоремы, а именно:

С = А {] X (п),

В = {А О X (п)) U (X I X (п)).

Поскольку системы S x и <5>2 конечны, для них выпол­ няется равномерная сходимость, а следовательно, она имеет место и для системы S. Таким образом, если X — счет­ ное множество, то равномерная сходимость частот к вероятнос­ тям имеет место всегда. При этом^ система S может быть та­ кой, "что ms (I) == 21. В этом случае скорость сходимости мо­ жет быть сколь угодно низкой.

5. Рассмотрим еще один лю бопытный пример. Пусть X — двумерная плоскость, а систе­ ма S состоит из всех выпуклых замкнутых множеств на плос­ кости. В этом случае

ms (I) == 2'.

В самом деле, разместим I точек хъ . . ., х х на окружно­ сти (рис. 22). Рассмотрим любую подпоследовательность x t , . . . , хіг (на рисунке эти точки отмечены крестиками, а остальные — кружками). Вписанный замкнутый вы­ пуклый многогранник с вершинами в точках'жг , . . ., хіг, очевидно, содержит эти точки и не содержит никаких других из числа хг , . . . , x t. Значит, система S инду­ цирует на хг , . . . , хі любую подвыборку:

A s О н , • • •, я г) = 2 '

§ 5. ПРИМЕРЫ И ДОПОЛНИТЕЛЬНЫЕ КРИТЕРИЙ

265

и поэтому

ms (I) = 21.

Таким образом, в этом примере достаточные условия не выполнены.

Равномерная сходимость по классу событий S может выполняться или нет в зависимости от распределения. Например, если вероятностная мера сосредоточена на не­ которой окружности и равномерно распределена по ней, то с вероятностью 1

sup|v(4) — Р(Л )| =

 

1 ,

 

лея

 

 

 

как бы длинна ни была выборка.

 

все точки выборки

В самом деле, с вероятностью 1

 

хх , . . ., х г лягут на окружность. Натянем

на них вы­

пуклую оболочку. Она представляет

собой

вписанный

многогранник А с вершинами хх , .

.

. , x t. Этот много­

гранник содержит все точки хи . . .,

x t и пересекается с

окружностью на множестве меры нуль.

Если же вероятность равномерно распределена в не­ котором круге О, то равномерная сходимость имеет место. Действительно, в этом случае достаточно рассмотреть сис­ тему S *, состоящую из выпуклых замкнутых множеств, целиком вкладывающихся в круг О. Дело в том, что с вероятностью 1 все точки выборки лежат в круге. Поэ­ тому для произвольного А GE S и В = A f]0 оказывается

V {А) = V (В), Р (А) ~ Р (В).

В свою очередь В — А f] О будет замкнутым выпуклым множеством и вкладывается в круг О.

Таким образом, с вероятностью 1

sup IV (А) — Р (Л) I =

sup IV (4) — Р (А) I.

Аеs

Ass*

Далее, элементарным построением можно показать, что по заданному е > 0 для всякого выпуклого множества из S* можно найти вложенный в него и объемлющий его /с-сторонние многоугольники, так что их мера отличается не более чем на е, причем число к можно зафиксировать для данного е.