Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 11.04.2024
Просмотров: 215
Скачиваний: 4
260 гл . XI. НЕОБХОДИМЫЕ И ДОСТАТОЧНЫЕ УСЛОВИЯ
Действительно,
Сп-С21t--гП
сггI
есть вероятность вынуть г черных шаров из урны, содер жащей п черных и 21 — п белых шаров, когда вынимается случайно I шаров без возвращения. При этом математи ческое ожидание числа черных шаров в выборке равно nt2 и правая часть формулы (11.23) выражает вероят ность того, что число черных шаров в выборке отклонит ся от математического ожидания более чем на гп. Пос кольку для схемы без возвращения справедлив закон больших чисел, формула (11.23) верна, начиная с дос таточно больших I.
Аналогично
есть вероятность вынуть t черных шаров из урны, содер жащей р черных и 21 — п — р белых шаров, когда вынимается шаров, опять-таки без возвращения. Математическое ожидание черных шаров в выборке равно
гР ( і - г ) l 2I — п — р
и, следовательно, формула (11.24) выражает закон боль ших чисел в этом случае.
Тогда, учитывая что число разбиений R k подвыборки
Х п для фиксированного |
г равно Сгп, |
получим при I |
/0 |
|
К > |
(1 - ц )\ |
|
|
|
Окончательно для ^ |0 |
и |
S(c) = J |
|
|
Р { Ps (*i,..., я2;)>26} > |
|
^ |
К{хъ ..., x2l) X |
|
lg, As |
(sci......лг2г) |
с |
|
|
|
|
гг |
> Т |
|
х й Р ( Х 2г)>(і-т])*(і-р-(-і-, г)).
§ 5. ПРИМ ЕРЫ И ДОПОЛНИТЕЛЬНЫ Е КРИТЕРИИ |
261 |
||
Поскольку, согласно лемме 2, |
- 0' |
|
|
lim Р {ps й ^ |
М |
|
|
имеем |
|
|
|
( а . ! , х21) > |
26} > (1 — ц)2. |
|
|
1—*оО |
|
|
|
Ввиду произвольной малости ц |
|
|
|
lim iD{ps (a;1, |
x2,)>2ö} = 1. |
|
|
*<х> |
|
|
|
Теорема доказана.
§ 5. Примеры и дополнительные критерии
При выводе необходимых и достаточных условий по путно было установлено (§ 4), что если
# S(2Z) |
, |
|
21 |
~~ у’ |
|
ТО |
|
1 |
Pt{sup I v' (А) — ѵ" (Л)| > 1} = |
||
Aes |
|
|
и соответственно |
|
|
Р{вир|Р(Л) — V (4)j > 0 ,5 } = |
1, |
|
AsS |
|
|
т. е. в этом случае максимальное отклонение частоты от вероятности остается большим даже при сколь угодно длинных выборках.
1. В примере 2 § 3 главы X было принято, что X — сегмент [0, 1], система S состоит из всех множеств, каж дое из которых является объединением конечного числа замкнутых сегментов с рациональными концами. Система
S счетна. Было установлено, что
А« (хи . . ., я,) = 2г,
если только выборка не содержит повторений.
При любом непрерывном распределении выборка с вероятностью 1 не содержит повторений. Поэтому
262 ГЛ. X I. НЕОБХОДИМ Ы Е И ДОСТАТОЧНЫЕ УСЛОВИЯ
и, следовательно, с вероятностью 1
sup IV (Ä) — P (A) I > 0,5
A e s
(в действительности нетрудно убедиться, что в данном
случае почти наверное sup | ѵ (.4) —- Р (А) \ = 1). AeS
Таким образом, равномерной сходимости нет, несмот ря на то, что система S содержит лишь счетное число событий.
2. В примере 3 § 3 главы X рассматриваются «-мер ное пространство Е п и система событий вида
{х : (.X, ф) > 0}
цри всевозможных ф (ф=^0).
Нетрудно убедиться, что если точки хѵ . . ., х2і на«
ходятся в общем положении при 21 ^ п, |
то |
|
As (Xl , . . |
., x2l) = 22г. |
|
При любом непрерывном |
распределении, |
как известно, |
с вероятностью 1 выборка удовлетворяет условию общ ности положения. Поэтому при 1< - т
Л І Ш - і 21 — А
и
sup IV (4) — Р (A) I ]> 0,5
Ae S
свероятностью 1. Таким образом, пока длина выборки меньше половины размерности пространства, максималь ное уклонение частоты от вероятности остается большим.
3.Установим еще один критерий, который позволяет судить о наличии равномерной сходимости в тех случаях, когда достаточные условия не выполняются.
Теорема 11.2. Пустъ в пространстве X заданы веро ятностная мера Р (х) и система событий S . Допустим,
что для всякого е 0 можно указать |
системы А'1(е) и |
||
S г(б), удовлетворяющие условию равномерной сходимости, |
|||
так что |
для всякого множества |
А 6Е S |
найдутся мно |
жества В |
S x и С ЕЕ S 2 такие, |
что |
|
В ^ А ^ С
§ 5. ПРИМЕРЫ И ДОПОЛНИТЕЛЬНЫЕ КРИТЕРИИ |
263 |
и
I Р (А) - Р (В) I < 6, I Р (А) - Р (С) I < е.
Тогда для системы S также имеет место равномерная сходимость частот к вероятностям (по вероятности).
Д о к а з а т е л ь с т в о . |
В самом деле, пусть |
е >» О |
||||||||
и т] > 0 — произвольные числа. Выберем такое |
10, |
чтобы |
||||||||
выполнялось |
|
|
|
|
|
|
|
|
|
|
|
р \ |
sup I v' (Л) — Р (Л) I > |
-|Л < Т], |
|
|
|||||
|
UeS,(e/4) |
|
|
|
|
4 ) |
|
(11.25) |
||
|
р { |
sup ! ѵ Д Л ) - [ Р ( Л )|> - іЛ < п |
|
|||||||
|
|
|
||||||||
|
lAeS2(£/4) |
|
|
|
|
4 J |
|
|
||
для всех |
I > |
l0. |
|
|
|
|
|
|
|
|
Возьмем произвольное событие А ее S и найдем для |
||||||||||
него события |
£ g ^ |
и С е |
5 2 такие, |
что В ZD А э С и |
||||||
\ Р ( А ) - Р ( В ) |
K - J - , |
\ Р ( А ) - Р ( С ) \ < ^ . |
. |
(11.26) |
||||||
Тогда |
|
V (В) > V (А) > |
V (С). |
|
(11.27) |
|||||
|
|
|
||||||||
Сопоставляя (11.25), |
(11.26) и |
(11.27), получаем, что |
||||||||
|
Р (sup IV1(А) — Р (,4) I |
|
е} <( 2г|. |
|
|
|||||
|
|
A e s |
|
|
|
|
|
|
|
|
Теорема доказана. |
примера, |
где применяется этот кри |
||||||||
4. |
Приведем два |
|||||||||
терий. |
X — счетное |
множество, |
на |
котором задана |
||||||
Пусть |
||||||||||
вероятностная |
мера |
Р (х), |
S — произвольная |
система |
подмножеств. Занумеруем каким-либо образом элементы X. Поскольку
2 р (*і) = 1-
г= 1
то по всякому е > 0 можно указать п такое, что
п}
2 Р ( х ;) > 1 - 6 ,
264 ГЛ. X I. НЕОБХОДИМ Ы Е И ДОСТАТОЧНЫЕ УСЛОВИЯ
Обозначим |
конечное |
множество ху , . . хп через |
X (п). |
В качестве системы |
возьмем все подмножества X |
(п), а |
|
в качестве |
S ±— все множества вида |
|
Си ( Х / Х п),
где Q произвольное подмножество X (п).
При этом для каждого А ЕЕ S можно указать В g= S t и С S 2, удовлетворяющие условию теоремы, а именно:
С = А {] X (п),
В = {А О X (п)) U (X I X (п)).
Поскольку системы S x и <5>2 конечны, для них выпол няется равномерная сходимость, а следовательно, она имеет место и для системы S. Таким образом, если X — счет ное множество, то равномерная сходимость частот к вероятнос тям имеет место всегда. При этом^ система S может быть та кой, "что ms (I) == 21. В этом случае скорость сходимости мо жет быть сколь угодно низкой.
5. Рассмотрим еще один лю бопытный пример. Пусть X — двумерная плоскость, а систе ма S состоит из всех выпуклых замкнутых множеств на плос кости. В этом случае
ms (I) == 2'.
В самом деле, разместим I точек хъ . . ., х х на окружно сти (рис. 22). Рассмотрим любую подпоследовательность x t , . . . , хіг (на рисунке эти точки отмечены крестиками, а остальные — кружками). Вписанный замкнутый вы пуклый многогранник с вершинами в точках'жг , . . ., хіг, очевидно, содержит эти точки и не содержит никаких других из числа хг , . . . , x t. Значит, система S инду цирует на хг , . . . , хі любую подвыборку:
A s О н , • • •, я г) = 2 '
§ 5. ПРИМЕРЫ И ДОПОЛНИТЕЛЬНЫЕ КРИТЕРИЙ |
265 |
и поэтому
ms (I) = 21.
Таким образом, в этом примере достаточные условия не выполнены.
Равномерная сходимость по классу событий S может выполняться или нет в зависимости от распределения. Например, если вероятностная мера сосредоточена на не которой окружности и равномерно распределена по ней, то с вероятностью 1
sup|v(4) — Р(Л )| = |
|
1 , |
|
лея |
|
|
|
как бы длинна ни была выборка. |
|
все точки выборки |
|
В самом деле, с вероятностью 1 |
|
||
хх , . . ., х г лягут на окружность. Натянем |
на них вы |
||
пуклую оболочку. Она представляет |
собой |
вписанный |
|
многогранник А с вершинами хх , . |
. |
. , x t. Этот много |
|
гранник содержит все точки хи . . ., |
x t и пересекается с |
окружностью на множестве меры нуль.
Если же вероятность равномерно распределена в не котором круге О, то равномерная сходимость имеет место. Действительно, в этом случае достаточно рассмотреть сис тему S *, состоящую из выпуклых замкнутых множеств, целиком вкладывающихся в круг О. Дело в том, что с вероятностью 1 все точки выборки лежат в круге. Поэ тому для произвольного А GE S и В = A f]0 оказывается
V {А) = V (В), Р (А) ~ Р (В).
В свою очередь В — А f] О будет замкнутым выпуклым множеством и вкладывается в круг О.
Таким образом, с вероятностью 1
sup IV (А) — Р (Л) I = |
sup IV (4) — Р (А) I. |
Аеs |
Ass* |
Далее, элементарным построением можно показать, что по заданному е > 0 для всякого выпуклого множества из S* можно найти вложенный в него и объемлющий его /с-сторонние многоугольники, так что их мера отличается не более чем на е, причем число к можно зафиксировать для данного е.