Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf

Скачать файл (11,72Мб)

Заказать решение

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 206

Скачиваний: 4

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

286 ГЛ. X III. ПРИМ ЕНЕНИ Е ТЕОРИИ РАВНОМ ЕРНОЙ СХОДИМОСТИ

последовательности независимых испытаний при неиз менном распределении. Тогда для каждого а по этой выборке можно вычислить среднее значение

Мэмп (<т) = —- 2 F (%ь а)-

І= 1

Если бы а была постоянной величиной, то сходимость среднего к математическому ожиданию обеспечивалась бы законом больших чисел. Но если параметр а может изменяться в пределах некоторого множества Q, то воз никает вопрос о равномерности по параметру а оценки математического ожидания средним значением. Точнее, обозначим через Р (X 1) вероятностную меру в простран стве выборок длины I. Тогда равномерность близости средних к математическим ожиданиям может быть оце

нена величиной	I
Рг(Q, I) =	Р {sup IМ (а) — Мэмп (X1, а) \| > е),

т. е. вероятностью того, что максимальное по а уклоне ние средневыборочного значения от математического ожидания превзойдет е.

Говорят, что имеет место равномерная по параметру сходимость средних к математическим ожиданиям, если

случайная величина sup | М (а) — Мэмп (X*, а) | стремится к ае!)

нулю соответственно по вероятности или почти навер ное при I —►оо.

Приводимые ниже достаточные критерии такой схо димости (за исключением последнего) сводят при опре деленных условиях вопрос о равномерной сходимости средних к математическим ожиданиям к исследованной в предыдущих главах проблеме равномерной сходимости частот к вероятностям в некотором классе событий.

Теорема 13.1. Пустъ F (х, а)		( а е £ 2 ) — семейство
измеримых на	функций, причем выполнено условие
О F (х, а) ^	а (число а не зависит от х и а). Рассмот
рим систему S событий вида
	А = {х\ F (х, а)	с}

для всевозможных а и с.

§ 2. СХОДИМОСТЬ К МАТЕМАТИЧЕСКИМ ОЖИДАНИЯМ 287

Тогда равномерная сходимость частот к вероятнос тям по классу событий S является достаточным услоем для равномерной сходимости средних к математичес ким ожиданиям. При этом выполняется соотношение

sup I М (а) — Мэмп (а) К					а sup \| Р (А) — ѵ(Л) \|.
а					A e S
Д о к а з а т е л ь с т в о .					Действительно,		согласно
определению интеграла			Лебега
АналогичноМ(“ ) = ^		І	ДП	Р {'<*■		“ » ■ 4 - } '
Мэмп (а) =		Н т 2		-~Г v \ F		а) > “Т"! •
		П->ооі==і		П	I	П	J
Обозначим	событие
		{ F ( x ,a » 4 - }
через І іл е	5. Тогда
			П
IМ (а) — м 'мп (а) \|<		lim			I ^ (4„) — ѵ (Д„) \| <
		П—>оо			<	а sup I Р (Л) — ѵ<г>(А ) I,
					<	а sup I Р (Л) — ѵ<г>(А ) I,
						A S S

чем и доказывается наше утверждение. Кроме того, получаем

Р {sup I М (а) — Мэмп (а) | > ае}< Р {sup | Р (Л) — ѵ (А) | > е}.

ccSO A G S

Тем самым из оценок для равномерной сходимости частот к вероятностям по классу событий можно всегда получить оценки для равномерной сходимости средних к математическим ожиданиям для равномерно ограничен ных функций F (х, а).

Следствие. В силу полученных в главах X u XI условий равномерной сходимости частот к вероятностям в слу чае, когда

О F (х, а) а,

288 ГЛ. X III. ПРИМ ЕНЕНИЕ ТЕОРИИ РАВНОМЕРНОЙ СХОДИМОСТИ

для равномерной сходимости средних к математическим ожиданиям (почти наверное) достаточно, чтобы ms (I) ф ф 2' или (более слабое условие)

lim	= 0,
I—*оо

где S — определенная выше совокупность событий. При этом справедлива оценка:

Р {sup IМ (а) — МэМП(а) | ае} < 6ms (21) е 4 .(13.8)

ае £ І

Отметим, что необходимые и достаточные условия равномерной сходимости частот к вероятностям перехо дят здесь лишь в достаточные условия равномерной схо димости средних к математическим ожиданиям.

Замечание. Равномерная ограниченность функции F (х, а) в этом рассуждении существенна, так как в про тивном случае можно построитъ примеры, где равномер ная по классу S сходимость частот к вероятностям имеет место, тогда как равномерной сходимости средних к ма тематическим ожиданиям нет.

Однако это требование может быть ослаблено. В ряде случаев существенно не абсолютное, а относительное ук лонение средних от математических ожиданий. В этом случае из допущения, что

sup F (х, а)

М (а) > ° и -JL7Ä(ä-----< * ’

где к не зависит от а и х, аналогично доказанной теореме выводится неравенство

sup	I М (®) - Мэмп («) I < /е sup I Р (/1) — Ѵ(4)\|,
а	АЛ(а)	Aes
где система S определена как и раньше. Отсюда следуют
аналогичные оценки и		условия сходимости.	І

Применим полученный результат для оценки алгорит мов, основанных на минимизации эмпирического риска. Допустим, что функция потерь Q (х, а) неотрицательна и равномерно ограничена. Тогда из (13.8) следует, что

Е«Ц-1)

P{R (а*) - Ң К ) > е} < 6ms (21)е~ 1ваг ,

§ 2. СХОДИМОСТЬ К МАТЕМАТИЧЕСКИМ ОЖИДАНИЯМ

289

где S — система событий вида

А = {z: Q (z, а) > с}

при всевозможных а и 0 < с < оо.

Свойством равномерной ограниченности обладают функции потерь в задачах распознавания образов при произвольной функции штрафа за ошибку.

2.Пусть существует функция К (ж), не зависящая от

атакая, что

О < К (ж, а) < К (х), ^ К (.г) (IP (ж) < ею.

Тогда для равномерной сходимости средних к математи ческим ожиданиям (почти наверное) достаточна равно мерная сходимость частот к вероятностям по классу S событий вида

А = {х: F (х, а) !> с}.

Пусть е^О. Выберем с таким, чтобы выполнялось

		jj К (х) (ІР (ж) <			,
и положим
К	/„ ч	_	\ К (Х)	ПРИ К		( X ) >	с ,
К	W	-	(о	при К (ж) <			с,
, ,	а)		/0	при К (ж) >			с,
(ж,	а)		^	а ) ЦрИ	р	^ ^	с