Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf

S 0. В стохастическом варианте задачи уклонение оцени­ валось для всех событий исходного класса событий S.

Формально этот факт находит свое отражение в струк­ туре формул, задающих оценку равномерной сходимости, (5.10), (5.18). Правая часть неравенств (5.10), (5.18) со­ стоит из двух сомножителей. Первый сомножитель ха­ рактеризует емкость класса событий (он идентичен, как в случае (5.10), так и в (5.18)), второй сомножитель оцени­ вает вероятность уложиться в заданное уклонение е частоты от вероятности для любого события заданного класса (в детерминистской постановке этот класс есть S 0, в стохастической — этот класс совпадает с S).

Оказывается, удается существенно по-разному оценить этот второй сомножитель. Так как при стохастическом варианте постановки априори не известны никакие ха­ рактеристики вероятностей событий класса S, то оценка уклонения частоты от вероятности для любого события А, принадлежащего S, производится в условиях наиболее

Р (А) = е. Для оценки уклонения частоты от вероятно­ сти этого события возможна более тонкая оценка (5.14).

Таким образом, оценки, полученные для детерминист­ ского и стохастического вариантов постановки задачи, различаются так, как различаются оценки уклонения частот от вероятностей в двух событиях: в событии А, для которого Р (А) близко к нулю, и в событии А', для которого Р (A') близко к г/2.

Это обстоятельство заставляет внимательно отнестись к тем требованиям, которые предъявляются к величинам уклонения частот от вероятностей.

В задаче обучения распознаванию образов можно ослабить требования к характеру сходимости: разумно требовать не равномерного отклонения частот от вероят­ ностей для всех событий, а разрешить большее уклонение для тех событий, которым соответствует вероятность, близкая к Ѵ2 , и меньшее для событий с вероятностями,

§ 10. ЗАМЕЧАНИЕ ОБ ОЦЕНКЕ СКОРОСТИ СХОДИМОСТИ Ю9

шающего правила F (х, а), ѵ (а) — частота ошибок этого правила на выборке хг, . . . , х г.

Допустим, что оптимальным является правило F (х, а 0), т. е. при а = а 0 достигается минимум функции Р (а). Для того чтобы гарантировать, что качество решающего

ошибок, отличается от опти­ мального не более чем на е, не­ обходимо и достаточно, чтобы этот минимум лежал в области, где Р (ос) < Р (а0) + е.

Учтем далее, что сходимость частот к вероятностям для фик­ сированного значения а проис­ ходит значительно быстрее, чем равномерная сходимость по

всем значениям параметра. Поэтому уже при сравнительно

Таким образом, условия (5.21) достаточно для е-бли- зости эмпирически оптимального решающего правила к истинно оптимальному. Подставляя значение б в (5.20), получаем

Результаты главы XII позволяют получить и другую оценку качества решающего правила. Допустим, что

Потребуем теперь, чтобы (5.21) выполнялось для всех а с вероятностью, превышающей 1 — г). Для этого до­ статочно правую часть (5.20) приравнять ц:

ъч

16mS(2Z)e 4 = гр

Разрешая это уравнение относительно б и подставляя найденное значение в (5.22'), получаем окончательно