Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf

Часть первая

ЭЛЕМЕНТАРНАЯ ТЕОРИЯ

Вэтой части, книги задача обучения распознаванию об­ разов рассматривается с точки зрения проблемы миними­ зации среднего риска для специальных классов функций потеръ.

Всовременной статистике существуют три пути ми­ нимизации среднего риска.

Первый путъ связан с восстановлением функции распре­ деления вероятностей, второй — с организацией рекур­ рентной процедуры поиска решения и третий — с метода­ ми минимизации эмпирического риска. Здесь показано, как далеко можно продвинуться в решении задачи обучения рас­ познаванию, следуя по каждому из этих направлений, и к каким конструктивным алгоритмам они приводят. На­ конец, здесь рассмотрен еще один метод минимизации рис­ ка — метод упорядоченной минимизации и получены соот­ ветствующие алгоритмы распознавания.

Взаключение этой части приведены примеры примене­ ния методов обучения для решения задач практики.

Г л а в а I

П Е Р С Е П Т Р О Н Р О З Е Н Б Л А Т Т А

в них уже известных ему животных. Человек может читать рукописи, написанные разными людьми, хотя каж­ дый почерк имеет свои особенности. Каждый из нас легко узнает своих знакомых, даже если они изменили прическу или одежду. Эта особенность человека называется феноме­ ном восприятия.

Феномен восприятия проявляется во всех сферах чело­ веческой деятельности, а многие профессии связаны исклю­ чительно с умением правильно классифицировать ситуации. Так врачи умеют диагностировать заболевания, экспер­ ты-криминалисты различают сходные почерки, ар­ хеологи устанавливают принадлежность найденных пред­ метов определенной эпохе, геологи по косвенным дан­ ным определяют характер месторождения и т. д.

Всюду здесь проявляется умение человека правильно относить наблюдаемый объект к тому или иному понятию, к тому или иному классу.

Человек умеет вырабатывать на основе опыта и новые понятия, обучаться новой системе классификации.

Существуют два различных метода обучения: один из них — объяснение, другой, более интересный,— обучение на примерах. Первый метод предполагает существование достаточно простых правил, простых настолько, что их

Внешнее раздражение воспринимается рецепторами. Каждый рецептор связан с одним или несколькими ней­ ронами преобразующего слоя, при этом каждый нейрон преобразующего слоя может быть связан с несколькими рецепторами.

Выходы преобразующих (ассоциативных) нейронов в свою очередь соединяются с входами нейронов третьего слоя. Нейроны этого слоя — реагирующие — тоже имеют несколько входов (дендритов) и один выход (аксон), кото­ рый возбуждается, если суммарная величина входных сиг­ налов превосходит порог срабатывания. Но в отличие от нейронов второго слоя, где суммируются сигналы с одним и тем же коэффициентом усиления (но, возможно, разными знаками), для реагирующих нейронов коэффициенты сум­ мирования различны по величине и, возможно, по знаку.

Каждый рецептор может находиться в одном из двух состояний: возбужденном или невозбужденном. В зависи­ мости от характера внешнего раздражения в рецепторном слое образуется тот или иной букет импульсов, который, распространяясь по нервным путям, достигает слоя преоб­ разующих нейронов. Здесь в соответствии с букетом при­ шедших импульсов образуется букет импульсов второго слоя, который поступает на входы реагирующих нейронов.

Восприятие какого-либо объекта определяется воз­ буждением соответствующего нейрона третьего слоя, при­ чем различным букетам импульсов рецепторного слоя мо­ жет соответствовать возбуждение одного и того же реаги­ рующего нейрона. Гипотеза как раз и состоит в том, что коэффициенты усиления реагирующего нейрона подобра­ ны так, чтобы в случае, когда объекты принадлежат к од­ ному классу, отвечающие им букеты импульсов возбуж­ дали бы один и тот же нейрон реагирующего слоя. Напри­ мер, наблюдая какой-нибудь предмет в разных ракурсах, человек отождествляет увиденное, так как каждый раз на различные внешние раздражения реагирует один и тот же нейрон, ответственный за узнавание этого предмета.

Среди огромного числа (порядка ІО10) нейронов чело­ века, обеспечивающих восприятие, лишь некоторая часть занята сформированными уже понятиями, другая служит для образования новых. Формирование нового понятия, по существу, заключается в установлении коэффициентов усиления реагирующего нейрона. Процесс установления

коэффициентов усиления реагирующих нейронов в схеме описывается Розенблаттом в терминах поощрения и нака­ зания.

Предположим, что появился букет импульсов, соответ­ ствующий вновь вырабатываемому понятию. Если при его появлении нужный реагирующий нейрон не возбудился (пришедший сигнал не отнесен к данному понятию), то реагирующий нейрон «штрафуется»: коэффициенты усиле­ ния тех его входов, по которым проходил импульс, увели­ чиваются на единицу. Если нейрон правильно реагировал на пришедшие импульсы, то коэффициенты усиления не меняются. Если же окажется, что некоторый набор сигна­ лов будет ошибочно отнесен к данному понятию, то нейрон тоже «штрафуется»: в этом случае коэффициенты усиления тех входов, по которым пришел импульс, уменьшаются на единицу. Такая модель восприятия проста и может быть реализована на однородных элементах — пороговых эле­ ментах.

§ 3. Техническая модель. Персептрон

Пороговым называется элемент, имеющий п входов: ж1, ..., хп, и один выход у, причем сигнал на выходе у мо­ жет принимать только два значения, 0 и 1, и связан с вхо­ дами X1, ..., хп соотношением

[

I 1, если 2 К3? > Ьо,

О, если 2

. і=1

где Хп — коэффициенты усиления сигналов хг, ...

..., ж", а А,0 — величина порога срабатывания элемента. Моделью преобразующего нейрона может служить по­ роговый элемент, у которого Хг = + 1, а моделью реаги­ рующего нейрона служит пороговый элемент, у которого

коэффициенты К — некоторые настраиваемые числа. Техническую модель зрительного анализатора Розенб-

латт назвал персептроном (от слова «персепция» — восприятие). Первый, рецепторный слой 5 модели

Розенблатта состоял из набора 400 фотоэлементов, которые образовывали полз рецепторов (20 х 20). Сигнал с фотоэле­ ментов поступал на входы пороговых элементов—нейронов преобразующего слоя (элементов А). Всего в модели Ро­ зенблатта было 512 элементов. Каждый элемент А имел 10 входов, которые случайным образом были соединены с ре­ цепторами — фотоэлементами. Половина входов считалась тормозящими и имела коэффициент усиления — 1, а другая половина — возбуждающими с коэффициентом усиления 1. Порог срабатывания нейрона принимался равным нулю. Наконец, сигналы с выходов элементов А поступали на входы реагирующего нейрона — элемента R (см. рис. 1).

Персептрон предназначался для работы в двух режи­ мах: в режиме обучения и в режиме эксплуатации. В режи­ ме обучения у персептрона по описанному выше прин­ ципу вырабатывались величины коэффициентов Ях, ..., Хп реагирующих нейронов. В ходе эксплуатации персептрон классифицировал предъявленные ему ситуации: если воз­ буждался р-й реагирующий элемент и не возбуждались остальные Л-элементы, то ситуация относилась к р-му классу. Эта машина, получившая название «Марк-1», была создана для экспериментальной проверки способности персептрона образовывать понятия.

§ 4. Математическая модель

Появление машины, способной образовывать новые по­ нятия, оказалось чрезвычайно интересным не только для физиологов, но и для представителей других областей зна­ ний и в первую очередь для математиков. Ведь как только стала ясна схема будущей экспериментальной установки, персептрон перестал быть только техническим аналогом физиологического феномена, он стал математической мо­ делью процесса восприятия.

Определение закона образования нового понятия — вы­ работка коэффициентов усиления каждого из элементов R — означало задание алгоритма, решающего некоторую формальную задачу.

Идея персептрона была осуществлена технически в ма­ шине «Марк-1». Однако для моделирования процесса вос­ приятия вовсе нет необходимости строить специальную ма­ шину. Схема персептрона легко реализуется на ЦВМ, до-