Файл: Галушкин, А. И. Синтез многослойных систем распознавания образов.pdf

по разомкнутому циклу, условная плотность может иметь вид любого типового распределения, рассматриваемого математической статистикой. Классификация таких рас­ пределений приведена в книге в соответствующей главе. Приведены также результаты построения СР, настраиваю­ щихся по разомкнутому циклу и оптимальных для неко­ торых типовых распределений, а также для совокупности распределений. Построение СР, настраивающихся по ра­ зомкнутому циклу, методологически проводится в режи­ мах обучения, самообучения и при произвольной квалифи­ кации учителя. Реализация СР, настраивающихся по ра­ зомкнутому циклу, является самостоятельной задачей. Значительное сокращение объема памяти и времени вычис­ лений при этом достигается за счет использования рекур­ рентных методов реализации оптимальных фильтров оценки моментов нестационарных дискретных многомерных случайных процессов [Л. 48].

Проблема аналитической оценки точности СР, настраи­ вающихся по разомкнутому циклу, является мало иссле­ дованной. Общая методика оценки точности таких СР со­ стоит из следующих этапов:

1) для априорных характеристик входного сигнала ис­

в частности общего вида разделяющей поверхности, оце­ нивается точность вычисления настраиваемых параметров СР;

3) по результатам предыдущего этапа и характеристи­ кам входного сигнала СР определяется распределение ве­ роятности правильного распознавания.

Вкниге данная методика определяется и иллюстри­ руется на случае нестационарных образов с частными ти­ повыми распределениями.

Вслучае конечной памяти СР (блока настройки СР) имеем дело с системой со случайными в текущий момент времени параметрами, настраивающимися по характери­ стикам входного сигнала. Вычисленное в текущий момент времени значение вероятности правильного распознавания даже по генеральной совокупности образов является слу­ чайной величиной, распределение которой получается ус­ реднением по множеству всех состояний системы со слу­ чайными параметрами. При этом основной целью исследо­ вания являются параметры распределения (математическое ожидание, дисперсия и т. д.) вероятности правильного рас­

9

познавания в зависимости от характеристик нестационар­ ных образов, памяти СР, времени упреждения решения СР. Необходимо отметить, что аналитическая оценка точ­ ности СР, настраивающихся по разомкнутому циклу, яв­ ляется трудной математической задачей.

Рассмотрим основные этапы синтеза системы распозна­ вания с фиксированной структурой, настраивающейся по замкнутому циклу (гл. 4). Под структурой разомкнутых СР понимается структура преобразования, осуществляе­ мого СР на этапе распознавания. Описание и выбор струк­ туры разомкнутых СР, как следует из табл. В-1, являются первыми при рассмотрении направления, связанного с син­ тезом СР с фиксированной структурой, настраивающихся по замкнутому циклу. При настройке по замкнутому циклу в данном случае мы отказываемся от необходимости апри­ орного задания вида условных плотностей для совокупно­ стей образов внутри классов и считаем их произвольными. Вместо априорной информации о виде условных плотно­ стей при рассматриваемом подходе задается априорная информация об общем виде и структуре преобразования, осуществляемого системой на этапе распознавания.

Нейрон в настоящее время признается основным эле­ ментом нервной системы человека и животных. Изучение организации нейронов показало, что их расположение в нервной ткани и взаимосвязь подчиняются некоторым, пока еще мало изученным законам. Одним из таких зако­ нов является расположение нейронов по слоям с элемен­ тами связи между различными слоями нейронов. Подобное топологическое свойство достаточно хорошо изучено на примерах головного мозга, а также зрительного анализа­ тора. Данное свойство нейронной сети является мало изу­ ченным с формальной точки зрения. Основная цель на­ стоящей книги заключается в получении ответа на во­ просы: почему система распознавания образов должна строиться как нейронная сеть? Как выбрать топологию этой сети (число слоев, число элементов в слое, характер свя­ зей, характер структуры)? Как, наконец, синтезировать алгоритм адаптации нейронной сети?

Объективная необходимость построения многослойных

только приблизиться к конкретным нейронным структурам [Л. 11, 21, 24], введенным с точки зрения нейрофизиоло­ гического, а не формального аспекта, но и рассматривать

Ю

намного более сложные структуры, работающие в более общих режимах, чем режим распознавания. С этих пози­ ций автором на одном из этапов исследований была выдви­ нута рабочая гипотеза: однородная многослойная нейрон­ ная сеть может выполнить любую операцию. Конечно, дан­ ная гипотеза выражена несколько упрощенно. Однако она позволила показать возможность применения излагаемой методики синтеза для решения с помощью многослойных систем следующих задач: обращение матриц, скалярное перемножение векторов, реализация преобразователей чи­ сел из двоичной системы в десятичную и обратно.

Очевидно, задача пороговой логики является частной по отношению к задаче, рассматриваемой в книге, так как представляет собой случай двоичных пространств призна­ ков, указаний учителя и решений. Уже сейчас очевидны ограничения формальных подходов к синтезу сетей из ли­ нейных пороговых элементов (ЛПЭ), реализующих логи­ ческие функции, в плане ограниченности размерности ло­ гических функций и структуры сетей из ЛПЭ [Л. 12, 66J. Те частные применения неформальных методов синтеза систем, реализующих пороговые функции [Л. 5, 12], по­ казывают, по нашему мнению, единственность неформаль­ ного подхода к решению задачи с помощью многослойных систем из пороговых элементов для логических функций большого числа переменных. Это открывает широкие воз­ можности применения разработанных ниже методов син­ теза многослойных СР для синтеза узлов и блоков совре­ менных ЦВМ на пороговых элементах с настраиваемыми на этапе синтеза коэффициентами, узлов и блоков мини­ мальной сложности и максимальной надежности.

В заключение вопроса, связанного с выбором и описа­ нием структуры разомкнутых СР, отметим три основных перспективных направления применения теории много­ слойных систем распознавания образов:

1)построение многослойных специализированных си­ стем распознавания образов;

2)построение блоков и узлов современных ЦВМ в виде многослойных структур на пороговых элементах с настраи­ ваемыми коэффициентами;

3)построение формальных моделей функций мозга, основываясь на том, что формальный и нейрофизиологичес­ кий аспекты независимо друг от друга привели к необ­ ходимости построения некоторых частных моделей (а именно СР) в виде многослойных систем с однородной структурой.

11

Формальным аппаратом, используемым при анализе разомкнутых СР, является аппарат, основанный на точных методах вероятностного анализа многомерных нелиней­ ных систем. Переход в основном к анализу распределений и моментов распределений ошибок СР обусловливается тем, что результаты данного анализа, как показано ниже, формально не зависят от сложности и вида разомкнутой СР, за исключением характеристик пространства призна­ ков и пространства решений. Этот существенный момент в дальнейшем широко используется на этапах выбора или формирования функционала вторичной оптимизации, а также построения замкнутой СР (гл. 5, 6, 7).

Под функционалом вторичной оптимизации понимается функционал, выражаемый через параметры распределений текущих сигналов в СР и непосредственно минимизируе­ мый в многослойных СР при настройке по замкнутому циклу. На данном этапе синтеза рассматриваются в основ­ ном два вопроса. Первый вопрос связан с исследованием соответствия используемых в известных работах функцио­ налов вторичной оптимизации некоторым критериям пер­ вичной оптимизации. Предметом рассмотрения здесь яв­ ляются известные адаптивные СР, такие как АДАЛИН, матрица Штайнбуха, трехслойной персептрон Розенблатта (вернее, его настраиваемый выходной блок), а также не­ которые СР с функционалами вторичной оптимизации, рассмотренными Я- 3. Цыпкиным. В качестве основного недостатка таких подходов отмечается, что в большинстве случаев не рассматривается соответствие выбираемых функ­ ционалов вторичной оптимизации конкретным критериям первичной оптимизации. Это приводит к практическому отсутствию работоспособности некоторых СР при много­ модальных распределениях входного сигнала.

Вторым, основным на данном этапе синтеза вопросом является формирование в СР функционала вторичной оп­ тимизации, соответствующее заданному критерию первич­ ной оптимизации. Соответствие здесь понимается в смысле совпадения параметров СР при обеспечении минимума функ­ ционалов первичной и вторичной оптимизации. В книге изложена общая методика формирования функционала вторичной оптимизации, соответствующего заданному кри­ терию первичной оптимизации. Приведены результаты применения данной методики для многослойных СР

различной структуры и критериев первичной оптими- . зации.

12

Вопросу организации процедуры поиска экстремума функционала вторичной оптимизации СР в литературе уде­ ляется значительное внимание. Нас в основном будут ин­ тересовать вопросы правомочности и целесообразности применения той или иной градиентной процедуры (Нью­ тона, релаксационной, наискорейшего спуска, стохастиче­ ской аппроксимации и т. д.) поиска локального экстре­ мума.

Применение итерационных методов при составлении стандартных программ поиска экстремума функций многих переменных имеет свои особенности при построении адап­ тивных систем. Они связаны в основном с тем, что при не­ известных характеристиках входного сигнала в условиях так называемой априорной недостаточности даже при фик­ сированной структуре разомкнутой СР ничего нельзя ска­ зать о виде функционала вторичной оптимизации кроме того, что он имеет несколько локальных экстремумов, все или по крайней мере некоторые из которых должны быть найдены в процессе настройки по замкнутому циклу. Именно этот факт делает необходимым введение элементов случайности в процедуру поиска, связанных с выбором множества случайных начальных условий для некоторой градиентной процедуры. Основным вопросом исследования при этом является вероятность нахождения некоторого числа локальных экстремумов функционала вторичной оптимизации в зависимости от числа выбросов случайных начальных условий градиентной процедуры поиска локаль­ ного экстремума. Одна из задач, которую нужно решать на этапе построения замкнутых систем, заключается в том, чтобы оценить вектор градиентов функционала вторичной

2) нахождением оценки вектора градиентов в виде вы­ ражения через сигналы в СР (выходные и промежу­ точные) .

Впервом случае имеем дело с поисковой СР, во втором—

саналитической. Естественно, предпочтительнее построе­ ние СР в виде аналитических систем, настраивающихся по замкнутому циклу, так как введение поисковых колебаний вводит дополнительные шумы в систему. Однако построе­ ние СР аналитическими средствами не всегда возможно. Ограничения аналитического подхода показаны ниже при подробном рассмотрении этапа построения. Основное вни­ мание на этапе построения замкнутых СР уделяется реали­

13