Файл: Галушкин, А. И. Синтез многослойных систем распознавания образов.pdf

зации заданных критериев первичной оптимизации в мно­ гослойных СР различного вида.

Важным является вопрос построения многослойных СР в режимах самообучения и произвольной квалификации учителя. Методология построения замкнутых СР здесь та же, что и в режиме обучения. В этом проявляется принцип единого подхода к обучению и самообучению, проходящий красной нитью через всю методику синтеза многослойных СР, излагаемую в данной книге.

Исследование замкнутых СР (гл. 8) является заключи­ тельным для многослойных СР с фиксированной структу­ рой, настраивающихся по замкнутому циклу. На данном этапе синтеза решается ряд вопросов, связанных с оценкой качества работы разомкнутых многослойных СР. Первым таким вопросом является выбор начальных условий для настройки коэффициентов многослойной СР. Выше было отмечено свойство многоэкстремальности функционала вторичной оптимизации СР. Ввиду этого ниже рассматри­ ваются два способа выбора начальных условий: случай­ ный, когда нужно найти все локальные и глобальный экс­ тремумы, и детерминированный, когда многослойная СР вводится в область глобального экстремума функционала вторичной оптимизации. Вторым вопросом является вы­ бор класса типовых входных сигналов многослойных СР, достаточно полного для того, чтобы при данных сигналах можно было в дальнейшем исследовать и сравнивать ка­ чество работы многослойных СР. Для систем автоматиче­ ского управления подобная задача решена, в частности, выбором в качестве типовых сигналов класса полиномиаль­ ных сигналов, где сложность входного, сигнала опреде­ ляется порядком полинома. В случае многослойных СР ввиду специфики данных систем сложность входного сиг­ нала определяется модальностью условных распределе­ ний. Третьим вопросом является выбор оптимальных па­ раметров контура настройки многослойных СР, в частно­ сти параметрической матрицы системы поиска экстремума функционала вторичной оптимизации. Решение данной задачи возможно аналитическим путем и с использованием

для оценки вектора градиентов функционала вторичной оптимизации;

14

2)вывод стохастического дифференциального уравне­ ния для изменения в процессе настройки плотности рас­ пределения настраиваемых коэффициентов СР;

3)решение данного уравнения;

4)нахождение параметров распределения функционала первичной оптимизации интегрированием по пространству признаков и пространству состояний (пространству на­ страиваемых коэффициентов) СР как системы со случай­ ным входным сигналом и случайными параметрами.

Результаты данного анализа в принципепозволяют решить и задачу синтеза контура настройки СР по крите­ риям, связанным с характеристиками изменения в процессе настройки параметров распределения функционала пер­ вичной оптимизации.

Однако необходимо отметить, что выбор оптимальных параметров контура настройки аналитическим путем яв­ ляется трудной математической задачей. В книге методика

аналитического исследования замкнутых СР иллюстри­ руется лишь частными примерами. Основным методом ре­ шения остается метод, связанный со статистическими ис­ пытаниями. Особое внимание здесь уделяется вопросу вы­ бора оптимальных параметров контура настройки СР по оценке текущего значения функционала первичной оптими­ зации. В книге приводятся результаты исследования боль­ шого числа многослойных СР, полученные моделированием на ЦВМ.

В целом по данному этапу синтеза многослойных СР необходимо отметить следующее. Рассмотрение класса не­ формальных задач, в частности задач распознавания об­ разов при неизвестных достаточно сложных функциях ус­ ловных плотностей распределения, создает определенные трудности не только при построении самих систем, способ­ ных решать подобные задачи, но и при попытке теоретиче­ ски оценить качество решения данных задач. Поэтому за­ частую приходится прибегать к методам, связанным со ста­ тистическим моделированием.

Выше было отмечено, что СР с фиксированной структу­ рой, настраивающиеся по замкнутому циклу, обеспечивают оптимум при условных плотностях произвольного, не за­ данного заранее вида. Однако потенциальное качество та­ ких СР ограничено априорной информацией о структуре разомкнутой СР. В гл. 9 рассматриваются методы синтеза СР, структура разомкнутой части которых априори не фик­ сируется и является результатом настройки наряду со

15

значениями настраиваемых коэффициентов. При этом в про­ цессе настройки выбираются число слоев и число элементов ЛПЭ в слое многослойной СР. В данной книге рассматри­ ваются некоторые варианты построения СР с переменной структурой, особенности исследования динамики процесса настройки на уровне исследования зависимости значения функционала первичной оптимизации от числа ЛПЭ в слоях и числа слоев. В конечном итоге СР с переменной структу­ рой реализуется в виде однородной многослойной сети из ЛПЭ.

В книге, как это видно из табл. В-1, этап выбора инфор­ мативных признаков охватывает три направления: СР, настраивающиеся по разомкнутому циклу; СР с фиксиро­ ванной структурой, настраивающиеся по замкнутому циклу

иСР с переменной структурой.

Вгл. 10 делается попытка с единой точки зрения взгля­ нуть на разрозненные и достаточно многочисленные работы по вопросу выбора информативных признаков и дать на­ чало так называемым структурным методам, имеющим объективной предпосылкой своего рассмотрения методы синтеза многослойных СР.

Необходимо отметить, что зачастую бытующее в настоя­ щее время представление о возможности так называемого предварительного выбора признаков, по мнению автора, является неверным, так как при любой процедуре выбора признаков косвенно или прямо должна быть использована конкретная СР. Именно поэтому с этой точки зрения вся­ кая процедура выбора признаков является субъективной, где субъектом является СР конкретного типа.

Второй тезис, выдвигаемый автором для утверждения предлагаемого подхода, заключается в «абсолютности» функционала первичной оптимизации как показателя ин­ формативности признаков. Именно поэтому оценки, свя­ занные с дивергенцией, средней условной энтропией, яв­ ляются приближенными и частными.

Вышесказанное делает необходимым рассмотрение во­ проса выбора информативных признаков после окончания процедур синтеза и исследования динамики СР. По мнению автора, многослойные СР с фиксированной и переменной структурой обладают наименьшей степенью субъективизма по отношению к входному сигналу (предмету исследования

спомощью СР), так как синтезируются, исходя из условия отсутствия информации об условных плотностях распреде­ ления, образов внутри классов. Именно поэтому в книге

16

в основном рассматривается применение данных СР для выбора наиболее информативных признаков исходного пространства признаков.

Применение и исследование многослойных СР позволяет поставить задачу выбора наиболее информативных призна­ ков не исходного, а промежуточных пространств, форми­

Приведенная в книге методика синтеза многослойных СР открывает новые пути для построения качественных специализированных СР. В книге кратко описаны разра­ ботанные в настоящее время специализированные СР, от­ носящиеся к классу многослойных. Основное внимание при этом уделяется структуре разомкнутой СР, определяю­ щей потенциальное качество распознавания. Приводится изложение предложенного автором принципа реализации многослойных СР, когда разомкнутая СР реализуется в аналоговом виде, а блок настройки — на ЦВМ. Показаны результаты макетирования и моделирования многослойных специализированных СР.

Ограниченность объема книги не позволила остано­ виться на многих важных вопросах теории и практики мно­ гослойных СР, решенных автором совместно с теми, кто непосредственно участвовал и помогал ему в работе. Ав­ тор выражает свою искреннюю благодарность за помощь, оказанную в работе в области многослойных СР, коллек­ тиву сотрудников, принимавших участие в разработке и отладке экспериментальных программ, реализующих многослойные СР. Замечания по книге автор с благодар­ ностью примет по адресу: 113114, Москва, Шлюзовая на­ бережная, д. 10, издательство «Энергия».

I

■I Ч И П ' о , - " О ЗА,

Г л а в а п е р в а я

ИССЛЕДОВАНИЕ ХАРАКТЕРИСТИК ВХОДНЫХ СИГНАЛОВ СИСТЕМЫ РАСПОЗНАВАНИЯ

1-1. Постановка задачи

Система распознавания образов (СР) может быть пред­ ставлена в виде эквивалентной системы, приспосабливаю­ щейся в определенном режиме к внешним условиям. Об­ щая структурная схема такой СР изображена на рис. 1-1, где х (п) есть многомерный случайный процесс, представ­

указание учителя о принадлежности текущего образа на входе СР к тому или иному классу. Каждый класс охваты­ вает определенное множество образов, объединенных неторым общим свойством1. Многомерный выходной сигнал системы распознавания xk (п) формируется в виде данных СР о принадлежности текущего образа к той или иной об­ ласти пространства решений. В связи с этим рассматри­ ваются X, Е, Х к — соответственно пространства образов, указаний учителя и выходных сигналов СР. Блок настройки параметров СР, кроме вектора а( п) настраиваемых ко­ эффициентов, в общем случае выдает информацию о струк­ туре преобразования хк (х), представляющего собой за­ висимость выходного сигнала СР от входного; g (п) — век­ тор промежуточных сигналов СР.

Входным сигналом СР является сигнал [х (п), е (/г) ], одной из характеристик которого является число градаций сигнала е (п) по уровню, определяемое числом классов об­ разов. При этом независимо от этого сигнал х (п), имею­ щий размерность N, в общем случае может быть как

1 В некоторых работах данное определение образа и класса заменяется соответственно определениями объекта и образа, что по мнению автора, является терминологической тонкостью и не­ существенно.

18

дискретным, так и непрерывным по амплитуде. Если е (я) есть одномерный сигнал, квантованный по уровню на две или К градаций, имеют дело соответственно с двумя или К классами образов. Если вектор е (я) имеет размерность N* и число градаций каждой компоненты его по ампли­ туде равно Ко, то число клас-

Конкретную задачу настройки (обучения ) СР можно проилшсстрировать следующим примером.

Рассмотрим формирование входного сигнала СР в случае кон­ тинуума признаков в задаче прогнозирования надежности некото-

Рис. 1-2. К формированию пространства признаков и указа­ ний учителя в задаче прогнозирования надежности приборов.

рого устройства. На рис. 1-2 Xj (t0) — кривые изменения во времени некоторого параметра устройства, по которому проверяется надеж­ ность при испытании, / — номер испытываемого устройства, х0 — допустимое значение параметра, ниже которого устройство считается негодным.

Точка пересечения кривой xj (tn) с уровнем х0 определяет время работы устройства. Каждой кривой соответствует вектор X/ (я),

19