Файл: Вапник В.Н. Теория распознавания образов. Статистические проблемы обучения.pdf

ВУЗ: Не указан

Категория: Не указан

Дисциплина: Не указана

Добавлен: 11.04.2024

Просмотров: 153

Скачиваний: 4

ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.

КОММЕНТАРИИ

409

известные алгоритмы построения разделяющей гиперплоскости раз­ личаются так, как различаются методы минимизации квадратичной формы в положительном квадранте. В этой же работе и было пред­ ложено использовать метод сопряженных направлений.

К главе XV

Библиотека программ метода обобщенного портрета была созда­ на А. А. Журавель и Т. Г. Глазковой. Подробное описание библотеки дано в статьях [12, 11].

Предлагаемые здесь программы несколько отличаются от тех, которые были изложены в этих работах.

К главе XVI

Метод сопряженных направлений был предложен в 1952 году для решения системы линейных алгебраических уравнений [80]. Этот метод позволяет находить решение алгебраических уравнений (или, что то же самое, точку минимума квадратичного функционала в конечномерном пространстве) за конечное число шагов. Позже метод был обобщен для случая неквадратичных функционалов [75]. В 1969 году Б. Т. Поляк предложил обобщение метода сопряжен­ ных градиентов для решения задач с ограничениями [51]. На много­ численных примерах неоднократно демонстрировалась эффектив­ ность этого метода для решения различных задач.

Л И Т Е Р А Т У Р А

1.

А й з е р м а н М. А., Б р а в ѳ р м а н

Э. М., Р о з о н о-

 

э р Л. И., Метод потенциальных функций в теории обучения

2.

машин. М., «Наука», 1970.

 

А н д е р с о и Т. Введение в многомерный статистический ана­

3.

лиз. М., Физматгиз,

1963.

 

Б а г р о в А. Н., В а п н и к В. Н., С н и т к о в с к и й А . И.

 

К прогнозу опасных

явлений погоды. Метеорология и гидро­

4.

логия, № 3, 1974

Проблема узнавания. М., «Наука», 1967.

Б о н г а р д М. М.,

5.

Б р а и л о в с к и й

В. Л., Л у н ц А. Л.,

Формулировка за­

дачи распознавания объектов со многими параметрами и методы

еерешения. Известия АН СССР, Техническая кибернетика,

1, 1969.

6.

Б р а и л о в с к и й

В. Л., Л у н ц

А. Л., Программакласси-

 

фикации многопараметрических объектов, основанная на отборе

 

статистически полезных признаков. Сб. под ред. В. Н. Вапника

 

«Алгоритмы обучения распознаванию образов». М., «Советское

7.

радио», 1973.

Биологическая

и медицинская кибер­

Б р а й н е с С. Н.,

нетика. М., «Медицина», 1971.

8.Б л э к у э л л Д., Г р и ш и к М. Л., Теория игр и статисти­ ческих решений. М., ИЛ, 1958.

9.В а й н ц в а й г М. Н., Алгоритм обучения распознаванию образов «Кора». В сб. под ред. В. Н. Вапника «Алгоритмы обучения распознаванию образов». М., «Советское радио», 1973.

10.В а й и ц в а й г М. Н., Об одном алгоритме распознавания двоичных кодов. Проблемы передачи информации, т. 2, вып. 3, 1966.

11.

В а п н и к

В. Н.,

Г л а з к о в а

Т. Г.,

Ч е р в о н е н -

 

к и с

А. Я. Алгоритмы обучения распознаванию образов, ис­

 

пользующие метод обобщенных портретов. Алгоритмы ОП-4,

 

ОП-5, ОП-6, ОП-7. Сб. под ред. В. Н. В а п н и к а «Алгорит­

 

мы обучения распознаванию образов». М., «Советское радио»,

12.

1973.

 

В. Н.,

Ж у р а в е л ь

А. А.,

Ч е р в о н е ц -

В а п н и к

 

к и с

А. Я., Алгоритмы обучения распознаванию образов, ис­

 

пользующие метод

обобщенных портретов. Алгоритмы ОП-1,

 

ОП-2, ОП-3. Сб. под ред. В. Н. Вапника «Алгоритмы обучения

 

распознаванию образов». М-, «Советское радио», 1973,


ЛИТЕРАТУРА

411

13.В а п я и к В. Н., Л е р н е р А. Я., Узнавание образов при помощи обобщенных портретов. Автоматика и телемеханика, т. 24, № б, 1963.

14.В а п н и к В. Н., Л е р н е р А. Я., Ч е р в о н е н к и с А . Я. Системы обучения распознаванию образов при помощи обоб­ щенных портретов. Известия АН СССР, Техническая киберне­ тика, № 1, 1965.

15.

В а п н и к

В. Н.,

Ч е р в о н е н к и с А. Я., Об одном клас­

16.

се персептронов. Автоматика и телемеханика, т. 25, № 1, 1964.

В а п н и к

В. Н.,

Ч е р в о н е н к и с

А. Я., Об одном клас­

 

се алгоритмов обучения распознаванию образов. Автоматика и

 

телемеханика, т. 25, № 6, 1964.

 

 

17.

B a n и и к

В. Н-,

Ч е р в о н е н к и с

А. Я.,

Алгоритмы

 

с полной памятью и

рекуррентные алгоритмы обучения рас­

 

познаванию образов. Автоматика и телемеханика,

т. 29, 4,

18.

1968.

В. Н.,

Ч е р в о н е н к и с

А. Я., О равномерной

В а п и и к

 

сходимости частот появления событий к их вероятностям. Теория

19.

вероятностей и ее применения, т. XVI, № 2, 1971.

 

В а п н и к

В. И.,

Ч е р в о н е ц к'и с

А. Я., Теория равно­

 

мерной сходимости частот появления событий к их вероятно­

 

стям и задача поиска

оптимального решения по эмпирическим

20.

данным. Автоматика и телемеханика, № 2, 1971.

 

В и т у ш к и н А. Г.,

Оценка сложности задачи табулирова­

 

ния. М., Физматгиз, І959.

 

 

21.Г н е д е н к о Б. В. Курс теории вероятностей. М., Физматгиз, 1961.

22.Г л а д ы ш е в Е. Г., О стохастической аппроксимации. Тео­ рия вероятностей и ее применения, т. 10, № 2, 1965.

23. Г л а з к о в а Т. Г., Г у р а р и й К. Н., Д а н и л е н- к о С. И., и др., Возможности применения ЭВМ для клинико­ рентгенологической дифференциальной диагностики рака и доброкачественного поражения пищевода. Вестник радиологии

ирентгенологии, 2, 1971.

24.Г о л о в к и н Б. А., Машинное распознавание и линейное программирование. М. «Советское радио», 1972.

25.

Г у б е р м а н

Ш. А., И з в е к о в а М. Л., Х у р г и н

Я. И.

 

Применение методов распознавания образов при интерпретации

 

геофизических данных. Сб. «Самообучающиеся автоматические

26.

системы». М., «Наука», 1966.

П р о п о й

А. И.,

Ц ы п-

Д е в я т е р и к о в

И. П.,

 

к и н Я. 3.,

О рекуррентных

алгоритмах обучения распозна­

 

ванию образов. Автоматика и телемеханика,

№ 1, 1967.

 

27.Е р м о л ь е в Ю.М., О методе обобщенных стохастических градиентов о стохастических квазифейеровских последователь­

ностях. Кибернетика, № 2, 1969.

28. Ж у р а в е л ь А. А., Т р о ш к о Н. В., Э д ж у б о в Л. Г., Использование алгоритма обобщенного портрета для опознания образов в судебном почерковедении. В кн.: Правовая кибер­ нетика. М., «Наука», 1970.

29. Ж у р а в л е в

Ю. И., Д м и т р и е в А. Н., К р е н д е-

л е в Ф. Н.,

О математических принципах классификации


412

ЛИТЕРАТУРА

 

 

предметов и явлений. Дискретный анализ. Сб. трудов ИМ

 

СО АН СССР. Новосибирск, 7, 1966.

ч

30.3 а г о р у й к о Н. Г., Методы распознавания и их примене­ ния. М., «Советское радио»., 1972.

31.К о в а л е в с к и й В. А. (редактор), Сб. «Читающие авто­ маты». Киев, «Наукова думка», 1965.

32. К о в а л е в с к и й В. А., Современное состояние проблемы распознавания образов. Кибернетика, № 5, 1967.

33.К о з и н е ц Б. Н., Об одном алгоритме обучения линейного персептрона. Сб. «Вычислительная техника и вопросы програм­

34.

мирования». ЛГУ, 1964.

 

 

 

 

 

К о з и н е ц

Б. Н., Рекуррентный алгоритм разделения двух

 

множеств. В сб. под ред. В. Н. Вапника «Алгоритмы обучения

35.

распознавания образов». М., «Советское радио», 1973.

Б. М.,

К о з и н е ц

Б. Н.,

Л а н ц м а н Р. М., С о к о л о в

 

Я к у б о в и ч В. А., Опознание и дифференциация почерков

 

при помощи электронно-вычислительных машин. Сб. «Само­

36.

обучающиеся

автоматические системы». М., «Наука»,

1966.

К о л м о г о р о в

А. Н., Три подхода к определению понятия

 

«количество

информации».

Проблемы

передачи информации,

37.

т. 1, вып. 1, 1965.

А. Н.,

Ф о м и н

С. В., Элементы

теории

К о л м о г о р о в

38.

функций и функционального анализа. М., «Наука», 1968.

К у н и н П.

Е.,

Б о я д ж а н

В. А., и др.,

Распознавание

 

образов и дифференциальная диагностика.

Вестник

АМН

39.

СССР, № 5, 1968.

 

Получение

достаточных

характеристик

К у р и л о в

Б.М.,

при распознавании образов. Вычислительные системы. Сб. тру­ дов ИМ СО АН СССР, вып. 22 Н, 1966.

40.Л е К а м Л., О некоторых асимптотических свойствах оценок максимума правдоподобия. Сб. Математика, М., 1960.

41.

Л о г и н о в

В. И., X у р г и н Я. И., Общий подход к проб­

 

леме распознавания образов. Сб. тр. МИНХ и ГП, «Недра», вып.

42.

62. М., 1966.

Н . В . , Метод

стохастической аппроксимации.

Л о г и н о в

 

Автоматика и телемеханика,

№ 4, 1966.

43.Л и н н и к Ю. В., Метод наименьших квадратов. М., Физматгиз, 1962.

44.Л и т в а к о в Б. М., О сходимости рекуррентных алгорит" мов обучения распознаванию образов. Автоматика и телемеха' ника, № 1, 1968.

45.

Л у н ц А. Л., Б р а и л о в с к и й

В. Л., Об оценке призна­

 

ков,

полученных в статистических процедурах распознавания.

46.

Известия АН СССР, Техническая кибернетика, 3, 1969.

М и н с к и й

М., П е й п е р т

С.,

Персептроны. М., «Мир»,

 

1971.

 

 

 

 

47.

М о р о з о в

В. С., М о р о з о в а

В. А., и др., Прогнозирова­

 

ние

индивидуального срока

службы электронных приборов

 

• с помощью метода обобщенных портретов. Электронная техника,

48.

серия 1. Электроника С. В. Ч., выпуск 9, 1969.

Н е й м а р к

Ю. И., Б а т а л о в а

3. С. и др. Распознавание

образов и медицинская диагностика. М., «Наука», 1972.


 

 

 

ЛИТЕРАТУРА

413

49.

Н и л ь с о н

Н.,

Обучающиеся машины. М., «Мир», 1967.

50.

П е р в о з в а н

с к и н

А. А., Распознавание

абстрактных

 

образов, как

задача линейного программирования. Известия

 

АН СССР, Техническая

кибернетика, 4, 1965.

 

51.П о л я к Б. Т., Метод сопряженных градиентов в задачах на экстремум. Журнал вычислительной математики и математиче­ ской физики, т. 9, № 4, 1969.

52.П о л я к Б. Т., Ц ы п к и н Я . 3. Псевдоградиентные алгорит­ мы адаптации и обучения. Автоматика и телемеханика, N° 1, 1973.

53.П у г а ч е в В. С., Статистические проблемы теории распозна­ вания образов. Тр. III всесоюзного совещания по автоматиче­ скому управлению. М., «Наука», 1967.

54.Р о з е н б л а т т Ф., Принципы нейродинамики. Персептрон и теория механизмов мозга. М., «Мир», 1965.

55.Р а у д и с III. Ю., Об определении объема обучающей выборки

линейного классификатора. Сб. тр. ИМ СО АН СССР, вып. 28. Новосибирск, 1965.

56. Р о м а н о в Л. Н., Д ы м н и к о в а Т. Р., Построение ли­ нейных разделяющих функций для классификации синоптиче­ ских ситуаций. В кн.: Статистические методы в метеорологии, ч. I, Новосибирск, 1969.

57.Р ы ж и к И . М., Г р а д ш т е й н И. С., Таблицы интегралов, сумм, рядов и произведений. М., ГИТТЛ, 1951.

58.С е б а с т и а н Г. С., Процессы принятия решений при рас­ познавании образов. «Техника», 1965.

59. С м и р н о в Н .В ., Теория вероятностей и математическая статистика (Избранные труды). М., «Наука», 1970.

60.Т и х о н о в А .Н ., О регуляризации некорректно поставлен­ ных задач. ДАН СССР, 153, 1, 1963.

61.Т и х о н о в А. И., О решении некорректно поставленных за­ дач и методе регуляризации. ДАН СССР, 181, 3, 1963.

62.У и л к с С., Математическая статистика. М., «Наука», 1967.

63.У р б а х В. ІО., Дискриминантный анализ: основные идеи и приложения. Сб. Статистические методы классификации, вып. 1. МГУ, 1969.

64.Ф е л д е р В., Введение в теорию вероятностей и ее приложе­ ния. М., «Мир», 1964.

65.Ф р а н ц у з А. Г., Некоторые вопросы статистической теории опознания образов. Сб. Бионика. М., «Наука», 1966.

66.X и н ч и н А. Я., Об основных теоремах теории информации. Успехи математических наук, т. XI, вып. 1 (67), 1956.

67.

Ц ы п к и н

Я. 3.,

Адаптация и обучение в автоматических си­

68.

стемах. М., «Наука», 1968.

 

Ц ы п к и н

Я. 3.,

Основы теории обучающихся систем. М.,

69.

«Наука», 1970.

Оценка неизвестной плотности распределе­

Ч е н ц о в

Н. Н.,

 

ния по наблюдениям. ДАН СССР, т. 147, № 1, 1962.

 

70.

Я к у б о в и ч

В. А., Некоторые общие теоретические

прин­

 

ципы построения

обучаемых опознающих систем. Сб. Вы­

 

числительная

техника и вопросы программирования.

ЛГУ,

 

1965.

 

 

 

 


414

ЛИТЕРАТУРА

71.Я к у б о в и ч В. А., Рекуррентные конечносходящиеся алго­ ритмы решения системы неравенств. ДАН СССР, т. 166, № 6,

72.

1966.

 

N.,

B r a v e r m a n

D., Learning to Recognize

A b r a m s o n

73.

Patters in a Random Environment.

Trans. IRE IT-8, № 5, 1962.

A b r a m s o n

N., B r a v e r m a n

D., S e b a s t i a n

 

G.,

 

Pattern Recognition

and Machine

bearing.

IEEE

Trans,

on

74.

Information Theory v. 1—9, № 4,

1963.

Classification

into

A n d e r s о n

T. W.,

B a h a d u r

R. R.,

 

two multivariate normal distributions with different covariance

 

matrics.

The

annals

of Mathematical statistics, June., v. 133,

75.

№ 2, 1962.

 

The

conjugate gradient

method

for

linear

D a n i e l

J. W.,

 

and nonlinear

operator

eguation.

SIAM Numer. Anal. 4,

№ 1,

 

1967.

 

 

 

 

 

 

 

 

 

 

 

76.D v o r e t s k y A. , On stochastic approximation. Proceedings of the III Berkelly Symposium on Mathematical Statistics and

77.

Probability,

V .

1,

1956.

 

 

 

 

 

F i s h e r

 

Contributions

to

Mathematical

Statistics.

 

New-York,

R. A.,

78.

1952.

 

Disiriminatory analysis;

non-

F i X

I. E.,

H o d g e s J. L.,

 

parametric

discrimination: consistensy properties.

Report

4 of

 

the USAF School of Aviation Medicine, Randolph Field, Texas,

79.

1952.

 

 

V. I., Sulla determinatione

empirica

di probabi-

G 1 i V e n k о

80.

lita,

Giornale dell’ Istitute Italiano

degli

Attuari, 4, 1933.

 

H e s t e n e s

M. R., S t i e f e l

E.,

Method of conjugate gradi­

 

ent’s for solving linear systems. J., Res. Nat. Bur. Standards, 49,

6, 1952.

81.H i g h l e y m a n W. H., Linear decision functions with appli­

cations to pattern recognition. Proc.

IRE, № 6,

1962.

the

82. K i e f e r

E.,

W o l f o w i t z J.,

Stochastic

estimation of

maximum

of a

regression function.

Ann. Math. Stat. v.

123,

№ 3, 1952.

83.K o l m o g o r o f f A. N., Sulla determinatione empirica di una legge di distributione, Giornale dell’ Istitute Italiano degli At­ tuari, 4, 1933.

84.

L e

K a m

L., On some asymptotic properties of maximum like-

 

hood estimates and related Bayes’

estimates. Calif.

Public.

85.

Statist. 11,

1953.

 

theory of estimation and testing

L e

K a m

L., On asymptotic

 

hypoteses.

Proc.

Ill Berkley

Symposium on Math. Stat. and

 

Probability,

1,

1956.

 

 

 

86.

M о t z k i n V T.,.

S c h o e n b e r g

I., The relaxation

method

for linear inequalities. Canadian J. Math., 6, № 3, 1954.

87.N o v i k o f f A., On convergence proofs for perceptrons. Proce­ edings of Symposium on Mathematical Theory of Automata. Polytechnic Institute of Brooklyn, v. XII, 1963.

88.P a r z e n E., On consistent estimates of the spectrum of stationa­ ry time series. Ann. Math. Stat., vol. 28, 1957.

89. R o b b i n s H., M o n r o

S., A stochastic approximation

method. Annals of Math. Stat.,

v. 22, № 1, 1951.