Файл: Лекция Естественный нейрон Особенности естественных нс.pptx

Анатомия искусственных нейронных сетей

Открытая лекция

Естественный нейрон

Особенности естественных НС

массовый параллелизм;
распределенное представление информации и вычисления;
способность к обучению и способность к обобщению;
адаптивность;
свойство контекстуальной обработки информации;
толерантность к ошибкам;
низкое энергопотребление.

Идея нейронных сетей

Уоррен Мак-Каллок (1943)

Первое устройство

Нейрофизиолог Фрэнк Розенблатт создал персептрон,
Компьютер Марк-1 (1960)

Искусственный нейрон

Активационная функция

Нейрон со смещением

Что может один нейрон

И

ИЛИ

Исключающее или

XOR

Персептрон

Однослойный персептрон

Многослойный персептрон

Обучение нейронных сетей

Задача обучения – подбор весов нейронной сети.
Виды обучения:

Обучение с учителем
Обучение без учителя
Обучение с подкреплением

Метод был предложен в 1986 г. Румельхартом, Макклеландом и Вильямсом (метод градиентного спуска)
Основные понятия:

Функция ошибки,
Скорость обучения

Алгоритм распространения ошибки сводится к следующим этапам:

прямое распространение сигнала по сети, вычисления состояния нейронов;
вычисление значения ошибки δ для выходного слоя;
обратное распространение: последовательно от конца к началу для всех скрытых слоев вычисляем δ;
обновление весов сети на вычисленную ранее δ ошибки.

Архитектура ИНС

Перцептроны (perceptrons, P),
Нейронные сети прямого распространения (feed forward neural networks, FF или FFNN),
Сети радиально-базисных функций (radial basis function, RBF) — это FFNN, 
Нейронная сеть Хопфилда

---

 (Hopfield network, HN)
Автокодировщик (autoencoder, AE) 
Сеть типа «deep belief» (deep belief networks, DBN)
Свёрточные нейронные сети (convolutional neural networks, CNN) и глубинные свёрточные нейронные сети (deep convolutional neural networks, DCNN)
Развёртывающие нейронные сети (deconvolutional networks, DN)

Архитектуры НС

Задачи ИНС

распознавание образов, классификация, прогноз, оптимизации, ассоциативная память, управление

Направления развития НС

Рост точности сетей

Направления развития НС

Рост сложности:

Победитель 2012 года на ImageNet — сеть AlexNet — меньше 10 слоев,
2014 году больше 20 слоев, в 2015 — около 150.
В 2017 - более 200.

Направления развития НС

Рост объемов данных

В 1998 году для обучения сверточной нейросети, которая распознавала рукописные чеки, было использовано 10 7 пикселей, в 2012 году (IMAGENET) — 10 14.

Рост вычислительных мощностей:

За эти 14 лет процессоры стали условно в 1000 раз быстрее.
GPUs, которые сейчас доминируют в области Deep Learning. Практически все считается на графических ускорителях.

---