Файл: Курсовая работа студентки гр. 3717147 очной формы обучения Бабушкиной Валерии Викторовны.docx

А. Б.


Рис. 2 Примеры пространственных расположений препятствий в эксперименте с кошками. Две вариации пути показаны пунктирными линиями, а сплошной линий экран. А. Длина пути L1 = 3.1м, L2 = 5м. Б. Длина пути L1 = 3.6м, L2 = 5.2м.


Таким образом, животные продемонстрировали свою способность точно выбирать различные характеристики пути и вести себя соответствующим образом, когда нужно определить местоположение цели по отношению к массиву пространственных сигналов. Кроме того, эти данные предполагают, что пространственные знания не ограничиваются отношениями определенных мест (например, цели) к окружающей среде, но что пространственные знания также включают в себя подробную информацию о пространственной структуре.

2. Математические модели ориентации в пространстве

Открытие клеток места и решетки О'Кифе и Мозерами дали мощный толчок для исследований в направлении построения математических моделей ориентации в пространстве. Ниже рассмотрим некоторые из них.

2.1 Модель ориентации в водном лабиринте

Водный лабиринт Морриса является одной из популярных экспериментальных моделей по пространственному обучению и памяти. Классический вариант представляет из себя небольшой бассейн, заполненный окрашенной водой, с платформой, которая располагается на 1 см ниже уровня воды (Рис.3). Смысл эксперимента заключается в том, чтобы помещенное в воду животное, научилось находить эту платформу как можно быстрее (Ивлиева, 2016).


Рис. 3 Схема выполнения теста «Водный лабиринт Морриса» (Иптышев, 2017)



В работе Джералда Эдельмана была представлена, основанная на мозге (brain-based device), модель робота Darwin X. В данном роботе реализована модель гиппокампа, включающая в себя клетки места и развитую систему связей между различными группами нейронов. Эксперимент проводили в сухом лабиринте Морриса, корпус которого был черного цвета, а на стенах находились бумажные полосы различной ширины и цвета, выступая в роли визуальных подсказок (Рис.4). В определенном месте находилась скрытая платформа, которую визуальная система Darwin X не могла обнаружить, но имелся инфракрасный детектор, активирующийся только в тот момент, когда устройство было напрямую над платформой. При достижении цели производилось положительное подкрепление связей между возбужденными на данный момент группами нейронов в «гиппокампе» и прилегающими к нему областями «мозга» Darwin X (Edelman, 2007).

---

Рис. 4 А. Экспериментальная установка для Darwin X, сухой вариант водного лабиринта Морриса. (Krichmar,2012) Б. Физическая реализация задачи (Krichmar,2012)

А. Б.


В результате, робот запоминал как взаиморасположение ближайших графических сигналов, так и короткий маршрут для достижения им целевой площадки. Авторы отмечают, что они не формировали клетки места специально, а только организовали систему взаимных связей между различными группами нейронов, но в конце эксперимента в CA1 поле «гиппокампа» сформировались клетки места (Edelman, 2007). Это, скорее всего, является естественным следствием при обучении пространственной ориентации в искусственной системе с биологически правдоподобной моделью взаимодействия гиппокампа и энториальной коры (Казанович, 2015).

2.2 Модель целенаправленного поиска

В данной математической модели реализуется идея целенаправленного поиска за счет использования синаптической потенциации. Предположительно между клетками места уже имеются синаптические связи и в процессе обучения происходит их усиление. В данной работе была использована анти-STDP перестройки нейронной сети. В биологических нейронных сетях обучение достигается через способность синапсов изменять вес, которым определяется эффективность связи нейронов (это свойство называется синаптической пластичностью). Согласно STDP (англ. spike timing dependent plasticity – пластичность, зависящая от соотношения времен импульсов) синаптический вес увеличивается, если пресинаптические нейроны генерируют импульс непосредственно перед постсинаптическими. Меньшая разница во времени прихода спайков приводит к большему увеличению синаптического веса. Это делает механизм STDP основой для автономного обучения нейронных сетей без учителя. STDP обнаружена экспериментально и представляет собой разновидность Хеббовской пластичности. Анти-STDP приводит к усилению связи, когда сначала импульс генерирует постсинаптический нейрон, а уже потом пресинаптический. За счет этого вида пластичности может происходить запоминание и воспроизведение последовательности импульсов в нейронной сети в обратном порядке.

В результате исследовательской деятельности животное обнаруживает необходимую цель, например, воду или пищу, к которой оно может захотеть позже вернуться. Клетка места, отвечающая за положение, где находится цель, вызывает генерацию волны активности, которая распространяется до тех пор, пока каждый нейрон не сгенерирует потенциал действия (Рис.5). Генерация следующего фронта волны возможна только после окончания периода рефрактерности, чтобы не допустить распространения обратной волны (Ponulack, 2013).

---

Рис. 5 Распространение волнового фронта в лабиринтах А и B. Красным цветом обозначена волна возбуждения, распространяющаяся от клетки места, отвечающей за место с целью. C и D показывают, как давно клетка была в возбужденном состоянии. Черный цвет – клетки, до которых волна еще не дошла. Желтый и красный показывают готовность к новому возбуждению (красный – наибольшая готовность). (Ponulack, 2013).



Бегущая волна и анти-STDP определяют усиление межнейрональных связей, направленных против хода распространения активности. Для отображения общей направленностей связей используется синаптическое векторное поле (СВП), в котором каждый отдельный вектор суммирует направленность связей той области нейронной сети, которую он представляет. СВП может использоваться для нахождения кратчайшего пути к месту с положительным пространственным стимулом. На рисунке 6 иллюстрируются векторные поля с использованием направленных стрелок, исходящих из предположительных местоположений каждой клетки места в сети. Направление и длина каждой стрелки представляют, соответственно, направление и напряженность векторного поля связей в данном месте (Ponulack, 2013).




Рис.6 Синаптическое векторное поле. A и B векторные поля, возникающие в результате генерации волны активности в точке Т. С и D детальное изображение участков векторного поля. E и F траектории движения.


В реализованном алгоритме движения субъекта рецептивное поле, соответствующее текущему местоположению животного, стимулирует соответствующие клетки места, а затем активирующиеся в определенной последовательности клетки места «перемещают» субъект к предпочтительному местоположению. Асимметрия в конфигурации веса вокруг рецептивного поля приводит к более высокой вероятности спайка из тех соседних клеток, которые расположены вдоль направления векторного поля. Как следствие, субъект перемещается в новое местоположение по оптимальной траектории.

2.3 Аттракторные модели

---

Считается, что главная функция гиппокампа состоит в запоминании последовательностей. Идея о запоминании последовательностей получила развитие в аттракторной теории, которая на сегодняшний день является доминирующей для описания когнитивных процессов, происходящих в гиппокампе. Существует множество аттракторных моделей, но их всех объединяет теория о существовании непрерывных аттракторов. Под аттракторами понимаются устойчивые состояния нейронной сети, когда при отсутствии внешних стимулов в течение длительного времени активными остаются одни и те же нейроны. Нeпрерывность аттракторов подразумевает, что между аттракторами возможны пeрeходы, которые могут происходить либо с течением времени, либо под дeйствием внешних стимулов. Также предполагается, что нейроны внутри одного аттрактора объединены сильными связями, при этом сила связей с нейронами из других аттракторов слабеет в зависимoсти от степени отдаленнoсти аттракторов. Считается, что "аттракторная" схема связей возникает в ходе обучения сети по правилу STDP в результате нескольких повторений одной и той же последовательности входов.

Одной из таких является модель предложенная Брюсом МакНотоном. Клетки решетки по предположению объединены в кластеры и между разными кластерами нет связи. В свою очередь нейроны в этих группах связаны только между собой. Те нейроны, которые находятся по краям кластера, возбуждают нейроны на противоположной стороне (Рис. 7Б). После того как на такую сеть подается тоническое торможение центр активности перемещается в пространстве фаз решеток. Под фазами клетки решетки понимается вектор смещения решетки относительно выбранной точки отсчета. Близкие фазы решеток имеются у нейронов расположенных рядом и перемещение центра активности происходит также в пространстве фаз (McNaughton, 2006).

Связи между нейронами усиливаются или уменьшаются в результате изменения местоположения животного. Устойчивое состояние активности группы нейронов выглядит как бугорок (bump) (рис. 7А).


Рис. 7 Аттракторная модель. А. «Бугорок» активности группы нейронов, в зависимости от местоположения животного. Б. Схема связей нейронов внутри кластеров.
А. Б.

---

Скорость перемещения животного по логике должна соответствовать скорости перемещения активности нейронов, но этого достичь невозможно, так как возбуждение по сети передается с постоянной скоростью. Это несоответствие является одной из проблем аттракторной модели, которое может решаться за счет клеток решетки различного масштаба.

3. Теория компактного внутреннего представления

У животных в течение долгой эволюции выработались механизмы, позволяющие предсказывать будущее и целенаправленный выбор поведения в различных ситуациях. Все больше экспериментальных данных показывают, что эти механизмы основаны на способности генерировать внутреннее представление (ВП) тела и внешней среды, а также вместе с этим виртуальное «моделирование» множества альтернатив решения задачи (Макаров, 2015). В контексте движения субъекта (животного или робота) на арене, содержащей подвижные и неподвижные препятствия, ВП можно рассматривать как абстрактную, целенаправленную пространственно-временную конструкцию, имитирующую важнейшие характеристики окружающей среды и описывающую возможные (в том числе предстоящие) взаимодействия между его элементами и субъектом. Таким образом, ВП должно учитывать как пространственную (статическую) структуру окружающей среды, так и зависящие от времени изменения (движущиеся препятствия) (Villacorta-Atienza, Makarov, 2010).

Когнитивная карта является неотъемлемой частью ВП. Активность клеток места непосредственно задействована в навигации, основанной на когнитивных картах (Villacorta-Atienza, Makarov, 2013). Для решения проблемы навигации берется равномерная решетка клеток места, аллоцентрически отображающая внешний мир. С помощью такой спайковой сети производится моделирование будущих событий. То есть будущие события должны быть предсказаны, а прошлые в свою очередь становятся “замороженными” и не могут изменяться. Такая статическая природа прошлого делает возможным отобразить в модели нейронной сети движущиеся препятствия, как неизменяемые во времени структуры. Это, в свою очередь, предполагает биологически вероятный механизм группировки динамических ситуаций в компактные внутренние представления (КВП), которые могут быть легко сохранены и в последствии использованы субъектом.

В работе рассматривается субъект, движущийся в зависящей от времени среде, с необходимостью достижения цели (рис. 8А). Цель может быть подвижной или статичной и представляет объект или конкретное место на арене. В данном случае (Рис.8A) субъект имеет дополнительную сложность: наличие движущихся (помимо неподвижных) препятствий на арене, которых следует избегать. Все

---