Exploration of 2-neuron memory units in spiking neural networks
Mikhail V. Kiselev · Computer Research and Modeling · 2020
В данной работе изучаются механизмы рабочей памяти в импульсных нейронных сетях, состоящих из нейронов -интеграторов с утечкой и адаптивным порогом при включенной синаптической пластичности.Исследовались относительно небольшие сети, включающие тысячи нейронов.Рабочая память трактовалась как способность нейронной сети удерживать в своем состоянии информацию о предъявленных ей в недавнем прошлом стимулах, так что по этой информации можно было бы определить, какой стимул был предъявлен.Под состоянием сети в данном исследовании понимаются только характеристики активности сети, не включая внутреннего состояния ее нейронов.Для выявления нейронных структур, которые могли бы выполнять функцию носителей рабочей памяти, была проведена оптимизация параметров и структуры импульсной нейронной сети с помощью генетического алгоритма.Были обнаружены два типа таких нейронных структур: пары нейронов, соединенных связями с большими весами, и длинные древовидные нейронные цепи.Было показано, что качественная рабочая память может быть реализована только с помощью сильно связанных нейронных пар.В работе исследованы свойства таких ячеек памяти и образуемых ими структур.Показано, что характеристики изучаемых двухнейронных ячеек памяти легко задаются параметрами входящих в них нейронов и межнейронных связей.Выявлен интересный эффект повышения селективности пары нейронов за счет несовпадения наборов их афферентных связей и взаимной активации.Продемонстрировано также, что ансамбли таких структур могут быть использованы для реализации обучения без учителя распознаванию паттернов во входном сигнале.