Artificial Neural Models for Feedback Pathways for Sensorimotor Integration
Junpei Zhong · 2015
The brain comprises hierarchical modules on various physiological levels. Neural feedback signals (including lateral and top-down connections) modulate the neural activities via inhibitory or excitatory connections within/between these levels. They have predictive and filtering functions influencing the neuronal population coding of the bottom-up sensory-driven signals in the perception-action system. In this thesis, we propose that the predictive role of the feedback pathways at most levels of action and perception can be modelled by the recurrent connections in different artificial cognitive platforms (simulation and humanoid robots). This will be examined by three recurrent neural network models. Furthermore, the three models and experiments with them show that the recurrent neural networks are able to model feedback pathways and to exhibit the feedback-related sensorimotor predictive functions. In the first model, inspired by the study of neurobiology, we emphasize that the feedback connections facilitate a predictive mechanism to compensate for the neural delay in the two streams (ventral and dorsal) of the visual system. We model this with a novel recurrent network with a horizontal product. In the simulation, the recurrent connections give rise to the fast- and slow-changing neural activations in the dorsal- and ventral-like hidden layer. Particularly the recurrent connections build a feedback channel to predict the upcoming neural activity in the dorsal-like hidden layer, while another feedback channel maintains stable neural encoding in the ventral-like hidden layer. In the second part of the thesis, a sensorimotor integration model with visual prediction is implemented, whose visual perception part is considered to be the dorsal stream representation of the first model. This further augments the visual prediction with its role of guiding motor action. Together with the action module which adopts a continuous reinforcement learning algorithm, this model allows a smooth and faster docking behaviour for a humanoid robot. In the third experiment, we propose that the source of the feedback pathway could be the high-level cognitive processes, such as pre-symbolic representations. Furthermore, the emergence of these cognitive processes and feedback-related sensorimotor functions are not independent processes but they integrate and assist each other in a hierarchical way. Therefore, we augment the first horizontal productmodel with additional units, called parametric bias (PB) units, as a pre-symbolic representation. In the robot experiments, we show that during the learning process of observing sensorimotor primitives, the pre-symbolic representation is self-organized in the parametric units; during prediction, these representational units act as a prior expectation which guides the robot to recognize and to expect various pre-learned sensorimotor primitives. These three experiments demonstrate that implementation of the feedback pathways with recurrent connections can realize predictive sensorimotor functions. The emergence of these feedback pathways also accounts for the pre-symbolic representation in cognitive systems. Furthermore, we claim that the recurrent connections can be one of possible neural structures to build up the feedback pathways on the sensorimotor integration in artificial cognitive systems. Das Gehirn besteht aus hierarchisch angeordneten Modulen auf verschiedenen physiologischen Ebenen. Neuronale Ruckkopplungen (einschlieslich lateraler und hierarchischer Verbindungen) modulieren die neuronalen Aktivitaten uber hemmende oder anregende Verbindungen innerhalb sowie zwischen diesen Ebenen. Die Ruckkopplungen haben Pradiktions- und Filterfunktionen bezogen auf die neuronale Codierung der sensorisch getriebenen Signale im Wahrnehmungs-Aktionssystem. In dieser Arbeit stellen wir die Hypothese auf, dass die pradiktive Rolle der Ruckkopplungen auf den meisten Ebenen von Wahrnehmung und Handlung durch die rekurrente Verbindungen in verschiedenen kunstlichen kognitiven Plattformen (Simulation und humanoide Roboter) modelliert werden kann. Dies wird anhand von drei rekurrenten neuronalen Netzwerkmodellen untersucht. Daruber hinaus zeigen unsere Experimente mit den drei Modellen, dass die rekurrenten neuronalen Netze Ruckkopplungen modellieren und ruckkopplungsbezogene sensomotorisch pradiktive Funktionen aufweisen. Im ersten Modell, inspiriert durch das Studium der Neurobiologie, betonen wir,dass die rekurrenten Verbindungen einen pradiktiven Mechanismus ermoglichen, der neuronale Verzogerung in den beiden Stromen (ventral und dorsal) des visuellen Systems kompensiert. Wir modellieren dies mit einem neuartigen rekurrenten neuronalen Netzwerk als horizontales Produkt. In der Simulation fuhren die rekurrenten Verbindungen zu sich schnell und langsam andernden neuronalen Aktivierungen in der verborgenen ventralen und dorsalen Schicht. Dabei bilden die rekurrenten Verbindungen einen Ruckkopplungskanal, um die kommende neuronale Aktivitat in der dorsalen Schicht vorherzusagen, wahrend ein anderer Ruckkopplungskanal eine stabile neuronale Codierung in der ventralen Schicht aufrechterhalt. Im zweiten Teil der Arbeit wird ein sensomotorisches Integrationsmodell mit visueller Vorhersage implementiert, dessen visueller Teil als weitergehende Implementierung des dorsalen Pfads des ersten Modells verstanden werden kann. Diese erweitert die visuelle Vorhersage durch die Funktion, motorische Aktionen auszufuhren. Zusammen mit dem Aktionsmodul, das einen Algorithmus zum kontinuierlichen Verstarkungslernen einsetzt, erlaubt dieses Modell ein reibungsloses und schnelleres Dockingverhalten fur einen humanoiden Roboter. Im dritten Versuch stellen wir die Hypothese auf, dass die Quelle der Ruckkopplungen hohere kognitive Prozesse, wie zum Beispiel prasymbolische Reprasentationen sein konnen. Daruber hinaus sind die Entstehung dieser kognitiven Prozesse und ruckkopplungs-bezogenen sensomotorische Funktionen nicht unabhangige Prozesse, sondern sie integrieren und unterstutzen sich gegenseitig auf eine hierarchische Weise. Deshalb erweitern wir das erste horizontale Produktmodell um zusatzliche Einheiten, die so sogenannten parametrischen Bias (PB) Einheiten, als prasymbolische Reprasentation. In Roboterexperimenten zeigen wir, dass wahrend des Lernprozesses, bei dem sensomotorische Primitive beobachten werden, sich die prasymbolische Reprasentation in den PB Einheiten selbstorganisiert. Wahrend der Vorhersage wirken diese Darstellungseinheiten als Vorerwartung, die den Roboter dazu fuhrt, verschiedene vorher gelernte sensomotorische Primitive zu erwarten und zu erkennen. Diese drei Versuche zeigen, dass die Implementierung der Ruckkopplungen mit rekurrenten Verbindungen eine pradiktive Sensomotorik verwirklichen kann. Die Entstehung dieser Ruckkopplungen ist auch fur die prasymbolische Reprasentationen in kognitiven Systemen verantwortlich. Auserdem behaupten wir, dass rekurrente Verbindungen mogliche neuronale kunstliche Netzwerkstrukturen zum Aufbau der Ruckkopplungen fur die sensomotorische Integration in kunstlichen kognitiven Systeme sein konnen.