Natural language acquisition in recurrent neural architectures
Stefan Heinrich · 2016
The human brain is one of the most complex dynamic systems that enables us to communicate (and externalise) information by natural language. Our languages go far beyond single sounds for expressing intentions - in fact, human children already join discourse by the age of three. It is remarkable that in these first years they show a tremendous capability in acquiring the language competence from the interaction with caregivers and their environment. However, our understanding of the behavioural and mechanistic characteristics for the acquisition of natural language is - as well - in its infancy. We have a good understanding of some principles underlying natural languages and language processing, some insights about where activity is occurring in the brain, and some knowledge about socio-cultural conditions framing the acquisition. Nevertheless, we were not yet able to discover how the mechanisms in the brain allow us to acquire and process language. The goal of this thesis is to bridge the gap between the insights from linguistics, neuroscience, and behavioural psychology, and contribute an understanding of the appropriate characteristics that favour language acquisition, in a brain-inspired neural architecture. Accordingly, the thesis provides tools to employ and improve the developmental robotics approach with respect to speech processing and object recognition as well as concepts and refinements in cognitive modelling regarding the gradient descent learning and the hierarchical abstraction of context in plausible recurrent architectures. On this basis, the thesis demonstrates two consecutive models for language acquisition from natural interaction of a humanoid robot with its environment. The first model is able to process speech production over time embodied in visual perception. This architecture consists of a continuous time recurrent neural network, where parts of the network have different leakage characteristics and thus operate on multiple timescales (called MTRNN), and associative layers that integrate embodied perception into continuous phonetic utterances. As the most important properties, this model features compositionality in language acquisition, generalisation in production, and a reasonable robustness. The second model is capable to learn language production grounded in both, temporal dynamic somatosensation and temporal dynamic vision. This model comprises of an MTRNN for every modality and the association of the higher level nodes of all modalities into cell assemblies. Thus, this model features hierarchical concept abstraction in sensation as well as concept decomposition in production, multi-modal integration, and self-organisation of latent representations. The main contributions to knowledge from the development and study of these models are as follows: a) general mechanisms on abstracting and self-organising structures from sensory and motor modalities foster the emergence of language acquisition; b) timescales in the brain's language processing are necessary and sufficient for compositionality; and c) shared multi-modal representations are able to integrate novel experience and modulate novel production. The studies in this thesis can inform important future studies in neuroscience on multi-modal integration and development in interactive robotics about hierarchical abstraction in information processing and language understanding. Das Gehirn des Menschen ist eines der komplexesten dynamischen Systeme, welches uns ermoglicht, Informationen in naturlicher Sprache zu kommunizieren. Unsere Sprachen gehen weit uber einzelne Laute, um Intentionen auszudrucken, hinaus - vielmehr sind bereits Kinder im Alter von drei Jahren in der Lage, einen Diskurs zu fuhren. Erstaunlicherweise zeigen sie in diesen ersten Jahren die auserordentliche Fahigkeit, sich Sprachkompetenz durch die Interaktion mit den Eltern und der Umgebung anzueignen. Unser Verstandnis von den Verhaltens- und Mechanistischen Merkmalen des Erwerbs naturlicher Sprache steckt aber ebenfalls noch in den Kinderschuhen. Wir haben ein gutes Verstandnis von einigen Prinzipien der naturlichen Sprache und der Sprachverarbeitung, Erkenntnisse daruber, wo Aktivitat dafur im Gehirn auftritt, und Wissen uber die sozio-kulturellen Rahmenbedingungen fur den Spracherwerb. Trotzdem waren wir bisher nicht in der Lage aufzudecken, wie die Mechanismen im Gehirn es dem Menschen ermoglichen, Sprache zu erwerben und zu verarbeiten. Diese Dissertation hat zum Ziel, die Brucke zwischen den Erkenntnissen aus der Linguistik, Neurowissenschaft und Verhaltenspsychologie zu schlagen und dazu beizutragen, unser Verstandnis uber geeignete Merkmale in einer vom Gehirn inspirierten neuronalen Architektur, welche den Spracherwerb begunstigt, zu verbessern. Dazu stellt die Dissertation Werkzeuge zur Verfugung, um den Ansatz der Developmental Robotics anzuwenden und bezuglich Spracherkennung und Objekterkennung weiterzuentwickeln. Auserdem prasentiert sie Konzepte sowie Verbesserungen zur kognitiven Modellierung im Bezug auf das Gradientenabstiegsverfahren und die hierarchische Abstraktion von Konzepten in rekurrenten Architekturen. Auf dieser Grundlagen demonstriert diese Dissertation aufeinander aufbauende Modelle fur den Spracherwerb uber naturliche Interaktion eines humanoiden Roboters mit dessen Umgebung. Das erste Modell ist fahig, uber die Zeit Sprachproduktion durch Einbettung in visuelle Wahrnehmung zu verarbeiten. Diese Architektur besteht aus einem zeitlich-kontinuierlich rekurrentem neuronalen Netz, in dem Segmente verschiedene Leakage-Egenschaften aufweisen und so auf verschiedenen Zeitskalen arbeiten (genannt: MTRNN) und dabei assoziative Schichten der korperlichen Wahrnehmung in die kontinuierlichen phonetischen Aussagen integrieren. Die wichtigsten Eigenschaften dieses Modells sind die Kompositionalitat im Spracherwerb, Generalisierung in der Produktion und eine gewisse Robustheit. Das zweite Modell ist fahig, Sprachproduktion, welche in zeitlich dynamischer Somatosensorik und zeitlich dynamischem Sehen eingebettet ist, zu erlernen. Dieses Modell besteht aus einem MTRNN fur jede Modalitat und assoziiert die Knoten aller Modalitaten auf hoherem Level in Cell Assemblies. Dadurch bietet das Modell die hierarchische Abstraktion von Konzepten in der Wahrnehmung und auch die Dekomposition von Konzepten in der Produktion, multi-modale Integration sowie Selbstorganisation von verborgenen Reprasentationen. Wichtigste Beitrage zum Wissen aus Entwicklung und Untersuchung dieser Modelle sind Folgende: a) Emergenz vom Spracherwerb wird von generellen Mechanismen zur Abstraktion und Selbstorganisation von Strukturen aus sensorischen und motorischen Modalitaten, unterstutzt; b) Zeitskalen in der Sprachverarbeitung im Gehirn sind notwendig und hinreichend fur Kompositionalitat; und c) geteilte multi-modale Reprasentationen konnen neue Wahrnehmungen integrieren und neue Produktionen modulieren. Die Untersuchungen konnen zukunftige Studien der Neurowissenschaften im Bereich multi-modaler Integration und die Entwicklung von interaktiven Robotern bezuglich hierarchischer Abstraktion in Informationsverarbeitung und Sprachverstehen motivieren.