On Bio-inspired Optimization and Learning
Meier, Florian · Repository for Publications and Research Data (ETH Zurich) · 2020
How does the brain learn?How does evolution compute?How can we use the gained insights about natural principles of computation to design algorithms for optimization and learning?These are the guiding questions in this thesis, which contributes to the fields of neuroscience, machine learning and evolutionary computation.We take inspiration from the brain and from evolutionary processes to design algorithms for optimization and learning.We aim at rigorously analysing the proposed algorithms in order to determine and fully understand the underlying concepts.The gained insights are then helpful to further improve the algorithms and to gain a better understanding of the principles of computation used in nature.Concretely, we contribute with three seperate projects to the above mentioned fields.First, we propose a simple, reinforce-type learning algorithm that harnesses bio-inspired mechanisms to achieve the goal of fast learning.We find that the neural tuning curve width determines a trade-off between fast learning and final precision.Further, both objectives can be improved by decreasing the tuning width dynamically during the learning process.These insights may inspire novel ideas to improve sample efficiency in machine learning and suggest fast learning as a functional role of the tuning curve width that is yet to be studied v vi Abstract in neuroscience.Second, we extend the reinforcement learning toolkit by showing that gradient estimation capabilities of evolutionary strategies can be improved by using past descent directions.We propose a novel method to optimally incorporate surrogate gradients (e.g.past or biased gradients) into the gradient search.We theoretically analyse the proposed method and show improved gradient estimation capabilities experimentally.Third, we contribute to the field of evolutionary algorithms by analysing the situation where the number of gene locations that are relevant for the fitness of an individual is unknown.In a simplified theoretical setting, we show that it is beneficial to decrease the mutation rate (that is, the probability that a certain gene location is mutated) dynamically during the evolutionary process.We also prove optimality of the provided mutation rate schedule in that setting. ZusammenfassungWie lernt das Gehirn?Wie optimiert der evolutionäre Prozess Populationen von Individuen?Wie können wir das gewonnene Wissen über die Optimierungsprinzipien der Natur nutzen, um bessere Lern-und Optimierungsalgorithmen zu entwerfen?Dies sind die leitenden Fragen dieser Dissertation, welche zu den Gebieten der Neurowissenschaften, der künstlichen Intelligenz und der evolutionären Optimierung beiträgt.Wir entwickeln Lern-und Optimierungsalgorithmen, welche entweder vom Gehirn oder von evolutionären Prozessen inspiriert sind.Wenn immer möglich, analysieren wir diese Algorithmen rigoros, um die zugrunde liegenden Konzepte zu ermitteln und vollständig zu verstehen.Das gewonnene Verständnis hilft um die Algorithmen weiter zu verbessern und erweitert unser Verständnis der in der Natur genutzten Optimierungsprinzipien. Konkret enthält diese Dissertation drei unabhängige Projekte, die zu den oben genannten Gebieten beitragen.Im ersten Projekt entwerfen wir einen einfachen reinforce-artigen Lernalgorithmus, welcher biologisch plausible Mechanismen nutzt um möglichst schnell zu lernen.Einer der verwendeten Mechanismen ist das Kodieren von Information mittels sogenannter neuronalen Tuning-Kurven.Unsere Analyse zeigt, dass die Breite der Tuning-Kurven einen Kompromiss zwischen möglichst genauvii viii Zusammenfassung em Lernen und möglichst schnellem Lernen bestimmt.Zudem können beide Ziele erreicht werden, indem man die Breite der Tuning-Kurven während des Lernprozesses dynamisch verkleinert.Diese Befunde könnten neue Methoden im Bereich der künstlichen Intelligenz inspirieren, welche nur kleine Datenmengen fürs Lernen benötigen, und sie suggerieren, dass die Breite der Tuning-Kurven im Gehirn unter anderem dem Zweck des schnellen Lernens dient.Im zweiten Projekt erweitern wir den Methodenkoffer im Bereich des verstärkenden Lernens, indem wir die Gradientenschätzung von evolutionären Strategien mithilfe von vorangegangenen Schätzungen präzisieren.Wir zeigen wie Surrogatgradienten (z.B. verzerrte Gradienten) optimal für die Gradientensuche eingesetzt werden können.Wir analysieren die neue Methode mathematisch und weisen verbesserte Gradientenschätzungen experimentell nach.Das dritte Projekt trägt zur Theorie von evolutionären Algorithmen bei.Wir analysieren das Szenario mit unbekannter Anzahl Positionen im Genom, die für die Fitness von Individuen relevant sind.Für eine vereinfachte, abstrahierte Modellierung beweisen wir, dass eine dynamische Verringerung der Mutationswahrscheinlichkeit während des evolutionären Prozesses die Optimierungsgeschwindigkeit erhöht.Zusätzlich beweisen wir die Optimalität des vorgeschlagenen Zeitplans der Mutationswahrscheinlichkeiten. ThanksThank you to everyone who made my time at ETH the experience it was.Thanks for sharing laughs, excitement, curiosity and visions with me!It is the vivid memories with you that I will remember the most. Foremost, to my supervisor, Angelika Steger