Methods and algorithms for knowledge reuse in multiagent reinforcement learning.
Felipe Leno da Silva · 2019
O Aprendizado por Reforço (Reinforcement Learning -RL) é uma das técnicas mais bem-sucedidas para treinar agentes através de interações com o ambiente.Entretanto, o processo de aprendizado tem uma alta complexidade em termos de amostras de interação com o ambiente para que uma política efetiva seja aprendida, especialmente quando múltiplos agentes estão atuando simultaneamente.Este trabalho propõe reusar conhecimento prévio para acelerar o aprendizado em RL multiagente.Os agentes podem reusar conhecimento adquirido em tarefas resolvidas previamente, e também podem receber instruções de agentes com mais experiência para aprender mais rápido.Porém, especificar um arcabouço que integre reuso de conhecimento no processo de aprendizado requer responder questões de pesquisa desafiadoras, tais como: Como abstrair soluções para que sejam reutilizadas no futuro em tarefas similares porém diferentes?Como definir quando aconselhamentos entre agentes devem ocorrer?Como selecionar as tarefas passadas mais similares à nova a ser resolvida e mapear correspondências?e Como definir se um conselho recebido é confiável?Apesar de diversos métodos existirem para o reúso de conhecimento de uma fonte em específico, a literatura é composta por métodos especializados em um determinado cenário, que não são compatíveis com outros métodos.Nesta tese é proposto o reúso de conhecimento tanto de tarefas prévias como de outros agentes.Para cumprir este objetivo, diversos métodos flexíveis são propostos para que cada um destes dois tipos de reúso de conhecimento seja possível.Os métodos propostos incluem: Ad Hoc Advising, no qual agentes compartilham conhecimento através de sugestões de ações; e uma extensão da representação orientada a objetos para RL multiagente e métodos para aproveitá-la no reúso de conhecimento.Combinados, os métodos propostos propõem formas de se reusar o conhecimento proveniente tanto de tarefas prévias quanto de outros agentes com desempenho do estado da arte.As contribuições dessa tese são passos iniciais na direção a métodos mais flexíveis de transferência de conhecimento multiagentes, onde agentes serão capazes de combinar consistentimente conhecimento reusado de múltiplas origens, incluindo tarefas resolvidas e outros agentes.