Incrementally Expanding Environment in Deep Reinforcement Learning
Oscar Örnberg, Jonas Nylund · KTH Publication Database DiVA (KTH Royal Institute of Technology) · 2018
Tillräckligt snabb konvergens till optimala strategier är ett mål inom maskininlärning och speciellt förstärkande inlärning. Realtidslösningar till komplexa inlärningsproblem behövs för att expandera fältet till nya områden där maskininlärning tidigare varit en omöjlighet. I denna rapport introducerar vi en ny metod för att träna djupa Q-learning agenter i en miljö vars storlek är skalbar, i hopp om att förkorta inlärningstiden. I denna metod börjar agenten i en mycket liten miljö där den snabbt kan utforska olika situationer på en liten skala och lära sig att hantera dem. Miljön expanderar sedan bitvis när agenten har lärt sig miljön till en förbestämd standard. På sådant sätt kommer agenten inte att behövs lära om sig miljön utan kan anpassa sina kunskaper från ett mindre sammanhang till ett större. Jämförelsen mellan den Stegvis Expanderade Miljö (IEE) metoden samt den konventionella metoden att från början ge hela miljön till agenten visade att metoderna hade jämförbar prestanda i vissa fall medan IEE metoden visade sig överlägsen i andra situationer. Speciellt i scenarier med en högre learning rate så förbättrade vår metod sin strategi snabbare. Den vanliga metoden presterade aldrig bättre än IEE metoden. Vi drog slutsatsen att vår föreslagna metod är överlägsen den vanliga metoden, den är robustare i val av parametrar och presterar bättre eller lika bra i alla testade fall.