Thanatos - a learning RTS Game AI : Developing an AI capable of learning build orders in a Real Time Strategy Game Environment by using reinforcement learning
Richard Rørmark · NORA - Norwegian Open Research Archives · 2009
Sanntidsspill (RTS) er utfordrende testplattformer for algoritmer som tar intelligente beslutninger i komplekse omgivelser. Interaksjon med disse spillene skjer i form av beslutninger som tas mens spillet foreløper. Å forbedre beslutningene over tid er en nøkkelkomponent for å oppnå suksess i RTS spill. I denne oppgaven undersøker vi de individuelle delene en generell RTS AI-spiller består av, påpeker viktigheten av "build orders", samt diskuterer hvordan "reinforcement learning" kan bli benyttet. Videre benytter vi en representasjon hvor beslutninger velges fra en mengde av beslutninger, tatt av ulike eksperter som kun lærer innenfor sitt eget ekspertisefelt. Til dette bruker vi en noe modifisert utgave av "blackboard architecture". I tillegg utsetter vi belønninger som gis til et spill har avsluttet. Med dette kan vi anta at beslutningene som tas vil forbedres, da i form av raskere og mer effektive "build orders". Vi implementerer konseptet beskrevet som en datamaskinstyrt AI-spiller i et fullt fungerende RTS miljø, kalt Wargus. Ved å eksperimentere med ulike parametere og utforskingsstrategier fant vi at beslutningene forbedret seg drastisk gjennom læringsfasen og menneskelignende strategier ble opplært. I tillegg så vi at den valgte utforskingsstrategien hadde stor innvirkning på hvor god opplæringen var.