Meta-level reasoning in reinforcement learning

Abstract

Reinforcement learning (RL) é uma técnica para encontrar uma política ótima em ambientes estocásticos onde, as ações de uma política inicial são simuladas (ou executadas diretamente) e o valor de um estado é atualizado com base nas recompensas obtida imediatamente após a execução de cada ação. Existem trabalhos que modelam adversários em jogos competitivos em ambientes estocásticos e usam RL para aprender políticas contra esses adversários. Neste cenário, a taxa de mudança de valores do estado monotonicamente diminui ao longo do tempo, de acordo com a convergencia do aprendizado. Embora este modelo pressupõe que a estratégia do adversário é estática ao longo do tempo, tal suposição é muito forte com adversários humanos. Conseqüentemente, neste trabalho, é desenvolvido um mecanismo de meta-level RL que detecta quando um oponente muda de estratégia e permite que taxa de aprendizado almente, a fim de aprender a jogar contra uma estratégia diferente. Esta abordagem é validada de forma empírica, utilizando seleção de estratégias de alto nível no jogo Starcraft: Brood War.

Reinforcement learning (RL) is a technique to compute an optimal policy in stochastic settings where actions from an initial policy are simulated (or directly executed) and the value of a state is updated based on the immediate rewards obtained as the policy is executed. Existing efforts model opponents in competitive games as elements of a stochastic environment and use RL to learn policies against such opponents. In this setting, the rate of change for state values monotonically decreases over time, as learning converges. Although this modeling assumes that the opponent strategy is static over time, such an assumption is too strong with human opponents. Consequently, in this work, we develop a meta-level RL mechanism that detects when an opponent changes strategy and allows the state-values to “deconverge” in order to learn how to play against a different strategy. We validate this approach empirically for high-level strategy selection in the Starcraft: Brood War game.