논문: https://arxiv.org/pdf/2005.05719 논문에 대한 간략 설명강화학습 하면 생각나는게 두 가지가 있다. 첫 번째로 대표적인 강화학습 pytorch library인 Stable-baselines3 두 번째로 Exploration과 Exploritation 해당 논문은 Stable-baselines3를 만든 사람이 낸 논문이다. Exploration 중에 robotics에 관련한 방법론을 제시한 논문이다. 강화학습을 사용해보았던 모든 이들에게 아래와 같은 문제가 되는 것이 있을 것이다. 강화학습을 적용하기에는 비현실적인 행동[Shaky behavior]이 너무 많다. 해당 논문은 위와 같은 원인을 Exploration에 있다고 본다. 따라서 본 논문은 이를 해결하기 위한 새로운 E..

https://arxiv.org/pdf/2107.00591  Keywords: Deep Reinforcement Learning, Offline RL, Fine-tuning요약Offline learning 이후 Online learning 을 무작정 진행하게 되면, offline learning으로 얻은 pretrained policy가 초기화 될 수 있음.이는1. offline dataset과 online dataset의 distribution shift로 인한 Out-of-Distribution.2. unseen action에 대한 Q function의 overestimation으로 인한 Out-of-Distribution. 방법론은... 그저 그럼, 그냥 해당 논문을 통해 offline RL to ..