논문 링크https://arxiv.org/pdf/2305.18290 해당 리뷰는 수식 유도는 생략  Keywords:Reinforcement Learning Human Feedback[RLHF], Point-wise comparison or Bandit, Direct Preference Optimization, Offline learning1. Abstract1.1. 기존 RLHF의 문제기존 RLHF의 방법은 복잡하고 불안전한 능력을 보여줌. 해당 이유는 아래와 같음1. 인간의 선호[preference]를 반영한 Reward model의 문제2. 강화학습을 통해 원래의 모델을 미세 조정[fine-tuning]하는 단계에서의 문제. 1.2. 본 논문이 제시하는 바해당 문제들을 해결하기 위해서 본 논문은 간..

https://arxiv.org/pdf/2107.00591  Keywords: Deep Reinforcement Learning, Offline RL, Fine-tuning요약Offline learning 이후 Online learning 을 무작정 진행하게 되면, offline learning으로 얻은 pretrained policy가 초기화 될 수 있음.이는1. offline dataset과 online dataset의 distribution shift로 인한 Out-of-Distribution.2. unseen action에 대한 Q function의 overestimation으로 인한 Out-of-Distribution. 방법론은... 그저 그럼, 그냥 해당 논문을 통해 offline RL to ..