[RLHF] Direct Preference Optimization:Your Language Model is Secretly a Reward Model
논문 링크https://arxiv.org/pdf/2305.18290 해당 리뷰는 수식 유도는 생략 Keywords:Reinforcement Learning Human Feedback[RLHF], Point-wise comparison or Bandit, Direct Preference Optimization, Offline learning1. Abstract1.1. 기존 RLHF의 문제기존 RLHF의 방법은 복잡하고 불안전한 능력을 보여줌. 해당 이유는 아래와 같음1. 인간의 선호[preference]를 반영한 Reward model의 문제2. 강화학습을 통해 원래의 모델을 미세 조정[fine-tuning]하는 단계에서의 문제. 1.2. 본 논문이 제시하는 바해당 문제들을 해결하기 위해서 본 논문은 간..
2024.07.01