Nghiên cứu cho thấy có một khoảng trống hiệu suất giữa RL trực tuyến và ngoại tuyến cho LLM—đặc biệt là khi mở rộng quy mô—nhưng việc kết hợp các mẫu on-policy vào các thuật toán ngoại tuyến (RL lặp đi lặp lại/đại diện bán trực tuyến ) có thể thu hẹp khoảng trống, với chất lượng dữ liệu đào tạo thường quan trọng hơn sự lựa chọn phương pháp RL.