Dao cạo của RL: RL theo chính sách quên ít hơn SFT.
Ngay cả khi có độ chính xác tương đương, RL cho thấy sự quên thảm khốc ít hơn.
Các phát hiện chính: 1) RL có xu hướng "quên" ít hơn SFT 2) RL theo chính sách (PPO) quên ít hơn so với RL không theo chính sách (DQN) 3) Ngay cả khi độ chính xác được khớp, RL cho thấy ít sự quên thảm khốc hơn.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
8 thích
Phần thưởng
8
2
Đăng lại
Chia sẻ
Bình luận
0/400
BrokenYield
· 09-06 21:51
cuối cùng cũng có điều gì đó không quên như những lệnh Long đòn bẩy của tôi trong vụ sụp đổ năm 2022
Dao cạo của RL: RL theo chính sách quên ít hơn SFT.
Ngay cả khi có độ chính xác tương đương, RL cho thấy sự quên thảm khốc ít hơn.
Các phát hiện chính:
1) RL có xu hướng "quên" ít hơn SFT
2) RL theo chính sách (PPO) quên ít hơn so với RL không theo chính sách (DQN)
3) Ngay cả khi độ chính xác được khớp, RL cho thấy ít sự quên thảm khốc hơn.