DeepMind發(fā)布提高翻譯質量的算法ReST

【資料圖】

谷歌DeepMind于8月21日發(fā)布論文，提出一種使LLM與人類偏好對齊更簡單的算法ReST（Reinforced Self-Training）。不同于RLHF（基于人類反饋的強化學習）使用人類反饋改進語言模型，ReST通過生成和使用離線數據進行訓練，從而使得LLM與人類偏好保持一致。研究團隊表示，雖然ReST可用于所有生成任務，但本文的重點是機器翻譯。研究者在機器翻譯任務上進行了實驗，測試基準包括IWSLT 2014、WMT 2020和Web Domain。結果表明，ReST可以極大地提高翻譯質量。

關鍵詞：