連結：https://huggingface.co/nvidia/Llama3-70B-SteerLM-RM
Llama3-70B-SteerLM-RM是一個70億引數的語言模型，用作屬性預測模型，一個多方面的獎勵模型，它在多個方面對模型響應進行評分，而不是傳統獎勵模型中的單一分數。該模型使用HelpSteer2資料集訓練，並透過NVIDIA NeMo-Aligner進行訓練，這是一個可擴充的工具包，用於高效和高效的模型對齊。
需求人群：
- 目標受眾為需要評估和改進語言模型輸出質量的研究人員和開發者。該模型透過多方面評分幫助他們理解模型響應的質量，並提供改進方向。
使用場景示例：
- 研究人員使用該模型評估不同對話系統中的助手回答。
- 開發者利用模型評分來最佳化他們的聊天機器人的對話質量。
- 教育機構使用該模型來評估和提高教學助手的互動質量。
產品特色：
- 評估助手回答的五個屬性：有用性、正確性、連貫性、複雜性和冗餘性。
- 可以作為傳統獎勵模型輸出單一標量。
- 使用HelpSteer2資料集進行訓練，提高模型效能。
- 與NVIDIA NeMo-Aligner相容，支援資料和模型並行訓練。
- 所有檢查點與NeMo生態系統相容，支援推理部署和進一步定製。
- 在RewardBench Primary Dataset LeaderBoard上表現優異。
使用教學：
1. 從NVIDIA的Hugging Face頁面下載Llama3-70B-SteerLM-RM模型。
2. 根據SteerLM訓練使用者指南使用NeMo Aligner啟動推理伺服器。
3. 使用推理伺服器對資料檔案進行標註。
4. 根據SteerLM訓練使用者指南訓練SteerLM模型。
5. 使用標註的資料檔案訓練模型以提高其評估能力。
6. 將訓練好的模型部署到實際應用中，進行語言模型輸出的評估和最佳化。