連結：https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/
Nemotron-4 340B是NVIDIA釋出的一系列開放模型，專為生成合成資料以訓練大型語言模型（LLMs）而設計。這些模型經過最佳化，可以與NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高訓練和推理的效率。Nemotron-4 340B包括基礎、指令和獎勵模型，形成一個生成合成資料的管道，用於訓練和完善LLMs。這些模型在Hugging Face上提供下載，並很快將在ai.nvidia.com上提供，作為NVIDIA NIM微服務的一部分。
需求人群：
- Nemotron-4 340B模型適用於需要訓練大型語言模型的開發者和研究人員，特別是在訪問大型、多樣化的標記資料集受限的情況下。它為商業應用提供了一種免費、可擴充的方式來生成合成資料，有助於構建強大的LLMs。
使用場景示例：
- 在醫療保健行業中，使用Nemotron-4 340B生成的合成資料訓練定製的LLMs，以提高醫療諮詢的準確性和響應質量。
- 金融行業利用Nemotron-4 340B生成的資料訓練風險評估模型，增強對市場動態的預測能力。
- 零售業透過使用Nemotron-4 340B模型生成的資料，最佳化客戶服務機器人的對話能力，提升客戶體驗。
產品特色：
- 生成合成資料以模擬現實世界資料的特性，提高自訂LLMs的資料質量和效能。
- 使用Nemotron-4 340B獎勵模型篩選高質量響應，基於五個屬性評分：幫助性、正確性、連貫性、複雜性和冗餘性。
- 研究人員可以透過自訂Nemotron-4 340B基礎模型和HelpSteer2資料集來建立自己的指令或獎勵模型。
- 使用開源NVIDIA NeMo和NVIDIA TensorRT-LLM最佳化指令和獎勵模型的效率，生成合成資料並評分響應。
- 利用張量並行性，透過TensorRT-LLM最佳化所有Nemotron-4 340B模型，實作大規模推理。
- Nemotron-4 340B基礎模型經過9萬億個token的訓練，可以透過NeMo框架進行定製，以適應特定用例或領網網域。
- 透過NeMo Aligner和Nemotron-4 340B獎勵模型標註的資料集對模型進行對齊，確保輸出安全、準確、上下文適當並與預期目標一致。
使用教學：
從Hugging Face下載Nemotron-4 340B模型。
根據特定用例或領網網域的需求，使用NeMo框架對Nemotron-4 340B基礎模型進行定製。
利用Nemotron-4 340B指令模型生成模擬現實世界資料特性的合成資料。
使用Nemotron-4 340B獎勵模型對AI生成的資料進行質量篩選和評分。
透過NeMo Aligner和標註的資料集對模型進行對齊，確保輸出的安全性和準確性。
將定製後的模型部署為NVIDIA NIM微服務，並透過標準應用程式程式設計接口在任何地方部署。