連結：https://huggingface.co/facebook/multi-token-prediction
multi-token prediction模型是Facebook基於大型語言模型研究開發的技術，旨在透過預測多個未來令牌來提高模型的效率和效能。該技術允許模型在單次前向傳播中生成多個令牌，從而加快生成速度並可能提高模型的準確性。該模型在非商業研究用途下免費提供，但使用時需遵守Meta的隱私政策和相關法律法規。
需求人群：
- 目標受眾主要是研究人員和開發者，他們需要利用先進的語言模型來推動自然語言處理領網網域的研究和應用開發。該模型特別適合那些尋求提高模型生成速度和效率，同時保持或提升生成質量的研究者和開發者。
使用場景示例：
- 研究人員使用該模型在自然語言理解任務中提高了模型的預測速度。
- 開發者利用模型進行程式碼生成，加快了開發流程。
- 教育機構採用該技術在教學中向學生展示語言模型的高階應用。
產品特色：
- 支援非商業研究用途的語言模型訓練與推理
- 提供基於程式碼的7B引數模型，經過200B和1T tokens的訓練
- 相容Llama格式的Pytorch狀態字典，方便模型部署與使用
- 支援額外預測頭以忽略標準自迴歸推理
- 提供Tokenizer以處理模型輸入
- 遵循LLaMA Acceptable Use Policy，確保材料的合理使用
使用教學：
1. 安裝必要的依賴庫，包括torch, fairscale, fire和sentencepiece。
2. 下載並解壓模型的checkpoint目錄，例如7B_200B_4。
3. 使用Tokenizer對輸入資料進行編碼。
4. 載入模型並配置模型引數，準備進行推理或訓練。
5. 根據需要設定forward()函式的return_all_heads引數，以決定是否返回所有預測頭的輸出。
6. 執行模型進行推理或訓練，並根據輸出結果進行後續處理。
7. 遵守Acceptable Use Policy，確保模型使用符合規定。