連結:https://huggingface.co/THUDM/glm-4-9b-chat-1m
GLM-4-9B-Chat-1M 是智譜 AI 推出的新一代預訓練模型,屬於 GLM-4 系列的開源版本。它在語義、數學、推理、程式碼和知識等多方面的資料集測評中展現出較高的效能。該模型不僅支援多輪對話,還具備網頁瀏覽、程式碼執行、自訂工具呼叫和長文本推理等高階功能。支援包括日語、韓語、德語在內的26種語言,並特別推出了支援1M上下文長度的模型版本,適合需要處理大量資料和多語言環境的開發者和研究人員使用。
需求人群:
- 目標受眾主要是開發者、資料科學家和研究人員,他們需要處理複雜的資料集,進行多語言互動,或者需要模型具備高階的推理和執行能力。此模型能夠幫助他們提高工作效率,處理大規模資料,以及在多語言環境下進行有效的溝通和資訊處理。
使用場景示例:
- 開發者使用該模型進行多語言的聊天機器人開發。
- 資料科學家利用模型的長文本推理能力進行大規模資料分析。
- 研究人員透過模型的程式碼執行功能進行演演算法驗證和測試。
產品特色:
- 多輪對話能力,能夠進行連貫的互動。
- 網頁瀏覽功能,可以獲取和理解網頁內容。
- 程式碼執行能力,能夠執行和理解程式碼。
- 自訂工具呼叫,可以接入和使用自訂工具或API。
- 長文本推理,支援最大128K上下文,適合處理大量資料。
- 多語言支援,包括日語、韓語、德語等26種語言。
- 1M上下文長度支援,約200萬中文字元,適合長文本處理。
使用教學:
步驟一:匯入必要的庫,如torch和transformers。
步驟二:使用AutoTokenizer.from_pretrained()方法載入模型的tokenizer。
步驟三:準備輸入資料,使用tokenizer.apply_chat_template()方法格式化輸入。
步驟四:將輸入資料轉換為模型需要的格式,如使用to(device)方法將其轉換為PyTorch張量。
步驟五:載入模型,使用AutoModelForCausalLM.from_pretrained()方法。
步驟六:設定生成引數,如max_length和do_sample。
步驟七:呼叫model.generate()方法生成輸出。
步驟八:使用tokenizer.decode()方法將輸出解碼為可讀文本。