Link：jais
這是一個130億引數的預訓練雙語大型語言模型,支援阿拉伯語和英語,在720億阿拉伯語標記和2790億英語/程式碼標記的資料集上進行訓練。阿拉伯語資料迭代了1.6個時代(相比英語/程式碼的1個時代),總計3950億個標記進行訓練。該模型基於Transformer解碼器專用架構(GPT-3),使用SwiGLU非線性啟用函式。它實現了ALiBi位置嵌入,可以外推到長序列長度,提供改進的上下文處理和模型精度。
需求人群：
["研究用途","商業用途,如聊天助手、客戶服務等"]
使用場景示例：
用作阿拉伯語自然語言處理研究的基礎模型
開發整合了阿拉伯語功能的應用程式
針對聊天助手等下游任務進行微調
產品特色：
支援阿拉伯語和英語的生成式對話
可針對特定下游任務進行微調
提供上下文感知能力
支援長序列生成