大型語言模型

WizardLM-2:新模型,多種型號,AI驅動合成資料訓練

WizardLM-2是WizardLM推出的新一代大型語言模型,包含三種型號:8x22B、70B和7B。該產品採用AI驅動的合成資料訓練系統,透過資料分析、加權抽樣、漸進式學習和AI互校AI等方法,最佳化模型效能。它能夠自動生成高品質的指令和響應,提供多樣化的對話能力,適用於多種程式設計和開發場景。

gemma-2-27b-it:輕量級、先進的文本生成模型

Gemma是由Google開發的一系列輕量級、先進的開放模型,基於與Gemini模型相同的研究和技術構建。它們是文本到文本的解碼器僅大型語言模型,適用於多種文本生成任務,如問答、摘要和推理。Gemma模型的相對較小的尺寸使其能夠在資源有限的環境中部署,如筆記型電腦、桌面或您自己的雲基礎設施,使每個人都能接觸到最先進的AI模型,並促進創新。

Tele-FLM:52B引數的開源多語言大型語言模型

Tele-FLM(亦稱FLM-2)是一個52億引數的開源多語言大型語言模型,具有穩定高效的預訓練範式和增強的事實判斷能力。基於解碼器僅變換器架構,已在大約2T的token上進行訓練。Tele-FLM在同等規模上展現出優越的效能,有時甚至超越了更大的模型。除了分享模型權重外,我們還提供了核心設計、工程實踐和訓練細節,期待它們對學術界和工業界社群都有所裨益。

返回頂端