Link:grok-1
Grok-1是由xAI從頭開始訓練的314億引數的專家混合模型(Mixture-of-Experts)。該模型未經針對特定應用(如對話)的微調,是Grok-1預訓練階段的原始基礎模型檢查點。
需求人群:
"適用於需要大型語言模型進行研究和開發的企業和研究機構,可以用於多種自然語言處理任務。"
使用場景示例:
研究人員使用Grok-1進行自然語言理解和生成的實驗
開發者利用Grok-1構建能夠處理複雜對話的智慧系統
企業使用Grok-1作為基礎模型,進一步開發行業特定的AI應用
產品特色:
提供未經特定任務微調的大型語言模型
包含3140億引數,其中25%的權重在給定標記上活躍
使用基於JAX和Rust的自定義訓練堆疊進行訓練