WizardLM-2:新模型,多種型號,AI驅動合成資料訓練
WizardLM-2是WizardLM推出的新一代大型語言模型,包含三種型號:8x22B、70B和7B。該產品採用AI驅動的合成資料訓練系統,透過資料分析、加權抽樣、漸進式學習和AI互校AI等方法,最佳化模型效能。它能夠自動生成高品質的指令和響應,提供多樣化的對話能力,適用於多種程式設計和開發場景。
WizardLM-2是WizardLM推出的新一代大型語言模型,包含三種型號:8x22B、70B和7B。該產品採用AI驅動的合成資料訓練系統,透過資料分析、加權抽樣、漸進式學習和AI互校AI等方法,最佳化模型效能。它能夠自動生成高品質的指令和響應,提供多樣化的對話能力,適用於多種程式設計和開發場景。
Prompto是一個開源的網頁應用程式,旨在使與大型語言模型(LLMs)的互動簡單高效。它可以輕鬆切換不同的LLMs,透過調整溫度設定來調整LLM的創造力和風險水平,提供聊天機器人介面和筆記本介面,可以建立常用提示的范本,並且在瀏覽器中執行,確保流暢響應的體驗。
Andes是一個大型語言模型(LLM)API市場,連線領先的人工智慧技術,提供自然語言處理、自動文字生成、翻譯等功能,為您的應用增加智慧能力。
Expert Specialized Fine-Tuning (ESFT) 是一種針對具有專家混合(MoE)架構的大型語言模型(LLMs)的高效定製化微調方法。它透過僅調整與任務相關的部分來最佳化模型效能,提高效率,同時減少資源和儲存的使用。
Gemma是由Google開發的一系列輕量級、先進的開放模型,基於與Gemini模型相同的研究和技術構建。它們是文本到文本的解碼器僅大型語言模型,適用於多種文本生成任務,如問答、摘要和推理。Gemma模型的相對較小的尺寸使其能夠在資源有限的環境中部署,如筆記型電腦、桌面或您自己的雲基礎設施,使每個人都能接觸到最先進的AI模型,並促進創新。
Tele-FLM(亦稱FLM-2)是一個52億引數的開源多語言大型語言模型,具有穩定高效的預訓練範式和增強的事實判斷能力。基於解碼器僅變換器架構,已在大約2T的token上進行訓練。Tele-FLM在同等規模上展現出優越的效能,有時甚至超越了更大的模型。除了分享模型權重外,我們還提供了核心設計、工程實踐和訓練細節,期待它們對學術界和工業界社群都有所裨益。
prism-alignment 是一個由 HannahRoseKirk 建立的資料集,專注於研究大型語言模型(LLMs)的偏好和價值觀對齊問題。資料集透過調查問卷和與語言模型的多輪對話,收集了來自不同國家和文化背景的參與者對模型回答的評分和反饋。這些資料對於理解和改進人工智慧的價值觀對齊至關重要。
Nemotron-4-340B-Base是由NVIDIA開發的大型語言模型,擁有3400億引數,支援4096個token的上下文長度,適用於生成合成資料,幫助研究人員和開發者構建自己的大型語言模型。模型經過9萬億token的預訓練,涵蓋50多種自然語言和40多種程式語言。
Nemotron-4-340B-Reward是由NVIDIA開發的多維獎勵模型,用於合成資料生成管道,幫助研究人員和開發者構建自己的大型語言模型(LLMs)。該模型由Nemotron-4-340B-Base模型和一個線性層組成,能夠將響應末尾的標記轉換為五個標量值,對應於HelpSteer2屬性。
Nemotron-4-340B-Instruct是由NVIDIA開發的大型語言模型(LLM),專為英文單輪和多輪對話場景最佳化。該模型支援4096個token的上下文長度,經過監督式微調(SFT)、直接偏好最佳化(DPO)和獎勵感知偏好最佳化(RPO)等額外的對齊步驟。