大規模語料庫

Jamba是一款基於SSM-Transformer混合架構的開放語言模型,提供頂級的質量和效能表現。它融合了Transformer和SSM架構的優勢,在推理基準測試中表現出色,同時在長上下文場景下提供3倍的吞吐量提升。Jamba是目前該規模下唯一可在單GPU上支援14萬字元上下文的模型,成本效益極高。作為基礎模型,Jamba旨在供開發者微調、訓練並構建定製化解決方案。