Link：bita
BiTA是一種用於大型語言模型的雙向調節方法，透過簡化的半自迴歸生成和草稿驗證來加速大型語言模型。BiTA作為一種輕量級的外掛模組，能夠無縫提升現有大型語言模型的推斷效率，而無需額外的輔助模型或產生顯著的額外記憶體成本。應用BiTA後，LLaMA-2-70B-Chat在MT-Bench基準測試上實現了2.7倍的加速。廣泛的實驗證實我們的方法超越了最先進的加速技術。
需求人群：
"BiTA適用於需要提升大型語言模型推斷效率的場景。"
使用場景示例：
在網站上使用BiTA外掛提升大型語言模型的推斷速度。
透過BiTA外掛，將大型語言模型應用於小程式中，實現更高效的推斷。
BiTA外掛可用於桌面客戶端，加速大型語言模型的推斷過程。
產品特色：
簡化的半自迴歸生成
草稿候選生成和驗證
輕量級外掛模組