FP6-LLM是一種用於大型語言模型的全新支援方案，透過六位量化（FP6）有效地減小了模型大小，並在各種應用中始終保持模型質量。我們提出了TC-FPx，這是第一個完整的GPU核心設計方案，統一支援各種量化位寬的浮點權重。我們將TC-FPx核心整合到現有推理系統中，為量化的LLM推理提供了全新的端到端支援（稱為FP6-LLM），實現了推理成本和模型質量之間更好的權衡。實驗證明，FP6-LLM使得使用單個GPU進行LLaMA-70b推理成為可能，實現的規範化推理吞吐量比FP16基準高1.69倍至2.65倍。
BiTA是一種用於大型語言模型的雙向調節方法，透過簡化的半自迴歸生成和草稿驗證來加速大型語言模型。BiTA作為一種輕量級的外掛模組，能夠無縫提升現有大型語言模型的推斷效率，而無需額外的輔助模型或產生顯著的額外記憶體成本。應用BiTA後，LLaMA-2-70B-Chat在MT-Bench基準測試上實現了2.7倍的加速。廣泛的實驗證實我們的方法超越了最先進的加速技術。
WARM是一種透過加權平均獎勵模型（WARM）來對齊大型語言模型（LLMs）與人類偏好的解決方案。首先，WARM對多個獎勵模型進行微調，然後在權重空間中對它們進行平均。透過加權平均，WARM相對於傳統的預測整合方法提高了效率，同時改善了在分佈轉移和偏好不一致性下的可靠性。我們的實驗表明，WARM在摘要任務上的表現優於傳統方法，使用最佳N和RL方法，WARM提高了LLM預測的整體質量和對齊性。