Link：fp6-llm
FP6-LLM是一種用於大型語言模型的全新支援方案，透過六位量化（FP6）有效地減小了模型大小，並在各種應用中始終保持模型質量。我們提出了TC-FPx，這是第一個完整的GPU核心設計方案，統一支援各種量化位寬的浮點權重。我們將TC-FPx核心整合到現有推理系統中，為量化的LLM推理提供了全新的端到端支援（稱為FP6-LLM），實現了推理成本和模型質量之間更好的權衡。實驗證明，FP6-LLM使得使用單個GPU進行LLaMA-70b推理成為可能，實現的規範化推理吞吐量比FP16基準高1.69倍至2.65倍。
需求人群：
"適用於需要大型語言模型支援的推理場景，特別是對推理成本和模型質量有嚴格要求的情況。"
使用場景示例：
科研機構使用FP6-LLM進行大規模語言模型推理
軟體公司將FP6-LLM整合到其自然語言處理應用中
資料中心利用FP6-LLM實現大規模語言模型推理加速
產品特色：
六位量化模型支援
統一支援各種量化位寬的浮點權重
提供端到端支援，實現更好的推理成本和模型質量權衡