GPU推理

FP6-LLM是一種用於大型語言模型的全新支援方案，透過六位量化（FP6）有效地減小了模型大小，並在各種應用中始終保持模型質量。我們提出了TC-FPx，這是第一個完整的GPU核心設計方案，統一支援各種量化位寬的浮點權重。我們將TC-FPx核心整合到現有推理系統中，為量化的LLM推理提供了全新的端到端支援（稱為FP6-LLM），實現了推理成本和模型質量之間更好的權衡。實驗證明，FP6-LLM使得使用單個GPU進行LLaMA-70b推理成為可能，實現的規範化推理吞吐量比FP16基準高1.69倍至2.65倍。