連結:https://huggingface.co/Tencent-Hunyuan/Distillation
HunyuanDiT Distillation Acceleration 是騰訊 Hunyuan 團隊基於 HunyuanDiT 模型開發的蒸餾加速版本。透過漸進式蒸餾方法,在不降低效能的情況下,實作了推理速度的兩倍提升。該模型支援多種GPU和推理模式,能夠顯著減少時間消耗,提高影象生成效率。
需求人群:
- 目標受眾為需要高效影象生成解決方案的開發者和研究人員。該產品特別適合在資源受限或對生成速度有高要求的場景中使用,如線上影象生成服務、內容創作工具等。
使用場景示例:
- 使用HunyuanDiT Distillation進行快速影象生成,應用於線上廣告素材製作。
- 在內容創作平臺中整合HunyuanDiT Distillation,提供使用者自訂影象生成服務。
- 在科研領網網域,利用HunyuanDiT Distillation進行影象資料增強,輔助機器學習模型訓練。
產品特色:
- 支援多種GPU,如H800、A100、3090、4090,提供不同推理模式下的加速效能。
- 使用蒸餾模型,在任何推理模式下都能實作時間消耗減半。
- 透過Hugging Face CLI工具下載模型,簡化安裝流程。
- 支援Gradio介面操作,提供中文和英文介面選項。
- 支援命令列操作,提供多種快速啟動命令。
- 使用Flash Attention技術進一步加速推理過程。
使用教學:
1. 確保已啟用conda環境,並使用huggingface-cli工具下載模型。
2. 根據需要選擇使用Gradio介面或命令列進行操作。
3. 若使用Gradio,執行相關Python腳本啟動應用,並根據需要選擇語言和推理模式。
4. 若使用命令列,根據需求選擇合適的啟動命令,如僅影象生成或結合文本到影象的增強。
5. 根據需要調整推理步驟數和影象大小,以獲得最佳生成效果。
6. 參考example_prompts.txt中的示例提示,進行個性化影象生成。