Video-Infinity:分散式長影片生成技術
Video-Infinity 是一種分散式長影片生成技術,能夠在5分鐘內生成2300幀的影片,速度是先前方法的100倍。該技術基於VideoCrafter2模型,採用了Clip Parallelism和Dual-scope Attention等創新技術,顯著提高了影片生成的效率和質量。
Video-Infinity 是一種分散式長影片生成技術,能夠在5分鐘內生成2300幀的影片,速度是先前方法的100倍。該技術基於VideoCrafter2模型,採用了Clip Parallelism和Dual-scope Attention等創新技術,顯著提高了影片生成的效率和質量。
AsyncDiff 是一種用於並行化擴散模型的非同步去噪加速方案,它透過將噪音預測模型分割成多個元件並分配到不同的設備上,實作了模型的並行處理。這種方法顯著減少了推理延遲,同時對生成質量的影響很小。AsyncDiff 支援多種擴散模型,包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。
YaFSDP是一個分散式資料並行框架,專為與transformer類神經網路結構良好協作而設計。它在預訓練大型語言模型(Large Language Models, LLMs)時比傳統的FSDP快20%,並且在高記憶體壓力條件下表現更佳。YaFSDP旨在減少通訊和記憶體操作的開銷。