Show-1：將畫素和潛在擴散模型結合起來，以實現高效的高質量文字到影片的生成
Show-1是一種高效的文字到影片生成模型,它結合了畫素級和潛變數級的擴散模型,既能生成與文字高度相關的影片,也能以較低的計算資源要求生成高質量的影片。它首先用畫素級模型生成低解析度的初步影片,然後使用潛變數模型將其上取樣到高解析度,從而結合兩種模型的優勢。相比純潛變數模型,Show-1生成的影片文字關聯更準確;相比純畫素模型,它的運算成本也更低。
InstructVideo：文字到影片的指導生成模型
InstructVideo 是一種透過人類反饋用獎勵微調來指導文字到影片的擴散模型的方法。它透過編輯的方式進行獎勵微調，減少了微調成本，同時提高了微調效率。它使用已建立的影象獎勵模型，透過分段稀疏取樣和時間衰減獎勵的方式提供獎勵訊號，顯著提高了生成影片的視覺質量。InstructVideo 不僅能夠提高生成影片的視覺質量，還能保持較強的泛化能力。欲瞭解更多資訊，請訪問官方網站。