Odyssey:好萊塢級別的視覺AI,創造震撼故事
Odyssey是一個由AI研究人員、電腦圖形專家和好萊塢藝術家共同開發的高階視覺AI模型。它旨在為專業的故事講述者提供一種新的方式來創造電影、電視節目和影片遊戲。Odyssey透過生成和控制美麗的風景、角色、照明和動作,為創作者提供了前所未有的創意和控制力。
Odyssey是一個由AI研究人員、電腦圖形專家和好萊塢藝術家共同開發的高階視覺AI模型。它旨在為專業的故事講述者提供一種新的方式來創造電影、電視節目和影片遊戲。Odyssey透過生成和控制美麗的風景、角色、照明和動作,為創作者提供了前所未有的創意和控制力。
LivePortrait是一個基於隱式關鍵點框架的人像動畫生成模型,它透過使用單一源影象作為外觀參考,並從驅動影片、音訊、文本或生成中獲取動作(如面部表情和頭部姿勢),來合成逼真的影片。該模型不僅在計算效率和可控性之間取得了有效平衡,而且透過擴充訓練資料、採用混合影象-影片訓練策略、升級網路架構以及設計更好的運動轉換和最佳化目標,顯著提高了生成質量和泛化能力。
MOFA-Video是一種能夠將單張圖片透過各種控制訊號動畫化的方法。它採用了稀疏到密集(S2D)運動生成和基於流的運動適應技術,可以有效地使用軌跡、關鍵點序列及其組合等不同型別的控制訊號來動畫化單張圖片。在訓練階段,透過稀疏運動取樣生成稀疏控制訊號,然後訓練不同的MOFA-Adapters來透過預訓練的SVD生成影片。在推理階段,不同的MOFA-Adapters可以組合起來共同控制凍結的SVD。
DreamFusion是一款基於預訓練的2D文字到影象擴散模型,用於生成高保真度的、可調光的3D對象。它透過使用梯度下降最佳化隨機初始化的3D模型(Neural Radiance Field)來生成3D對象,並且可以從任意角度觀察、任意照明重新照亮或與任何3D環境合成。DreamFusion不需要3D訓練資料,也不需要對影象擴散模型進行修改,展示了預訓練影象擴散模型作為先驗的有效性。
Shap-E 是一個生成條件 3D 隱函式的官方程式碼和模型釋出庫。它可以根據文字或影象生成 3D 對象。該產品採用了最新的生成模型,可以根據給定的提示生成與之相關的三維模型。
Genie 是 Luma 的 3D 生成基礎模型的研究預覽版。它可以生成各種三維模型,用於設計、創作和娛樂等領域。Genie 提供了豐富的功能,包括形狀生成、紋理繪製、動畫建立等。它可以應用於遊戲開發、虛擬現實、電影特效等多個領域。Genie 的定價和定位將在正式釋出前確定。