EchoMimic：生成逼真動態人像影片的先進技術
EchoMimic是一個先進的人像影象動畫模型，能夠透過音訊和選定的面部特徵點單獨或組合驅動生成逼真的肖像影片。它透過新穎的訓練策略，解決了傳統方法在音訊驅動時可能的不穩定性以及面部關鍵點驅動可能導致的不自然結果。EchoMimic在多個公共資料集和自收集資料集上進行了全面比較，並在定量和定性評估中展現出了卓越的效能。
AniPortrait：生成會說話、唱歌的動態影片
AniPortrait是一個根據音訊和影象輸入生成會說話、唱歌的動態影片的專案。它能夠根據音訊和靜態人臉圖片生成逼真的人臉動畫，口型保持一致。支援多種語言和麵部重繪、頭部姿勢控制。功能包括音訊驅動的動畫合成、面部再現、頭部姿勢控制、支援自驅動和音訊驅動的影片生成、高質量動畫生成以及靈活的模型和權重配置。
VividTalk：生成逼真、唇同步的說唱影片
VividTalk是一種一次性音訊驅動的頭像生成技術，基於3D混合先驗。它能夠生成具有表情豐富、自然頭部姿態和唇同步的逼真說唱影片。該技術採用了兩階段通用框架，支援生成具有上述所有特性的高視覺質量的說唱影片。具體來說，在第一階段，透過學習兩種運動（非剛性表情運動和剛性頭部運動），將音訊對映到網格。對於表情運動，採用混合形狀和頂點作為中間表示，以最大化模型的表徵能力。對於自然頭部運動，提出了一種新穎的可學習頭部姿勢碼本，並採用兩階段訓練機制。在第二階段，提出了一個雙分支運動VAE和一個生成器，將網格轉換為密集運動，並逐幀合成高質量影片。大量實驗證明，VividTalk能夠生成具有唇同步和逼真增強的高視覺質量說唱影片，且在客觀和主觀比較中優於以往的最先進作品。該技術的程式碼將在發表後公開發布。