多模態引導

Media2Face是一款透過音訊、文字和影象多模態引導的共語言面部動畫生成工具。它首先利用通用神經引數化面部資產（GNPFA）將面部幾何和影象對映到高度通用的表情潛在空間，然後從大量影片中提取高質量的表情和準確的頭部姿態，構建了M2F-D資料集。最後，採用GNPFA潛在空間中的擴散模型進行共語言面部動畫生成。該工具不僅在面部動畫合成方面具有高保真度，還拓展了表現力和樣式適應性。