頭像合成

BakedAvatar是一種用於實時神經頭像合成的全新表示，可部署在標準多邊形光柵化流水線中。該方法從學習到的頭部等值面提取可變形的多層網格，並計算可烘焙到靜態紋理中的表情、姿勢和視角相關外觀，從而為實時4D頭像合成提供支援。我們提出了一個三階段的神經頭像合成流水線，包括學習連續變形、流形和輻射場，提取分層網格和紋理，以及透過微分光柵化來微調紋理細節。實驗結果表明，我們的表示產生了與其他最先進方法相當的綜合結果，並顯著減少了所需的推理時間。我們進一步展示了從單眼影片中產生的各種頭像合成結果，包括檢視合成、面部重現、表情編輯和姿勢編輯，所有這些都以互動式幀率進行。