Link：audio2photoreal
audio2photoreal是一個從音訊生成照片級逼真avatar的開源專案。它包含了一個pytorch實現,可以從音訊中合成交談中的人類形象。該專案提供了訓練程式碼、測試程式碼、預訓練的運動模型以及資料集訪問。它的模型包括人臉擴散模型、人體擴散模型、人體VQ VAE模型和人體引導變換器模型。該專案讓研究人員和開發者能夠訓練自己的模型,並基於語音合成高質量的逼真avatar。
需求人群：
["語音人物形象合成","3D avatar生成","語音驅動的CG角色","元宇宙虛擬形象"]
使用場景示例：
使用自己收集的語音資料訓練模型,生成自定義角色的avatar
利用歷史人物的語音資料,合成逼真的虛擬形象
將角色配音適配到3D遊戲和虛擬空間中
產品特色：
從音訊生成逼真的人類avatar
提供預訓練模型和資料集
包含人臉和身體模型
實現高質量avatar渲染
開源pytorch程式碼實現