連結：https://zhanghe3z.github.io/MaPa/
MaPa是一種創新的方法，能夠根據文本描述為3D網格生成材質。該技術透過建立分段的程式化材質圖來表示外觀，支援高質量渲染，並在編輯上提供了顯著的靈活性。利用預訓練的2D擴散模型，MaPa在不需要大量配對資料的情況下，架起了文本描述和材質圖之間的橋樑。該技術透過分解形狀為多個部分，並設計了控制段的擴散模型來合成與網格部分對齊的2D影象，進而初始化材質圖的引數，並透過可微分渲染模組進行微調，以產生符合文本描述的材質。廣泛的實驗表明，MaPa在逼真度、解析度和可編輯性方面優於現有技術。
需求人群：
- MaPa適用於3D設計師和視覺效果專家，他們需要快速且靈活地根據文本描述建立逼真的3D材質。該技術簡化了傳統材質製作流程，提高了工作效率，同時保持了材質的高質量和可定製性。
使用場景示例：
- 設計師使用MaPa為即將上映的電影建立逼真的3D角色皮膚材質。
- 視覺效果工作室利用MaPa快速生成符合劇本描述的場景材質。
- 遊戲開發者使用MaPa為遊戲中的虛擬環境新增高解析度和可編輯的材質。
產品特色：
- 文本驅動的材質生成：根據文本描述自動生成3D形狀的材質。
- 分段控制的影象生成：使用ControlNet技術將3D網格分解為不同的部分，並在2D影象上進行投影。
- 材質屬性和外觀的分類與最佳化：將具有相似屬性的網格部分分組，並選擇和最佳化材質圖以準確表示其紋理和特性。
- 迭代渲染和細化：透過多個視圖連續渲染和細化材質圖，填補視覺資料的空白，並重復分組和最佳化階段。
- 基於GPT-4的對象編輯：透過預定義的API和GPT-4進行文本驅動的材質編輯。
- 可微分渲染模組：用於微調材質圖引數，以確保材質符合文本描述。
使用教學：
訪問MaPa網站並註冊賬戶。
上傳或建立一個3D網格模型。
輸入描述材質的文本描述。
使用MaPa的自動生成功能建立初步的材質圖。
根據需要對生成的材質進行編輯和調整。
利用可微分渲染模組對材質圖進行微調，確保材質與文本描述一致。
完成材質編輯後，匯出材質並應用到3D模型上。