Link：prisma
PRISMA是一個計算攝影管道,可以從任何影象或影片中執行多種推斷。就像光線透過稜鏡折射成不同的波長一樣,這個管道將影象擴充套件成可用於3D重建或實時後期處理操作的資料。它結合了不同的演演算法和開源的預訓練模型,比如單目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相機姿態(colmap)等。結果帶儲存在與輸入檔案同名的檔案夾中,每個band以.png或.mp4檔案的形式單獨儲存。對於影片,在最後一步,它會嘗試執行稀疏重建,可用於NeRF(如NVidia的Instant-ngp)或高斯擴散訓練。推斷出的深度資訊預設匯出為可以使用LYGIA的heatmap GLSL/HLSL取樣實時解碼的熱度圖,而光流編碼為HUE(角度)和飽和度,也可以使用LYGIA的光流GLSL/HLSL取樣器實時解碼。
需求人群：
["3D重建","影象/影片後期處理","生成NeRFs訓練資料"]
使用場景示例：
從影象中提取多種band資訊進行分析
從影片中獲取深度/光流資訊製作3D效果
作為NeRF網路的資料源進行訓練
產品特色：
單目深度推斷
光流估計
影象分割
相機姿態估計
稀疏3D重建