計算攝影

PRISMA是一個計算攝影管道,可以從任何影象或影片中執行多種推斷。就像光線透過稜鏡折射成不同的波長一樣,這個管道將影象擴充套件成可用於3D重建或實時後期處理操作的資料。它結合了不同的演演算法和開源的預訓練模型,比如單目深度(MiDAS v3.1, ZoeDepth, Marigold, PatchFusion)、光流(RAFT)、分割掩模(mmdet)、相機姿態(colmap)等。結果帶儲存在與輸入檔案同名的檔案夾中,每個band以.png或.mp4檔案的形式單獨儲存。對於影片,在最後一步,它會嘗試執行稀疏重建,可用於NeRF(如NVidia的Instant-ngp)或高斯擴散訓練。推斷出的深度資訊預設匯出為可以使用LYGIA的heatmap GLSL/HLSL取樣實時解碼的熱度圖,而光流編碼為HUE(角度)和飽和度,也可以使用LYGIA的光流GLSL/HLSL取樣器實時解碼。