CoTracker:實現增強物體跟蹤的Transformer模型

Link:cotracker
CoTracker是一個基於Transformer的模型,可以在影片序列中聯合跟蹤稠密點。它與大多數現有的狀態最先進的方法不同,後者獨立跟蹤點,而忽略了它們之間的相關性。我們展示了聯合跟蹤可以顯著提高跟蹤精度和魯棒性。我們還提供了若干技術創新,包括虛擬軌跡的概念,這使CoTracker可以聯合跟蹤7萬個點。此外,CoTracker因果地操作在短時間視窗上(因此適合線上任務),但透過在更長的影片序列上展開視窗進行訓練,這使並顯著改進了長期跟蹤。我們展示了定性印象深刻的跟蹤結果,其中點甚至在遮擋或離開視野時也可以跟蹤很長時間。從定量上看,CoTracker在標準基準測試上優於所有最近的跟蹤器,通常優勢顯著。

需求人群:

["影片目標跟蹤","多目標跟蹤","視覺對象的長期跟蹤"]

產品特色:

可以在影片序列中聯合跟蹤稠密點

實現了虛擬軌跡的概念,支援跟蹤多達7萬個點

可以在短時間視窗上進行因果操作,適合線上任務

透過更長序列進行訓練,顯著改進了長期跟蹤

在目標遮擋或離開視野時,可以持續較長時間的跟蹤

返回頂端