論文筆記：Deep Homography Estimation for Dynamic Scenes

本文可以看做為前文 Deep Image Homography Estimation 的延伸。文中想解決的問題是找出影片中不同 frame 之間的 homography 矩陣，由於輸入資料是影片的關係，圖中有許多動態的物件。以前的方法都無法解決動態物件的情況，而本篇文章利用 multi-task learning 的方法同時解決了 homography 矩陣以及動態物件的 mask 的問題。

以下為示意圖，文中是用 multi-scale 來串聯好幾組下圖中的 block，從 coarse 至 fine grain。

下圖為 Net 的架構圖：

從上圖可以看出此網路為 multi-task learning，同時解決 homography 矩陣 H 與物件的 mask M。此方法的 loss function 有兩個部分：

1. Homography 矩陣的 loss function：與前文的 loss function 相同。
2. Mask 的 loss function：用的是針對每個像素的 cross-entropy，目的是讓預測的 mask 與 ground-truth 的 mask 完全相同。
   

參考資料

[1] Deep Homography Estimation for Dynamic Scenes