論文筆記：TILDE 與 Quad-net

本系列是讀 survey paper [1] 中參考論文的筆記。本文將介紹一些 deep learning based feature detector 的演算法：TILDE 與 Quad-net。

TILDE 簡介

TILDE [2] 要解決的問題是在戶外場景的固定相機之下，如何在光照及天氣變化時得到一致的特徵點，因此 TI 指的是 temporal invariant。

本文的精神如上圖，訓練資料為戶外場景的固定相機，而不同的是光照及天氣條件。首先可以利用任何已知的演算法標註一些特徵點位置，再利用機器學習的方法讓每個特徵點附近的 patch 經由類神經網路得到的特徵會長得像圖 (b) 的樣子。

本文的 loss function 分成三個部分：

• Classification-Like Loss：目的是要分隔開來包含與不包含特徵點的 local patch。
  
• Shape Regularizer Loss：目的是讓包含特徵點的 local patch 的 feature map 會長得像上圖 (b)。
  
• Temporal Regularizer Loss：目的是讓同一個特徵點在不同時間中能有類似的 feature map。
  

Quad-net 簡介

這種方法主要有兩篇 paper [3, 4]。方法的主要精神為一張圖中的每一個像素經由類神經網路後可以得到一個值，而在不同的變換條件之下這個值的相對關係是不變的，因此就只要取出最大或最小的值對應的像素，他們即為特徵點的位置。

在訓練的時候需要用到兩個主要的關係式：

• Ranking objective：對於同一張圖的兩個像素來說，在不同的變換條件之下他們的對應關係必須相同，也就是以下式子及對應的 loss function：

 

• Peakedness of the Response：將曲線的形狀壓低如下圖 \(B_1\)，這樣能讓特徵點與非特徵點中的差別增大。
  

此方法不需要任何的標註數據，為無監督學習的方法。值得一提的是在 [4] 中用此方法解決的問題為富含 texture 的圖片，結果是利用這種方法能夠得到比傳統方法 repeatability 更高的特徵點。

參考資料

[1] Image Matching from Handcrafted to Deep Features: A Survey

[2] TILDE: A Temporally Invariant Learned DEtector

[3] Quad-networks: unsupervised learning to rank for interest point detection

[4] Learning to Detect Features in Texture Images