PointNetLK 簡介：找出點雲之間的幾何變換關係

本篇文章要介紹的是 PointNetLK [1]，目的是利用深度學習的方法找到兩個點雲之間的平移旋轉關係，在英文文獻中的術語是 Point set registration [2]。我們一般可以用 Iterative closest point (ICP) [3] 演算法來解決這個問題，但是 ICP 演算法有一些限制：

• 當點的數目多的時候要跑很久
• 對初始值很敏感

 

PointNetLK 的精神

先假設以下的變數：

• \(P_S\)：輸入的點雲。
• \(P_T\)：想要找出平移旋轉關係的參考點雲。
• \(G\)：平移旋轉的矩陣，一般我們用 \(3 \times 3\) 的矩陣描述三維空間旋轉，以及三維向量描述平移，但為了計算方便我們通常用 \(4 \times 4\) 的矩陣來表示 \(G\)。
  
• \(\phi\) 函數：輸入為點雲，輸出為一個代表點雲特徵向量的函數。

這個問題的目標是找到一組平移旋轉關係 \(G\) 使得變換後的 \(P_S\) 與 \(P_T\) 之間的差異越小越好，而當這兩個點雲的差異小的話那他們對應的特徵向量差異也會小，也就是以下關係： \[ \phi(P_T) = \phi(G \cdot P_S) \] 

PointNetLK 的一些式子推導

1. \(\phi(P_S) = \phi(G^{-1} \cdot P_T)\)，上式與此式等價。
2. 利用泰勒展開式近似等號右邊： \[ \phi(P_S) = \phi(P_T) + \frac{\partial }{\partial \xi}[\phi(G^{-1} \cdot P_T)]\xi \] 
3. 前面提到 G 是描述平移旋轉的矩陣，也就是 SE3。我們用李代數與李群的指數映射關係來表示 G，\(\xi\) 為 G 對應的李代數，可以用個六維向量來表示： \[ G^{-1}=exp(-\sum_i \xi_i T_i) \] 
4. 我們用 \(J\) 表示上面的 \(\frac{\partial }{\partial \xi}[\phi(G^{-1} \cdot P_T)]\)，也就是 Jacobian。
5. 因此當解出 \(\xi\) 時就能算出對應的 SE3（\(G\)），也就是旋轉平移的關係。而 \(\xi\) 可用以下式子來求出： \[ \xi = J^+ [\phi(P_S) - \phi(P_T)] \] 
6. \(J^+\) 為 J 的 Moore-Penrose inverse。
7. 拿新的 \(\xi\) 算出對應的 G，更新 \(P_S\)，再算下一輪，直到這一輪的 G 更新小於一個數字。
8. 在訓練時的 loss function 為： \[ L = \left \| (G_{est}^{-1} \cdot G_{gt})-I_4 \right \|_F \]
   

 以下為 PointNetLK 的架構圖：

PointNetLK 的實作細節

1. 函數 \(\phi\) 是 Pointnet 的 feature，維度是 \(B \times K\)，B 是 batch size，K 為特徵向量的維度。
   
2. Jacobian J 的維度是 \(B \times K \times 6\)，6 代表李代數 \(\xi\) 的六個維度，而圖中的 \(t_i\) 代表李代數 \(\xi_i\) 的微小變化。
3. \(J^+\) 的維度是 \(B \times 6 \times K\)。
4. 圖中的 exp 為前文介紹的指數映射。
   

參考資料

[1] PointNetLK: Robust & Efficient Point Cloud Registration using PointNet

[2] Point set registration 

[3] Iterative closest point