簡介 Horn-Schunck Optical Flow

前文「電腦視覺中特徵點的光流與追蹤 Optical Flow & Tracking」中我們介紹的是 Lucas-Kanade Optical Flow，而本文要簡介的是另一種 Horn-Schunck Optical Flow。HS Optical Flow 與 LK Optical Flow 不同在於同時考慮 brightness consistency constraint 與平滑的流場（smooth flow field），也就是對於 optical flow map 來說，相鄰的點其對應的 optical flow 必須得相當接近。

Horn-Schunck Optical Flow 的式子

將 brightness consistency constraint 與 smooth flow field 同時考慮後可得以下式子： \[ E=\sum [E_s(i, j) + \lambda E_d(i, j)] \\ E_s(i, j) = \frac{1}{4}[(u_{i,j} - u_{i+1,j})^2 + (u_{i,j} - u_{i-1,j})^2 + (v_{i,j} - v_{i+1,j})^2 + (v_{i,j} - v_{i-1,j})^2] \\ E_d(i, j) = [I_x u_{i,j} + I_y v_{i,j} + I_t]^2 \]

Horn-Schunck Optical Flow 式子的解

首先取偏微分等於零，整理過後便可以得到迭代式子的解：

\[ \frac{\partial E}{\partial u_{kl}} = 2(u_{kl}-\bar{u}_{kl})+2 \lambda(I_x u_{kl}+I_y v_{kl}+I_t)I_x =0 \\ \frac{\partial E}{\partial v_{kl}} = 2(v_{kl}-\bar{v}_{kl})+2 \lambda(I_x v_{kl}+I_y v_{kl}+I_t)I_y =0 \\ \bar{u}_{kl} = \frac{1}{4}(u_{i+1, j} + u_{i-1, j} + u_{i, j+1} + u_{i, j-1}) \]整理過後： \[ \begin{bmatrix} 1+\lambda I_x^2 & \lambda I_x I_y\\ \lambda I_x I_y & 1+\lambda I_y^2 \end{bmatrix} \begin{bmatrix} u_{kl}\\ v_{kl} \end{bmatrix} = \begin{bmatrix} \bar{u}_{kl}-\lambda I_x I_t\\ \bar{v}_{kl}-\lambda I_y I_t \end{bmatrix} \]也就是 \(\mathbf{A}x=\mathbf{b}\) 的形式，而解的形式為： \[ \begin{bmatrix} u_{kl}\\ v_{kl} \end{bmatrix} = \frac{adj(\mathbf{A})}{det(\mathbf{A})}\mathbf{b} \]整理之後： \[ [1+\lambda(I_x^2 + I_y^2)] u_{kl} = (1+\lambda I_y^2)(\bar{u}_{kl}-\lambda I_x I_t) - \lambda I_x I_y(\bar{v}_{kl}-\lambda{I_yI_t}) \\ u_{kl} - \bar{u}_{kl} = \frac{-\lambda I_x(I_x \bar{u}_{kl}+I_y \bar{v}_{kl}+I_t)}{1+\lambda(I_x^2 + I_y^2)} \\ u_{kl} = \bar{u}_{kl} - \frac{(I_x \bar{u}_{kl}+I_y \bar{v}_{kl}+I_t)}{\lambda^{-1}+I_x^2 + I_y^2}I_x \\ v_{kl} = \bar{v}_{kl} - \frac{(I_x \bar{u}_{kl}+I_y \bar{v}_{kl}+I_t)}{\lambda^{-1}+I_x^2 + I_y^2}I_y \] 上面兩個式子即為 Horn-Schunck Optical Flow 的迭代解。