Harris角點(diǎn)檢測原理【OpenCV教程】

1. 原理

Harris角點(diǎn)檢測的思想是通過圖像的局部的小窗口觀察圖像，角點(diǎn)的特征是窗口沿任意方向移動都會導(dǎo)致圖像灰度的明顯變化，如下圖所示：

將上述思想轉(zhuǎn)換為數(shù)學(xué)形式，即將局部窗口向各個方向移動$(u,v)$并計(jì)算所有灰度差異的總和，表達(dá)式如下：

$E(u,v)=\sum_{x,y}w(x,y)[I(x+u,y+v)-I(x,y)]^2$

其中$I(x,y)$是局部窗口的圖像灰度，$I(x+u,y+v)$是平移后的圖像灰度，$w(x,y)$是窗口函數(shù)，該可以是矩形窗口，也可以是對每一個像素賦予不同權(quán)重的高斯窗口，如下所示：

角點(diǎn)檢測中使$E(u,v)$的值最大。利用一階泰勒展開有：
$I(x+u,y+v)=I(x,y)+I_xu+I_yv$
其中$I_x$和 $I_y$ 是沿x和y方向的導(dǎo)數(shù)，可用sobel算子計(jì)算。

推導(dǎo)如下：

$M$矩陣決定了$E(u,v)$的取值，下面我們利用$M$來求角點(diǎn)，$M$是$I_x$和$I_y$的二次項(xiàng)函數(shù)，可以表示成橢圓的形狀，橢圓的長短半軸由$M$的特征值$\lambda_1$和$\lambda_2$決定，方向由特征矢量決定，如下圖所示：

橢圓函數(shù)特征值與圖像中的角點(diǎn)、直線（邊緣）和平面之間的關(guān)系如下圖所示。

共可分為三種情況：

• 圖像中的直線。一個特征值大，另一個特征值小，λ1>>λ2或 λ2>>λ1。橢圓函數(shù)值在某一方向上大，在其他方向上小。
• 圖像中的平面。兩個特征值都小，且近似相等；橢圓函數(shù)數(shù)值在各個方向上都小。
• 圖像中的角點(diǎn)。兩個特征值都大，且近似相等，橢圓函數(shù)在所有方向都增大

Harris給出的角點(diǎn)計(jì)算方法并不需要計(jì)算具體的特征值，而是計(jì)算一個角點(diǎn)響應(yīng)值$R$來判斷角點(diǎn)。$R$的計(jì)算公式為：
$R =detM-\alpha(traceM)^2$
式中，detM為矩陣M的行列式；traceM為矩陣M的跡；α為常數(shù)，取值范圍為0.04~0.06。事實(shí)上，特征是隱含在detM和traceM中，因?yàn)?

那我們怎么判斷角點(diǎn)呢？如下圖所示：

• 當(dāng)R為大數(shù)值的正數(shù)時是角點(diǎn)
• 當(dāng)R為大數(shù)值的負(fù)數(shù)時是邊界
• 當(dāng)R為小數(shù)是認(rèn)為是平坦區(qū)域

2. 實(shí)現(xiàn)

在OpenCV中實(shí)現(xiàn)Hariis檢測使用的API是：

dst=cv.cornerHarris(src, blockSize, ksize, k)

參數(shù)：

• img：數(shù)據(jù)類型為 ?oat32 的輸入圖像。

• blockSize：角點(diǎn)檢測中要考慮的鄰域大小。

• ksize：sobel求導(dǎo)使用的核大小

• k ：角點(diǎn)檢測方程中的自由參數(shù)，取值參數(shù)為 [0.04，0.06].

示例：

import cv2 as cv
import numpy as np 
import matplotlib.pyplot as plt
# 1 讀取圖像，并轉(zhuǎn)換成灰度圖像
img = cv.imread('./image/chessboard.jpg')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
# 2 角點(diǎn)檢測
# 2.1 輸入圖像必須是 float32
gray = np.float32(gray)

# 2.2 最后一個參數(shù)在 0.04 到 0.05 之間
dst = cv.cornerHarris(gray,2,3,0.04)
# 3 設(shè)置閾值，將角點(diǎn)繪制出來，閾值根據(jù)圖像進(jìn)行選擇
img[dst>0.001*dst.max()] = [0,0,255]
# 4 圖像顯示
plt.figure(figsize=(10,8),dpi=100)
plt.imshow(img[:,:,::-1]),plt.title('Harris角點(diǎn)檢測')
plt.xticks([]), plt.yticks([])
plt.show()

結(jié)果如下：

Harris角點(diǎn)檢測的優(yōu)缺點(diǎn)：

優(yōu)點(diǎn)：

• 旋轉(zhuǎn)不變性，橢圓轉(zhuǎn)過一定角度但是其形狀保持不變（特征值保持不變）
• 對于圖像灰度的仿射變化具有部分的不變性，由于僅僅使用了圖像的一介導(dǎo)數(shù)，對于圖像灰度平移變化不變；對于圖像灰度尺度變化不變

缺點(diǎn)：

• 對尺度很敏感，不具備幾何尺度不變性。
• 提取的角點(diǎn)是像素級的