OpenCV学习笔记-Harris角点检测

一、引言:关于兴趣点(interest points)

在图像处理和计算机视觉领域,兴趣点(interest points),或称做关键点(keypoints)、特征点(feature points)被大量用于解决物体识别,图像识别、图像匹配、视觉跟踪、三维重建等一系列问题。我们不再观察整幅图,而是选择某些特殊的点,然后对它们进行局部有的放矢的分析。如果能检测到足够多的点,同时它们的区分度很高,并且可以精确定位稳定的特征,那么这个方法就有使用价值。

图像特征类型可以被分为以下三种:
1、边缘
2、角点(感兴趣关键点)
3、斑点(Blobs)(感兴趣区域)

其中,角点是个很特殊的存在。它们在图像中可以轻易定位,同时它们在人造物体中场景中,如门窗,桌子等中随处可见。因为角点位于两条边缘的交点处,代表了两个边缘变化的方向上的点,所以它们是可以精确定位的二维特征,甚至可以达到亚像素的精度。且其图像梯度有很高的变化,这种变化是可以用来帮助检测角点的。需要注意的是,角点与位于相同强度区域上的点不同,与物体轮廓上的点也不同,因为轮廓点难以在相同的其他物体上精确定位。

二、角点检测算法的分类

在当前的图像处理领域,角点检测算法可以归纳为三类:
1、基于灰度图像的角点检测
2、基于二值图像的角点检测
3、基于轮廓曲线的角点检测

而基于灰度图像的角点检测又可分为基于梯度、基于模板、基于模板梯度组合 三类方法,其中基于模板的方法主要考虑像素领域点的灰度变化,即图像亮度的变化,将与邻点亮度对比足够大的点定义为角点。常见的基于模板的角点检测算法有Kitchen-Rosenfeld角点检测算法,Harris角点检测算法,KLT角点检测算法以及SUSAN角点检测算法。和其他角点检测算法相比,SUSAN角点检测算法具有算法简单、位置准确、抗噪声能力强等特点。

三、角点的定义

‘如果某一点在任意方向的一个微小变动都会引起灰度很大的变化,那么我们就把它称之为角点’
关于角点的具体描述可以有几种:

1、一阶导数(即灰度的梯度)的局部最大所对应的像素点
2、两条及两条以上边缘的点

3、图像中的梯度值和梯度方向的变化速率都很高的点
4、角点处的一阶导数最大,二阶导数为0,指示物体边缘变化不连续的方向

四、Harris角点检测原理

对于角点的检测,Harris依据以下直观判断
角点:窗口移动在水平、竖直两个方向上变化均较大的点,即Ix, Iy都比较
边界:仅在水平、或者仅在竖直方向有较大的变化量, 另一个没有什么变化, 即Ix和Iy中只有一个比较大
平坦地区:在水平、竖直方向的变化量比较小。即Ix,Iy都比较小
将图像窗口平移[u, v]产生灰度变化E(u, v)

                                                                    
其中,w(x, y)是窗口函数,向量[u, v] 表示某个方向,以及在该方向上的位移。由上述公式可知,E(u,v)表示某个方向上图像灰度的变化。角点检测中要是E(u, v)的值最大,就是说让方程右侧的第二项的取值最大。
,得到:
记上式最后的结果为△,则我们可以得到:

其中M是2x2矩阵可由图像的导数求得:

这里Ix和Iy是图像在x和y方向的导数。他们根据一个用来判定窗口内是否包含角点的等式进行打分。

                                                
所以根据这些特征我们可以判断一个区域是否是角点,边界或者平面:

当λ1和 λ2都小时,|R|也小,这个区域就是一个平坦区域;
λ1>>λ2 或者λ1<<λ2,R小于0,这个区域是边缘
λ1和 λ2都很大是,R也很大(λ1和λ2中的最小值都大于阈值),说明这个区域是角点。
用下面的图来表示我们的结论:

所以Harris角点检测的结果是一个由角点分数构成的灰度图像。选取适当的阈值对结果图像进行二值化我们就检测到图像中的角点。

五、函数及代码

OpenCV中的函数cv2.cornerHarris()可以用来进行角点检测。


cornerHarris(src, blockSize, ksize, k, dst=None, borderType=None)

src:  输入图像,单通道8位或float32
blockSize: 角点检测中要考虑的邻域大小
ksize:Sobel求导中使用的窗口大小
k: Harris角点检测方程中的自由参数,取值参数为[0.04, 0.06]

import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt

img = cv.imread('img/blox.jpg')
# img = cv.resize(img, (int(img.shape[1]*0.2), int(img.shape[0]*0.2)))
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
cv.imshow('gray', gray)
gray = np.float32(gray)
#输入图像必须是单通道, 最后一个参数的取值范围在[0.04, 0.06]
dst = cv.cornerHarris(gray, 2, 3, 0.04)
cv.imshow('harris', dst)
#膨胀操作,让检测到的角点更加清晰
dst = cv.dilate(dst, None)
cv.imshow('dilate', dst)
# 阈值的最佳值
img[dst > 0.01*dst.max()] = [0, 0, 255]

cv.namedWindow('img',cv.WINDOW_AUTOSIZE)
cv.imshow('img',img)
cv.waitKey(0)
cv.destroyAllWindows()

效果:

参考文章:
https://blog.csdn.net/qq_37059483/article/details/77836239
https://blog.csdn.net/crzy_sparrow/article/details/7391511
https://blog.csdn.net/poem_qianmo/article/details/29356187
https://blog.csdn.net/xiaowei_cqu/article/details/7805206
https://blog.csdn.net/u010103202/article/details/73250003
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页