基于全卷积神经网络的计算机视觉目标检测算法*

蒋燕翔1,2

(1.海南大学 信息与通信工程学院,海口 570228;2.海南外国语职业学院 公共教学部,海南 文昌 571300)

摘 要:针对传统计算机视觉目标检测算法准确率较低的问题,提出基于全卷积神经网络的计算机视觉目标检测算法.通过采样、量化以及编码将计算机视觉图像转换为数字图像,经图像平滑、图像增强、目标图像截取一系列处理后完成目标图像特征抽取,实现图像预处理;利用全卷积神经网络训练完成计算机视觉图像目标检测.结果表明,采用所提算法检测计算机动态图像及静态图像时,准确率和召回率分数均更接近1,证明算法的检测准确率更高,且检测耗时较少.

关 键 词:全卷积神经网络;支持向量机;背景减法;高斯混合模型;计算机视觉;图像处理;目标识别;图像平滑

计算机视觉也称机器视觉,是一种用摄像机模拟人眼来获取物体图像,用计算机模拟人体大脑,对图像进行理解和识别,从而完成分析图像和目标检测的技术[1].从最初20世纪50年代的统计模式识别发展到现在,计算机视觉技术得到了迅猛发展,构成了图像分割、图像增强、图像平滑、图像编码、边缘锐化以及目标检测等关键领域.其中,对前几个领域的研究已经相对成熟,但是对最后一项目标检测还没有较为完善的检测算法,因此,计算机视觉目标检测已经成为相关学者的重点研究对象.

栗科峰等[2]提出了基于支持向量机的视觉图像目标检测方法.通过建立分类超平面,并以距离作为相似性度量手段来完成对未知目标的分类识别,该算法多应用在静态图像的目标检测当中.陈艳浩[3]提出了基于背景减法的视觉图像目标检测方法,利用色度信息及局部邻域交叉熵信息去除阴影,从而实现运动目标检测.该检测算法与基于支持向量机的视觉图像目标检测算法正好相反,多应用在动态目标检测当中.上述两种算法均具有一定局限性,应用范围受限.李战明等[4]提出了基于高斯混合模型的视觉图像目标检测方法,该方法是一种较为新型的检测算法,虽然不再受图像动静态模式的影响,但是会受到图像背景因素的干扰,目标检测效果同样没有达到期望标准.

针对上述方法存在的问题,本文在全卷积神经网络的基础上研究出一种新的计算机视觉目标检测算法.该算法分为图像处理和目标识别两部分,采用Fβ分数测定算法检测性能,经仿真测试得出,基于全卷积神经网络的计算机视觉目标检测算法的检测效果要优于基于支持向量机、背景减法以及高斯混合模型三种视觉图像目标检测算法的检测效果,说明本文检测算法的性能更高,更能保证目标检测的准确性[5].

1 计算机视觉图像预处理

计算机视觉技术在目标检测领域有着广泛的应用,如缺陷检测、人脸检测、危险区域检测、医疗病理检测和车辆目标检测等.在进行计算机视觉目标检测过程中,图像预处理是一项重要工作,其主要包括图像转换、图像平滑及图像增强.经过上述处理输出的图像质量得到了极大提高,方便后期利用计算机识别图像目标信息[6].在此基础上采用迭代阈值图像分割法截取目标图像,基于HOG特征抽取目标图像特征,使其不受图像状态影响,得到准确的图像特征.

1.1 图像转换处理

计算机视觉技术处理的图像必须是数字图像,其他格式的图像并不适配,因此需要将摄像机采集到的模拟图像转换为数字图像,即进行图像数字化.图像数字化实现过程主要分为三个步骤:采样、量化以及编码.其中,采样是指按照固定的时间或空间间隔,将模拟图像离散化;量化是指将图像离散点约束到一个固定数值范围内,即实现离散点等级有限化;编码是将量化后的图像离散点转换成用二进制数码0/1表示的形式,达到压缩信息量的目的[7].

1.2 图像平滑处理

摄像机采集图像过程中,由于受到成像设备和环境的影响,实际呈现出来的图像会存在失真现象,导致图像质量下降,这对于后期有用信息造成了严重干扰,因此必须平滑数字图像,去除其中的噪声,恢复原始图像.目前针对数字图像平滑,主要有均值滤波法、中值滤波法、低通滤波法等几种.均值滤波法是将某像素邻域内各点的灰度平均值来代替该像素原来的灰度级,计算公式为

(1)

式中:为滤波后的数字图像;G(xy)为含噪图像;s为点(xy)邻域内的点集;M为点集s中的总点数.

中值滤波法使用图像中某一像素的相邻像素灰度中值来代替像素值,计算公式为

V=median{a1a2,…,an}

(2)

式中,a1a2,…,an为邻域中各点的灰度值.

低通滤波法设定一个截止频率点,过滤出所有低于该数字图像信号频率的值,并全部赋值为0,用来消除高频噪声;而高通滤波则过滤出所有高于该数字图像信号频率的值,用来消除低频噪声,计算公式分别为

(3)

(4)

式中:d(uv)为点(uv)到频率平面原点的距离;c为截止频率点.

针对图像的不同噪声特征,使用不同的滤波方式进行图像平滑处理.在计算机视觉目标检测过程中,使用低通滤波和高通滤波分别滤除图像的低频噪声及高频噪声.数字图像平滑处理后,会对图像本身的细节,如边界轮廓、线条等造成模糊,弱化图像目标信息,因此,在图像平滑后,还需要进行图像增强处理.

1.3 图像增强处理

图像增强处理能够增强图像对比度,突出图像中的重要细节,目前对于图像增强,主要包括两项内容:直方图均衡化,重点突出图像中目标物体信息;边缘锐化,重点突出图像边缘轮廓信息[8].

直方图均衡化是指将原图像通过某种变换,得到一幅灰度直方图为均匀分布的新图像的方法.暗图像直方图的分量集中在灰度较低的一端,而亮图像直方图分量偏向于灰度较高的一端.根据输入图像的直方图信息得到一个变换函数,采用变换函数完成图像灰度值均匀分布,使图像具有较高的对比度及较大的灰度动态范围,该过程即为直方图均衡化.

r为图像灰度,取值范围为[0,L-1],0为灰色,L-1为白色.T(r)为图像灰度值变换函数,计算公式为

(5)

式中,i为单位图像灰度值.通过该变换函数完成直方图均衡化处理.

边缘锐化是指增强数字图像的边缘信息,形成完整的物体边界,以达到目标从图像背景分离的目的.目前数字图像边缘锐化一般有三种方法:微分运算法、梯度锐化法以及边缘检测法.本文采用梯度锐化法[9],使噪声得到增强,实现步骤如下:1)获得原图像的首地址及图像的宽和高;2)开辟一块内存缓冲区,依据图像噪声平均值,将其梯度初始化为255;3)计算图像的像素梯度,将结果保存在内存缓冲中;4)比较像素梯度是否大于30,大于则将梯度值增加100,小于则将该像素点的灰度值恢复,如果梯度加100大于255,将其设置为255;5)将内存中的数据复制到图像数据区.

1.4 目标图像截取及特征抽取

图像增强之后进行目标图像截取任务,即将图像中目标物体与背景分割开来.目前,对于目标图像截取工作,最常用的方法为阈值法,它属于基于区域的图像分割技术的一种,基本原理是通过比较图像像素点与设定特征阈值之间的差异,将图像像素点分为若干类别[10].在阈值法下又分为固定阈值分割法、直方图双峰法、半阈值分割法以及迭代阈值图像分割法.本文选择迭代阈值图像分割法,具体操作过程如下:

1)找出数字图像中像素点的最大灰度值和最小灰度值,分别记为XmaxXmin

2)令初始阈值T0=(Xmax+Xmin)/2;

3)根据初始阈值将图像目标和背景两个部分分开,并分别计算出目标图像和背景图像的平均灰度值ZO和ZB,即将小于T0的图像所有灰度的均值记为ZO,将大于T0的图像所有灰度的均值记为ZB;

4)更新阈值,求出新的阈值TK+1=(ZO+ZB)/2;

5)若TK=TK+1,所得即为阈值,否则回到步骤2);

6)迭代计算结束.

HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子,最大特点是检测不受图像状态(动静态)的影响,可以通过梯度或边缘的方向密度分布来描述目标物体的特征[11].本文基于HOG特征的图像特征抽取具体流程如下:

1)标准化图像gamma空间和颜色空间;

2)计算标准化后的目标图像中每个像素的梯度;

3)将图像分割成大小相同的小细胞单元cells;

4)构建每个细胞单元梯度方向直方图,形成若干个“单元格cell”;

5)将小的细胞单元格cell连接在一起,组合成大的块;

6)收集HOG特征,完成目标图像特征抽取.

通过上述步骤完成目标图像特征抽取,至此完成了图像预处理.

2 全卷积神经网络下的图像目标检测

计算机视觉图像目标识别过程实际上是一个标记过程,即通过识别算法从已经处理好的图像中检测或分类出目标物体,并赋予特定的标记,这是计算机视觉技术中最关键的步骤.目前计算机视觉图像目别识别算法主要有支持向量机、背景减法以及高斯混合模型三种方法,但是这三种方法的实际应用效果并不好,因此本文采用全卷积神经网络来进行目标识别[12].

卷积神经网络是由数据输入层、卷积计算层、激励层、池化层、全连接层5个层次组成.这种神经网络无需手动选取特征,训练好权重,即可得到特征,分类效果较好[13].但是对于不同的任务需要单独训练,全连接模式过于冗余且低效,实现过程比较复杂,训练所需时间比较久.针对卷积神经网络存在的缺点,本文提出了全卷积神经网络的方法,其只包含了卷积化层和池化层,操作过程简便,且不易过分拟合.基于全卷积神经网络进行视觉图像目标识别的具体过程[14]如下:

1)训练过程.

① 选出全卷积神经网络所需要的训练样本.

② 对全卷积神经网络进行初始化,并设置初始学习率参数为0.01,当训练样本的误差值小于0.1时,将学习率参数调整为0.001,以便更精准地控制训练误差值.

③ 将训练样本输入到全卷积神经网络当中,进行全卷积神经网络训练.

④ 根据网络输出、输入的目标,得出全卷积神经网络当前的误差值.

⑤ 将上述得到的误差值反向传播到卷积神经网络当中,并以此调整卷积神经网络权值,使误差值不断减小.

⑥ 通过迭代得出神经网络误差平均值,设定误差阈值为0.01,判断当前误差值是否小于设定的误差阈值.如果当前误差值小于设定的误差阈值,则继续进行下一步;否则回到步骤③.

⑦ 全卷积神经网络训练结束.

2)测试过程.

① 将测试图像样本输入到训练好的全卷积神经网络;

② 输入提取出来的目标图像特征,即HOG特征;

③ 根据HOG特征得到计算机视觉目标;

④ 计算机视觉图像目标识别结束.

3 仿真实例测试

为验证本文提出的基于全卷积神经网络的计算机视觉目标检测算法的有效性,设计仿真实验,并与文献[2]、文献[3]、文献[4]方法进行对比.

3.1 实验环境与模型参数

采用MATLAB仿真软件作为实验平台,设置实验环境、模型参数以及实验对象参数,测试实验所采用的图像集来自Visual Genome数据集.图像样本总数为108 249个,选取其中1 000张静态图像及1 000张动态图像作为实验测试对象.实验环境参数、模型参数以及实验对象参数设置情况如表1所示.

表1 实验参数设置
Tab.1 Experimental parameter settings

名称参数实验配置模型参数实验对象参数显卡为NAVIDAUTX1060CPU为IntelCorei5-8600k,3.60UHz内存为16GB操作系统为Ubuntu16.04,框架为TensorFlowLearningrate为0.001Stepsize为30000momentum为0.9Weightdecay为0.0001Batchsize为128每次训练的迭代次数均为10000次静态图像1000张动态图像1000张

3.2 评测指标

Fβ分数是图像目标检测精确度评测的一个指标,其将准确率和召回率这两个分值合并为一个分值,即看作是准确率和召回率的一种加权平均,最大值为1,最小值为0,因此越接近1,准确率越高,其计算公式为

(6)

式中:β为召回率权重,是准确率权重的倍数;a为准确率;b为召回率.

3.3 测试结果

采用本文方法和文献[2]、文献[3]以及文献[4]方法对图像集进行目标检测,得到静态图像在β=0.5、1、2时的Fβ分数,如图1所示.

图1 静态图像Fβ分数对比图
Fig.1 Fβ score comparison for static images

由图1可知,文献[3]方法在静态图像检测中的Fβ分数最小,且无论β取值0.5、1、2,本文方法的Fβ分数均大于对比方法.在此基础上测试动态图像在β=1时的Fβ分数,对比结果如图2所示.

图2 动态图像Fβ分数对比图
Fig.2 Fβ score comparison for dynamic images

由图2可知,本文方法在动态图像的视觉目标检测中,Fβ分数均大于对比方法.由上述结果可知,利用本文方法进行1 000张静态图像及1 000张动态图像样本的目标检测,最终得到的Fβ分数均高于其余三种目标检测算法的结果,说明本文方法检测准确率更高,检测性能更好.对几种方法的检测时间进行对比,结果如图3所示.

图3 检测耗时对比
Fig.3 Detection time comparison

由图3可知,在2 000个样本的视觉目标检测过程中,本文方法的检测耗时仅为100 s,远远小于对比方法.由于全卷积神经网络只包含卷积化层和池化层,在训练过程中减少了复杂步骤,能够较为直接地得出目标识别结果,因此,本文方法的检测耗时较短,检测效率较高.

4 结 论

计算机视觉技术在当今生产、生活等多个领域起到了关键作用,本文提出了基于全卷积神经网络的计算机视觉目标检测算法对图像进行预处理,并通过全卷积神经网络训练实现目标检测.通过对比测试得出,本文方法图像目标检测的Fβ分数更高,更接近1,说明本文方法对图像目标检测的精确度更高,检测性能更优越,实验证明本文方法的检测耗时较短,检测效率较高.

参考文献(References):

[1]何小嵩,张占文,荣伟彬.基于计算机视觉的微球缺陷检测及分类方法 [J].强激光与粒子束,2017,29(8):75-79.

(HE Xiao-song,ZHANG Zhan-wen,RONG Wei-bin.Detection and classification of microspheres based on computer vision [J].High Power Laser and Particle Beams,2017,29(8):75-79.)

[2]栗科峰,卢金燕,黄明明,等.基于子图分割与多类支持向量机的人脸识别方法 [J].科技通报,2018,34(8):159-163.

(LI Ke-feng,LU Jin-yan,HUANG Ming-ming,et al.Face recognition based on sub-image dividing and multi-class support vector machine [J].Bulletin of Science and Technology,2018,34(8):159-163.)

[3]陈艳浩.基于全局背景减法滤波器与多形状特征的红外舰船检测算法 [J].电子测量与仪器学报,2018,32(10):138-146.

(CHEN Yan-hao.Infrared ship detection algorithm based on global background subtraction filter and multi-shape feature [J].Journal of Electronic Mea-surement and Instrumentation,2018,32(10):138-146.)

[4]李战明,谭向阳.基于混合高斯模型与五帧差分的运动目标检测算法 [J].计算机与数字工程,2018,46(2):284-288.

(LI Zhan-ming,TAN Xiang-yang.Moving object detection algorithm based on mixed Gaussian model and five-frame difference [J].Computer &Digital Engineering,2018,46(2):284-288.)

[5]郭会文,吴新宇,苏士娟,等.移动相机下基于三维背景估计的运动目标检测 [J].仪器仪表学报,2017,38(10):2573-2580.

(GUO Hui-wen,WU Xin-yu,SU Shi-juan,et al.3D background estimation for moving object detection using a single moving camera [J].Chinese Journal of Scientific Instrument,2017,38(10):2573-2580.)

[6]王慧玲,綦小龙,武港山.基于深度卷积神经网络的目标检测技术的研究进展 [J].计算机科学,2018,45(9):11-19.

(WANG Hui-ling,QI Xiao-long,WU Gang-shan.Research progress of object detection technology based on convolutional neural network in deep learning [J].Computer Science,2018,45(9):11-19.)

[7]周理,刘琰.基于自适应遗传算法的激光图像处理 [J].沈阳工业大学学报,2019,41(2):174-178.

(ZHOU Li,LIU Yan.Laser image processing based on adaptive genetic algorithm [J].Journal of Shen-yang University of Technology,2019,41(2):174-178.)

[8]王文秀,傅雨田,董峰,等.基于深度卷积神经网络的红外船只目标检测方法 [J].光学学报,2018,38(7):160-166.

(WANG Wen-xiu,FU Yu-tian,DONG Feng,et al.Infrared ship target detection method based on deep convolution neural network [J].Acta Optica Sinica,2018,38(7):160-166.)

[9] 郭呈呈,于凤芹,陈莹.基于卷积神经网络特征和改进超像素匹配的图像语义分割 [J].激光与光电子学进展,2018,55(8):230-236.

(GUO Cheng-cheng,YU Feng-qin,CHEN Ying.Image semantic segmentation based on convolutional neural network feature and improved super pixel matching [J].Laser &Optoelectronics Progress,2018,55(8):230-236.)

[10] 卢艺帆,张松海.基于卷积神经网络的光学遥感图像目标检测 [J].中国科技论文,2017,12(14):1583-1589.

(LU Yi-fan,ZHANG Song-hai.Object detection in optical remote sensing images with convolutional neural networks [J].China Science Paper,2017,12(14):1583-1589.)

[11] 郭继昌,郭昊,郭春乐.多尺度卷积神经网络的单幅图像去雨方法 [J].哈尔滨工业大学学报,2018,50(3):185-191.

(GUO Ji-chang,GUO Hao,GUO Chun-le.Single image rain removal based on multi-scale convolutional neural network [J].Journal of Harbin Institute of Technology,2018,50(3):185-191.)

[12] 孟祥锐,张树清,臧淑英.基于卷积神经网络和高分辨率影像的湿地群落遥感分类:以洪河湿地为例 [J].地理科学,2018,38(11):1914-1923.

(MENG Xiang-rui,ZHANG Shu-qing,ZANG Shu-ying.Remote sensing classification of wetland commu-nities based on convolutional neural networks and high resolution images:a case study of the Honghe wetland [J].Scientia Geographica Sinica,2018,38(11):1914-1923.)

[13] 李新叶,王光陛.基于卷积神经网络语义检测的细粒度鸟类识别 [J].科学技术与工程,2018,18(10):240-244.

(LI Xin-ye,WANG Guang-bi.Fine-grained bird re-cognition based on convolution neural network semantic detection [J].Science Technology and Engineering,2018,18(10):240-244.)

[14] 张永宏,夏广浩,阚希,等.基于全卷积神经网络的多源高分辨率遥感道路提取 [J].计算机应用,2018,38(7):2070-2075.

(ZHANG Yong-hong,XIA Guang-hao,KAN Xi,et al.Road extraction from multi-source high resolu-tion remote sensing image based on fully convolutional neural network [J].Journal of Computer Applications,2018,38(7):2070-2075.)

Computer vision target detection algorithm based on full convolution neural network

JIANG Yan-xiang1,2

(1.School of Information and Communication Engineering,Hainan University,Haikou 570228,China;2.Department of General Education,Hainan College of Foreign Studies,Wenchang 571300,China)

AbstractAiming at the problem of low accuracy of traditional computer vision target detection algorithms,a computer vision target detection algorithm based on full convolution neural network was proposed.The computer vision images were converted into digital images through sampling,quantization and encoding.After a series of processing of images,e.g.,smoothing,image enhancement and target image interception,the feature extraction of target images was completed,and the image preprocessing was accomplished.The target detection of computer vision images was completed by full convolution neural network training.The results show that the accuracy and the recall score are both closer to 1 when using the as-proposed algorithm for the detection of computer dynamic and static images,confirming that this algorithm has higher detection accuracy and shorter detection time.

Key wordsfull convolution neural network;support vector machine;background subtraction;Gaussian mixture model;computer vision;image processing;target recognition;image smoothing

中图分类号:TP 185

文献标志码:A

文章编号:1000-1646(2021)05-0557-06

收稿日期2019-12-13.

基金项目海南省教学改革项目(HNJG2020-146).

作者简介蒋燕翔(1980-),男,陕西商洛人,讲师,硕士,主要从事计算机网络和计算机与电子通信等方面的研究.

*本文已于2021-09-03 18∶21在中国知网优先数字出版.网络出版地址:http:∥kns.cnki.net/kcms/detail/21.1189.T.20210903.1603.002.html

doi:10.7688/j.issn.1000-1646.2021.05.13

(责任编辑:钟 媛 英文审校:尹淑英)