安永志
(内蒙古农业大学 体育教学部, 呼和浩特 010018)
摘要:针对传统相邻帧差算法在对轮廓检测过程中无法有效解决局部背景边缘干扰的问题,提出基于高速并行细化算法的运动视频完整轮廓检测方法.基于Sobel算子对运动视频轮廓进行粗检测,通过形态学后处理对粗检测获取的运动视频目标轮廓进行腐蚀运算,过滤其中的噪声,使图像边缘向内紧缩;采用两次膨胀处理恢复并增强运动视频目标图像的连通区域,引入高速并行细化算法对图像进行细化处理,采集图像骨架,并获取线条平滑的完整运动视频目标轮廓图像.结果表明,所提方法检测出的运动视频目标轮廓更为完整、清晰,并且检测效率高.
关键词:局部背景; 边缘干扰; 运动视频; 完整轮廓; 检测; 精提取; 细化; 膨胀处理
随着计算机技术的快速发展,智能化的电子监控设备在人们的生产和生活中的应用领域逐渐扩张.寻求有效的方法从监控运动视频中检测出运动视频目标轮廓,在安防系统、军事以及工业等领域具有重要的应用价值[1].受到局部背景边缘的干扰,运动视频轮廓图像边缘存在较多的毛刺以及独立点[2].采用相邻帧差法检测运动视频目标轮廓时,无法有效解决局部背景边缘的干扰问题,获取的运动视频轮廓存在残缺.因此,解决局部背景边缘干扰问题,获取完整的运动视频轮廓,具有重要的应用意义.
采用基于Sobel算子的运动视频目标轮廓粗检测算法对运动视频目标轮廓进行粗检测,算法模型如图1所示.从运动视频中采集连续的第k帧以及第k+1帧运动图像,对第k帧进行备份,采用Sobel算子划分第k帧备份图像的纹理,获取同时存在背景目标和运动视频目标的轮廓图像A.对第k帧和第k+1帧图像做差分运算,获取差分图像[3].差分图像内目标像素位置和对应轮廓图像A内轮廓像素点位置的交集则为运动视频目标,对图像A进行二值化操作后,再和差分图像进行交集运算,能够获取运动视频目标的粗轮廓.
图1运动视频目标粗轮廓检测算法模型
Fig.1Modelforroughcontourdetectionalgorithmofmovingvideotarget
算法对运动视频目标轮廓进行粗检测的过程,是一个从视频流中采集帧图像同时重复运行的过程[4].
算法进行运动视频目标轮廓的粗检测过程如下:
1) 采集运动视频内的第k、k+1帧图像,对这些图像进行灰度化以及滤波等预操作;
2) 备份第k帧图像,为接下来的图像轮廓采集提供依据[5],并设置该备份图像是k1;
3) 通过Sobel算子采集备份图像k1的轮廓线,获取边缘纹理图像A,该图像中存在运动视频目标的轮廓;
4) 通过帧间差分法运算第k帧和第k+1帧图像的差分,获取运动视频目标产生的变化范围[6],也就是运动视频目标的差分图像B;
5) 对纹理图像A以及差分图像B实施二值化操作,获取运动视频目标的二值化图像;
6) 若得到的运动视频目标二值化图像内黑色像素点的逻辑白色是“1",则计算二值化图像和差分二值化图像的交集[7],该过程是在波动范围内基于相关的边缘记录,获取运动视频目标的轮廓范围,采集运动视频目标图像;
7) 针对得到的运动视频目标图像实施后操作,过滤其中的噪声因素以及孤立点,获取连续光滑轮廓边缘,再转到步骤1)重复进行分析.
受到局部背景边缘的干扰,运动视频目标粗轮廓中存在较多的毛刺以及独立点,出现断裂分布状态.形态学操作能够过滤掉运动视频目标图像中的噪声因素,对图像毛孔进行修补[8],实现图像的连通.因此,采用基于形态学后处理的运动视频轮廓精检测方法,对获取的运动视频目标粗轮廓图像进行腐蚀运算和膨胀运算等形态学操作,获取完整的运动视频轮廓.
针对面向获取的运动视频目标粗二值图像轮廓,对其进行腐蚀操作[9],可确保图像边缘向内紧缩,其原理为:设置大小远远小于同需要进行腐蚀操作的运动视频目标图像的子图像,将该子图像当成结构向量,设置其大小为2×2,将该结构向量内的某像素点当成原点,设置其中的各像素点值为1或者0;通过结构向量对需要进行腐蚀操作的图像进行遍历检索,完成图像匹配分析[10].获取一个与结构向量一致的子图像,其结构向量的像素点是0,在这种情况下,则标识该子图像与结构向量原点位置相对应的像素位置[11],由全部该种像素构成的集合则是二值图像腐蚀后的结果.
如果待进行腐蚀操作的图像为I,结构向量为B,则图像I被结构向量B腐蚀的表达式为
IΘB={x|(B)x⊆I}
(1)
式中:x为集合平移的位移量;Θ为腐蚀运算;(B)x为结构平移向量.
采用平移结构向量检索待进行腐蚀操作图像的过程中,若获取与结构向量一致的子图像,则标识该子图像内结构向量原点的像素位置[12],全部完成标识的像素集即为腐蚀后的图像,如图2所示.
图2图像I的腐蚀操作
Fig.2CorrosionoperationforimageI
图2a用于描述需要进行腐蚀化操作的图像I,其中,各单元格用于描述一个像素点,灰色范围用于描述前景点.图2b为结构向量,灰色和黑色范围是可用结构向量,黑色范围对应的位置是结构向量原点[13].对图2a进行腐蚀处理,重复检索图像I内各点(不包括边缘点),若检索到含有与结构向量一致的子图像,则将图像I内与结构向量相关的像素点标识成腐蚀结果点,获取的图像腐蚀结果如图2c所示,其中,黑色范围是腐蚀结果,灰色范围被腐蚀掉[14].对比分析图2a、c可知,图2a边缘区域被过滤掉,并且向内缩减.腐蚀处理能够过滤掉图像内的毛孔,清除图像中的噪声.
对二值图像进行膨胀操作可扩展图像的边缘,将非连通的两个图像块连接成一个连通块.图像膨胀的原理为:设置某大小远远低于待操作图像的子图像,将其当成结构向量,设置其大小为2×2,将结构向量内的某像素点当成原点,标识结构向量中各像素位置的值为1或0;通过该结构向量对待操作图像实施遍历检索[15],若获取与结构向量交集为非空的像素点,则采集与结构向量原点相对应的待操作图像内的像素点,并标识该像素点为前景点.全部完成标识的前景点集为图像膨胀结果.
对图像进行膨胀处理时,如果在图像中获取与结构向量交集非空的像素点,则对待操作图像与结构向量原点位置相对应的像素点进行标识,获取的全部标识点则是膨胀结果[16],设置源图像为I,B为结构图像,则I被B膨胀的表达式为
I⨁B={y|y=k+b,k∈I,b∈B}=Ub∈BIb
(2)
式中:k+b为变量b对特征k进行平移变换后的平移量;y为运算后的二维值;⨁为膨胀运算;Ub∈B为膨胀后源图像的平移量;Ib为膨胀后需要进行操作的源图像.
对运动视频图像进行膨胀操作时,如果在图像中检索到与结构向量交集非空的点,则采集需要进行操作的图像内与结构向量原点位置对应的像素点,并对像素点进行标识,全部被标识的像素点集则是通过膨胀操作后的运动视频图像,如图3所示.
图3图像I的膨胀操作
Fig.3ExpansionoperationforimageI
2.3.1 算法模型
采用Sobel算子采集运动视频轮廓图像时,只采用简单的差分运算对帧图像进行差分分析,使得获取的运动轮廓图像存在较高的噪声.受到局部背景边缘的干扰,差分运算获取的图像边缘较为粗糙,存在较多的毛刺以及独立点.局部背景边缘干扰使得采集出的运动视频目标图像轮廓拓扑形状宽窄不定,呈现断裂的分布状态.因此,为了解决局部背景边缘的干扰,采用基于形态学后处理的运动视频目标轮廓检测算法,获取更为完整的运动视频轮廓.先通过腐蚀算法去除图像中的噪声,再通过膨胀运算扩张图像边缘,对图像中的毛孔以及连接范围间的孔洞进行修补,通过高速并行细化算法采集图像的骨架,算法模型如图4所示.
图4运动视频目标轮廓检测算法模型
Fig.4Modelforcontourdetectionalgorithmofmovingvideoobject
2.3.2 算法过程和伪代码
基于数学形态学后处理的运动视频目标轮廓采集算法,将Sobel算法获取的运动视频目标粗轮廓图像当成输入图像,获取运动视频目标轮廓的具体过程如下:
1) 将图像I当成输入图像,采用结构向量对输入图像I进行腐蚀运算,清除尺寸为2的直线毛刺,将大小为2×2的“L”型毛刺以及田字型毛刺作为单个像素点进行削减处理,获取图像E;
2) 采用尺寸为3×3的结构向量对图像E进行两次膨胀处理,确保被腐蚀的图像I在第一次膨胀处理后向外延伸一像素宽度,在第二次膨胀处理后向外延伸一像素宽度,提升图像的连通性,获取图像D;
3) 采用高速并行细化算法对图像D进行细化处理,采集图像的骨架,得到骨架连通性高、线条平滑的运动视频目标轮廓图像.
依据上述分析过程,实现该算法的伪代码如下:
Begin
do加载实施运动视频目标检测后的二值结构图像I;
fori=1:height
forj=1:weidth
do检索二值结果图像I内各像素点,通过结构向量对图像I进行腐蚀处理,按照腐蚀结果在字典矩阵A内存储1和0(1用于描述该点是白色前景点);
endfor
endfor
do按照字典矩阵A检索二值结果图像,并进行赋值操作,获取腐蚀图像E;
whilecount<2 //count用于存储膨胀值,原始值为0
fori=1:height
forj=1:weidth
do检索操作后的结果图像内的各像素值,采用结构向量实施膨胀处理,按照处理结果在字典矩阵A内存储1和0;
endfor
endfor
docount=count+1
endwhile// 设置两次膨胀处理后获取的图像为D
do通过高速并行细化算法采集图像D的骨架,获取细化后的运动视频目标图像R;
end
通过实验验证本文方法的性能,实验环境为windowsXP操作系统,并配备一个监控摄像头、一台笔记本,采用VisualC++语言设计相关程序.
实验采用本文方法检测运动视频目标粗轮廓图像,采用Sobel算子对图5a、b进行操作后,获取的运动视频目标粗轮廓图像如图5c所示.而采用帧差分法对图5b进行处理后,获取的结果如图5d所示.采用图5d可实现运动视频目标的初步识别,因此,对边缘轮廓图像以及差分图像进行二值化处理,结果如图5e、f所示,最终的检测结果如图5g所示.
图5改进方法下轮廓粗检测实验
Fig.5Roughcontourdetectionexperimentunderimprovedmethod
可以看出,图像的边缘轮廓存在较多的毛刺和孤立点,不够清晰、完整.采用相邻帧差法时,在进行粗检测过程中,因周围环境因素的影响,出现轮廓不清楚,外加干扰过多,轮廓粗且不精细等问题,结果如图6所示.
图6相邻帧差法下轮廓粗检测
Fig.6Roughcontourdetectionbasedonadjacentframedifferencemethod
将实验获取的运动视频目标粗轮廓检测结果当成形态学后处理的运动视频目标轮廓精检测实验的原始图,对其进行腐蚀操作,结果如图7所示.
由图7可知,为了处理腐蚀产生的图像像素块边缘缩减现象,需要进行一次膨胀操作,结果如图7c所示.分析图7a、c可知,通过一次腐蚀和一次膨胀操作,处理掉了运动汽车图像中的毛刺,使图像更为连通,而图像通过二次膨胀操作后可使图像的连通性更强,不存在断裂问题.采用骨架采集方法获取的精准运动视频目标轮廓图像如图7e所示,可以看出最终获取的运动视频目标轮廓图像线条更为平滑,图像更为完整.采用传统相邻帧差法时,轮廓特征量少,且检测点不全,导致轮廓不显著,检测结果精度差,适用性差,不适合高精度检测使用,如图8所示.
对比分析采用本文方法和相邻帧差法进行运动视频目标轮廓检测的运行效率,结果如图9所示.由图9可知,在运动视频特征量变化的情况下,采用传统相邻帧差法时,其检测率一直处于不稳定的状态,最高时达到了78.8%,但多处出现波动,忽高忽低,稳定性较差;采用改进方法时,随着视频特征量的变化,检测效率逐渐增加,且最高达到了99.1%,相比传统相邻帧差法提高了20.3%,且只有3处出现波动,稳定性相比传统相邻帧差法要好得多,说明本文方法极大地提高了运动视频完整轮廓检测的效率,具有一定的实用性及优越性.
图7改进方法下轮廓精检测实验
Fig.7Contourfinedetectionexperimentunderimprovedmethod
图8相邻帧差法下轮廓精检测
Fig.8Finecontourdetectionbasedonadjacentframedifferencemethod
本文提出了一种新的局部背景边缘干扰下运动视频完整轮廓检测方法,基于Sobel算子的运动视频目标轮廓检测算法获取运动视频目标的粗轮廓,利用形态学后处理的运动视频目标轮廓精提取算法获取运动视频目标的完整轮廓.分析实验检测结果可以看出,本文方法能够检测出完整、准确的运动视频目标轮廓,具有较高的检测效率.
图9两种方法检测效率对比
Fig.9Comparisonindetectionefficiencybetweentwomethods
参考文献(References):
[1] 李凌,李一平.一种基于轮廓和混合高斯模型的运动车辆视频检测方法 [J].吉林师范大学学报(自然科学版),2013,34(4):64-67.
(LI Ling,LI Yi-ping.Approach for moving vehicle video detection based on contour mixture Gaussian models [J].Journal of Jilin Normal University (Natural Science Edition),2013,34(4):64-67.)
[2] 谢昭,童昊浩,孙永宣,等.一种仿生物视觉感知的视频轮廓检测方法 [J].自动化学报,2015,41(10):1814-1824.
(XIE Zhao,TONG Hao-hao,SUN Yong-xuan,et al.Dynamic contour detection inspired by biological visual perception [J].Acta Automatica Sinica,2015,41(10):1814-1824.)
[3] 雷飞,黄文路,张泽.基于边缘检测与码本模型的运动视频目标检测算法 [J].科学技术与工程,2013,13(24):7234-7239.
(LEI Fei,HUANG Wen-lu,ZHANG Ze.Moving object detection algorithm based on edge detection and codebook model [J].Science Technology and Engineering,2013,13(24):7234-7239.)
[4] 严余龙,孟朝晖.视频监控中遗留物与遗失物辨别方法的研究 [J].电子设计工程,2016,24(7):43-45.
(YAN Yu-long,MENG Zhao-hui.Abandoned and removed object discrimination in video surveillance [J].Electronic Design Engineering,2016,24(7):43-45.)
[5] 郭溪溪,陈小林,王博,等.静态背景下运动目标边缘提取 [J].现代电子技术,2017,40(13):62-65.
(GUO Xi-xi,CHEN Xiao-lin,WANG Bo,et al.Edge extraction of moving object in static background [J].Modern Electronics Technique,2017,40(13):62-65.)
[6] 任晓颖,吕晓琪,张宝华,等.基于水平集的脑部MR图像混合分割算法 [J].科技通报,2013,29(2):88-90.
(REN Xiao-ying,LÜ Xiao-qi,ZHANG Bao-hua,et al.A hybrid segmentation method for brain MRI based on level set [J].Bulletin of Science and Tech-
nology,2013,29(2):88-90.)
[7] 蒋加伏,田莎莎.结合背景差分和闭合轮廓拟合的运动人体检测 [J].计算机工程与应用,2015,51(14):198-202.
(JIANG Jia-fu,TIAN Sha-sha.Human detection based on background subtraction and closed contour fitting [J].Computer Engineering and Applications,2015,51(14):198-202.)
[8] 樊翠红.人体视频运动图像的高精度实时分割仿真研究 [J].计算机仿真,2016,33(1):268-271.
(FAN Cui-hong.Simulationresearch on the high precision and real-time segmentation for video image of human motion [J].Computer Simulation,2016,33(1):268-271.)
[9] 朱铭武,韩军,陆冬明,等.自然场景中基于局部轮廓特征的对象识别方法 [J].计算机工程与应用,2016,52(1):162-167.
(ZHU Ming-wu,HAN Jun,LU Dong-ming,et al.Object recognition method based on local contour feature in natural scenario [J].Computer Engineering and Applications,2016,52(1):162-167.)
[10] 王溪波,王彬,赵海,等.基于HOG特征的优化区域模板匹配检测 [J].沈阳工业大学学报,2016,38(6):667-673.
(WANG Xi-bo,WANG Bin,ZHAO Hai,et al.Template matching detection for optimized region based on HOG features [J].Journal of Shenyang University of Technology,2016,38(6):667-673.)
[11] 敖邦乾,廖红虹,熊飞峤.对光照变化鲁棒的一种运动视频目标检测方法 [J].光电工程,2013,40(1):17-22.
(AO Bang-qian,LIAO Hong-hong,XIONG Fei-qiao.A robust method for moving object detection [J].Opto-Electronic Engineering,2013,40(1):17-22.)
[12] 吴成,李晓华,周激流.基于ViBe算法及分数阶微分边缘检测的运动目标提取 [J].计算机应用,2017,37(增刊1):137-140.
(WU Cheng,LI Xiao-hua,ZHOU Ji-liu.Extraction of moving target based on ViBe algorithm and fractional differential edge detection [J].Journal of Computer Applications,2017,37(Sup1):137-140.)
[13] 许肖,顾磊.基于主动轮廓模型的文本检测方法 [J].计算机科学,2015,42(6):288-292.
(XU Xiao,GU Lei.Text detection method based on active contour model [J].Computer Science,2015,42(6):288-292.)
[14] Stabellini L,Zander J.Energy-efficient detection of intermittent interference in wireless sensor networfs [J].International Journal of Sensor Networks,2010,8(1):27-40.
[15] 王凤.结合蚁群搜索与边缘检测的红外轮廓提取算法 [J].激光与红外,2015,45(6):722-727.
(WANG Feng.Infrared contour extraction algorithm based on ants search and edge detection [J].Laser & Infrared,2015,45(6):722-727.)
[16] 江山.基于形体轮廓特征提取的运动动作标志分析 [J].科技通报,2015,31(8):84-86.
(JIANG Shan.Movement action mark analysis based on body contour feature extraction [J].Bulletin of Science and Technology,2015,31(8):84-86.)
AN Yong-zhi
(Department of Physical Education, Inner Mongolia Agricultural University, Huhhot 010018, China)
Abstract:In order to solve the problem that the traditional adjacent frame difference algorithm cannot effectively solve the local background edge interference problem in the contour detection process, a complete contour detection method for moving video based on the high-speed parallel thinning algorithm was proposed. Based on the Sobel operator, the contour of moving video was roughly detected, and the corrosion operation for the contour of moving video object obtained with the rough detection was carried out with the morphological postprocessing, and the noise was filtered to make the image edge be tightened inward. With two times of expansion treatment, the connected region of image of moving video target was recovered and strengthened, and the high-speed parallel thinning algorithm was introduced to refine the image and acquire the image skeleton. In addition, the contour of complete moving video target with the smooth lines could be obtained. The results show that the contour of moving video target detected with the proposed method is more complete and clear, and the detection efficiency is high.
Keywords:local background; edge interference; moving video; complete contour; detection; fine extraction; thinning; expansion processing
doi:10.7688/j.issn.1000-1646.2018.05.10
* 本文已于2018-08-29 13∶51在中国知网优先数字出版. 网络出版地址: http:∥kns.cnki.net/kcms/detail/21.1189.T.20180828.1348.016.html
作者简介:安永志(1961-),男,内蒙古呼和浩特人,副教授,主要从事运动学图像分析与处理等方面的研究.
基金项目:内蒙古自治区体育局课题基金资助项目(NTS201628).
收稿日期:2016-12-29.
文章编号:1000-1646(2018)05-0535-06
文献标志码:A
中图分类号:TP 391.4
(责任编辑:钟 媛 英文审校:尹淑英)