模糊运动图像的异常动作轨迹矢量搜索方法*

张 坤1,李 仪2

(1. 南京体育学院 运动系,南京 210033;2. 扬州大学 体育学院,江苏 扬州 225009)

摘 要: 为了解决当前模糊图像异常动作轨迹的搜索方法忽略模糊运动图像成因,造成的图像复原不完整、效果差及搜索效率低的问题,提出模糊运动图像的异常动作轨迹矢量搜索方法.采用最小二乘法对模糊运动图像进行复原并提取复原图像中存在的关键像素点构建运动图像的样本库,再运用BDT算法结合图像样本库搜索异常动作轨迹矢量,完成模糊运动图像中异常动作轨迹矢量的搜索.实验结果表明,所提方法的图像复原效果好、搜索效率高.为相关的模糊图像异常动作轨迹的搜索方法提供参考.

关 键 词: 模糊运动图像;异常动作;轨迹矢量;退化模型;退化因子;最小二乘法;BDT算法;图像样本库

图像处理技术与视觉特征解析技术已在人体运动形体解析方面发挥了重要作用,两项技术的应用能够识别并纠正体育运动过程中运动员的动作,有益于提高运动员训练的判断性和有效性[1-2].在一帧时间内对相同景物通过探测器平面获取不同的、连续放大率会造成径向辐射状模糊,进而产生模糊运动图像[3-4].运动图像出现模糊现象时,会影响运动训练员对动作规范性的细节判断.当前模糊图像异常运动轨迹搜索算法存在图像复原效果差和搜索效率低的问题,故需要对模糊图像异常运动轨迹搜索方法进行研究[5].

顾国华等[6]对模糊图像的运动方向进行计算,根据计算结果得到模糊尺度,通过先验信噪比实现预设,并对最优值进行推算,获取的最优值即为异常动作轨迹的搜索结果.该方法计算模糊尺度时容易出现误差,导致画质像素低,图像复原效果较差.陈超[7]获取模糊运动图像的二值图像,并对其进行骨架化变换,缩小图像中存在的暗条纹宽体;对处理后的图像进行Radon变化,根据变化结果计算异常运动轨迹的模糊长度和模糊角度,实现异常动作轨迹的搜索.该方法中没有对图像边缘轮廓进行计算,导致图像边缘轮廓模糊.加春燕等[8]在Sinc函数、Fourier、定积分的基础上得到图像平行条纹方向、图像尺寸和运动模糊方向之间的关系,结合频谱分块法、Gabor变化法和Radon变换法搜索模糊运动图像中异常动作的轨迹,该方法得到的运动模糊方向与实际方向偏差较大.

为了解决上述方法中存在的问题,本文提出一种模糊运动图像的异常动作轨迹矢量搜索方法.通过点扩散函数及退化因子构建模糊运动图像的退化模型,依据退化模型分析图像退化原因,并设定退化因子为约束条件,采用最小二乘法对模糊运动图像进行复原;构建提取复原图像中存在异常动作轨迹矢量的数据库,提取复原图像中存在的关键像素点构建运动图像的样本库,采用BDT算法搜索异常动作轨迹矢量,完成模糊运动图像中异常动作轨迹矢量的搜索.

1 模糊运动图像复原

通常情况下模糊运动图像中的退化模型通过点扩散函数和模型退化因子进行描述,当退化因子r的值较小时,运动员为匀加速运动;当退化因子r的值较大时,运动员为匀速直线运动[9].图像矩阵在极坐标下的任意探测器像元灰度值都对应了一个退化因子,退化因子对像点的灰度值产生影响[10].摄像系统和运动目标之间的距离是不断缩小的,距离L的时间函数表示为L(t),并设L在探测器像元通过像点的时间内保持不变,设b为探测器像元的边长,像元对应的占空比是100%.将像点当作质点,计算像点与图像中心距离z个探测器像元处对应的速度为

(1)

式中,v为探测器速度.设tz是第一个像点在t=0 s时经过探测器像元花费的时间,其计算表达式为

(2)

像点对应的加权系数为

(3)

式中,τ为像点经过探测器像元花费时间.当下个像点经过探测器像元时,只有距离L发生变化,其时间函数可表示为

L(t)=L(0)-vtz

(4)

该像点对应的灰度加权系数的计算表达式为

(5)

当各个加权系数的总和在第一次出现大于1时,表明第l个像点不能在积分时间内经过该探测器像元,则灰度加权系数计算表达式为

cq=1-(cq,j+cq,j-1+…+cq,j-l-1)

(6)

通过式(6)可以得到像素灰度矩阵第j行的变量,进而得到模糊运动图像的退化矩阵H.设定退化因子为约束条件,在约束条件下通过最小二乘法对模糊运动图像的坐标进行复原,得到复原后的图像为

F=(HTH)-1HTO

(7)

式中,O为模糊运动图像的极坐标.

2 异常动作轨迹矢量搜索

2.1 样本数据库构建

模糊运动图像的异常动作轨迹矢量搜索方法通过提取复原图像中存在的关键像素点,用一维向量描述二维图像,在离线处理过程中构建数据库,提高矢量的搜索效率[11-12].提取图像关键像素点之间在正常运行状态下高速机械的N帧图像,经过图像复原处理后作为原始图像库,并用I1(xytn)、I2(xytn)进行描述,n=1,2,…,N;用tn时间序列内像素点(xy)的周期信号数据表示图像数据.

模糊运动图像的异常动作轨迹矢量搜索方法采用BDT算法获取M个相机的关键像素点Pi,通过一维变量αi描述关键像素点的灰度值,即

αi(tn)={Ii(Pi(1),tn),Ii(Pi(2),tn),…,

Ii(Pi(M),tn)}

(8)

在构建样本数据库时,为了将时间序列和原始图像与单周期相位特征进行排序,设Ri(xyφi(1))为获取的第一个图像对应的时间序列,将其当作周期相位的初值.通过图像的一维向量计算相似度,将相似度最高的一维向量表示的图像I1(xytn)和时间序列设定为下一周期相位φi(2)[13],同理完成所有图像和时间序列的周期相位排序,获得图像库Ri(xyφi(q)),q=2,3,…,N.

传感器噪声、机械振动和外界光源会对视觉系统造成影响,产生误匹配现象.为了解决该问题,模糊运动图像的异常动作轨迹矢量搜索方法采用最相似的周期相位对应的一维向量进行计算,采用图像差分算法结合计算结果实现相位的排序,即

(9)

式中:k=1,2,…,K为最相似向量提取的总数;hi(k)为时间序列.

将选定的候选时间序列相应的图像Ii(xyηi(k))和相位确定的图像数据Ri(xyφi(q-1))做差分处理可得

Di(xyηi(k))=|Ri(xyφi(q-1))-

Ii(xyηi(k))|

(10)

对差分图像做二值化处理和阈值分割处理,根据处理结果描述相位,以确定上一个图像和候选图像之间存在的差异程度,差异表达式为

(11)

式中,为差分图像二值化对应的阈值.通过式(11)判断图像差分值中存在的最小值,当前周期相位φi(q)选用最小值的时间序列,即

(12)

通过上述过程排序原始图像对应的时间序列,得到单周期递增并为时间序列分配对应的图像Ii(xytn),构建图像库Ri(xyφi(q)),再采用归一化处理预存储的图像,将归一化结果作为周期相位对应的特征值,构建图像样本库Ri(xyΦi(n)),其中,

2.2 异常动作搜索

通过BDT算法获取运动图像中的M个相机的关键像素点Pi,再采用一维变量βi(t)描述采集得到的视觉图像G1(xyt)、G2(xyt),即

βi(t)=(Gi(Pi(1),t),Gi(Pi(2),t),

…,Gi(Pi(M),t))

(13)

同理用一维向量描述图像样本库中存在的所有图像数据,通过相似度分析一维向量,提取样本库中存在的周期相位,获得对应的估计值.通过估计值对应的掩膜图像和样本图像,对当前图像Gi(xyt)做降噪和差分处理.设置阈值为通过阈值对图像进行二值化处理,即

(14)

计算图像di(xyt)的一阶矩和零阶矩,零阶矩变量表示为异常动作在模糊运动图像中所占的像素点总数,可将其当作异常动作轨迹搜索的信号Si(t),通过零阶矩变量得到异常动作对应的中心坐标,即

(15)

机械设备在周期性的高速运动过程中产生的噪声会对信号检测结果造成影响[14-15].模糊运动图像的异常动作轨迹矢量搜索方法采用乘法运算减小噪声和误差检测,对异常动作轨迹矢量进行搜索,并利用阈值T E判断异常动作轨迹矢量,实现模糊运动图像中的异常动作轨迹矢量的搜索,即

(16)

(17)

3 实验结果与分析

为了验证模糊运动图像异常动作轨迹矢量搜索方法的有效性,本文对其进行实验测试.本次测试的操作系统为Windows10,测试环境为Intel core i7 2.4;原始图像含噪声30 dB,像素为640×480.通过MATLAB软件对模糊运动图像进行复原测试,根据测试得到的图像复原精度和速度可以评价图像复原效果,并通过计算模糊运动图像复原指标以及设置6张复原图像,对异常动作轨迹矢量进行搜索,分别得到三种方法模糊运动图像复原的效果和搜索所用时间的结果对比.

首先在MATLAB软件中打开原始图像,通过模糊运动图像复原指标复原模糊运动图像,以文献[6]方法和文献[7]方法为对照组,分别采用所提方法、文献[6]方法和文献[7]方法对模糊运动图像进行一次图像复原,复原图如图1所示.

图1 三种方法的图像复原结果
Fig.1 Image restoration results of three methods

通过图1可以看出,采用文献[6]方法得到的复原图像边缘轮廓模糊,图像边缘噪点较多;文献[7]方法得到的复原图像噪点较多,像素较低,图像清晰度较差,两种方法的复原效果均不理想.而采用本文方法进行图像复原时,能够很好地使模糊图像变得清晰,像素较高,说明采用本文方法进行图像复原的精度较好.

本文采用模糊运动图像复原指标对复原图像进行评价,其表达式为

(18)

`式中:A为图像复原的精度;γ为图像复原的时间.W值越高,模糊运动图像复原的效果越好,基于图1的复原图像进行多次图像复原实验,分别记录本文方法、文献[6]方法和文献[7]方法的复原精度和复原速度的数值,计算出模糊运动图像复原指标随迭代次数的测试结果如图2所示.

图2 三种方法的测试结果
Fig.2 Test results of three methods

分析图2可知,在多次迭代中,根据模糊运动图像的异常动作轨迹矢量搜索方法得到的W指标值高于文献[6]和文献[7]方法,证明本文所提算法的图像复原效果较好.为进一步验证所提方法的复原时间,分别采用所提方法、文献[6]方法和文献[7]方法对复原的6张模糊图像中的异常动作轨迹矢量进行搜索,得到三种方法搜索用时的对比结果如图3所示.

图3 三种方法的搜索时间
Fig.3 Searching time of three methods

分析图3可知,随着模糊运动图像的增多,三种方法所用的搜索时间不断增加,但所提方法搜索异常动作轨迹矢量所用的时间均少于文献[6]和文献[7]方法.该方法采用一维向量描述二维图像,并构建了图像数据库,缩短了搜索异常动作轨迹矢量所用的时间,提高了模糊运动图像的异常动作轨迹矢量的搜索效率.

4 结 论

在成像过程中由于被采集物体和采集设备之间存在的运动会降低图像的质量,生成模糊运动图像.为了提高体育教学的质量,需要提取模糊运动图像中存在的异常动作轨迹,本文提出了模糊运动图像的异常动作轨迹矢量搜索方法,该方法分别进行轨迹矢量搜索和异常动作搜索,完成了对模糊运动图像的复原,解决了传统方法中存在的问题,具有复原精度高、搜索效率高的特点,可为体育教学领域中图片复原提供参考.

参考文献(References):

[1] 张青,常能.基于图像处理技术的人机交互系统设计与实现 [J].现代电子技术,2018,41(24):159-162.

(ZHANG Qing,CHANG Neng.Design and implementation of human-machine interaction system based on image processing technology [J].Modern Electronics Technique,2018,41(24):159-162.)

[2] 杨洋,屈汉章,吴成茂.基于视觉特性的非线性多尺度彩色图像增强 [J].电视技术,2017,41(4):6-10.

(YANG Yang,QU Han-zhang,WU Cheng-mao.Non-linear multi-scale color image enhancement based on human visual system [J].Video Engineering,2017,41(4):6-10.)

[3] 周曙光.关于运动员动作图像特征提取仿真研究 [J].计算机仿真,2017,34(1):384-387.

(ZHOU Shu-guang.Image feature extraction simulation research about athletes action [J].Computer Simulation,2017,34(1):384-387.)

[4] 张杰,吴剑章,汤嘉立,等.基于时空图像分割和交互区域检测的人体动作识别方法 [J].计算机应用研究,2017,34(1):302-305.

(ZHANG Jie,WU Jian-zhang,TANG Jia-li,et al.Hu-man action recognition method based on spatio-temporal image segmentation and interactive area detection [J].Application Research of Computers,2017,34(1):302-305.)

[5] 胡发焕,刘国平,胡瑢华,等.一种改进的运动模糊图像参数准确估计方法 [J].控制与决策,2018,33(12):2177-2183.

(HU Fa-huan,LIU Guo-ping,HU Rong-hua,et al.Improved approach to motion blur parameters identification [J].Control and Decision,2018,33(12):2177-2183.)

[6] 顾国华,田宗浩,吴海兵,等.基于亚像素模糊检测的Wiener对运动模糊图像复原方法 [J].火力与指挥控制,2016,41(10):138-141.

(GU Guo-hua,TIAN Zong-hao,WU Hai-bing,et al.Study on restoration methods for motion blurred image based on sub-pixel blur detection on wiener filtering [J].Fire Control & Command Control,2016,41(10):138-141.)

[7] 陈超.多阈值优化的运动图像轮廓特征提取方法 [J].沈阳工业大学学报,2019,41(3):315-319.

(CHEN Chao.Extraction method of contour features by multi-threshold optimization for motion images [J].Journal of Shenyang University of Technology,2019,41(3):315-319.)

[8] 加春燕,崔丽.基于频谱边缘检测和Radon变换估计运动模糊图像的方向 [J].图学学报,2016,37(3):434-438.

(JIA Chun-yan,CUI Li.Direction estimation of motion blurred images based on edge detection of spectrum and Radon transform [J].Journal of Graphics,2016,37(3):434-438.)

[9] 王耀东,朱力强,余祖俊,等.用于机械系统瞬时目标的双视角高速视觉检测系统 [J].光学精密工程,2017,25(10):2725-2735.

(WANG Yao-dong,ZHU Li-qiang,YU Zu-jun,et al.Two-view high speed vision system for instant object detection in mechanical system [J].Optics and Precision Engineering,2017,25(10):2725-2735.)

[10] 沈铮,吴薇.基于视频图像的公交车人群异常情况检测 [J].南京理工大学学报,2017,41(1):65-73.

(SHEN Zheng,WU Wei.Video-based abnormal crowd behavior detection on bus [J].Journal of Nanjing University of Science and Technology,2017,41(1):65-73.)

[11] 孙巧梅,陈金国,余万.基于模糊自适应滑模方法的AUV轨迹跟踪控制 [J].舰船科学技术,2017,39(23):53-58.

(SUN Qiao-mei,CHEN Jin-guo,YU Wan.Trajectory-tracking control of autonomous underwater vehicles based on fuzzy adaptive sliding mode method [J].Ship Science and Technology,2017,39(23):53-58.)

[12] 王勇,刘治.基于图像的双臂模糊自适应轨迹跟踪控制 [J].控制与决策,2017,32(6):1019-1025.

(WANG Yong,LIU Zhi.Image based fuzzy adaptive trajectory tracking control for dual-arm system [J].Control and Decision,2017,32(6):1019-1025.)

[13] 陈明军,周含策,张丽艳.基于卷积神经网络的运动模糊编码点识别 [J].计算机辅助设计与图形学学报,2017,29(10):1844-1852.

(CHEN Ming-jun,ZHOU Han-ce,ZHANG Li-yan.Recognition of motion blurred coded targets based on convolutional neural network [J].Journal of Computer-Aided Design & Computer Graphics,2017,29(10):1844-1852.)

[14] 王斌,王存刚,张倩,等.基于产生式分数空间的图像识别方法 [J].电视技术,2017,41(4):24-27.

(WANG Bin,WANG Cun-gang,ZHANG Qian,et al.Image recognition based on generative score space [J].Video Engineering,2017,41(4):24-27.)

[15] 王科飞.基于模糊聚类算法的体育运动视频图像分析应用 [J].现代电子技术,2017,40(9):47-50.

(WANG Ke-fei.Application of sports video image analysis based on fuzzy clustering algorithm [J].Mo-dern Electronics Technique,2017,40(9):47-50.)

Vector searching method for abnormal motion trajectory of blurred moving images

ZHANG Kun1, LI Yi2

(1. Sports Department, Nanjing Sport Institute, Nanjing 210033, China; 2. College of Physical Education, Yangzhou University, Yangzhou 225009, China)

Abstract In order to solve the problems of incomplete image restoration, poor effect and low search efficiency caused by the ignorance of fuzzy motion image origination in current searching methods for abnormal motion trajectory of fuzzy image, a vector searching method for abnormal motion trajectory of fuzzy motion image was proposed. The least square method was used to restore the blurred motion image, and the key pixels in the restored image are extracted to construct the sample library of moving image. Thereafter, the BDT algorithm combined with the image sample library was used to search the abnormal motion trajectory vector of the blurred moving image. Experimental results show that the as-proposed method has better image restoration effect and higher searching efficiency. It provides a reference for the searching for abnormal motion trajectory of fuzzy image.

Key words blurred moving image; abnormal action; trajectory vector; degradation model; degradation factor; least square method; BDT algorithm; image sample library

中图分类号: TP 391.4

文献标志码:A

文章编号:1000-1646(2021)01-0077-05

收稿日期 2019-06-06.

基金项目 江苏省高校自然科学研究面上项目(18KJB520022).

作者简介 张 坤(1983-),男,安徽宿州人,讲师,硕士,主要从事运动图像处理等方面的研究.

* 本文已于2020-10-30 09∶19在中国知网优先数字出版. 网络出版地址: http:∥kns.cnki.net/kcms/detail/21.1189.T.20201221.1110.006.html

doi:10.7688/j.issn.1000-1646.2021.01.14

(责任编辑:景 勇 英文审校:尹淑英)