基于目标区域约束的人体手臂运动轨迹图像分割*

熊 辉1, 孙书会2

(1. 长江大学工程技术学院 体育教学部, 湖北 荆州 434020; 2. 沈阳工业大学 软件学院, 沈阳 110870)

摘 要: 针对传统分割方法存在分割完整性不足、分割耗时较长以及分割精度较差的问题,提出基于目标区域约束的人体手臂运动轨迹图像分割方法.采取多阈值分割方法,对目标区域约束阈值进行设定,根据阈值取值,得出图像阈值分割曲面图.通过对比巴氏距离系数描述轨迹目标区域与候选目标区域之间的相似度,根据Mean Shift检索邻域范围内密度评估的极大值,迭代上述过程,不断更新运动轨迹目标,根据图像轨迹目标跟踪结果,利用目标区域约束法实现图像分割.结果表明,利用该方法后图像分割区域较为完整,耗时较短,分割精度明显提高.

关 键 词: 人体手臂; 目标区域; 约束; 运动轨迹; 分割; 图像; 目标跟踪; 阈值

体育智能化是当前发展的一个重要方向,在任何体育项目中,人体手臂的运动过程都十分重要,手臂的运动轨迹决定着一项运动是否能够以最佳表现来完成,是影响运动效率的关键因素之一[1].通过科学合理地分析手臂运动轨迹,可观察出运动员手臂运动姿势标准与否,利于教练员指导运动员训练.分析运动轨迹比较有效的方式是采集轨迹图像,并对图像进行分割,通过处理图像运动目标,为体育运动训练提供依据[2-3].

许冰等[4]人提出基于SIFT流的动态目标分割算法.论文依据SIFT流算法描述运动物体特征,结合图像颜色空间以及亮度信息,构建思维特征空间.通过改进多尺度中心对比法生成显著图,同时完成其线性融合,构建序列图像动态目标显著模型.该算法具有较强的分割稳定性,但存在分割完成后图像信息完整性得不到保障的问题.任侃等[5]人提出移动相机下运动图像分割方法.论文通过多平面视差约束法将运动图像序列中各像素点划分为背景区域与目标区域两部分,无需固定参考平面,在相机跟随下完成图像分割,但也存在分割后图像信息完整性差的问题.宋琳等[6]人提出基于CV-GAC和图割的运动目标分割算法.该算法通过高斯模型与背景差分法得到目标初始轮廓区域,在所得区域中自适应设定初始曲线轮廓,采用水平集模型自主处理运动目标拓扑变化,同时根据图割法实现能量函数优化,完成运动目标最终分割.实验结果表明,该算法具有一定分割精度,但存在分割耗时较长的问题.

目前,关于运动目标图像分割算法在性能上均存在一定不足,为此,本文提出基于目标区域约束的人体手臂运动轨迹图像分割方法.

1 目标区域约束阈值的设定

在跟踪手臂图像区域中,阈值分割是一个重要的环节,如果选取一个阈值仅对图像目标和背景进行划分,可称为单阈值分割;如果选取多个阈值,则图像会被分为多个目标区域和背景,称为多阈值分割.在实际的手臂运动图像分割过程中,由于受到外界环境噪声以及光照等因素的干扰,图像上每个像素不适用单一的阈值分割方法,否则会出现目标区域过大的现象[7].

通常情况下,为了精准地对目标区域进行约束,需要设定灵活的阈值.当图像含有噪声时,滤波器尺寸和阈值的选择会影响图像分割性能,较大的滤波器尺寸有助于降低图像噪声[8].

假设QmaxQmin分别代表分割手臂图像的最大阈值和最小阈值,QmaxQmin对应的图像像素点分别为rmaxrmin,则像素差值设定为

Δr=rmax-rmin

(1)

假设目标跟踪区域尺寸为χ,在给定初始值的情况下,χ值会根据Δr的变化而发生改变,可以表述为

(2)

式中,Δr1为像素点比例差值的阈值,Δr1取值通常不超过0.15.

根据式(2)可获取阈值约束下的目标跟踪区域尺寸χ,由此可得出约束阈值Q的取值为

(3)

式中:χ1为目标跟踪区域尺寸比例变化的阈值;λ为图像阈值系数,需满足0.5<λ≤1.

根据上述阈值取值条件,可得出图像阈值分割曲面图如图1所示.

图1 图像分割阈值曲面
Fig.1 Image segmentation threshold surface

图1中的梯度幅值是为了确定图像质量而给出的分割幅度变化情况,图像中的灰度变化通常可分为阶跃型、房顶型以及凸缘型,图1所示属于凸缘型.基于图像像素灰度的梯度幅值变化可以表征图像的边缘信息,插值点用来估测图像阈值,在梯度幅值波动情况下,插值点也随之波动,此时图片较为模糊,像素较低.

2 算法应用

本文提出的算法提升了运动手臂区域图像分割精度,减少分割耗时,增强图像分割完整性,算法详细步骤如下:

假设{xi}i=1,2,…,n代表人体手臂运动轨迹在图像中的像素点集,且区域坐标已经调节至以0为中心,同时已依据区域大小进行归一化处理.针对各像素值xi,设定函数b(xi)为此像素颜色值,通过Epanechnikov核函数,区域颜色在运动轨迹中出现概率可表示为

(4)

式中:u为区域颜色;C为归一化函数;δ为Kronecker函数;S(ij)为约束均衡函数.假设将y作为中心,手臂运动区域颜色在运动轨迹中出现概率表达式可表示为

(5)

式中:CH为归一化因子;H为对角阵,h1h2分别为手臂运动轨迹的长与宽.

依据上述计算与分析,本文通过巴氏距离系数描述轨迹目标区域与候选目标区域之间的相似度.其中,巴氏距离系数及两者之间相似度表达式为

(6)

(7)

ρ(y)系数值越大,表示距离值就越小,即轨迹目标与候选目标之间相似程度就越高[9-11].

轨迹目标跟踪即为目前帧中检索与目标相对应的新位置,此位置可以使以y作为自变量的距离值最小.检索由前一帧目标处起,在其附近邻域中查询.假设前一帧中的目标位置是y0,将ρ[pu(y),qu]在运动轨迹目标预测位置y0处展开,得到的ρ[pu(y),qu]线性近似值可表示为

(8)

将式(5)代入到式(8)得到

(9)

式中,wi为加权值.根据式(9)可以检索邻域范围内此密度评估的极大值.在整个过程中,中心位置由当前位置y0向新位置y1移动,即

(10)

迭代上述过程,不断更新运动轨迹目标,则可将人体手臂运动轨迹跟踪结果定义为

Y=(y0y1,…,yn)

(11)

基于图像轨迹目标跟踪结果,利用目标区域约束法实现图像分割,详细步骤如下:

1) 初始化.阈值与图像平均灰度值相等,运动轨迹点数量为n0,其初始值为0.将剩余的背景像素定义为n1G0为轨迹像素灰度值和,G1为背景点像素值.

2) 若t<T′,则t+1;否则跳转至步骤5),其中,T′为图像分割阈值调节次数,也就是最大迭代次数.

3) 遍历人体手臂运动轨迹图像,并根据步骤1)中的定义计算n0n1G0G1,即

(12)

(13)

G0=∑n0Y

(14)

G1=∑n1D

(15)

式中,D为图像背景区域轨迹.

依据上述公式可计算图像中类间方根值为

(16)

式中:Ave0为轨迹点平均灰度值;Ave1为背景点平均灰度值;Ave为图像灰度均值;ω0ω1为轨迹点在运动轨迹图像中占据的比重和背景点在运动轨迹图像中占据的比重,两者表达式为

(17)

(18)

4) 若MC(YD)YiDi),则令MC(YD)=MC(YiDi);反之,则保持不变.

5) 经过迭代后的MC(YD)即为人体手臂运动轨迹图像最佳分割阈值,利用其分割图像得到的最终图像分割结果可表示为

(19)

式中,⊗为分割符号.

3 实验结果与分析

为验证基于目标区域约束的人体手臂运动轨迹图像分割方法整体的有效性,本文进行了仿真实验.实验数据来源于某市体院,选取其中男运动员与女运动员各50名,表1为实验图像具体信息.分别在不同场景下采集运动员手臂运动姿势图像,并对采集到的图像进行编号,经编号得到的有效实验图像为150幅,将其均分为手臂静态与动态图像,对比本文方法与传统方法之间的差异.

表1 实验图像具体信息
Tab.1 Experimental image specific information

深度/位灰度数目刷新率/(次·s-1)像素位数1050484

将实验平台搭建在Matlab2017a上,对本文所提方法与传统基于固定阈值方法的人体手臂静态图像分割结果进行对比分析,结果如图2所示.

图2 不同方法对比结果
Fig.2 Results Comparison by different methods

根据图2可知,本文方法分割得到的人体手臂图像分割区域较为细致,分割边缘连接较为光滑,具有较好的图像分割效果.对手臂运动过程图像分割的结果对比如图3、4所示.

图3 本文方法的动态分割结果
Fig.3 Dynamic segmentation results by proposed method

图4 传统方法的动态分割结果
Fig.4 Dynamic segmentation results by traditional methods

由图3、4可知,在手臂运动过程中,本文方法分割得到的人体手臂图像分割区域较为清晰,完整度较高.在手臂运动过程中,传统方法对于手臂图像的分割较为模糊,清晰完整度不足.取有效实验图像150幅中的10幅进行分割时间比较,分割时间对比结果如表2所示.

表2 运动轨迹图像分割时间对比
Tab.2 Comparison of segmentation time for motion trajectory images s

图像序号传统方法分割时间本文方法分割时间18.95.629.32.337.86.548.17.857.66.569.66.1710.38.685.33.198.55.5107.56.1

由表2可知,传统方法与本文方法的轨迹图像分割时间最大相差7 s,本文方法分割时间总体较低.本文采取多阈值分割方法,对目标区域约束阈值进行设定,排除了外界环境噪声以及光照等因素的干扰,解决了目标区域过大的问题.分析上述实验结果可知,本文所提方法具有较强分割性能,分割精度明显提高.

4 结 论

本文提出基于目标区域约束的人体手臂运动轨迹图像分割方法.设定灵活的阈值,并确定阈值取值,可得出图像阈值分割曲面图;对图像中的手臂运动轨迹进行点集处理,确定区域颜色出现概率;对人体手臂运动轨迹进行跟踪,选取目标区域约束,实现图像分割.利用实验测试所提方法进行对比,表明所提方法分割完整性较高,且分割时间较短.

下一步研究要特别注意以下几个方面:

1) 有部分图像整体维数较高,需要将高维图像降为低维图像,以此提升图像处理效率;

2) 机器视觉体系应用日益广泛,图像中运动目标检测和分割技术也在日益创新,可将目标区域约束分割法与其他图像分割法相结合,提升图像分割精确性.

参考文献

[1]张嫣.基于视觉分析的篮球投篮动作标准化判断方法研究 [J].现代电子技术,2017,40(3):55-58.

(ZHANG Yan.Research on standardized judgement method of basketball shooting action based on visual analysis [J].Modern Electronic Technology,2017,40(3):55-58.)

[2]杨信廷,孙文娟,李明,等.基于K均值聚类和开闭交替滤波的黄瓜叶片水滴荧光图像分割 [J].农业工程学报,2016,32(17):136-143.

(YANG Xin-ting,SUN Wen-juan,LI ming,et al.Water droplet fluorescence image segmentation of cu-cumber leaves based on K-means clustering and open/close alternating filter [J].Journal of Agricultural Engineering,2016,32(17):136-143.)

[3]袁小翠,吴禄慎,陈华伟.基于Otsu方法的钢轨图像分割 [J].光学精密工程,2016,24(7):1772-1781.

(YUAN Xiao-cui,WU Lu-shen,CHEN Hua-wei.Rail image segmentation based on Otsu method [J].Optical Precision Engineering,2016,24(7):1772-1781.)

[4]许冰,牛燕雄,吕建明.复杂动态场景下目标检测与分割算法 [J].北京航空航天大学学报,2016,42(2):310-317.

(XU Bing,NIU Yan-xiong,LÜ Jian-ming.Target detection and segmentation algorithm in complex dyna-mic scene [J].Journal of Beijing University of Aeronautics and Astronautics,2016,42(2):310-317.)

[5]任侃,王伟杰,钱惟贤,等.移动相机下的地面运动目标分割技术 [J].北京邮电大学学报,2017,40(1):46-49.

(REN Kan,WANG Wei-jie,QIAN Wei-xian,et al.Ground moving object segmentation technique under moving camera [J].Journal of Beijing University of Posts and Telecommunications,2017,40(1):46-49.)

[6]宋琳,高满屯,王三民,等.CV-GAC模型与图割优化的运动目标检测和分割 [J].机械科学与技术,2017,36(1):102-107.

(SONG Lin,GAO Man-tun,WANG San-min,et al.CV-GAC model and graph cut optimization for mo-ving object detection and segmentation [J].Mechanical Science and Technology,2017,36(1):102-107.)

[7]王科飞.基于模糊聚类算法的体育运动视频图像分析应用 [J].现代电子技术,2017,40(9):39-42.

(WANG Ke-fei.Application of sports video image analysis based on fuzzy clustering algorithm [J].Modern Electronic Technology,2017,40(9):39-42.)

[8]王瑜,闫沫.基于Wasserstein距离和分裂Bregman方法的图像分割算法 [J].电子设计工程,2017,25(2):140-144.

(WANG Yu,YAN Mo.An image segmentation algorithm based on Wasserstein distance and split Bregman method [J].Electronic Design Engineering,2017,25(2):140-144.)

[9]徐天芝,张贵仓,贾园.基于形态学梯度的分水岭彩色图像分割 [J].计算机工程与应用,2016,52(11):200-203.

(XU Tian-zhi,ZHANG Gui-cang,JIA Yuan.Watershed color image segmentation based on morphological gradient [J].Computer Engineering and Applications,2016,52(11):200-203.)

[10]乔良.三维图像视觉下运动关键特征的提取方法改进 [J].计算机仿真,2017,34(1):216-219.

(QIAO Liang.An improved method for extracting key features of motion in 3D image vision [J].Computer Simulation,2017,34(1):216-219.)

[11]杨品林.彩色图像数据库中目标特征数据挖掘方法 [J].沈阳工业大学学报,2018,40(1):60-64.

(YANG Pin-lin.Method of object feature data mining in color image database [J].Journal of Shenyang University of Technology,2018,40(1):60-64.)

Image segmentation of motion trajectory of human arm based on target region constraint

XIONG Hui1, SUN Shu-hui2

(1. Physical Education Department, Yangtze University College of Engineering Technology, Jingzhou 434020, China; 2. School of Software, Shenyang University of Technology, Shenyang 110870, China)

Abstract Aiming at the problems of insufficient segmentation integrity, long time consuming and poor segmentation precision existing in traditional segmentation methods, an image segmentation method for the motion trajectory of human arm based on target region constraint was proposed. With the multi-threshold segmentation method, the constraint threshold of target region was set. According to the threshold value, the image threshold segmentation surface diagram was obtained. By comparing the Pasteurian distance coefficient, the similarity between the locus target region and the candidate target region was described. According to Mean Shift, the maximum value of density evaluation in neighboring regions was retrieved, the abovementioned process was iterated and the motion trajectory target was continuously updated. According to the tracking results of image trajectory target, the image segmentation was implemented with the target region constraint method. The results show that the image segmentation region is relatively complete with the as-proposed method, consuming less time with apparently improved accuracy for image segmentation.

Key words human arm; target area; restraint; motion track; segmentation; image; target tracking; threshold

收稿日期 2018-09-22.

基金项目 湖北省自然科学基金资助项目(2016CDQ088).

作者简介 熊 辉(1982-),男,湖北监利人,讲师,硕士,主要从事运动模糊图像处理等方面的研究.

*本文已于2019-06-27 17∶15在中国知网优先数字出版. 网络出版地址: http:∥kns.cnki.net/kcms/detail/21.1189.T.20190627.1018.028.html

doi:10.7688/j.issn.1000-1646.2019.04.12

中图分类号: TP 391

文献标志码:A

文章编号:1000-1646(2019)04-0422-05

(责任编辑:景 勇 英文审校:尹淑英)