基于多尺度稀疏近邻图的近邻保持嵌入算法*

于 露

(长春财经学院 信息工程学院, 长春 130122)

针对近邻保持嵌入算法NPE中构造近邻图所存在的缺陷,提出了基于多尺度稀疏近邻图的近邻保持嵌入算法.对于每个待识别的人脸图片,该方法都建立一个具有九个尺度的图像金字塔,并且计算金字塔中每个尺度的图片与其他图片金字塔对应尺度的稀疏近邻.利用稀疏表示算法抗遮挡的特性,通过计算样本多尺度近邻的方法克服了传统方法丢失人脸图片二维结构的缺点.结果表明,该算法具有较强的鲁棒性,比传统的NPE算法具有更好的识别效果.

近邻图; 近邻样本; 降维算法; 近邻保持嵌入; 人脸识别; 稀疏表示; 图片金字塔; 多尺度图片

人脸识别技术在自动控制领域具有广泛的应用.邹香玲[1]将人脸识别技术应用在智能监控系统中,并利用云计算对大规模认证系统进行了优化;高翔等[2]提出一种结合人眼检测和定位的人脸识别方法,并将其用于智能会议系统中;王文明等[3]提出了一种在具备全景图合成功能应用型机器人视觉中加装人脸识别功能的方法,该方法被成功用于多领域的机器人监控系统中;李定远等[4]将基于PCA算法下的人脸识别技术应用于身份验证环节,解决了液压控制系统运行时的身份验证问题.基于近邻图的流形学习降维算法[5-7]是解决模式识别任务中“维度灾难”的有效手段,这些通过拉普拉斯特征映射进行计算的流形学习降维算法有一个共性:在原始的高维空间上建立一个样本近邻图,使用近邻图来保持原始流形空间的局部特征,然后通过求解特征值将原始流形空间上的数据映射到低维空间.正是由于该共性,文献[5]中提出了图嵌入框架理论,很多现有的降维算法[6-9]都可归入到图嵌入框架之中.在图嵌入框架理论中,近邻图的作用是尽量保持样本之间的关系在降维前后不发生改变,因此,近邻图对于图嵌入降维算法来说起着至关重要的作用.文献[9]指出,近邻图是降维算法的核心,选择一个好的近邻图构建方法比选择一个好的降维算法更重要.近邻保持嵌入算法通过近邻图来保持降维前的局部流形结构,因此它是一个典型的基于近邻图流形学习降维算法.但NPE算法有如下两个不足:1)具有二维结构的数据样本或人脸图片被转化成了向量形式,这样构建的近邻图没有考虑原始人脸图片的二维结构信息且参数k指定困难;2)NPE算法对于存在遮挡的人脸图片鲁棒性不强,当人脸图片存在遮挡时NPE取得的识别率较低.本文提出了多尺度稀疏近邻图构造方法,并称使用该方法构造的近邻图为多尺度稀疏近邻图(multi-scale sparse neighbor graph,MSNG).对于每个待识别的人脸图片,近邻图构造方法都会建立一个九个尺度的图像金字塔,并且计算金字塔中每个尺度与其他图片对应的稀疏近邻.两个图片能否成为近邻将由两个图片金字塔之间稀疏近邻的个数决定.本文将该方法构造的近邻图(MSNG)与NPE算法结合,提出了基于多尺度稀疏近邻图的近邻保持嵌入算法(MSNG-NPE).与传统NPE算法相比,MSNG-NPE算法优势如下:

1) 稀疏表示算法对遮挡具有很强的鲁棒性.多尺度稀疏近邻图构造方法通过计算一张人脸图片在每个尺度上的稀疏近邻来确定人脸图片在近邻图中的近邻,这样构造出来的近邻图对于人脸的遮挡具有鲁棒性.

2) 对于每张人脸图片,都建立一个具有九尺度的高斯金字塔,通过计算金字塔中每个尺度图片的稀疏近邻来构建近邻图.

3) 原始的近邻图构造方法需要预先指定近邻参数k,而本文提出的近邻图构造方法不需要指定近邻参数.

1 相关算法

1.1 局部保持嵌入算法

设含有N个图片样本的人脸数据集为I={I1I2,…,IN},图片的尺寸为n×m.令X={x1x2,…,xN}为数据集I中人脸图片的向量形式.NPE的近邻图可以表示为G={VW},其中,V为图G的顶点集合,即V对应着集合XW为带权邻接矩阵,wij为两个样本xixj在近邻图中对应的顶点vivj之间邻接边上的权值.NPE算法描述如下:

1) 确定近邻.若xixjk近邻之一,或者xjxik近邻之一,则两个样本在图G中是邻接的.

2) 计算权重.通过最小化目标函数来计算邻接边上的权值,即

(1)

式中,

Y={y1y2,…,yN}是集合X在低维空间的数据映射,则映射关系为Y=αTX,其中,α为NPE的映射向量,其计算表达式为

XMXTα=λXXTα

(2)

式中,M=(I-W)T(I-W),且I=diag(1,1,…,1).式(2)的解为α0α1,…,αd-1,它们与特征值λ0λ1≤…≤λd-1相对应.

1.2 稀疏表示算法

X={x1x2,…,xN}表示数据集I中人脸图片的向量形式.对于一个新的样本Y,稀疏表示的目标是使用集合X中尽量少的样本来表示样本Y.若Y=Xs0s0为系数向量,s0=[0,…,0,a1a2,…,aj,0,…,0]T.稀疏表示的目标函数[10]

(3)

式(3)是一个l1范数最小化问题,可以通过正交匹配(orthogonal matching pursuit,OMP)算法[11]来计算.

2 多尺度稀疏近邻图的近邻嵌入算法

设含有N个图片样本的人脸数据集I={I1I2,…,IN},图片的尺寸为n×m.令X={x1x2,…,xN}表示数据集I中人脸图片的向量形式.MSNG可以表示为MSNG={VWMSNG},与传统近邻图类似,VWMSNG分别表示顶点集合和带权邻接矩阵.MSNG的构造过程如下:

1) 建立图像金字塔.对于一个人脸图片建立如图1所示的具有九个尺度图像金字塔.图像金字塔中图像的尺寸从原始尺寸(尺度1)到原始尺寸的20%(尺度9).

图1 九个尺度的图片金字塔
Fig.1 Image pyramid with nine scales

2) 计算金字塔中每个尺度图片的稀疏近邻.令l(l=1,2,…,9)表示金字塔中各尺度图片的编号,令表示由样本图片Ii建立的高斯金字塔的第l尺度上的图片,的向量形式.

对于所有处于尺度l的图片将它们的向量形式放在一个矩阵当中的稀疏表示为稀疏系数不为零,则的稀疏近邻.

3) 计算每个人脸图片Ii的近邻.设Nij表示图片Ij对应金字塔的所有尺度图片中成为了图片Ii对应的金字塔中图片的近邻,Nij描述了两个样本间的相似程度,即Nij的值越大,两个样本图片IiIj就越相似.带权邻接矩阵WMSNG可以表示为

(4)

式中:Ij对应金字塔中尺度为l的图片的稀疏系数;NiIi和所有其他样本的相似程度;为零范数,代表一个向量中非零元素的个数.本文只考虑Nij值不为零的样本Ij,因为如果一个样本Ij对应的图像金字塔中没有图片成为对应金字塔的稀疏近邻,则说明IiIj毫无相似性.式(4)的意义是两个样本IiIj的相似程度大于Ii和所有其他样本的相似程度的平均值,则Ij在近邻图中成为Ii的一个近邻.对应的稀疏系数的绝对值描述了之间的相关程度.

3 实验仿真

3.1 人脸遮挡鲁棒性实验

本节实验在AR人脸数据库上进行,AR人脸数据库含有来自126位志愿者的超过4 000张的人脸图片[12].部分AR数据库中的人脸上有遮挡物,例如墨镜或者围巾.本文建立了一个AR数据库的子集,该子集中含有50位男性志愿者,其中每个志愿者13张照片.在这13张照片中有6张照片是含有遮挡的.图2为本文AR数据库子集的人脸样本图片.

图2 AR数据库中的人脸样本图
Fig.2 Face sample images in AR database

首先对比MSNG和传统近邻图构造方法在人脸上有遮挡情况下正确寻找近邻的能力.分别使用MSNG和传统的近邻图构造方法来寻找AR数据库中第2个志愿者的第5张照片的近邻.设置传统近邻图构造方法的近邻参数k=6,将MSNG计算出来的前6个近邻与传统近邻图计算出来的6个近邻进行比较,两种近邻图构造方法选择出来的人脸近邻如图3所示.

从图3a可以看出:人脸近邻1~4都属于第二个志愿者.尽管人脸图片2~4存在遮挡,但是MSNG还是正确将其作为人脸图片5的近邻.从图3b可以看出:传统的近邻图构造方法计算出来的6个近邻图片都不属于第二个志愿者.通过这个实验可以看出,在存在遮挡的情况下,传统的近邻图构造方法无法正确计算出每个样本的k近邻,从而导致所构造的近邻图质量不高,最终导致识别率低.

在AR数据库上进行人脸识别实验,Gm/Pn表示在一轮实验中每个志愿者选择m张图片用于训练,其余n张图片用于测试.对于每一轮实验,都随机产生50组Gm/Pn的数据,本轮最终的实验结果为这50组数据得到结果的平均值.表1对比了NPE算法和MSNG-NPE算法的平均识别率,NPE算法的近邻参数设置为Gm.

从表1中可以看出,由于遮挡干扰了近邻图的构建,NPE算法取得了很低的识别率,但是MSNG-NPE算法取得了较为满意的识别率.

3.2 人脸识别实验

本节在ORL和YALE数据库上进行人脸识别实验.YALE数据库中有11个志愿者,每人11张照片,总共有121张人脸图片[13],YALE数据库中照片尺寸是100×100;ORL数据库中有40个志愿者,每人10张照片,共有400张人脸图片[14],ORL数据库中照片的尺寸是112×92,设置传统近邻图构造方法的近邻参k=6.图4、5分别为ORL和YALE人脸库的样本照片,表2、3分别是在ORL和YALE人脸库上进行人脸识别的实验结果.

图3 志愿者2第5张照片的近邻比较
Fig.3 Comparison in neighbors of No.5face image of No.2 volunteer

表1 AR数据库上的平均识别率
Tab.1 Average recognition accuracy in AR database%

测试类型NPEMSNG-NPEG5/P817.8763.44G6/P720.0167.69G7/P621.1871.06G8/P521.5375.01G9/P424.4976.98G10/P324.2681.98

图4 ORL数据库中的人脸样本图
Fig.4 Face sample images in ORL database

图5 YALE数据库中的人脸样本图
Fig.5 Face sample images in YALE database

表2 ORL数据库上的平均识别率
Tab.2 Average recognition accuracy in ORL database %

测试类型NPEMSNG-NPEG2/P861.5471.01G3/P770.4177.88G4/P677.3883.84G5/P582.3786.01G6/P485.2385.89G7/P388.0589.32

表3 YALE数据库上的平均识别率
Tab.3 Average recognition accuracy in YALE database %

测试类型NPEMSNG-NPEG2/P961.5471.01G3/P870.4177.88G4/P777.3883.84G5/P682.3786.01G6/P585.2385.89G7/P488.0589.32

从表2、3中的实验结果可以看出:随着训练样本数量的增加,两个算法的平均识别率都逐渐提高;在ORL和YALE数据库上进行实验时,使用MSNG-NPE算法所取得的人脸识别率都超过了使用NPE算法进行人脸识别所取得的识别率.

4 结 论

本文提出了一种近邻图构造方法,方法对于每个人脸图片建立一个具有九个尺度的图片金字塔,并计算金字塔中每个尺度图片的稀疏近邻.用两个人脸图片金字塔之间成为稀疏近邻的个数来决定是否这两个人脸图片在最终的近邻图中可以成为近邻.之后,将MSNG与NPE算法结合,提出了MSNG-NPE算法,在几个著名人脸数据库上的实验结果显示,MSNG-NPE算法具有比传统的NPE算法更好的识别效果.

参考文献

[1]邹香玲.智能视频监控系统中的人脸识别技术之研究 [J].电子技术与软件工程,2017(3):91-92.

(ZOU Xiang-ling.The research of face recognition technology in intelligent video surveillance system [J].Image & Multimedia Technology,2017(3):91-92.)

[2]高翔,朱秋煜.智能会议系统中的人脸识别 [J].工业控制计算机,2016(7):111-113.

(GAO Xiang,ZHU Qiu-yu.Face recognition in in-telligent conference system [J].Industrial Control Computer,2016(7):111-113.)

[3]王文明.基于全景图合成的机器人视觉中的人脸识别方法 [J].信息网络安全,2013(2):21-26.

(WANG Wen-ming.Face recognition method in robot vision based on panorama synthesis [J].Netinfo Security,2013(2):21-26.)

[4]李定远,仲恒.人脸识别在液压控制系统的应用及实现 [J].工业控制计算机,2015(10):26-28.

(LI Ding-yuan,ZHONG Heng.Application and implementation of face recognition in hydraulic control system [J].Industrial Control Computer,2015(10):26-28.)

[5]Yan S,Xu D,Zhang B,et al.Graph embedding and extensions:a general framework for dimensionality reduction [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(1):40-51.

[6]谢玉凯,卢桂馥,宣东东.基于L1范数的二维鉴别局部保留投影的最大间距准则方法 [J].长江大学学报(自然科学版),2017,14(9):38-42.

(XIE Yu-kai,LU Gui-fu,XUAN Dong-dong.L1-norm based maximum margin criterion of two-dimensional discriminant locality preserving projection [J].Journal of Yangtze University (Nature Science Edition),2017,14(9):38-42.)

[7]李锋,汤宝平,王家序,等.基于图嵌入概率半监督判别分析的故障辨识 [J].机械工程学报,2017,53(9):92-100.

(LI Feng,TANG Bao-ping,WANG Jia-xu,et al.Fault identification method based on graph-implanted probability-based semi-supervised discriminant analysis [J].Journal of Mechanical Engineering,2017,53(9):92-100.)

[8]翟冬灵,王正群,徐春林.基于QR分解的正则化邻域保持嵌入算法 [J].计算机应用,2016,36(6):1624-1629.

(ZHAI Dong-ling,WANG Zheng-qun,XU Chun-lin.Regularized neighborhood preserving embedding algorithm based on QR decomposition [J].Journal of Computer Applications,2016,36(6):1624-1629.)

[9]廖剑,史贤俊,周绍磊,等.基于局部图嵌入加权罚SVM的模拟电路故障诊断方法 [J].电工技术学报,2016,31(4):28-35.

(LIAO Jian,SHI Xian-jun,ZHOU Shao-lei,et al.Analog circuit fault diagnosis based on local graph embedding weighted-penalty SVM [J].Transactions of China Electrotechnical Society,2016,31(4):28-35.)

[10]Wright J,Yang A Y,Ganesh A,et al.Robust face recognition via sparse representation [J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2008,31(2):210-227.

[11]Tropp J A,Gilbert A C.Signal recovery from random measurements via orthogonal matching pursuit [J].IEEE Transactions on Information Theory,2007,53(12):4655-4666.

[12]刘骏.人脸识别方法研究与实现 [D].成都:电子科技大学,2010.

(LIU Jun.Research and implementation of face re-cognition method [D].Chengdu:University of Electronic Science and Technology of China,2010.)

[13]唐赫.基于PCA和神经网络的人脸识别算法研究 [J].软件导刊,2013,12(6):33-34.

(TANG He.Research on face recognition algorithm based on PCA and neural network [J].Software Guide,2013,12(6):33-34.)

[14]牛连强,赵子天,张胜男.基于Gabor特征融合与LBP直方图的人脸表情特征提取方法 [J].沈阳工业大学学报,2016,38(1):63-68.

(NIU Lian-qiang,ZHAO Zi-tian,ZHANG Sheng-nan.Extraction method for facial expression features based on Gabor feature fusion and LBP histogram [J].Journal of Shenyang University of Technology,2016,38(1):63-68.)

Neighborhood preserving embedding algorithm based on multi-scale sparse neighbor graphs

YU Lu

(School of Information Engineering, Changchun University of Finance and Economics, Changchun 130122, China)

Abstract Aiming at the deficiencies for establishing neighbor graphs in the neighborhood preserving embedding (NPE) algorithm, a NPE algorithm based on multi-scale sparse neighbor graphs was proposed. For each face image to be recognized, an image pyramid with nine scales for the image was established in the proposed method. The sparse neighbor between the image of each scale in the pyramid and the corresponding scale of other image pyramid was calculated. With the anti-overlap characteristics of sparse representation algorithm, the defects of losing the two-dimensional structure of face images with the method through calculating the sample multi-scale neighbor, were overcome. The results show that the proposed algorithm has stronger robustness, and possesses better recognition effect than the traditional NPE algorithm.

Key words neighbor graph; neighborhood sample; dimension reduction algorithm; neighborhood preserving embedding (NPE); face recognition; sparse representation; image pyramid; multi-scale image

中图分类号 TP 391.9

文献标志码:A

文章编号:1000-1646(2019)02-0206-05

收稿日期 2017-04-25.

基金项目 吉林省科技发展计划资助项目(20160520089JH).

作者简介 于 露(1985-),女,吉林长春人,讲师,硕士,主要从事模式识别、图像处理等方面的研究.

*本文已于2018-05-14 17∶06在中国知网优先数字出版.

网络出版地址: http:∥kns.cnki.net/kcms/detail/21.1189.T.20180509.1737.008.html

doi:10.7688/j.issn.1000-1646.2019.02.17

(责任编辑:景 勇 英文审校:尹淑英)