云环境中考虑隐私保护的人脸图像识别*

侯小毛1,2a, 徐仁伯2b

(1. 湖南信息学院 电子信息学院, 长沙 410151; 2. 中南大学 a. 软件学院, b. 物理与电子学院, 长沙 410012)

摘 要:针对目前使用计算机进行人脸识别往往效率较差,且未考虑到隐私保护等问题,提出一种新的云环境中考虑隐私保护的人脸图像识别方法.对人脸图像进行简化处理以保护主要信息,并建立人脸图像主成分分析(PCA)数学模型,采用局部二值模式(LBP)方法获取人脸图像纹理特征,采用保局投影(LPP)方法选择人脸特征,并选取最常见的分数法对选择后的特征进行稳定性度量,引入深度网络法进行人脸图像的识别.结果表明,所提出的改进方法在保证人员隐私的基础上,具有较高的识别精度与识别效率.

关 键 词:云环境; 隐私保护; 人脸图像; 纹理特征; 分数法; 识别方法; PCA数学模型; LBP方法; 深度网络法

随着科学技术的发展,研究人员对隐私信息及隐私保护的概念不断进行演变及完善[1-2].近年来,随着云计算公司不断出现用户信息及文件隐私泄露事件,隐私安全问题得到了空前的重视[3].而人脸图像识别是近年来生物识别技术研究的热点,是一个具备广泛应用价值及挑战性的课题[4].如何在云环境中考虑隐私保护情况下对人脸图像进行识别,成为了该领域亟待解决的问题,受到广大学者的关注,也出现了很多好的方法[5].

文献[6]提出基于Gabor低秩恢复稀疏表示分类的人脸图像识别方法,该方法针对含有光照、姿态及遮挡等误差或者被噪声污染的人脸图像,用稀疏表示和Gabor特征字典,对测试样本图像的Gabor特征向量进行类关联重构,实现图像分类识别,该方法具有较高的识别效率,但其抗干扰性能较差;文献[7]提出基于主成分分析的人脸图像识别方法,首先分解人脸图像,并把分解后的各系数矩阵转变成能量特性,采用主成分分析识别算法进行人脸图像识别,但是该方法识别效率不高;文献[8]提出基于特征融合的人脸图像识别方法,该方法采用局部二值形式获取特征向量,通过PCA方法进行融合,实现人脸图像识别,但是该方法识别时间较长,不适合大范围使用.

针对上述问题,本文提出了一种云环境下人脸图像识别方法.首先建立人脸图像PCA数学模型,采用LBP方法提取选择人脸图像纹理特征,其次运用分数法度量所选择的特征稳定性,最后基于深度网络法进行人脸图像的识别.实验结果表明,本文提出的识别方法具有较高的识别精确度和效率.

1 隐私保护下人脸图像PCA数学模型建立及特征提取

1.1 隐私保护下人脸图像PCA数学模型的建立

在实际的人脸图像识别过程中,考虑隐私保护的约束,需要解决的问题全是由多个有关变量构成的,为了降低对人脸图像进行处理时的复杂度,需要进行简化处理,建立人脸图像PCA数学模型.假设有p个变量(x1x2,…,xp)和n个样本,样本矩阵为

(1)

式中,xnp为矩阵X中第n个样本中的第p个变量.

PCA就是将原先的p个样本变量变成新的p个变量,即

(2)

式(2)可简化为

Fz=αz1x1+αz2x2+…+αzpxp

(z=1,2,…,p)

(3)

式中:F1F2,…,Fp为主分量;α为主成分系数.

建立的人脸图像PCA数学模型需要满足以下条件:

1) 各变量之间互不相关;

上述人脸图像PCA数学模型表达式为

F(xy)=XY

(4)

式中:为主成分的系数矩阵.

1.2 隐私保护下人脸图像特征的提取

在提取人脸图像特征时,为了保护隐私,主要以人脸图像纹理特征为主,采用LBP方法进行人脸图像纹理特征的获取,增加隐私保护性能.首先确定识别区域的梯度,而人脸图像梯度包括两个方向,分别为x方向和y方向,对于点A(ij)上的梯度,其计算表达式为

xij=β1(Aij+1-Aij-1)+β2

(5)

yij=β1(Ai+1,j-Ai-1,j)+β2

(6)

式中:Aij为对应在人脸图像坐标(ij)处的灰度值;xijyij为对应于点A(ij)在x方向和y方向上的梯度;β1为半面约束参数(总范围为0~1),0<β1≤0.5,超过一半区域失效,则自动放弃计算;β2为经验约束参数,120<β2<130,评价经验确定范围,一般不超过200.

而区域梯度同样包含xy两个方向,对应点A(ij)上区域梯度的计算公式为

xijw

(7)

yijw

(8)

式中,xijwyijw分别为以点A(ij)为中心,半径R为1,周围邻域为8的方向和y方向的区域梯度值.在此基础上,采用LBP方法进行人脸图像纹理特征的获取,其表达式为

(9)

式中:gc为对应于局部邻域中心点处的灰度值;gp(p′=0,1,…,p-1)为以gc为中心,半径为R(R=1)的灰度值,选取9个像素点,即gc邻域范围为8个点的灰度值.s(x*)需要满足的约束条件为

(10)

2 人脸图像特征选取稳定性分析及识别方法

2.1 特征选择及人脸图像隐私保护特征选取

在特征选取的基础上,采用保局投影LPP方法对特征进行选择,其基本思路为在维持样本数据间局部邻域结构信息的同时减少样本集的维数,需要选择保持数据集局部拓扑结构特征的选择算法.

首先定义人脸图像间的拓扑结构矩阵Q=[Qij]M×M,其约束条件为

(11)

式中:yi为人脸图像中第i个主成分的系数;yj为人脸图像中第j个主成分的系数.

在特征选择的过程中,如果一个被选中的特征子集所产生的人脸图像样本间拓扑结构越接近Q,那么就认定所选择的特征子集越好.对于m维已选特征子集S={t1t2,…,tm},当选择第m+1维特征时,则有

(12)

式中:JFisher(fr)为第r列特征的类间和类内方差的比值;d(S∪{r})(ij)为已选特征子集及欲加入的第r维特征在样本ij间的距离.选择的人脸图像特征表达式为

(13)

式中,x0y0为两个随机变量.在特征选择中,待选择的fi与类标c的互信息则为I(fic),若选择m维就要选择最大的前m个.

2.2 特征选取稳定性的度量

为了增加云计算中隐私保护的性能,需要对选择结果的稳定性进行度量,而依据稳定性的定义,度量特征选择结果的稳定性,就是衡量算法选出的最优特征子集间的相似性.因此,当特征选择结果的表示方法不一样时,稳定性度量方法也不同,选取最常见的分数法对选择后的特征进行稳定性度量.假设原始特征空间有K维特征f1f2,…,fK,那么通过分数法获取选择的人脸图像特征稳定性度量表达式为

(14)

式中:ee′为同一特征算法在图像集ZZ′上获得的分数法结果;μeμeee′中分数值的均值.L(ee′)∈[-1,1],则有关系数绝对值越大,ee′越相关,那么选取的特征越稳定,隐私保护效果越好.当选择的人脸图像特征稳定性与特征选择的频数相关时,隐私保护性能最佳,则人脸图像隐私保护稳定性度量公式可转变为

(15)

式中:T为特征选择算法;R′为被选中的特征;|Z′|为至少被选中过一次的全部特征集合;q为特征选择进行的次数;freq(R′)为全部被选中的特征总和.由此可以看出,假如特征在多次选择过程中被频繁地选择,且这种特征越多,选择的人脸图像特征越稳定,在云计算中隐私保护效果会越好.

2.3 改进隐私保护下人脸图像识别方法的实现

在确定所选择特征稳定性的基础上,对云计算中考虑隐私保护的人脸图像识别方法进行改进,提出了基于深度网络的人脸图像识别方法,其基本思路为:首先确定识别人脸图像的几何形状,并确定特征最优值;其次获取人脸图像特征均值;最后将均值与深度网络相结合实现对云计算中考虑隐私保护的人脸图像识别.

假设人脸几何特征模型由34个顶点、51个三角形组成,分别设置为vt,则获得最佳隐私保护的人脸图像集为

(16)

式中:Zi*为第i*个人的一组人脸图像,其中,i*=1,2,…,m′;ri*为标准人脸图像n′个表情不同时每个人脸图像特征,其中,j*=1,2,…,n′.由于图像背景和人物外表等都是不稳定的特征,因此需要对不同的人脸图像进行拟合,建立一对一的对应关系,提高隐私保护性能.通过仿射三角形就能把任意一个有表情的人脸图像里的纹理特征对应到参考人脸的纹理特征上,这种变换可以表示为

(17)

式中:a1为缩放操作;a2为旋转操作;a3为平移操作;a4为剪切操作.由此可得其几何形状,即

(18)

式中:xN维输入向量;si为第i′个基函数的中心,与x具备一样维数的向量;σi为第i′个感知的变量,主要决定该基函数围绕中心点的宽度;l为感知单元的个数为向量x-si的范数,通常表示xsi之间的距离;Ri(x)在si处有一个唯一的最大值,随着的增大,Ri(x)迅速衰减到零.对于给定的输入xRN,只有一小部分靠近x的中心被激活.以此为基础,获得人脸图像特征均值表达式为

(19)

式中:ci0为第i0样本的均值;Mi0为第i0样本数;Ti0为第i0样本子集.在确定人脸图像特征均值的基础上,结合深度网络法进行人脸图像识别,其表达式为

(20)

式中:为人脸图像在隐含层第k个子层中的单元;Wk为人脸图像第k个卷积核;v为人脸图像在隐含层进行卷积处理的速度;bk为人脸图像在隐含层的第k个子层的偏置.

综上所述,通过采用保局投影LPP方法对特征进行选择,并选用最常见的分数法对选择后的特征进行稳定性度量,引入深度网络法,可实现在云计算中考虑隐私保护的人脸图像识别方法的改进.

3 实验结果分析

为了验证改进的人脸图像识别方法在隐私保护约束下的有效性及可行性,需要进行实验对比分析.实验数据集采用YALE B数据库和CMU PIE数据库,所用方法为改进识别方法、基于特征融合的人脸图像识别方法和基于主成分分析法.实验将一幅测试图像与库中已注册的每幅参考图像作对比进行分析.

3.1 实验数据

采用YALE B数据库和CMU PIE数据库作为实验数据集,在两个数据集上比较各种方法的人脸识别率.将所有数据集按照光照的角度划分为5个子集(1平光、2侧光、3逆光、4顶光、5底光),YALE B数据库和CMU PIE数据库的人脸部分图像分别如图1、2所示.图1中,第一行前4个图为平光,后三个图为底光,第二行前三个图为顶光,第四和第五个图为侧光,最后两个图为逆光.图2中光照顺序依次是平光、逆光、底光和侧光.

图1 部分YALE B数据库人脸模糊图像
Fig.1 Fuzzy face images in partial YALE B database

图2 部分CMU PIE数据库人脸图像
Fig.2 Face images in partial CMU PIE database

3.2 结果分析

在第一组实验中,以YALE B数据库信息为主进行分析,在这5个子集上,采用每一张人脸图像当作测试图像去匹配10张标准的人脸图像,并把10张标准的人脸图像作为已注册的参考人脸图像,识别结果如表1所示.

表1 人脸图像识别结果
Tab.1 Identification results of face images%

光照特征融合方法主成分分析法改进方法平光100.00100.00100.00侧光98.34100.00100.00逆光83.6598.76100.00顶光78.2990.5495.86底光56.4585.5693.68平均83.3594.9297.91

由表1可知,采用特征融合方法时,其人脸图像识别率约为83.35%,且随着光照角度的变化其识别率下降;采用主成分分析法时,其人脸图像识别率约为94.92%,且随着光照角度的变化,识别率不稳定;采用改进识别方法时,其人脸识别率约为97.91%,虽然其识别率随着光照角度的变化发生变化,但其识别率相比特征融合方法提高了约14.56%,相比主成分分析法识别率提高了约2.99%,具有一定的优势.

由于CMU PIE数据库中每个人对应的不同光照图像比较少,所以不能依据光照角度来分组进行实验,需要将标准的人脸图像作为参考人脸图像.实验二将不一样光照条件下的人脸图像当作参考人脸图像,并将其平均值当作最终的识别结果,人脸识别率如表2所示.

表2 不同参考人脸图像下的人脸识别率
Tab.2 Identification rates of face images underdifferent reference face images%

参考人脸图像改进方法特征融合方法主成分分析法标准人脸图像96.2489.5485.46平均光照下的人脸图像92.4584.7580.46

在CMU PIE数据库上,分别采用改进方法、特征融合方法、主成分分析法进行人脸图像识别,采用每人两幅人脸图像当作训练集时,改进方法的识别率约为92.45%;特征融合方法的识别率约为84.75%;主成分分析法的识别率约为80.46%.改进方法相比特征融合方法、主成分分析法识别率分别提高了约7.7%和11.99%,具有一定的实用性.

为了进一步验证改进方法在人脸图像识别方面的有效性,对其识别准确度方面进行对比实验验证,结果如图3所示.

图3 不同方法下人脸图像识别准确度对比
Fig.3 Comparison in identification accuracy offace images with different methods

由图3可知,当需要识别的人脸图像个数一定时,采用特征融合方法时的识别准确度约为73.43%,且存在多处波动,其稳定性较差,不适合长时间、大范围使用;采用主成分分析法时,其识别准确度约为75.43%,虽然无太大波动,但随着人脸图像个数的增加,识别准确度逐渐下降;采用改进方法时,其识别准确度约为94.32%,虽然在数据量为300~400处出现了波动,但整体相比特征融合方法提高了约20.89%,相比主成分分析法识别准确度提高了约18.89%,由此可知,改进方法具有一定的优势.对两种不同算法的耗时进行对比,结果如图4所示,本文方法在任务数增加的情况下,所用时间也大幅低于传统的主成分分析法,优势明显.

4 结 论

本文提出一种新型效率高且准确度高的人脸图像识别方法.首先对图像进行简化处理,建立人脸图像PCA数学模型,采用LBP方法提取人脸图像纹理特征;其次度量特征的稳定性,引入深度网络法识别人脸图像.实验结果表明,改进的识别方法具有较高的人脸识别率,且识别耗时较短.

图4 不同方法的耗时对比
Fig.4 Comparison in time-consumingwith different methods

参考文献(References):

[1] Ren C X,Dai D Q,Li X X,et al.Band-reweighed Gabor kernel embedding for face image representation and recognition [J].IEEE Transactions on Image Processing,2014,23(2):725-740.

[2] Xu Y,Li X,Yang J,et al.Integrate the original face image and its mirror image for face recognition [J].Neurocomputing,2014,131(7):191-199.

[3] Shi J,Qi C.From local geometry to global structure:learning latent subspace for low-resolution face image recognition [J].IEEE Signal Processing Letters,2015,22(5):554-558.

[4] 刘中华,姚楠,刘文红.基于自适应特征选择的人脸图像识别算法 [J].上海电机学院学报,2014,17(4):224-228.

(LIU Zhong-hua,YAO Nan,LIU Wen-hong.Face recognition based on adaptive feature selection [J].Journal of Shanghai Dianji University,2014,17(4):224-228.)

[5] 曾爱林.基于改进的格拉斯曼流形的模糊人脸图像识别 [J].现代电子技术,2015,38(22):34-36.

(ZENG Ai-lin.Fuzzy face image recognition algorithm based on improved Grassmannian [J].Modern Electronics Technique,2015,38(22):34-36.)

[6] 杜海顺,张旭东,金勇,等.基于Gabor低秩恢复稀疏表示分类的人脸图像识别方法 [J].电子学报,2014,42(12):2386-2393.

(DU Hai-shun,ZHANG Xu-dong,JIN Yong,et al.Face image recognition method via Gabor low-rank recovery sparse representation-based classification [J].Acta Electronica Sinica,2014,42(12):2386-2393.)

[7] 谢佩,吴小俊.分块多线性主成分分析及其在人脸识别中的应用研究 [J].计算机科学,2015,42(3):274-279.

(XIE Pei,WU Xiao-jun.Modular multilinear principal component analysis and application in face recognition [J].Computer Science,2015,42(3):274-279.)

[8] 梅蓉.基于特征融合的人脸图像识别方法研究 [J].河南科技学院学报(自然科学版),2014,42(4):70-74.

(MEI Rong.Study of face recognition method based on feature fusion [J].Journal of Henan Institute of Science and Technology (Natural Sciences Edition),2014,42(4):70-74.)

Face image recognition based on privacy protection in cloud environment

HOU Xiao-mao1,2a, XU Ren-bo2b

(1. School of Electronic Information, Hunan Institute of Information Technology, Changsha 410151, China; 2a. School of Software, 2b. School of Physical Science and Electronics, Central South University, Changsha 410012, China)

Abstract:Aiming at the problem that when the computer is used for the face recognition at present, the efficiency is usually poor and the privacy protection is not considered, a new face image recognition method with considering the privacy protection in the cloud environment was proposed. The simplifying treatment for the face image was performed to protect the main information, and the principal component analysis (PCA) mathematical model for the face image was established. In addition, the local binary pattern (LBP) method was used to get the texture features of face image, and the locality preserving projection (LPP) method was adopted for the feature selection of face image. Through selecting the most common fraction method, the stability measurement of feature after the selection was conducted, and the deep network method was introduced to perform the identification of face image. The results show that the proposed method has higher recognition accuracy and recognition efficiency on the basis of ensuring the personnel privacy.

Key words:cloud environment; privacy protection; face image; texture feature; fraction method; identification method; PCA mathematical model; LBP method; deep network method

收稿日期:2016-09-12.

基金项目:湖南省教育科学规划课题基金资助项目(XJK015CXX005); 湖南省教育厅科学研究计划项目(13C652).

作者简介:侯小毛(1975-),男,河南济源人,副教授,硕士,主要从事计算机技术与图像处理等方面的研究.

* 本文已于2018-02-26 13∶40在中国知网优先数字出版. 网络出版地址: http:∥kns.cnki.net/kcms/detail/21.1189.T.20180226.0919.034.html

doi:10.7688/j.issn.1000-1646.2018.02.15

中图分类号:TP 391.4

文献标志码:A

文章编号:1000-1646(2018)02-0203-05

(责任编辑:钟 媛 英文审校:尹淑英)