李红丽， 马耀锋
(郑州工程技术学院 机电与车辆工程学院， 郑州 450044)
摘 要： 针对可见光和红外传感器具有不同感知特性的问题，提出了一种基于多传感器特征信息融合和混合核SVM的图像目标识别方法，方法包含多特征提取、主成分分析和混合核SVM分类三个部分.在特征提取中利用可见光和红外图像的互补性，分别提取同一场景可见光与红外图像的灰度共生矩阵以及灰度直方图统计特征，得到一组目标融合的特征量，进一步进行目标分类与识别；利用主成分分析法降低特征的维度，减少计算量；利用混合核SVM方法对目标特征进行分类识别.结果表明，在室内环境中对不同人群密度等级进行分类时，所提出方法的精度可达88.21%.
关 键 词： 红外传感器； 可见光传感器； 特征融合； 混合核SVM； 人群密度； 主成分分析； 灰度共生矩阵； 直方图统计
核学习是一种以核函数和统计学习理论为基础的机器学习方法[1-2]，该方法能将低维映射到高维，并能有效地避免维数灾难.核学习通常包括核函数的选择与构造、使用核函数构建分类器两个部分[3-4].
支持向量机[5](support vector machine，SVM)的本质为核方法，在解决非线性、小样本和高维模式识别问题中表现出了诸多优势[6-8]，然而，每一种核具有较大的差异，对应于不同的应用场合.目前，尚未出现完备的选择核函数的理论依据，因此，选择与设计适合给定问题核函数是核方法和SVM共同面临的问题.当数据样本存在多维数据不规则、含异构信息或高维空间分布不平坦等问题时，难以使用单一的核函数映射处理所有样本[9-10].
可见光和红外传感器具有不同的感知特性[11-13]，可见光传感器根据物体的反射率来成像，红外传感器则依据物体的辐射率或温度来成像.两者的空间分辨率、灰度差异、边缘、纹理以及像素间的相关性都不相同[14-16]，可见光图像具有更多的光谱信息和更高的空间分辨率.
针对上述问题，本文通过融合可见光和红外图像信息以得到更好的特征来提高分类精度，并提出了一种基于多传感器特征信息融合和混合核SVM的图像目标识别方法.首先，利用可见光和红外图像的互补性，分别提取同一场景可见光与红外图像的灰度共生矩阵[17]以及灰度直方图统计特征[18-19]，从而得到一组目标融合的特征量；然后使用主成分分析法降低特征的维度，减少计算量；最后，提出了一种混合核SVM[20-21]方法对目标特征进行分类识别.
灰度共生矩阵描述了图像灰度对出现的概率，反映的是图像灰度对变化幅度和偏移量等局部灰度信息.假设一副图像有p个不同的灰度值，则图像p×p大小的共生矩阵元素可表示为
(1)
式中：I(x，y)为像素点(x，y)处的灰度值；i和j为灰度值大小.本文使用灰度共生矩阵的4种不同特征参数来表示特征，分别为：
1) 惯性矩阵，其表达式为
(2)
该特征也称为对比度，表示图像亮度值的对比情况，也间接反映了图像的纹理和清晰度.
2) 角二阶矩阵，其表达式为
(3)
该特征反映了图像纹理的粗细程度和图像灰度值的分布情况，其值为各像素点灰度值的平方和.
3) 逆差矩阵，其表达式为
(4)
该特征反映了图像纹理的同质性，表示的是图像的局部平稳性.
4) 熵，其表达式为
(5)
该特征表示图像纹理的复杂程度，熵值越大表明像素值分布越分散.
图像的灰度直方图刻画了图像灰度级的分布情况，其通过统计图像中每种灰度值像素点的个数来表征图像的全局特征.红外和可见光图像均蕴含着大量的灰度信息，也具有丰富的纹理细节信息.红外和可见光图像及其对应的灰度直方图如图1所示.从图1中可以看出，不同传感器获取的图像具有不同的分布特点，凸显出不同的图像特征.
图1 红外和可见光图像及其对应的灰度直方图
Fig.1 Infrared and visible images and their corresponding gray histograms
为了更好地刻画图像的灰度直方图统计特征，本文分别计算了图像的均值、方差、峰度和倾斜度，即
(6)
(7)
(8)
(9)
式中：q(g)=Ng/N，g=0，1，…，L-1，为图像的灰度统计分布；Ng为灰度值为g的像素点个数；N为图像总像素点数.
获取到图像的灰度共生矩阵和灰度直方图统计特征后，使用串行融合的方式构建特征向量.假设不同像素维度和方向的灰度共生矩阵的特征向量为X1=(x11，x12，…，x1n1)，灰度直方图统计特征向量为X2=(x21，x22，…，x2n2)，则融合后的特征为X=[X1，X2]，特征的总维度为n1+n2，本文取值为1 000维.
为了降低特征的维度，本文采用PCA算法对原特征进行空间变换，将原来的特征投影到一个新的较低维度.特征的主成分为
其中，
为特征的均值，
为协方差矩阵.取协方差的前p个主成分后即可对提取的特征降维.
目前，由于不同核函数的非线性组合通常导致较高的时间、空间复杂度，无法满足实时应用，因此，本文使用线性组合的方式构建核函数，基于混合核SVM的分类算法流程如图2所示.通常核函数的线性组合又包括加权求和核、直接求和核以及加权多项式扩展核.同时考虑到具体的数据处理要求，决定了核函数的选取和使用不同的特征时，同一核函数表现出不同的性能，本文使用加权求和核构造混合核函数，其表达式为
(10)
式中：kp为核函数；mp为kp所对应的权重，各种核函数的权重总和为1.由文献[10]可知，式(10)满足Mercer条件，因此可以用于SVM.根据式(10)可知，通过调整权重值来获得不同性能的混合核函数，可以更加灵活地调节混合核的学习能力，提升分类性能.
图2 本文分类算法流程
Fig.2 Flow chart of proposed classification algorithm
由于多核学习多采用基本核函数，如表1所示的直方图交叉核函数、多项式核函数和径向基核函数等，因此，可以将多核学习问题转化为权重系数的求解问题.近年来，针对组合核优化的问题提出了诸多解决方法，如文献[12]中提出了使用一种凸优化的方法——半定规划(semi definite programming，SDP)求解该问题，SDP可以求解不同核函数的组合系数，具有较强的泛化能力；文献[13]中提出了基于序列最小化的方法处理中等规模的优化问题；文献[14]中使用半无限线性规划解决较复杂的多核学习问题；文献[15]中使用梯度下降法来解决多核学习问题，具有较高的效率和更快的收敛速度，该方法又称为单多核学习方法.
表1 核函数及其表达式
Tab.1 Kernel functions and their expressions
单多核学习的求解目标为
(11)
式中：wm为权重量；b为线性分类器的偏移值；F为惩罚因子；ξi为松弛变量；dm为权重系数；φi(x)为非线性映射核函数.将式(11)拉格朗日化后可以得到
(12)
式中：αi和βi为拉格朗日乘子；λ和ηm为权重的约束算子.对wi、b、ξi分别求导并令导数为零，可将其转化为
(13)
(14)
式中：J(∂)为优化目标；∂为权重系数.式(13)对偶形式为
(15)
即
使用梯度下降法优化该问题，得到最优解α*，其中梯度求解表达式为
(16)
不断更新dm，直至达到停止准则，终止该算法，得到最后多核分类器表达式为
(17)
用上文提出的特征提取、融合与分类方法对公共场所的人群密度进行分类，分别采集商场高峰期和平峰期的920对490×455像素的红外与可见光图片进行训练及测试.其中，包括360对训练图片和560对测试图片，并将人群密度分为低高两类.本文设置各特征权重相同均为1，直方图交叉核函数、多项式核函数和径向基核函数的权重分别为0.3、0.4、0.3，SVM的惩罚因子值为0.1.实验样本具体分布情况如表2所示.
表2 采集的样本分布
Tab.2 Distribution of collected sample
为了证明不同特征对人群密度分类的有效性，分别使用灰度共生矩阵和灰度直方图统计特征进行测试，测试结果如表3、4所示.由表3、4可以看出，在低密度人群分类时灰度共生矩阵的分类效果更优，而在对高密度人群进行分类时灰度直方图统计特征效果更好.融合两种特征和PCA降维后的分类效果如表5所示.根据表5可以看出，本文所提出的方法能有效提高分类精度.
表3 基于灰度共生矩阵的分类结果
Tab.3 Classification results based on gray co-occurrence matrix
表4 基于灰度直方图统计特征的分类结果
Tab.4 Classification results based on statistical characteristics of gray histograms
表5 本文方法分类结果
Tab.5 Classification results of proposed method
将本文算法分别与文献[12]提出的基于小波特征的方法和文献[19]提出的基于LBP特征的方法进行比较，结果如表6所示.从表6中可以看出，本文算法分类精度更高，提取出的特征相对较少，平均处理时间更短.不同算法对高、低密度人群的具体分类精度如图3所示，可以看出本文算法对高密度与低密度人群均具有更优的分类精度.本文算法检测结果如图4所示，从图4中可以看出，本文算法对各种密度人群都具备较高的检测精度.
表6 本文算法与其他算法的比较结果
Tab.6 Comparison results of proposed algorithm and other algorithms
图3 不同算法分类精度比较
Fig.3 Comparison in classification accuracy of different algorithms
图4 本文算法的检测示例
Fig.4 Detection examples of proposed method
由于可见光和红外传感器具有不同的感知特性，本文从特征提取和分类器训练两个方面提升目标识别的精度.首先结合可见光和红外传感器的优势，分别提取同一场景可见光与红外图像的灰度共生矩阵以及灰度直方图统计特征，并使用PCA算法融合两种特征，获得了更具判别能力的特征和更快的检测速度；然后提出了一种混合核SVM算法，加权融合径向基核函数、多项式核函数和直方图交叉核函数，以提高分类精度；最后将所提出的算法用于人群密度分类问题中，将人群密度分为高密度和低密度两类.实验结果表明，本文所提出的算法具有更高的分类精度以及更快的处理速度.
参考文献(References)：
[1] 胡海鹤，白廷柱，李玉鑑.基于可见光图像的红外图像纹理映射方法 [J].北京工业大学学报，2017，43(6)：865-872.
(HU Hai-he，BAI Yan-zhu，LI Yu-jian.Infrared image texture mapping method based on visible images [J].Journal of Beijing University of Technology，2017，43(6)：865-872.)
[2] 徐军，付天宇，杨健，等.采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准 [J].光学精密工程，2016，24(11)：2830-2840.
(XU Jun，FU Tian-yu，YANG Jian，et al.Infrared and visible image registration using saliency analysis and improved edge orientation histogram [J].Optics and Precision Engineering，2016，24(11)：2830-2840.)
[3] 郭少军，刘峰，奚晓粱.海面舰船红外与可见光图像配准 [J].红外技术，2016，38(5)：403-408.
(GUO Shao-jun，LIU Feng，XI Xiao-liang.Ship infrared and visible image registration [J].Infrared Technology，2016，38(5)：403-408.)
[4] 向天烛，高熔溶，闫利，等.一种顾及区域特征差异的热红外与可见光图像多尺度融合方法 [J].武汉大学学报(信息科学版)，2017，42(7)：911-917.
(XIANG Tian-zhu，GAO Rong-rong，YAN Li，et al.A fusion for regional differences of thermal infrared and visible light image multiscale method [J].Journal of Wuhan University(Information Science Edition)，2017，42(7)：911-917.)
[5] 李熙莹，黄秋筱.融合直方图高阶统计特征与GLCM特征的室内红外图像人群密度分类 [J].红外技术，2017，39(7)：626-631.
(LI Xi-ying，HUANG Qiu-xiao.Population density classification of indoor infrared images fusing histograms，higher-order statistical features and GLCM features [J].Infrared Technology，2017，39(7)：626-631.)
[6] 刘佳妮，金伟其，李力，等.自适应参考图像的可见光与热红外彩色图像融合算法 [J].光谱学与光谱分析，2016，36(12)：3907-3914.
(LIU Jia-ni，JIN Wei-qi，LI Li，et al.Fusion algorithms of visible and thermal infrared color images from adaptive reference images [J].Spectroscopy and Spectral Analysis，2016，36(12)：3907-3914.)
[7] 刘君，黄燕琪，熊邦书.融合核主成分分析和最小距离鉴别投影的人脸识别算法 [J].计算机工程，2016，42(4)：221-225.
(LIU Jun，HUANG Yan-qi，XIONG Bang-shu.A face recognition algorithm based on nuclear fusion of principal component analysis and discriminant projection minimum distance [J].Computer Engineering，2016，42(4)：221-225.)
[8] 张耿宁，王家宝，李阳，等.基于特征融合与核局部Fisher判别分析的行人重识别 [J].计算机应用，2016，36(9)：2597-2600.
(ZHANG Geng-ning，WANG Jia-bao，LI Yang，et al.Person re-identification based on feature fusion and kernel local Fisher discriminant analysis [J].Computer Applications，2016，36(9)：2597-2600.)
[9] 杨雪萍，杨洪耕，马晓阳，等.基于核独立分量分析的谐波责任划分 [J].电力系统及其自动化学报，2016，28(12)：109-114.
(YANG Xue-ping，YANG Hong-geng，MA Xiao-yang，et al.Division of harmonic responsibility based on kernel independent component analysis [J].Journal of Electric Power Systems and Automation，2016，28(12)：109-114.)
[10]姜晓庆，夏克文，林永良.使用二次特征选择及核融合的语音情感识别 [J].计算机工程与应用，2017，53(3)：7-11.
(JIANG Xiao-qing，XIA Ke-wen，LIN Yong-liang.Speech and emotional recognition using quadratic feature selection and nuclear fusion [J].Computer Engineering and Applications，2017，53(3)：7-11.)
[11]高加琼，魏霖静.基于最小二乘及分类向量机的空气调节器故障检测 [J].沈阳工业大学学报，2016，38(3)：326-330.
(GAO Jia-qiong，WEI Lin-jing.Fault detection of air conditioner equipment based on least squares and support vector machine [J].Journal of Shenyang University of Technology，2016，38(3)：326-330.)
[12]Armand R，Cherubini C，Tuduri J，et al.Rare earth ele-ments in french stream waters-revisiting the geochemical continental cycle using FOREGS dataset [J].Journal of Geochemical Exploration，2015，157：132-142.
[13]Yao C，Wu F，Chen H J，et al.Traffic sign recognition using HOG-SVM and grid search[C]//International Conference on Signal Processing.Hangzhou，China，2014：962-965.
[14]Han F，Shan Y，Cekander R，et al.A two-stage approach topeople and vehicle detection with hog-based SVM [J].Performance Metrics for Intelligent Systems，2006，23(3)：133-140.
[15]郭耸，顾国昌，蔡则苏，等.基于特征融合与决策树级联结构的多姿态人脸检测 [J].沈阳工业大学学报，2012，32(2)：203-208.
(GUO Song，GU Guo-chang，CAI Ze-su，et al.Multi pose face detection based on feature fusion and decision tree cascade structure [J].Journal of Shenyang University of Technology，2012，32(2)：203-208.)
[16]周炫余，刘娟，卢笑，等.一种联合文本和图像信息的行人检测方法 [J].电子学报，2017，45(1)：140-146.
(ZHOU Xuan-yu，LIU Juan，LU Xiao，et al.A pedestrian detection method based on joint text and image information [J].Chinese Journal of Electronics，2017，45(1)：140-146.)
[17]Wen H，Bi D，Ma S，et al.Variational retinex algorithm for infrared image enhancement with staircase effect suppression and detail enhancement [J].Acta Optica Sinica，2016，36(9)：905-911.
[18]Ma J，Chen C，Li C，et al.Infrared and visible image fusion via gradient transfer and total variation minimization [J].Information Fusion，2016，31(3)：100-109.
[19]郭贺飞，陆建峰，董忠汶.一种基于改进LBP特征的人脸识别 [J].现代电子技术，2015(4)：98-101.
(GUO He-fei，LU Jian-feng，DONG Zhong-wen.A face recognition based on improved LBP feature [J].Modern Electronics Technique，2015(4)：98-101.)
[20]薛丹，孙万蓉，李京京，等.一种基于SVM的改进车牌识别算法 [J].电子科技，2013，26(11)：22-25.
(XUE Dan，SUN Wan-rong，LI Jing-jing，et al.An improved license plate recognition algorithm based on SVM [J].Electronic Science and Technology，2013，26(11)：22-25.)
[21]Fan X，Xu Z，Zhang J，et al.Infrared dim and small targets detection method based on local energy center of sequential image [J].Mathematical Problems in Engineering，2017(1)：1-16.
LI Hong-li, MA Yao-feng
(School of Mechanical and Vehicular Engineering, Zhengzhou Institute of Technology, Zhengzhou 450044, China)
Abstract： Aiming at the different sensing characteristics of visible light and infrared sensors, an image target recognition method based on multi-sensor feature information fusion and hybrid kernel SVM was proposed. The proposed method included three parts as the multi-feature extraction, principal component analysis and hybrid kernel SVM classification. In the feature extraction process, with the complementarity of visible and infrared images, the gray co-occurrence matrix and the gray histogram statistics of visible and infrared images in the same scene were respectively extracted to obtain a set of target fusion feature values for further target classification and recognition. The principal component analysis was used to reduce the feature dimension and computational amount. The hybrid kernel SVM method was used to classify and identify the target features. The results show that when the different population density levels are classified in the indoor environment, the accuracy of proposed method can reach 88.21%.
Key words： infrared sensor; visible light sensor; fusion feature; hybrid kernel SVM; population density; principal component analysis; gray co-occurrence matrix; histogram statistics
中图分类号： TP 391
文献标志码：A
文章编号：1000-1646(2018)04-0441-06
收稿日期： 2017-09-30.
基金项目： 河南省科技厅科技攻关资助项目(172102210604)； 河南省高等学校重点研究资助项目(16B510008)； 中州大学青年创新基金资助项目(QNCXJJ2017K4).
作者简介： 李红丽(1981-)，女，河南周口人，讲师，硕士，主要从事图像信号处理及电子工程技术应用等方面的研究.
* 本文已于2018-06-22 15∶30在中国知网优先数字出版.
网络出版地址： http：∥kns.cnki.net/kcms/detail/21.1189.T.20180622.1008.036.html
doi：10.7688/j.issn.1000-1646.2018.04.15
(责任编辑：景 勇 英文审校：尹淑英)