表情识别算法

① 人脸识别主板包含哪几项技术

是运用人脸识别支付系统进行支付，支付时面对POS机屏幕上的摄像头，系统会自动将消费者面部信息与个人账户相关联，使人们的生活更加便捷。

② 可鉴别的多特征联合稀疏表示人脸表情识别方法

基于稀疏表示的人脸表情识别系统研究

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2015）25-0137-03
人脸的表情包含了人体行为的情感信息和心理信息，这是人们在进行非语言的交流时所采取最有效的手段。人们可以根据表情来充分地将自己的思想以及情感表达出来，同时根据人脸表情来对对方内心世界和对方的态度来加以了解，所以说人脸的表情在日常生活当中扮演着极为重要的角色。表情能够将很多的语言以及声音不能够表达出来的信息给表达出来，其在医疗和语言学以及相关的服务行业中都在发挥着极为重要的作用。
1 人脸表情识别的技术现状
1.1 提取人脸表情特征
由于提取人脸表情特征采取的图像类型不一样，对此我们可以将其分成静态表情的图像特征进行提取以及序列表情的图像特征进行提取这两种。第一种提取的是表情静止时的特征，第二种提取的是表情在运动过程中的特征，对于第一种的提取方法一般为Gabor小波，主成份分析（PCA）以及线性的判断分析（LDA）等的方法；而针对与第二种的提取方法有特征点跟踪，查分图像法以及光流法等。
1）提取静态的表情特征的常用方法
PCA主要是用在抽取原始特征以及降维，这种方法运算的中心思想是把二维的图像转为一维向量，根据从大到小的排列顺序对特征值以及特征向量加以调整，并且通过K-L的变换投影获得正交基，对其加以取舍进而得到人脸的表情特征其子空间。其实际上识别表情的过程就是把测试的样本进行比较投影进表情特征的子空间里，之后再将其跟测试的样本加以比较判定出它的表情类别。Gabor小波这种方法是现在我们比较常用的一种表示特征的方法，它能够有效地将环境噪音加以清除，使提取的图像特征有效加强，主要是通过图像在不同方向不同尺度上的频率信息对图像的特征加以表明。
2）提取变动的表情特征常用的方法
对于序列图像特征加以提取的代表性方法就是光流法。这种方法在1981年被第一次提出，主要是根据对视频图像里的表情特征光流加以计算进而得到每一个特征点的运动情况，这就是表情特征。
第一种提取特征的方法它采集较方便，计算更快捷，但是不能够对更大时间和空间信息加以探知。而第二种提取特征的方法虽可以对运动的表情信息加以提取，进而使得到的识别效果较好，但这种方法其计算的数据量较庞大，且具有很高的重复率，实际的操作当中比较困难。因此从目前来看，提取表情特征应该朝着将各种提取方法相互融合来对信息加以特征提取。
1.2传统的人脸表情识别系统中存在的问题
对于人类表情识别的研究中可以依据人类对不同的表情加以区别上获得启发，但运用计算机的视觉技术准确地对人脸表情进行识别的系统，实际运用中还有很多难题。
1） 不容易建立起理想的人脸表情相关模型
因为人脸是比较柔的，所以把人的表情和情感进行分类，在此基础上再建立一个模型，把人类的表情特征以及情感信息再相对应这就显得十分的困难。
2）表情数据库不完善
现在很多研究的实验结果都是在各自研究团队里研发出来的表情数据库的基础上得到的，我们知道每一个表情库由于噪音或者是光照等环境方面的影响都各不相同，再加上每个表情库里的人脸图像在文化，种族当中都存在着比较大的区别，所以实验的结果应该多次加以重复验证，增加推广能力。
3）学科方法和技术有自身的局限性
尽管我们在对人脸识别的系统中研究工作正在逐步加深，得到了很大的进步，但因为很多的研究者都是自己展开工作，在新技术和新方法将优点充分发挥出来的同时也不可避免地有着自身的局限性，多种技术相互融合上面的工作开展得还比较慢。
2 提取改进LBP的人脸表情特征
局部二元模式（LBP）指的是一个能描述算子的有效图像纹理特征，根据存在于图像中的任意一点和它相邻那点的灰度值中发生的大小关系来判定图像中部分纹理空间构造，从这方面上来看，它有旋转和抗亮度变化的能力。
2.1 原始的LBP算子
LBP一开始先将图像中各个像素点之间的灰度值加以计算，将在各个像素点和跟她相邻的点存在于灰度值上的二值关系加以计算，根据计算后得出的二指关系根据相应规则来形成局部二值的模式，同时将多区域的直方图序列当做这个图像的一个二值模式。

图1 基本的LBP算子计算的过程
一个基本的LBP算子应该是上图1所示那样，将其定义成3*3的窗口，有8个邻域的像素点，把窗口中心点的灰度值对窗口内的像素点其灰度值执行二值化，再依据不同的像素点位置来加权求和，进而得到这个窗口LBP编码值。
2.2 改进的LBP算子
从上面我们可以知道原始的算法自身纹理描述力是很强的，但在特定的局域内，原始LBP算子只考虑到了存在于中心像素点跟邻域的像素点之间灰度值的差异，把中心像素点作用以及邻域像素点其灰度值之间的互相关系忽略掉了，因而造成在某些情况下把局部的结构特点信息有所忽略。如下图2就是某种特定的情况。图2 原始的LBP算子在特定情形中的编码
图2中所产生的11111111主要是对暗点以及会读平坦的区域进行检测，可以说是特征检测器。我们在此基础上，对原始的LBP算子进行改进，根据使一位二值编码增加的方式来加以扩展，提出了多重心化的二值模式也就是MLBP，具体的改进过程如图3所示。

图3 改进的LBP算子计算的过程（P=8、R=1）
由图3中获得的两个8位子编码将其当做独立的两 个MLBP的自编码，继而对所有模式直方图加以计算，根据这个直方图来加以分类或者是识别。LBP具体的算法公式如下：

在这当中，N，R分别表示的是临域点的个数和半径，gc表示的是像素点，gn表示的是它的临域点。根据这个改进的MLBP算子我们可以看出，它根据使一位二值的编码增加的形式，在将原始LBP算子的优势得到保持前提下，将中心像素点作用和邻域像素点二者间灰度值的关系又加以利用。跟原始的相比，改进的算子并没有时特征模式有所增加，而且还可以将原始的算子中没有考虑到的中心像素点和邻域像素点灰度值间关系产生的结构特点提取出来，让其鉴别能力得到提高。
3 人脸识别系统的设计
3.1 系统构成
该系统主要是被硬件平台以及软件开发的平台这两部分构成。硬件平台指的就是那些采集图像的设备和计算机系统，而软件开发的平台就是本文中所描述到的在上述所说的算法中改进开发出来的一种人脸识别的系统。
3.2 系统软件
系统软件的构造。系统软件可以划分成以下两个部分。首先是获取图像，当进入到主界面中时，点击打开图像或者是打开视频，系统初始化的硬件设备能够根据直接打开的静态表情图像或者是视频等，来对人脸表情图像进行获取并将图像显示出来，之后再对人脸开始进行检测和定位。其次，就是提取相应的表情特征并对其进行识别。
下面为了对该系统在进行识别表情时的效果进行验证，本文进行了几组对比实验。先将Gabor跟采样降维相结合的特征提取方式下得出的不同分类器效果加以比较，再将该系统下的分类跟其他的分类器效果进行比较。具体如下图4所示。

图4 不同的分类器下表情识别比较图
在图4中，横坐标1-7分别表示的是生气、厌恶、恐惧、高兴和瓶颈、伤心以及惊奇，数字8表示的是所有的表情。
结论：
根据图4我们可看出，在特征提取条件相同情况下，整体实验数据中稀疏表示明显比另两种分类型的性能要好，而且BP神经网络分类效果也非常良好，但是最近邻之间的分类器的精准度没有前两种表现得好。
该文中运用的这种提取特征方法的效果明显比Gabor跟采样降维相结合的方法效果要好。
上面进行的对比实验，充分验证了本文中的分类系统的优越感。下面跟文献中已经有的方案进行对比，具体如下图5所示。
[不同人脸表情识别方法＼&识别率＼&Gabor+弹性模板匹配[5]＼&80%＼&特征块PCA+最近邻分析器[8]＼&75.45%＼&本文方法＼&85.71%＼&]
图5 跟文献中含有的方案进行比较效果
根据图5所示，我们可以看出，跟其他文献中采用的方法来看，本文采用的方法在表情识别上有着明显的优势。具体的我们还可以从下图6的人脸表情识别界面中看到本文中设计的人脸识别系统具体应用情况。

图6 人脸表情识别的界面
3.3简析人脸识别算法
1）优点
这种算法将以前在迭代过程中的迭矩阵计算大大简化，而且在识别的速度上也得到了有效的提升，能跟随光照的变化进行有效的识别，对人脸进行识别的主要困难就是遮挡、单样本等这些问题，而稀疏表示在这些问题的前提下仍然能具备潜在的发展力，我们可以进一步对其加以研究，这也是现在研究的一个重点方向。
2） 缺点
在上面实验中我们发现其分类器表现出了良好的使用效果，但这种算法也存在着一些不足之处，由于数据量不断地增加，稀疏表示分类需要的时间也会随之而增加。此外，这种表示方法虽然在速度上明显优于其他，但是其产生的识别率并不是很高，也就是说不能准确地对表情进行有效识别。
4 展望人脸表情识别的系统
这种新型的对人脸表情加以识别的系统利于将人们的生活品质提高。当人们一旦从比较寒冷的地方或者是比较炎热的地方回到室内时，可以根据这个表情识别的系统快速地把人们面部表情与最佳温度中人脸表情相对比，进而让空调自动把室内的温度调转至最佳。此外，在医疗行业中，可以将表情识别运用到电子护士护理中来。尤其是对于那些重症病人，在对其进行治疗的过程中可以根据这个具有表情分析能力的机器人护士对病人实行实时的看管护理。除以上几点外，在对儿童实行教育时也可以将其应用其中，可以根据儿童在某种情形下所产生的表情以及行为进行具体分析和观察，有效挖掘他们潜在的气质和能力，引导我们更好地对儿童实行教育，促进儿童的健康成长。
5 结语
综上所述，对人脸表情加以识别是具有很大挑战的新兴课题，笔者主要对存在于人脸表情识别算法中的问题进行了简要的分析，并在此基础上提出了改进的算法进而提出了对人脸表情加以识别的系统。但从目前来看，我国关于人脸识别的系统研究当中还存在着一些问题，因此，对于我们来说将更加智能化的关于人脸表情识别的系统加以实现还是一个十分艰巨的任务，还需要我们不断的努力。
参考文献：
[1] 赵晓龙. 安防系统中的基于稀疏表示的人脸识别研究[D].西北大学，2014.
[2] 朱可. 基于稀疏表示的人脸表情识别[D].西北大学，2013.
[3] 万川. 基于动态序列图像的人脸表情识别系统理论与方法研究[D].吉林大学，2013.
[4] 欧阳琰. 面部表情识别方法的研究[D].华中科技大学，2013.
[5] 王哲伟. 基于稀疏表示残差融合的人脸表情识别[D].五邑大学，2011.
[6] 张慕凡. 基于稀疏表示的人脸识别的应用研究[D].南京邮电大学，2014.
[7] 赵晓. 基于稀疏表示的人脸识别方法研究[D].北京工业大学，2013.
[8] 何玲丽. 基于核稀疏表示的人脸识别方法研究[D].湖南大学，2014.

③ 用VC++6.0和OpenCV实现人脸表情识别难么对于新手要多久能完成

你说的是动态表情识别还是静态表情识别？如果是动态的，首先人脸表情的动态收集就够你喝一壶的了，别说表情识别了。
如果是静态的，只需要自己写一些函数，把图片收集到数据库，对表情的一些特征编写函数就行了。这样相对简单一些，但也需要大量的图片，这里需要的就是图形界面化的知识了。对于一个不会MFC的新手，也很难。如果每天认真钻研，静态的要1个月吧

④ 基于深度学习的微表情识别对本科生有难度吗

若是指，深度学习的微表情识别对本科生有难度吗？视个人能力而定
相对于微表情检测来说，微表情识别的难度要小一点。
微表情识别是指给定一个已经分割好的微表情片断，通过某种算法，识别该微表情的情绪种类（例如厌恶、悲伤、惊讶、愤怒、恐惧、快乐等）。如同三维动态表情识别一样，其处理的对象是视频片断，而不只是单幅图像。对其处理过程中，不仅要考虑空间上的模式，还要考虑时间上的模式。所以许多微表情识别的算法都考虑了时空模式。

⑤ matlab PCA算法 人脸表情识别 怎么完成下列步骤（没接触过matlab）（网上下的资料不知道怎么用）

（建议您还是先学习下matlab的用法。。否则即便这一步解决了后面还会有无穷的问题出现。）
从这几句提示里看不出具体如何Select。建议看一下CreateDatabase函数的输入参数，也许会有一些提示。

⑥ 腾讯人脸识别分几步

腾讯的人脸识别有三个步骤，分别是输入姓名和本人的身份证号，完成之后需要对人脸进行识别，在识别成功之后才可以进入应用或者游戏，而且腾讯官方还会不定期进行二次人脸识别，以防止他人冒用顶替本人进行登录，希望您合理使用腾讯的人脸识别技术。

⑦ 人脸识别是怎么组成的是怎么运行的

很多人坐高铁检票时，会在检票机上刷脸来认证自己的身份，亦或者是去超市买生活日用品结账时，不想排长长的队伍，最好的选择就是刷脸结账。这里提到的刷脸就运用到了华科云人脸识别面部识别技术，很多人知道这项技术的存在，却不知道如何实现的。面部识别系统，通常是由以下三个模块组成，且由华科云制造的人脸识别主板支撑运转。三个模块为：
1、面部检测
面部检测器是用来锁定画面中出现人的面部位置，如果有人的面部存在的话，就会返回含有这张面部信息的边界框位置。
2、面部对齐
面部对齐的作用是先确定图像中固定位置，然后进行面部图像的缩放和裁剪。这个过程是需要一个固定的面部特征检测仪器来寻找面部特征，通常是以2D对齐为主要形式，然后寻找最佳参考点来做仿射转换。
3、面部匹配
在这个环节中，需要把获取的面部信息与系统库里的面部信息进行比较，从而产生相似度的分数，该分数就是为了确保是否为同一人。
单单有技术是无法支撑整个系统的运转，这时就要提下华科云制造的人脸识别主板。这块主板作为除了技术外另一个核心点，是为了保证系统正常运转，并实现各种功能支撑。不得不说，华科云制造的硬件都是实打实的好用，就连他们解决出来的方案，也是比同行业的更好。

⑧ 杨国亮的学术成果

近三年在《计算机科学》、《计算机工程》、《北京科技大学学报》、《计算机应用》、国际会议ICNC’2006等期刊发表学术论文13篇，其中SCI检索1篇，EI检索3篇。
1．Yang Guo_Liang,Wang Zhi_Liang,Wang Guo_Jiang. Affective Computing Model Based on Emotional Psychology. Second International Conference, ICNC2006,Xi’an, China,2006,9, 251~260（SCI,EI,ISTP收录）
2．杨国亮,王志良等.基于改进MMI的HMM训练算法及其在面部表情识别中的应用, 北京科技大学学报，2007,4, Vol.29(4)（中文核心，EI收录）
3．杨国亮,王志良.图像代数特征在面部表情识别中的应用, 计算机工程,2006,32(2),(中文核心期刊，EI收录)186~188
4．杨国亮,王志良,牟世堂,解仑,刘冀伟.一种改进的光流算法,计算机工程,2006,32(15)(中文核心期刊，EI收录)187-188
5．杨国亮,王志良等.一种改进HMM训练算法及其在面部表情识别中的应用,计算机科学,2006.11，33(11)（中文核心期刊）200~203
6．杨国亮,王志良,王国江,陈锋军. 基于非刚体运动光流算法的面部表情识别, 计算机科学, 2007,3, Vol. 34(3)（中文核心期刊）
7．杨国亮,任金霞，王志良. 基于情绪心理学的情感建模研究. 计算机工程,2007，Vol.33(22)
8．杨国亮,王志良,任金霞.采用Adaboost算法进行面部表情识别，计算机应用，2005,4，（中文核心期刊）946~948
9．杨国亮,王志良,任金霞.一种基于遗传操作的聚类算法,计算机应用,2003,12（中文核心期刊）109~201
10．杨国亮,于仲安.基于改进光流算法和HMM的面部表情识别.微计算机信息,2008.1
11．杨国亮,王志良.面部表情识别研究进展,自动化技术与应用,2006,4,1~6
12．任金霞，杨国亮,王志良.基于Gabor变换和ADABOOST算法的面部表情识别,微计算机信息，2007.4（中文核心期刊）
13．王国江,王志良,杨国亮,王玉洁,陈锋军. 人工情感研究综述.计算机应用研究,（中文核心期刊）2006.11, 7～11

⑨ 我想用C++语言实现表情识别，有什么推荐的算法吗

一般不考虑智能识别以及表情量比较少的话，可以依次给表情编号，类似关键字触发，当用户键入特定编号，系统自动就自动开启执行编号查找，从而预输出表情，确认就正式输出。给你个提示，类似用switch，当用户输入编号符合预定的case，就输出一次表情，用户确认的时候再输出一次。第一输出可以用代码实现弹窗，但不发送。第二次输出直接输出到对话框或者直接发送。当然你可以不用switch，只是举个例子。实际设计算法，不是两三分钟就能写出来。只是谈谈我的想法，望采纳。

⑩ 关于表情识别系统，用C++实现

能说清楚一点吗，到底是个什么效果的系统？