伴随着人工智(zhì)能的发展和(hé)普(pǔ)及,人机交(jiāo)互在(zài)我们的生(shēng)活中也扮演着越来越(yuè)重要的(de)作(zuò)用。人们总是觉得机器冷冰冰的,不(bú)食人间烟火,而情绪情感(gǎn)识别则真(zhēn)正为人(rén)们搭建起了与他人沟通的桥梁。如(rú)果机器能(néng)识别面对对象(xiàng)当下的情绪,就能更好地做出反应。情绪识别也是(shì)人工智(zhì)能领域(yù)里的热门研究课题。
portant;" />
想必大家对假笑(xiào)男孩的(de)表情包都不陌(mò)生,那怎么样(yàng)才能识别出图片(piàn)中的小男孩(hái)的真实表(biǎo)情呢(ne)?相较于较为(wéi)常见的图片分类模型,我(wǒ)们今天来聊一聊一种基于(yú)AU(人脸运动单元(yuán))的情绪(xù)识别(bié)方法。
我们(men)一般将常见的表情分为(wéi)7种,即平(píng)静、惊讶、愤怒、悲伤、开心、恐(kǒng)惧、厌恶(恶心(xīn))。在美国心理学家Paul Ekman提出的面(miàn)部行(háng)为编码(mǎ)系统中,又将人们的各种情绪与许多的人(rén)脸运动单元(AU)进行关联。
portant;" />
这(zhè)里介绍的方法(fǎ)选(xuǎn)择了其(qí)中(zhōng)几组关联度较高的AU(0~5),作为情绪(xù)评判的标(biāo)注。其中,AU0表示抬起(qǐ)上(shàng)嘴唇和人中区域的(de)肌肉,AU1表(biǎo)示颔部下降,AU2表示嘴角拉伸,AU3表示(shì)眉毛压低并(bìng)聚拢,AU4表示(shì)嘴角(jiǎo)拉动(dòng)向(xiàng)下倾(qīng)斜,AU5表(biǎo)示抬起眉毛外角。
portant;" />
上图(tú)可以看到,这个(gè)男生不同(tóng)的情绪,对应各个AU的(de)数值(zhí)也各不相同(tóng)。而本(běn)方法也是利(lì)用(yòng)这6种(zhǒng)AU的数值(zhí)作为输入,对最终情(qíng)绪(xù)做一个准确的判断。具(jù)体模型如下图所见:
portant;" />
如图中所示,输入的6种AU的(de)数值经过(guò)一层(céng)隐含(hán)层,再经(jīng)过一层(céng)全(quán)链接(jiē),最后利(lì)用softmax作为输出(chū),选择(zé)一种情(qíng)绪标签作为最(zuì)终的(de)结果。当然,各(gè)个AU数值(zhí)的计算其实也(yě)是一个较为前沿(yán)的研究课(kè)题,当前也有许多的深度学习模型,比如(rú)DRML、EAC-Net,可以再后(hòu)续与(yǔ)大家分(fèn)享。
最后(hòu),我想,男(nán)孩的假笑应该会被(bèi)归于disgust吧(ba),你们觉得呢?