一种方向自适应的多姿态点云人脸识别方法及系统-j9九游会真人

1.本发明属于人脸识别技术领域，尤其涉及一种方向自适应的多姿态点云人脸识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.在没有限制的情境下，三维点云人脸识别的准确度和鲁棒性仍然受到各种因素的影响，例如遮挡、姿态和面部表情的变化，特别是在多姿态点云人脸的识别任务中，由于训练集中正面和多姿态人脸的比例不平衡，以及姿态变化过程中可能会丢失大量特征点，识别准确度会急剧下降；考虑到姿态变化对于点云人脸识别结果的影响，学习具有几何不变性的深度特征以应对多姿态变化，仍然是一项具有挑战性的任务。
4.基于rgb图像作为输入数据的方法，一般通过生成对抗网络将侧面人脸生成正面人脸来完成人脸识别任务。tp-gan算法作为生成对抗网络生成高质量的正面人脸图像的代表算法，利用生成模型和判别模型的竞争机制来生成人脸图像，但由于基于生成对抗网络的正面人脸生成方法需要学习大量参数，使得模型在使用过程中会消耗较高的计算资源；基于三维人脸数据的方法，一般通过拟合3dmm作为先验知识来将侧面人脸生成正面人脸，例如姿态不变模型pim，该模型包含人脸正面化子网络和分类子网络两个模块，多姿态人脸的正面化是利用3d可变模型作为先验知识通过生成对抗模型来实现正面人脸的生成；一些算法致力于将多姿态人脸识别任务视为多任务学习任务(如mtl)，需要自适应地为不同任务进行学习，同样存在严重的计算资源消耗问题。
5.因此，在上述方法中，现有多姿态人脸识别算法存在两个重要的问题：首先，通过生成对抗网络学习到的侧面人脸到正面人脸的关系，使两个人脸在像素级别上相近，并不是直接生成用于人脸分类的人脸特征；其次，基于生成对抗网络以及多任务学习的多姿态人脸识别方法会有较大的计算资源开销，无法应用于计算资源有限的设备上。


技术实现要素：

6.为克服上述现有技术的不足，本发明提供了一种方向自适应的多姿态点云人脸识别方法及系统，从建立特征层面上侧面人脸和正面人脸的映射关系出发，基于近似正面人脸特征进行识别，提高多姿态人脸的识别能力和鲁棒性。
7.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
8.本发明第一方面提供了一种方向自适应的多姿态点云人脸识别方法。
9.一种方向自适应的多姿态点云人脸识别方法，包括：
10.基于改进后的lightcnn网络，从待识别的点云人脸中，提取多姿态特征；
11.通过待识别的点云人脸中面部关键点的位置，估计在不同旋转轴下人脸姿态的旋转角度；
12.使用在不同旋转轴下人脸姿态的旋转角度，作为控制深度残差恒等映射模块的旋转系数，将多姿态特征映射到近似正面人脸特征；
13.利用近似正面人脸特征，进行人脸识别，得到识别结果。
14.进一步的，所述待识别的点云人脸，在输入到改进后的lightcnn网络前，进行通道预处理，合成三通道图像；
15.其中,第一通道是通过gridfit算法将点云拟合成z(x,y)的曲面；第二通道和第三通道的数据是基于点云计算得到的曲面法向量在球面坐标系下的方位角和俯仰角。
16.进一步的，所述改进后的lightcnn网络，是将c3模块引入lightcnn模型当中，并在c3模块的基础上选择适用于三维合成图像的卷积核大小。
17.进一步的，所述估计在不同旋转轴下人脸姿态的旋转角度，具体为：
18.通过三维相机采集设备，采集待识别的点云人脸，利用关键点的检测功能，获得面部关键点的空间坐标，通过空间上面部关键点的位置，计算基本还原到正面人脸需要的不同旋转轴旋转角度。
19.进一步的，所述深度残差恒等映射模块，由激活层和全连接层组成，深度残差恒等映射模块的输入为提取的多姿态特征；
20.所述激活层，用于根据旋转系数，判断是否需要进行旋转还原到正面人脸；
21.所述全连接层，用于将多姿态特征映射到近似正面人脸特征。
22.进一步的，所述深度残差恒等映射模块，在中心损失函数的基础上增加姿态损失函数，用于优化所述深度残差恒等映射模块得到的近似正面人脸特征与正面人脸特征之间的距离；
23.通过中心损失函数，缩小类内的距离，通过姿态损失函数，扩大类间距离。
24.进一步的，还包括采用3dmm技术进行点云人脸的生成，并计算弯曲能量来融合具有最大刚性差异的人脸的方法，对生成的点云人脸进行进一步的优化，从而构建训练数据集。
25.本发明第二方面提供了一种方向自适应的多姿态点云人脸识别系统。
26.一种方向自适应的多姿态点云人脸识别系统，包括特征提取模块、角度估计模块、特征映射模块和人脸识别模块：
27.特征提取模块，被配置为：基于改进后的lightcnn网络，从待识别的点云人脸中，提取多姿态特征；
28.角度估计模块，被配置为：通过待识别的点云人脸中面部关键点的位置，估计在不同旋转轴下人脸姿态的旋转角度；
29.特征映射模块，被配置为：使用在不同旋转轴下人脸姿态的旋转角度，作为控制深度残差恒等映射模块的旋转系数，将多姿态特征映射到近似正面人脸特征；
30.人脸识别模块，被配置为：利用近似正面人脸特征，进行人脸识别，得到识别结果。
31.本发明第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的一种方向自适应的多姿态点云人脸识别方法中的步骤。
32.本发明第四方面提供了电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的一种方向
自适应的多姿态点云人脸识别方法中的步骤。
33.以上一个或多个技术方案存在以下有益效果：
34.本发明针对多姿态三维点云人脸提出了方向自适应的深度残差恒等映射模块(direction-adaptive deep residual equivariant mapping module,da-rem)，可以将多姿态人脸在特征维度上映射到正面人脸，在一定程度上解决了多姿态人脸识别困难的问题。
35.本发明在中心损失函数的基础上提出姿态损失函数(pose loss)，结合交叉熵损失函数，通过减少侧面人脸映射到正面人脸的距离和扩大不同类别间映射人脸的距离的问题，提高模型对多姿态人脸的识别能力和鲁棒性。
36.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
37.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
38.图1为第一个实施例的方法流程图。
39.图2为第一个实施例基于lightcnn的改进结构模型图。
40.图3为第一个实施例方向自适应的深度残差恒等映射模块结构图。
41.图4为第一个实施例人脸生成图。
42.图5为第一个实施例实验中超参数与准确率关系图。
具体实施方式
43.应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
44.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
45.在多姿态的低质量点云人脸数据集上，学习具有几何不变性的深度特征是解决多姿态点云人脸识别问题的关键。针对现有三维点云人脸识别算法不能应对姿态变化对人脸识别准确率和稳健性影响的问题，本发明设计了一个轻量高效的多姿态点云人脸识别方案，提出了方向自适应的深度残差恒等映射模块和姿态损失函数的点云人脸识别算法；首先，通过以lightcnn为基础的主干网络进行深度特征的提取，将人脸的角度估计作为旋转系数来控制主干网络提取到的特征输入到深度残差恒等映射模块，进行多姿态人脸特征到正面人脸特征的映射；其次，通过姿态损失函数的设计来减少侧面人脸映射到正面人脸的距离，并扩大不同类别间映射人脸的距离，提高模型对多姿态人脸的识别能力和鲁棒性。此外，本发明在3dmm基础上进行优化生成了包含1万个身份的多姿态三维人脸数据集，为多姿态人脸识别模型的训练提供数据；在开源数据集bosphorus和lock3dface数据集上的实验
结果表明，与当前的主流算法相比该算法在低质量的多姿态三维点云人脸识别任务中具有更好的识别效果。
46.实施例一
47.在一个或多个实施方式中，公开了一种方向自适应的多姿态点云人脸识别方法，如图1所示，包括如下步骤：
48.步骤s1：基于改进后的lightcnn网络，从待识别的点云人脸中，提取多姿态特征。
49.通过kinect等高精度相机获取待识别的点云人脸，在输入到改进后的lightcnn网络前，进行通道预处理，合成三通道图像；
50.其中,第一通道是通过gridfit算法将点云拟合成z(x,y)的曲面；第二通道和第三通道的数据是基于点云计算得到的曲面法向量在球面坐标系下的方位角和俯仰角。
51.改进后的lightcnn网络，是在lightcnn网络的基础上针对三维人脸的特征提取，将部分残差块更换成更适合三维合成人脸图像特征提取的kc3模块。
52.具体的，lightcnn网络是针对二维人脸识别问题而设计的，可以用来处理在小范围内有显著纹理变化的图像，而三维人脸表面通常比较平滑，卷积核更大的滤波器更适合三维人脸类型数据特征的提取。为此，如图1所示的特征提取部分，将lightcnn使用的两个mfm残差块，更换为使用更大卷积核的kc3块；其实，是将c3模块引入lightcnn模型当中，并在c3模块的基础上选择适用于三维合成图像的卷积核大小，为了和原c3模块进行区分，以kc3表示经过处理后的c3模块。如图1所示，mfm(max-feature-map最大特征映射)模块通过竞争关系来实现，不仅可以分离噪声信号和信息信号，还可以在两个特征图之间起到特征选择的作用；kc3块用于提取人脸三维特征信息；原始mfm残差块的卷积核大小为7
×
7,padding为3，步长为1，通过替换lightcnn原始残差块的卷积核大小，从三维人脸合成图像中提取关键点信息更加丰富的特征信息。
53.图2是改进后的lightcnn网络中mfm模块和kc3模块的具体结构图，如图2所示，改进后的lightcnn网络，以一个3
×
128
×
128的三通道图像为输入；然后，通过四个block提取特征，每个块之间有一个mfm和池化层对特征尺寸进行更改。block1包含1个kc3模块，输出特征通道为48。block2包含两个kc3模块，输出通道为96。block3包含三个mfm残差模块，即mfmblock，输出通道为192。blcok4包含四个mfm残差模块，即mfmblock，输出通道为128。每个块的特征大小分别为48
×
64
×
64、96
×
32
×
32、192
×
16
×
16和128
×
16
×
16，最后一个全连接层(fc)提取特征。
54.步骤s2：通过待识别的点云人脸中面部关键点的位置，估计在不同旋转轴下人脸姿态的旋转角度。
55.由于三维相机采集设备通常包含关键点的检测功能，可以获得面部关键点的空间坐标，所以，本发明构建角度估计模块，通过空间上人脸特征点的位置，计算得到人脸的姿态估计，即基本还原到正面人脸需要的不同旋转轴旋转角度，用θ
x
,θy,θz分别表示x轴、y轴和z轴下的旋转角度。
56.步骤s3：使用在不同旋转轴下人脸姿态的旋转角度，作为控制深度残差恒等映射模块的旋转系数，将多姿态特征映射到近似正面人脸特征。
57.利用特征恒等映射的思想，将卷积神经网络的特征提取过程可以看作是一个将图像x∈x映射到向量的函数；如果输入的图像经过变换g可以用的特征映射进行
表示，则是g的等变；也就是说，存在一个映射mg可以实现恒等映射，用公式表示为:
[0058][0059]
现有技术中，仅考虑了偏航旋转姿态的人脸识别问题，认为绕单一旋转轴得到的人脸图像，在预处理时能够部分消除姿态变化带来的影响，如翻滚角的旋转可以基本还原到正面人脸。但在实际应用当中，人脸的变化会在多个坐标轴上同时发生旋转，在预处理环节无法完全消除姿态变化带来的影响；为了能自适应的学习不同角度人脸的姿态变化映射关系，本发明提出了深度残差恒等映射模块。
[0060]
图3展示了方向自适应的深度残差恒等映射模块的基本原理。深度残差恒等映射模块由三组激活层(即m
x
、my、my)和全连接层组成，全连接层通过线性变换和权重学习，对输入特征进行更高级的组合和抽象，生成更具有区分度的特征表示，通过激活层和全连接层的组合，可以逐渐学习到更复杂、更抽象的特征表示，从而提高对输入数据的表达能力和模式识别能力。该模块的输入为主干网络(本实施例中，为改进后的lightcnn网络)输出的最后一层特征，即提取的多姿态特征，并且由角度估计模块对人脸姿态在不同旋转轴下的角度进行非线性映射，当人脸旋转角度越小时，阈值越小，来控制特征输入到深度残差恒等映射模块。与现有方法相比，本实施例的深度残差恒等映射模块能处理更复杂的姿态变换，与图像层面的正面人脸生成方法相比，本实施例所提出的方法更加简单、高效。
[0061]
多姿态点云人脸识别，依赖于神经网络模型从人脸图像中提取有效的特征信息，而深度残差恒等映射模块的设计旨在用稳健的特征来表示人脸姿态的变化；将改进后的lightcnn网络用φ表示，则图x从φ中提取特征的操作可以用φ(x)表示。受公式(1)的启发，提出了在特征维度上多姿态人脸映射到正脸的深度残差恒等映射，用公式表示为：
[0062][0063]
其中，xf和x
p
表示正面人脸和侧面人脸，r(θ
x
,θy,θz)表示通过三维人脸姿态估计生成旋转系数控制的多姿态人脸映射关系。
[0064]
从公式(2)可以看出，旋转系数可以高度控制深度残差恒等映射模块，当各个角度國值为0时，深度残差恒等映射模块失效，主干网络直接提取正面人脸特征；当人脸开始旋转时，方向自适应的深度残差恒等映射模块激活生效。
[0065]
深度残差恒等映射模块，在中心损失函数的基础上增加姿态损失函数，用于优化所述深度残差恒等映射模块得到的近似正面人脸特征与正面人脸特征之间的距离；通过中心损失函数，缩小类内的距离，通过姿态损失函数，扩大类间距离。
[0066]
具体的，对于具有相同身份(同一个人)的样本，中心损失函数可以将不同姿态的人脸特征统一转换为近似正脸特征，缩小了类内的距离，公式表示如下：
[0067][0068]
其中，xi为输入样本，c
yi
为类yi的类别中心，m为样本总数。
[0069]
对于不同身份但相同姿态的人脸，经过深度残差恒等映射模块得到的特征仍然是相似的，侧面人脸更倾向于和侧面人脸进行匹配；因此，在优化过程仍然需要考虑类间距离的问题，为了解决这个问题，提出了姿态损失函数来扩大类间距离，公式表示如下：
[0070][0071]
其中，lc为中心损失函数，用于实现类内相近的目的，第二项用于实现类间分离的目标，n为类别集合，ci和cj心分别为类别i和类别j的类别中心。
[0072]
将姿态损失函数与交叉熵损失函数的加权和，用来平衡两种参数的影响，即总体损失函数表示为：
[0073]
l＝ls λl
pos
ꢀꢀꢀ
(5)
[0074]
姿态损失函数在反向传播过程中对于输入样本xi的偏导数可以通过公式(6)计算：
[0075][0076]
第j个类的特征中心经过随机初始化后，按照公式(7)计算类别中心差值。
[0077][0078]
其中，δ为条件函数。
[0079]
设定学习率为α，更新类别中心如公式(8)所示：
[0080][0081]
通过姿态损失函数的约束可以将类内相似的特征进行压缩，并且通过增加类间距来提高分类性能。在这个过程中，同一类别的特征会被映射到相近的特征中心，而不同类别的特征则会被映射到距离较远的特征中心，最终实现高效的人脸识别。
[0082]
步骤s4：利用近似正面人脸特征，进行人脸识别，得到识别结果。
[0083]
在本实施例中，根据融合特征进行人脸识别可以是指将待识别人脸的近似正面人脸特征输入到人脸数据库中，与人脸数据库中的正面人脸特征进行比对，获取待识别人脸与人脸数据库中每个人脸之间的相似度，若相似度大于预设阈值，则返回人脸识别结果；若相似度小于预设阈值，则人脸识别失败。
[0084]
具体地，识别结果可以是指人脸匹配成功或者人脸识别成功。
[0085]
上述步骤中的网络模型，需要通过训练数据集进行训练，而训练数据集是采用3dmm技术进行点云人脸的生成，并计算弯曲能量来融合具有最大刚性差异的人脸的方法，对生成的点云人脸进行进一步的优化，从而构建的。
[0086]
由于训练数据集的规模对目前的三维人脸识别的准确性还有着很大的影响，数据集的匮乏导致无法为模型的训练提供足够的数据，也影响着三维人脸识别模型的设计。针对这个问题，本实施例采用3dmm技术来进行点云人脸的生成，对于生成的人脸，采用计算弯曲能量来融合具有最大刚性差异的人脸的方法，对生成的人脸进一步的优化。
[0087]
传统的3dmm是通过主成分分析(pca)线性子空间表示生成不同身份和不同表情人脸的技术；人脸点云坐标表示为x，y，z，即人脸几何坐标，s＝(ri,gi,bi,
…
,r
p
,g
p
,b
p
)
t
∈r
3n
表示人脸的纹理,为点云的颜色信息，i＝1,....,n表示人脸数量，p＝1,....,p表示每个人脸上点的数量；新的人脸可以用人脸形状和纹理的线性组合完成，如下式所示：
[0088][0089]
为了让生成人脸的参数符合常规人脸，不至于出现人脸变化过大的情况出现，使用参数服从高斯分布的gpmm人脸生成方法，每个身份可以分成人脸形状模型和人脸表情模型两部分组成，表示为：
[0090]ms
＝(μs,σs,us),me＝(μe,σe,ue)
ꢀꢀꢀ
(10)
[0091]
其中，μ
{s,t}
∈r
3m
是平均值，σ
{s,t}
∈r
n-1
是标准偏差，u
{s,t}
＝[u1,...un]∈r
3m
×
n-1
是形状和表情主成分的正交基。新的人脸可以从主成分的线性组合中生成：
[0092][0093]
随机的从上述分布中抽取样本，新的人脸实例可以表示为：
[0094][0095]
由于采用线性方法生成的人脸过于平滑，将新生成的人脸通过随机采样一些点云数据，计算该点与其它采样点之间的距离，然后根据这些距离计算该点的alpha形状参数，创建alpha形状生成新的点云，然后添加到原始点云人脸中。
[0096]
新的人脸可以用公式f
′
＝alpha(f,h)表示，其中h＝1,表示使用半径为1的alpha形状生成新的点云；通过从2万个独立的α和50个β，生成了1万个身份的数据；新生成的人脸使用fi＝[x
p
,y
p
,z
p
]
t
表示；计算人脸的刚性差异方法，人脸fi和fj之间的不同可以定义为：
[0097][0098]
其中，γ
ij
是fi变形为fj所需的弯曲能量，γ
ij
的计算公式如下：
[0099]
γ(i,j)＝x
t
bx y
t
by z
t
bz
ꢀꢀꢀ
(14)
[0100]
其中，x,y,z包含坐标的向量；b定义为的弯曲矩阵，s＝[1,xj,yj,zj]。
[0101]
使用公式(13)计算生成的人脸中任意两张人脸的不同，选择差异最大的10k个身份组成数据集，人脸生成过程如图4所示，新的人脸可以表示为：
[0102][0103]
通过计算最大刚性差异人脸的平均值，在生成的人脸中引入了非线性变化，利用最大刚性差异计算方法，来弥补添加alpha形状引入细节信息的点云人脸偏差；将生成的点云人脸转化成三通道图像，如图4所示，第一列为深度图，第二列和第三列为法向量，第四列为合成的rgb图像；其中第一通道是通过gridft算法将点云拟合成z(x,y)的曲面；第二通道和第三个通道的数据是基于点云计算得到的曲面法向量在球面坐标系下的方位角和俯仰角，将方位角和俯仰角拟合为形如θ(x,y)和φ(x,y)的曲面，从而得到第二个和第三个通道
的图像表示；将三个通道的像素值在0到255之间进行归一化，得到渲染的rgb图像。
[0104]
实验
[0105]
本实施例的实验是在mxnet框架下搭建的，硬件环境为tesla v100显卡，软件环境为：ubuntu18.04，mxnet-cu101，权重衰减设置为0.0005，学习率为0.001，在第一阶段的模型训练过程中batch size为32，在第二阶段的模型训练过程中batch size为300，输入数据调整到128
×
128进行训练。
[0106]
由于三维人脸数据集一般都标有人脸关键点的空间信息，例如通过kinect采集的lock3dface、kinectfaces数据集标记了五个人脸关键点的空间坐标信息，可以通过计算空间坐标关系得到人脸的姿态变化；因此在训练阶段使用数据集保存的人脸关键点的空间坐标或角度信息作为角度估计模块的输出，对于没有标注的人脸可以通过epnp算法得到人脸旋转角度；对于计算出的人脸绕不同旋转轴的旋转角度，使用经过进行非线性映射将其归一化到[0,1]，来控制主干网络提取到的特征输入到深度残差恒等映射模块。
[0107]
模型在训练阶段使用步骤s1生成的三通道图像作为训练数据，并通过调整虚拟摄像机参数来合成具有更丰富姿态变化的人脸。在本实施例中，偏航角在[-60
°
,60
°
]，俯仰角在[-40
°
,40
°
]，翻滚角在[-40
°
,40
°
]，每隔20
°
生成新的点云人脸，并将每张点云人脸的旋转角度进行保存；最终的数据集由10k个身份的点云人脸图像组成作为模型第一阶段的训练数据集，使用lock3dface、kinectfaces进行微调，通过关键点坐标识别网络检测鼻尖并剪切224
×
224的图像，调整到128
×
128输入模型进行初步训练；其中，在lock3dface数据集上随机选择509个个体中340个类别的全部数据用于训练，其余的169个类别作为测试数据；实验在bosphorus数据集和lock3dface数据集上完成，bosphorus是由高精度相机采集的三维人脸数据集，涵盖了381个人的多种表情和姿态的人脸图像。数据集为每个扫描图像提供了24个面部特征点的人工标注，例如鼻尖、下巴中心、眼角等。在lock3dface测试集中选择每个个体的自然状态人脸计算出偏航角度
±
60
°
、
±
40
°
、
±
20
°
的图像，以及俯仰图像，合并原数据集的姿态类别，作为lock3dface的姿态识别测试集，计算rank-one测试结果进行统计。
[0108]
对损失函数进行实验验证其效果
[0109]
超参数λ在网络中起到了调整收敛性的重要作用，如果过大，模型就容易出现过拟合，而如果过小，则容易出现不收敛的情况；适当的λ值能够使得两个损失函数的影响力相对平衡，从而提高模型的预测准确性；本实施例在bosphorus数据集上，对λ值在0至0.01之间进行了6组实验，结果如图5所示，实验结果表明，当λ设置为0.006时，模型的准确度得到了最高值，因此本实施例最终将λ设置为0.006。
[0110]
为了验证pose loss的有效性，本实施例在主干网络为lightcnn29 v2，添加深度残差恒等映射模块，并且其他参数条件不变的情况下，使用了不同的损失函数训练了3个模型：(a)softmax loss euclidean distance loss；(b)sofmax loss center loss；(c)sofmax loss pose loss。在bosphorus实验结果如表1所示，使用本实施例所提方案比a提升了2.89个百分点，比b提升了0.77个百分点。
[0111]
表1 bosphorus实验结果
[0112][0113]
消融实验
[0114]
为了探究本实施例所提算法中各个步骤对模型性能增益的影响，逐步引入了方向自适应的深度残差恒等映射模块(da-rem)和k3残差块，并在bosphorus数据集上评估性能指标；为了确保实验的公平性，保持所有参数设置相同，实验结果如表2所示，每个模块都对模型的准确度提升做出了不同程度的贡献，而方向自适应的深度残差恒等映射模块的提升最大，有10.96％的性能增益；这主要是深度残差恒等映射模块和kc3模块，可以让网络提取到更多有用的信息；通过结合所有模块，平均识别准确度到达90.12％。
[0115]
表2每种改进策略产生的性能增益对比(％)
[0116][0117]
在lock3dface数据集上与三维人脸识别模型fr3dnet、led3d算法进行了比较，实验结果如表3所示，本实施例方法高出led3d算法高出6.64％。fr3dnet比本实施例提出的方法高出1.09％，考虑到fr3dnet的参数量为29.4m，本实施例提出方法在更轻量的情况下保持了较高水准的识别精度，适用于资源受限的设备上使用；此外，对比测试集中使用深度图和深度图加法向量的表示方法，融合了深度图加法向量的图像的平均识别精度可以有明显提升，表明这两个特征具有一定的互补性。
[0118]
表3在lock3dface数据集上的rank-one测试(％)
[0119][0120][0121]
在本实施例中提出了一种基于方向自适应的多姿态点云人脸识别算法，该算法通过采用更适合三维人脸数据合成图像特征提取的残差块作为主干网络，并使用人脸的姿态
角度来控制残差网络的输入，实现多姿态人脸到正面人脸在特征层面的映射。此外，在中心损失函数的基础上，提出了姿态损失函数，不仅可以减少侧面人脸映射到正面人脸的误差，还可以扩大不同类别之间映射人脸的距离，提高了模型对多姿态人脸识别的识别能力和鲁棒性。
[0122]
实施例二
[0123]
在一个或多个实施例中，公开了一种方向自适应的多姿态点云人脸识别系统，包括特征提取模块、角度估计模块、特征映射模块和人脸识别模块：
[0124]
特征提取模块，被配置为：基于改进后的lightcnn网络，从待识别的点云人脸中，提取多姿态特征；
[0125]
角度估计模块，被配置为：通过待识别的点云人脸中面部关键点的位置，估计在不同旋转轴下人脸姿态的旋转角度；
[0126]
特征映射模块，被配置为：使用在不同旋转轴下人脸姿态的旋转角度，作为控制深度残差恒等映射模块的旋转系数，将多姿态特征映射到近似正面人脸特征；
[0127]
人脸识别模块，被配置为：利用近似正面人脸特征，进行人脸识别，得到识别结果。
[0128]
实施例三
[0129]
本实施例的目的是提供计算机可读存储介质。
[0130]
计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开实施例一所述的一种方向自适应的多姿态点云人脸识别方法中的步骤。
[0131]
实施例四
[0132]
本实施例的目的是提供电子设备。
[0133]
电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的一种方向自适应的多姿态点云人脸识别方法中的步骤。
[0134]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。