基于语音情绪识别的客户满意度分析方法及装置与流程-j9九游会真人

1.本发明实施例涉及移动业务支撑技术领域，具体涉及一种基于语音情绪识别的客户满意度分析方法及装置。


背景技术：

2.现有技术中对客服人员的客户满意度评价方法一般采用两种方法：一种是直接根据客户服务打分评价，即通过传统的短信评价，对客户人员的服务进行打分。一种是客服中心对电话客服的服务质量进行检查时，通常采用听取录音的方式进行评价。
3.对于现有技术中的传统的打分评价方法，仅依靠用户对客服的服务进行评价，具有较大的主观性。分数的高低与客户问的问题简单与否，客户的情绪状态，以及客服个人的沟通理解能力都有一定的影响。而传统的对电话客服的服务质量进行检测时，若采用听取电话录音的方式，耗时久、效率低，需要大量的人工成本和时间成本。


技术实现要素：

4.鉴于上述问题，本发明实施例提供了一种基于语音情绪识别的客户满意度分析方及装置，克服了上述问题或者至少部分地解决了上述问题。
5.根据本发明实施例的一个方面，提供了一种基于语音情绪识别的客户满意度分析方法，所述方法包括：对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
6.在一种可选的方式中，所述对待处理语音信号进行特征提取之前，对所述待处理语音信号进行预处理，包括：应用高通数字滤波器对所述待处理语音信号的高频分量进行加重处理；将加重处理后的所述待处理语音信号分解成一帧帧的语音信号，并通过海明窗进行加窗处理；基于能量和过零率对加窗处理后的所述待处理语音信号进行端点检测，确定所述待处理语音信号的起始点。
7.在一种可选的方式中，所述语音情绪特征包括：所述待处理语音的线性预测倒谱系数、梅尔倒谱系数以及线性预测梅尔倒谱系数；所述三维情绪识别量包括愉悦度、激动度以及优势度。
8.在一种可选的方式中，所述根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，包括：基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述愉悦度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述愉悦度；基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述激动度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述激动度；基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述优
势度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述优势度。
9.在一种可选的方式中，所述根据所述三维情绪识别量预估客户满意度，包括：如果所述愉悦度为正，表示客户处于正面情绪；如果所述愉悦度为负，表示客户处于负面情绪；所述激动度的值越大，表示客户的神经生理激活水平越高；所述优势度的值越大，表示客户对情感状态的主观控制程度越高。
10.在一种可选的方式中，所述计算所述待处理语音信号的语音能量均值和节拍均值，包括：删除所述待处理语音的开关语和结束语，获取有效的所述待处理语音；基于有效的所述待处理语音，计算客户的语音能量均值和节拍均值。
11.在一种可选的方式中，所述根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，包括：分别计算通话前期与通话后期的情绪差异，所述情绪差异包括愉悦度差异、激动度差异以及优势度差异；分别计算所述语音能量均值与第一参考值的差值和所述节拍均值与第二参考值的差值，分别得到第一比较值和第二比较值；将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至预设区间；对归一化后的所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值进行加权求和计算，得到客户满意度总体评价。
12.根据本发明实施例的另一个方面，提供了一种基于语音情绪识别的客户满意度分析装置，所述装置包括：特征提取模块，用于对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；情绪识别模块，用于根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；均值计算模块，用于计算所述待处理语音信号的语音能量均值和节拍均值；满意度评价模块，用于根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
13.根据本发明实施例的另一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述基于语音情绪识别的客户满意度分析方法的步骤。
14.根据本发明实施例的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使所述处理器执行上述基于语音情绪识别的客户满意度分析方法的步骤。
15.本发明实施例通过对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，能够更加客观的反映客户对电话客服的服务满意度，有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
16.上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
18.图1示出了本发明实施例提供的基于语音情绪识别的客户满意度分析系统示意图；
19.图2示出了本发明实施例提供的基于语音情绪识别的客户满意度分析方法的mfcc特征参数提取算法的流程示意图；
20.图3示出了本发明实施例提供的基于语音情绪识别的客户满意度分析方法的线性预测梅尔倒谱系数提取的流程示意图；
21.图4示出了本发明实施例提供的基于语音情绪识别的客户满意度分析方法的情绪识别的过程示意图；
22.图5示出了本发明实施例提供的基于语音情绪识别的客户满意度分析装置的结构示意图；
23.图6示出了本发明实施例提供的计算设备的结构示意图。
具体实施方式
24.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
25.图1示出了本发明实施例提供的基于语音情绪识别的客户满意度分析方法的流程示意图。该基于语音情绪识别的客户满意度分析方法应用于服务器，如图1所示，基于语音情绪识别的客户满意度分析方法包括：
26.步骤s11：对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征。
27.在本发明实施例中，通过电话录音获取原始语音信号，即待处理语音信号。在步骤s11之前，对待处理语音信号进行预处理，经过预加重、分帧加窗以及端点识别等语音信号预处理过程，提高语音信号的质量。可选的，首先应用高通数字滤波器对所述待处理语音信号的高频分量进行加重处理。具体使用一阶fir高通数字滤波器对高频分量进行加重处理，削弱原始语音信号高频分量的衰减，使得频谱平坦，易于分析。传递函数如下：
28.h(z)＝1-αz-1
ꢀꢀꢀꢀ
(1)
29.α为预加载系数，取值范围[0.95，1.0]。
[0030]
然后将加重处理后的所述待处理语音信号分解成一帧帧的语音信号，并通过海明窗进行加窗处理。具体地，在短时间内语音信号是短时平稳的，将待处理语音信号分解成一帧帧的语音信号。通过海明窗对语音信号进行处理。其表达式如下：
[0031]
xw(n)＝x(n)*w(n)
ꢀꢀꢀꢀ
(2)
[0032]
其中，x(n)为第n帧待处理语音信号，xw(n)为经过海明窗处理后的待处理语音信号，w(n)为海明窗的窗函数，定义为如下：
[0033][0034]
海明窗能够减少频谱泄露，较好的满足时域和频域的要求。
[0035]
最后基于能量和过零率对加窗处理后的所述待处理语音信号进行端点检测，确定所述待处理语音信号的起始点。具体采用基于能量和过零率的两级判别断点检测方法，区分背景噪声和有用的语音信号，减少语音数据量和计算时间。首先根据待处理语音信号的平均能量值给定一个较大的第一阈值t1，用来判断寻语音的起始点。接着再通过噪声的平均能量给出一个较小的第二阈值t2，用来判定第一级判决中待处理语音信号的终止点。t2＝σen，en为噪声的平均能量，σ为系数，至此第一级判决结束。第二级判决依照噪声的平均过零率zn，给定一个第三阈值t3，用以区分清辅音与无声段，以此确定待处理语音信号的起始点。
[0036]
在步骤s11中，对经过预处理的待处理语音信号进行特征提取，获取待处理语音的语音情绪特征。语音情绪特征包括：所述待处理语音的线性预测倒谱系数、梅尔倒谱系数以及线性预测梅尔倒谱系数。
[0037]
在本发明实施例中，首先提取线性预测倒谱系数(lpcc)。本发明实施例提供了比较简单的线性预测模型参数，计算简便，容易实现且稳定性高。线性预测分析是以人的发声机理为依据而建立的声道模型，可以用全极点参数模型来建立语音信号的线性预测模型。因此可以利用前若干时刻的信号的线性组合对某个时刻的信号进行估计。令实际语音的采样值和线性预测的采样值之间达到最小均方误差，就可以获得线性预测系数(lpc)。待处理语音信号可以在任一时刻的前n个值的线性组合来对待处理语音信号该任一时刻的值s(n)进行预测。其线性预测值记为
[0038][0039]
则线性预测值与实际取样值之间的误差ε(n)的计算公式为：
[0040][0041]
计算最小均方误差en：
[0042][0043]
对上述预测系数ai进行偏导计算，并使其结果为零，即：
[0044][0045]
最终得到：
[0046][0047]
根据自相关函数定义：
[0048]
φ(i，k)＝(n-i)s(n-k)
ꢀꢀꢀꢀꢀ
(9)
[0049]
可将上式(8)简化为：
[0050][0051]
通过莱文逊-杜宾(levinson-durbin)方法求解式(10)，就可以得到lpc系数，求解过程如下：
[0052]
步骤1：计算自相关系数rn(j)；
[0053]
步骤2：e
n(0)
＝rn(0)；
[0054]
步骤3：
[0055][0056]
步骤4：i＝i 1。当i＞n时退出循环，否则重复步骤3。
[0057]
在循环过程。中，表示的是系统中第i阶的预测器的第j个预测系数，表示的是经过第i阶的预测器后得到的预测残差能量，得到的系数ai(i＝1，2，...，n)就是系统的lpc系数。将lpc系数通过递推关系转换到倒谱域，就可以得到线性预测倒谱系数cn。递推关系如下：
[0058][0059]
然后提取梅尔倒谱系数(mfcc)。梅尔倒谱系数能够模仿人耳对不同频率语音信号具有不同敏感度的特点，在对低频信号具有增强作用的同时抑制高频信号。mfcc可以将语音信号从线性频域转换到梅尔(mel)频域，转换公式如下：
[0060]fmel
＝2595lg(1 f/700)
ꢀꢀꢀꢀ
(12)
[0061]fmel
＝1125ln(1 f/700)
ꢀꢀꢀꢀ
(13)
[0062]
其中f为频率，单位hz。
[0063]
mfcc特征参数提取算法的基本计算流程如图2所示，对经过处理的待处理语音信号s(n)进行快速傅里叶变换(fft)，得到待处理语音信号的频谱s(k)，计算其能量谱|s(k)|2，将能量谱输入到梅尔滤波器组hm(k)。梅尔滤波器组为m个三角带通滤波器组成，截止频率由两个相邻滤波器的中心频率确定，滤波器具有线性间隔的中心频率和梅尔标度上的固定带宽。梅尔滤波器的中心频率和频率响应分别为：
[0064][0065][0066]
梅尔滤波器的中心频率是在f
l
、fh之间按照梅尔刻度以间隔150mel，带宽300mel均匀排列。其中相邻两个滤波器的过渡带之间相互重叠，并且频率响应之和为1。f
l
、fh为滤波器的最高频率和最低频率，n为快速傅里叶变换时采用的点数，m为梅尔滤波器的个数。f
mel-1
为f
mel
的逆函数。
[0067]
滤波器输出为对滤波器输出进行对数计算之后，得到参数，对参数进行离散余弦变换(dct)得到所需的mfcc特征参数。
[0068][0069]
最后提取线性预测梅尔倒谱系数(lpmfcc)。线性预测梅尔倒谱系数(lpmfcc)的提取流程如图3所示，首先对经过处理的信号s(n)计算每一帧的lpc系数ai，对所求的lpc系数ai进行快速傅里叶变换(fft)，得到语音信号的频谱sa(k)，然后计算其能量谱|sa(k)|2。通过梅尔滤波器组hm(k)，对能量谱|sa(k)|2进行滤波处理，将其输出的结果再做进行对数运算，求得其对数能量ei。最后，将对数能量ei做离散余弦变换计算，就得到了特征参数——线性预测梅尔倒谱系数(lpmfcc)。
[0070]
本发明实施例使用线性预测系数线性预测倒谱系数lpcc、梅尔倒谱系数mfcc、和线性预测梅尔倒谱系数lpmfcc，同时参加情绪识别任务，具有更高的识别准确度和鲁棒性。
[0071]
步骤s12：根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度。
[0072]
在本发明实施例中，所述三维情绪识别量包括愉悦度p、激动度a以及优势度d。在步骤s12中，情绪识别的过程如图4所示，利用步骤s12中提取的各语音情绪特征，与支持向量机(svm1、svm2、svm3)建立语音情绪识别模型，预测不同语音的情绪，通过个体(pearson)相关系数(个体1、个体2、个体3)确定特征权重，得到语音信号在三维情感空间中的pad值，即三维情绪识别量。p代表愉悦度(pleasure-displeasure)，表示个体情绪状态的正负特性，即情感的积极或消极程度，喜欢或不喜欢程度；a代表激动度(arousal-nonarousal)，表示个体的神经生理激活水平，警觉性；d代表优势度(dominance-submissiveness)，表示个
体对情景和他人的控制状态。
[0073]
在本发明实施例中，pearson相关系数计算公式如下：
[0074][0075]
其中，x为预测值，y为pad表中的参考值，σ
x
，σy分别表示变量x，y的标准差。
[0076]
根据式(17)基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述愉悦度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述愉悦度。根据三种语音情绪特征的相关性归一化，获取待识别语音的p值加权融合计算结果。计算结果为：
[0077][0078]
其中p
lpcc
、p
mfcc
、p
lpmfcc
分别表示lpcc、mfcc、lpmfcc三种特征值在p维度上的预测值，表示三种特征在p维度上的相关性系数归一化值，满足通过式(18)计算语音在三维情感空间中p的最终预测值。
[0079]
根据式(17)基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述激动度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述激动度a。a计算结果为：
[0080][0081]
其中a
lpcc
、a
mfcc
、a
lpmfcc
分别表示lpcc、mfcc、lpmfcc三种特征值在a维度上的预测值，表示三种特征在a维度上的相关性系数归一化值，满足通过式(19)计算语音在三维情感空间中a的最终预测值。
[0082]
根据式(17)基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述优势度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述优势度d。d的计算结果为：
[0083][0084]
其中d
lpcc
、d
mfcc
、d
lpmfcc
分别表示lpcc、mfcc、lpmfcc三种特征值在d维度上的预测值，表示三种特征在d维度上的相关性系数归一化值，满足通过式(20)计算语音在三维情感空间中d的最终预测值。
[0085]
本发明实施例中分别愉悦度p、激动度a以及优势度d替换为其预测值。进一步可以根据三维情绪识别量预估客户满意度。如果所述愉悦度为正，表示客户处于正面情绪；如果所述愉悦度为负，表示客户处于负面情绪；所述激动度的值越大，表示客户的神经生理激活水平越高；所述优势度的值越大，表示客户对情感状态的主观控制程度越高。具体地，三维
情绪模型pad各维度上的数值范围为-1到 1， 1表示在此维度上的值高，而-1表示在此维度上的值低。p代表愉悦度(pleasure-displeasure)，表示个体情绪状态的正负特性，即情感的积极或消极程度，喜欢或不喜欢程度，p值为正时表示正性情绪，为负表示负面情绪。a代表激活度(arousal-nonarousal)，表示个体的神经生理激活水平、警觉性，与情感状态联系的机体能量的激活程度有关；d代表优势度(dominance-submissiveness)，表示个体对情景和他人的控制状态。对他人和外界环境的控制力和影响力，主要指个体对情感状态的主观控制程度，用以区分情感状态是由个体主观发出的还是受客观环境影响产生的。
[0086]
本发明实施例使用pad三维情绪模型，将离散的情绪标签映射到pad三维情绪空间上，可以定量的描述语音情绪的差异。
[0087]
步骤s13：计算所述待处理语音信号的语音能量均值和节拍均值。
[0088]
在步骤s13中，首先删除所述待处理语音的开关语和结束语，获取有效的所述待处理语音。在本发明实施例中，客服有效沟通过程主要集中在录音的中间时段，开头语与结束语对用户的满意度影响较小，因此将开头结束语删去。开头语一般为“您好，很高兴为您服务，请问有什么可以帮助您的吗？”，结束语为“稍后对我的服务做出评价，祝您生活愉快。”通过正则匹配，找到开头结束语，将开头语和结束语删除。
[0089]
然后基于有效的所述待处理语音，计算客户的语音能量均值和节拍均值。对客服的语音能量均值和节拍均值进行计算，通过对能量均值和节拍均值较高进行提醒。语音能量均值表明电话客服在与用户对话时的音量大小音量过大，用户会觉得电话客服情绪暴躁。因此，能量均值增加会导致客户满意度降低。语音节拍均值的大小表示电话客服说话时语速的快慢，节拍均值过大，表明电话客服在与用户通话时，语速太快，会让用户感觉到焦躁或不耐烦的情绪，从而引发用户的不满，因此，节拍均值增加会导致客户满意度降低。
[0090]
步骤s14：根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
[0091]
在本发明实施例中，可选的，首先分别计算通话前期与通话后期的情绪差异，所述情绪差异包括愉悦度差异、激动度差异以及优势度差异。通过三维情绪模型pad，可以定量的比较客户在通话前后的语音包含的情绪差异，包括愉悦度差异δp、激动度差异δa、优势度差异δd，预估客户对电话客服的满意度。δp、δa、δd的计算公式如下：
[0092]
δp＝p-p
′ꢀꢀꢀꢀ
(21)
[0093]
δa＝a-a
′ꢀꢀꢀꢀ
(22)
[0094]
δd＝d-d
′ꢀꢀꢀꢀ
(23)
[0095]
其中，p、a、d表示通话后期的客户的情绪值，p
′
、a
′
、d
′
表示通话前期的客户的情绪值。
[0096]
然后分别计算所述语音能量均值e与第一参考值的差值和所述节拍均值v与第二参考值的差值，分别得到第一比较值δe和第二比较值δv。选取预设数量条满意度高的录音，统计他们语音的能量均值和节拍均值的平均数，作为比较的第一参考值和第二参考值其中预设数量优选为100，当然在本发明的其他实施例中也可以设置为其他值，在此不作限制，分别计算客服的语音能量均值和节拍均值与对应参考值进行比较，获得第一比较值δe和第二比较值δv。
[0097][0098][0099]
对客服的语音能量均值和节拍均值进行计算，通过对能量均值和节拍均值较高进行提醒。语音能量均值表明电话客服在与用户对话时的音量大小音量过大，用户会觉得电话客服情绪暴躁。因此，能量均值增加会导致客户满意度降低。语音节拍均值的大小表示电话客服说话时语速的快慢，节拍均值过大，表明电话客服在与用户通话时，语速太快，会让用户感觉到焦躁或不耐烦的情绪，从而引发用户的不满，因此，节拍均值增加会导致客户满意度降低。
[0100]
再将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至预设区间。具体将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至[0，1]之间，映射过程如下：
[0101][0102][0103][0104][0105][0106]
本发明实施例通过使用来电用户前后的语音情绪对比，能够更加客观的反映客户的问题是否解决，以及对电话客服的服务满意度。
[0107]
最后对归一化后的所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值进行加权求和计算，得到客户满意度总体评价。客户满意度总体评价s：
[0108][0109]
s越高表示客户满意度越高。表示情绪的正面情绪和负面情绪的变化，对满意度影响高；和表示神经兴奋情况和对话的控制情况变化，对客户的满意度影响较小；和表示客服服务水平，侧面影响的客户的满意度。因此综合考虑，权重系数选取为0.6，0.05，0.05，0.15，0.15。在本发明实施例中，各权重系数可以根据需要进行选择，在此并不作限制。如此通过来电用户前后的语音情绪对比，以及电话客服的通话质量两方面综合评估客户满意度。
[0110]
本发明实施例通过语音输入、语音预处理、特征提取、情绪识别、情绪比较、预估客户满意度、评价客服服务、客户满意度总体评价，形成全新的语音情绪分析的客户满意度及客服评价方法。应用本发明实施例的基于语音情绪识别的客户满意度分析方法可以对电话
录音进行检测和分析，通过对比用户来电前后的情绪变化，评估客户对电话客服接听服务的满意度，同时检测电话客服的服务质量，有助于对电话客服的服务质量进行检测，有助于后期对电话客服进行相应的培训和绩效考评，如后期对电话客服进行针对性的培训，提高电话客服的服务质量；不仅有利于提高客户满意度，并且有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
[0111]
本发明实施例通过对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，能够更加客观的反映客户对电话客服的服务满意度，有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
[0112]
图5示出了本发明实施例的基于语音情绪识别的客户满意度分析装置的结构示意图。如图5所示，该基于语音情绪识别的客户满意度分析装置包括：特征提取模块501、情绪识别模块502、均值计算模块503、满意度评价模块504以及预处理模块505。其中：
[0113]
特征提取模块501用于对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；情绪识别模块502用于根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；均值计算模块503用于计算所述待处理语音信号的语音能量均值和节拍均值；满意度评价模块504用于根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
[0114]
在一种可选的方式中，预处理模块505用于对所述待处理语音信号进行预处理，包括：应用高通数字滤波器对所述待处理语音信号的高频分量进行加重处理；将加重处理后的所述待处理语音信号分解成一帧帧的语音信号，并通过海明窗进行加窗处理；基于能量和过零率对加窗处理后的所述待处理语音信号进行端点检测，确定所述待处理语音信号的起始点。
[0115]
在一种可选的方式中，所述语音情绪特征包括：所述待处理语音的线性预测倒谱系数、梅尔倒谱系数以及线性预测梅尔倒谱系数；所述三维情绪识别量包括愉悦度、激动度以及优势度。
[0116]
在一种可选的方式中，情绪识别模块502用于：基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述愉悦度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述愉悦度；基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述激动度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述激动度；基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述优势度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述优势度。
[0117]
在一种可选的方式中，情绪识别模块502还用于：如果所述愉悦度为正，表示客户处于正面情绪；如果所述愉悦度为负，表示客户处于负面情绪；所述激动度的值越大，表示客户的神经生理激活水平越高；所述优势度的值越大，表示客户对情感状态的主观控制程度越高。
[0118]
在一种可选的方式中，均值计算模块503用于：删除所述待处理语音的开关语和结束语，获取有效的所述待处理语音；基于有效的所述待处理语音，计算客户的语音能量均值和节拍均值。
[0119]
在一种可选的方式中，满意度评价模块504用于：分别计算通话前期与通话后期的情绪差异，所述情绪差异包括愉悦度差异、激动度差异以及优势度差异；分别计算所述语音能量均值与第一参考值的差值和所述节拍均值与第二参考值的差值，分别得到第一比较值和第二比较值；将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至预设区间；对归一化后的所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值进行加权求和计算，得到客户满意度总体评价。
[0120]
本发明实施例通过对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，能够更加客观的反映客户对电话客服的服务满意度，有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
[0121]
本发明实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于语音情绪识别的客户满意度分析方法。
[0122]
可执行指令具体可以用于使得处理器执行以下操作：
[0123]
对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；
[0124]
根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；
[0125]
计算所述待处理语音信号的语音能量均值和节拍均值；
[0126]
根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
[0127]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0128]
对所述待处理语音信号进行预处理，包括：
[0129]
应用高通数字滤波器对所述待处理语音信号的高频分量进行加重处理；
[0130]
将加重处理后的所述待处理语音信号分解成一帧帧的语音信号，并通过海明窗进行加窗处理；
[0131]
基于能量和过零率对加窗处理后的所述待处理语音信号进行端点检测，确定所述待处理语音信号的起始点。
[0132]
在一种可选的方式中，所述语音情绪特征包括：所述待处理语音的线性预测倒谱系数、梅尔倒谱系数以及线性预测梅尔倒谱系数；所述三维情绪识别量包括愉悦度、激动度以及优势度。
[0133]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0134]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述愉悦度上的权重，并进行加权融合计算，获取所述待处理语
音在三维情感空间的所述愉悦度；
[0135]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述激动度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述激动度；
[0136]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述优势度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述优势度。
[0137]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0138]
如果所述愉悦度为正，表示客户处于正面情绪；如果所述愉悦度为负，表示客户处于负面情绪；
[0139]
所述激动度的值越大，表示客户的神经生理激活水平越高；
[0140]
所述优势度的值越大，表示客户对情感状态的主观控制程度越高。
[0141]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0142]
删除所述待处理语音的开关语和结束语，获取有效的所述待处理语音；
[0143]
基于有效的所述待处理语音，计算客户的语音能量均值和节拍均值。
[0144]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0145]
分别计算通话前期与通话后期的情绪差异，所述情绪差异包括愉悦度差异、激动度差异以及优势度差异；
[0146]
分别计算所述语音能量均值与第一参考值的差值和所述节拍均值与第二参考值的差值，分别得到第一比较值和第二比较值；
[0147]
将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至预设区间；
[0148]
对归一化后的所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值进行加权求和计算，得到客户满意度总体评价。
[0149]
本发明实施例通过对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，能够更加客观的反映客户对电话客服的服务满意度，有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
[0150]
本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任意方法实施例中的基于语音情绪识别的客户满意度分析方法。
[0151]
可执行指令具体可以用于使得处理器执行以下操作：
[0152]
对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；
[0153]
根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；
[0154]
计算所述待处理语音信号的语音能量均值和节拍均值；
[0155]
根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
[0156]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0157]
对所述待处理语音信号进行预处理，包括：
[0158]
应用高通数字滤波器对所述待处理语音信号的高频分量进行加重处理；
[0159]
将加重处理后的所述待处理语音信号分解成一帧帧的语音信号，并通过海明窗进行加窗处理；
[0160]
基于能量和过零率对加窗处理后的所述待处理语音信号进行端点检测，确定所述待处理语音信号的起始点。
[0161]
在一种可选的方式中，所述语音情绪特征包括：所述待处理语音的线性预测倒谱系数、梅尔倒谱系数以及线性预测梅尔倒谱系数；所述三维情绪识别量包括愉悦度、激动度以及优势度。
[0162]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0163]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述愉悦度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述愉悦度；
[0164]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述激动度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述激动度；
[0165]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述优势度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述优势度。
[0166]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0167]
如果所述愉悦度为正，表示客户处于正面情绪；如果所述愉悦度为负，表示客户处于负面情绪；
[0168]
所述激动度的值越大，表示客户的神经生理激活水平越高；
[0169]
所述优势度的值越大，表示客户对情感状态的主观控制程度越高。
[0170]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0171]
删除所述待处理语音的开关语和结束语，获取有效的所述待处理语音；
[0172]
基于有效的所述待处理语音，计算客户的语音能量均值和节拍均值。
[0173]
在一种可选的方式中，所述可执行指令使所述处理器执行以下操作：
[0174]
分别计算通话前期与通话后期的情绪差异，所述情绪差异包括愉悦度差异、激动度差异以及优势度差异；
[0175]
分别计算所述语音能量均值与第一参考值的差值和所述节拍均值与第二参考值的差值，分别得到第一比较值和第二比较值；
[0176]
将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至预设区间；
[0177]
对归一化后的所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值进行加权求和计算，得到客户满意度总体评价。
[0178]
本发明实施例通过对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，能够更加客观的反映客户对电话客服的服务满意度，有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
[0179]
图6示出了本发明实施例提供的计算设备的结构示意图，本发明具体实施例并不对设备的具体实现做限定。
[0180]
如图6所示，该计算设备可以包括：处理器(processor)602、通信接口(communications interface)604、存储器(memory)606、以及通信总线608。
[0181]
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。处理器602，用于执行程序610，具体可以执行上述基于语音情绪识别的客户满意度分析方法实施例中的相关步骤。
[0182]
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
[0183]
处理器602可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或各个集成电路。设备包括的一个或各个处理器，可以是同一类型的处理器，如一个或各个cpu；也可以是不同类型的处理器，如一个或各个cpu以及一个或各个asic。
[0184]
存储器606，用于存放程序610。存储器606可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0185]
程序610具体可以用于使得处理器602执行以下操作：
[0186]
对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；
[0187]
根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；
[0188]
计算所述待处理语音信号的语音能量均值和节拍均值；
[0189]
根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价。
[0190]
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
[0191]
对所述待处理语音信号进行预处理，包括：
[0192]
应用高通数字滤波器对所述待处理语音信号的高频分量进行加重处理；
[0193]
将加重处理后的所述待处理语音信号分解成一帧帧的语音信号，并通过海明窗进行加窗处理；
[0194]
基于能量和过零率对加窗处理后的所述待处理语音信号进行端点检测，确定所述待处理语音信号的起始点。
[0195]
在一种可选的方式中，所述语音情绪特征包括：所述待处理语音的线性预测倒谱系数、梅尔倒谱系数以及线性预测梅尔倒谱系数；所述三维情绪识别量包括愉悦度、激动度以及优势度。
[0196]
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
[0197]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述愉悦度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述愉悦度；
[0198]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述激动度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述激动度；
[0199]
基于个体相关系数分别获取所述线性预测倒谱系数、所述梅尔倒谱系数以及所述线性预测梅尔倒谱系数在所述优势度上的权重，并进行加权融合计算，获取所述待处理语音在三维情感空间的所述优势度。
[0200]
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
[0201]
如果所述愉悦度为正，表示客户处于正面情绪；如果所述愉悦度为负，表示客户处于负面情绪；
[0202]
所述激动度的值越大，表示客户的神经生理激活水平越高；
[0203]
所述优势度的值越大，表示客户对情感状态的主观控制程度越高。
[0204]
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
[0205]
删除所述待处理语音的开关语和结束语，获取有效的所述待处理语音；
[0206]
基于有效的所述待处理语音，计算客户的语音能量均值和节拍均值。
[0207]
在一种可选的方式中，所述程序610使所述处理器执行以下操作：
[0208]
分别计算通话前期与通话后期的情绪差异，所述情绪差异包括愉悦度差异、激动度差异以及优势度差异；
[0209]
分别计算所述语音能量均值与第一参考值的差值和所述节拍均值与第二参考值的差值，分别得到第一比较值和第二比较值；
[0210]
将所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值分别归一化映射至预设区间；
[0211]
对归一化后的所述愉悦度差异、所述激动度差异、所述优势度差异、所述第一比较值以及所述第二比较值进行加权求和计算，得到客户满意度总体评价。
[0212]
本发明实施例通过对待处理语音信号进行特征提取，获取所述待处理语音的语音情绪特征；根据所述语音情绪特征基于个体相关系数计算三维情绪识别量，并根据所述三维情绪识别量预估客户满意度；计算所述待处理语音信号的语音能量均值和节拍均值；根据预估的客户满意度、所述语音能量均值以及所述节拍均值进行客户满意度总体评价，能够更加客观的反映客户对电话客服的服务满意度，有利于电话客服和客户建立良好的长久的关系，促进企业长期利益的实现。
[0213]
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0214]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构
和技术，以便不模糊对本说明书的理解。
[0215]
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
[0216]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0217]
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。