技术特征:
1.一种语音提取方法,其特征在于,包括:获取包括多个说话人语音的第一混合语音,其中,所述第一混合语音是第一麦克风采集的;对所述第一混合语音进行分离,得到每个说话人的初始语音;基于每个说话人的初始语音与所述第一混合语音的互相关性,从每个所述初始语音中确定每个说话人的语音帧。2.根据权利要求1所述的语音提取方法,其特征在于,所述对所述第一混合语音进行分离,得到每个说话人的初始语音,包括:基于语音分离模型对所述第一混合语音进行分离,得到每个说话人的初始语音;其中,所述语音分离模型的训练样本包括仿真语音和录制语音,所述录制语音包括混合的单独录制的训练说话人的语音;所述仿真语音是基于如下确定的:确定至少两个麦克风;确定训练说话人嘴部到每个麦克风之间的房间冲激响应传递函数;基于单独录制的训练说话人的语音,以及训练说话人嘴部到每个麦克风之间的房间冲激响应传递函数,确定对应每个麦克风模拟生成的至少两个样本混合语音;将至少两个样本混合语音,作为所述仿真语音。3.根据权利要求2所述的语音提取方法,其特征在于,所述语音分离模型包括特征提取层、卷积神经网络、第一全连接层、第一循环神经网络、第二循环神经网络、多个第二全连接层和解码层;所述特征提取层的输出作为所述卷积神经网络的输入;所述卷积神经网络的输出作为所述第一全连接层的输入、所述第一循环神经网络的第一输入和所述第二循环神经网络的第一输入;所述第一全连接层的输出作为所述第一循环神经网络的第二输入和所述第二循环神经网络的第二输入;所述第一循环神经网络的输出作为所述第二循环神经网络的第三输入;所述第二循环神经网络的输出作为每个第二全连接层的输入;每个第二全连接层的输出作为所述解码层的输入。4.根据权利要求3所述的语音提取方法,其特征在于,所述语音分离模型的损失函数是基于尺度不变的信噪比损失函数、均方误差损失函数和语音质量感知评估损失函数中的至少一种确定的。5.根据权利要求1所述的语音提取方法,其特征在于,所述基于每个说话人的初始语音与所述第一混合语音的互相关性,从每个所述初始语音或者所述第一混合语音中确定每个说话人的语音帧,包括:基于当前混合语音帧的自功率谱,每个当前初始语音帧的自功率谱,以及所述当前混合语音帧与每个所述当前初始语音帧之间的互功率谱,确定所述当前混合语音帧与每个所述当前初始语音帧的互相关性,其中,所述当前混合语音帧是所述第一混合语音的当前帧,所述当前初始语音帧是所述初始语音的当前帧;基于所述互相关性确定所述当前混合语音帧和/或每个所述当前初始语音帧的说话
人。6.根据权利要求5所述的语音提取方法,其特征在于,还包括:确定平滑系数;基于所述平滑系数,所述当前混合语音帧以及所述当前混合语音帧对应的上一混合语音帧,确定所述当前混合语音帧的自功率谱;基于所述平滑系数,每个所述当前初始语音帧以及所述当前初始语音帧对应的上一初始语音帧,确定每个所述当前初始语音帧的自功率谱;基于所述平滑系数,所述当前混合语音帧,每个所述当前初始语音帧,确定所述当前混合语音帧与每个所述当前初始语音帧之间的互功率谱。7.根据权利要求5所述的语音提取方法,其特征在于,还包括:确定所述互相关性最大的所述当前混合语音帧和所述当前初始语音帧,并且,所述当前初始语音帧的自功率谱大于声音能量阈值;确定所述当前初始语音帧由接近所述第一麦克风的说话人输出。8.根据权利要求1至7任一项所述的语音提取方法,其特征在于,还包括:获取包括多个说话人语音的第二混合语音,其中,所述第二混合语音是第二麦克风采集的;基于语音分离模型对所述第一混合语音和所述第二混合语音进行分离得到每个说话人的初始语音;确定所述第一混合语音的声音能量和所述第二混合语音的声音能量;将声音能量最强的混合语音作为目标混合语音;从所述目标混合语音中提取每个说话人的语音帧,所述多个说话人包括第一说话人和第二说话人。9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述的语音提取方法。10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的语音提取方法。
技术总结
本申请公开了一种语音提取方法、电子设备和存储介质,涉及智能穿戴技术领域,其中方法包括:获取包括多个说话人语音的第一混合语音,其中,所述第一混合语音是第一麦克风采集的;对所述第一混合语音进行分离,得到每个说话人的初始语音;基于每个说话人的初始语音与所述第一混合语音的互相关性,从每个所述初始语音中确定每个说话人的语音帧。本申请提供的方法和设备,提高了用户使用智能穿戴设备的使用体验。用体验。用体验。
技术研发人员:徐娜 龙韬臣 牛坤
受保护的技术使用者:湖北星纪魅族科技有限公司
技术研发日:2023.03.17
技术公布日:2023/7/28