一种车载语音交互方法、装置及电子设备与流程-j9九游会真人

文档序号:33319459发布日期:2023-03-03 19:25阅读:32来源:国知局


1.本发明涉及汽车电子电器技术领域,特别是涉及一种车载语音交互方法、装置及电子设备。


背景技术:

2.汽车的座舱是一个密闭的空间,由于座舱内的声音折射产生的噪音干扰等相对比较普遍,座舱内的人员之间进行语音交流会受到噪音干扰的影响。例如,若汽车前排人员声音偏小,汽车内噪音干扰影响较大会导致前排人员与后排人员进行语音交流时,后排人员无法听到前排人员的声音。因此,如何减小汽车内人员进行语音交互时的噪音干扰成为了一个亟待解决的问题。


技术实现要素:

3.本发明实施例的目的在于提供一种车载语音交互方法、装置及电子设备,以减小汽车内人员进行语音交互时的噪音干扰。
4.为了达到上述目的,本发明实施例提供了一种车载语音交互方法,包括:
5.在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;其中,所述语音交互指令包括:所述用户的语音交互对象对应的目标扬声器的标识信息;
6.针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;
7.针对每个目标第一声音信息集合,确定该目标第一声音信息集合与所述第二声音信息的集合之间的声音信息交集;
8.根据目标声音信息交集确定目标语音,并基于所述标识信息通过所述目标扬声器播放所述目标语音;其中,所述目标声音信息交集为:所述用户所在座椅对应的第一类型传感器对应的声音信息交集。
9.可选的,在所述获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合之前,还包括:
10.获取车辆的车窗状态信息和车门状态信息;
11.基于所述车窗状态信息和所述车门状态信息,调整车辆内各个第一类型传感器的灵敏度。
12.可选的,所述基于所述车窗状态信息和所述车门状态信息,调整车辆内各个第一类型传感器的灵敏度,包括:
13.针对每个第一类型传感器,计算与该第一类型传感器对应的座椅距离最近的车门的预设车门影响系数和该车门的开闭程度的乘积,作为第一乘积;
14.计算与该第一类型传感器对应的座椅距离最近的车窗的预设车窗影响系数和该车窗的开闭程度的乘积,作为第二乘积;
15.计算所述第一乘积、所述第二乘积与该第一类型传感器的理论灵敏度的和值,作为该第一类型传感器调整后的灵敏度。
16.可选的,在所述根据目标声音信息交集确定目标语音之前,还包括:
17.基于扬声器标识,剔除各个所述声音信息交集中的扬声器声音信息,得到对应的各个剔除后的声音信息交集;
18.将所述用户所在座椅对应的第一类型传感器对应的剔除后的声音信息交集确定为目标声音信息交集。
19.可选的,每个所述第一类型传感器为与车辆内的一个座椅相对应的非全指向性传感器,所述第二类型传感器为能够采集到所述车辆内所有声音信息的全指向性传感器。
20.为了达到上述目的,本发明实施例提供了一种车载语音交互装置,包括:
21.信息接收模块,用于在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;其中,所述语音交互指令包括:所述用户的语音交互对象对应的目标扬声器的标识信息;
22.第一信息剔除模块,用于针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;
23.交集确定模块,用于针对每个目标第一声音信息集合,确定该目标第一声音信息集合与所述第二声音信息的集合之间的声音信息交集;
24.目标语音确定模块,用于根据目标声音信息交集确定目标语音,并基于所述标识信息通过所述目标扬声器播放所述目标语音;其中,所述目标声音信息交集为:所述用户所在座椅对应的第一类型传感器对应的声音信息交集。
25.可选的,所述装置,还包括:
26.灵敏度调整模块,用于获取车辆的车窗状态信息和车门状态信息;基于所述车窗状态信息和所述车门状态信息,调整车辆内各个第一类型传感器的灵敏度。
27.可选的,所述灵敏度调整模块,具体用于针对每个第一类型传感器,计算与该第一类型传感器对应的座椅距离最近的车门的预设车门影响系数和该车门的开闭程度的乘积,作为第一乘积;计算与该第一类型传感器对应的座椅距离最近的车窗的预设车窗影响系数和该车窗的开闭程度的乘积,作为第二乘积;计算所述第一乘积、所述第二乘积与该第一类型传感器的理论灵敏度的和值,作为该第一类型传感器调整后的灵敏度。
28.可选的,所述装置,还包括:第二信息剔除模块,用于基于扬声器标识,剔除各个所述声音信息交集中的扬声器声音信息,得到对应的各个剔除后的声音信息交集;将所述用户所在座椅对应的第一类型传感器对应的剔除后的声音信息交集确定为目标声音信息交集。
29.可选的,每个所述第一类型传感器为与车辆内的一个座椅相对应的非全指向性传感器,所述第二类型传感器为能够采集到所述车辆内所有声音信息的全指向性传感器。
30.为了达到上述目的,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
31.存储器,用于存放计算机程序;
32.处理器,用于执行存储器上所存放的程序时,实现上述任一所述车载语音交互方法步骤。
33.为了达到上述目的,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的车载语音交互方法步骤。
34.为了达到上述目的,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的车载语音交互方法步骤。
35.本发明实施例有益效果:
36.采用本发明实施例提供的方法,在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;针对每个目标第一声音信息集合,确定该目标第一声音信息集合与第二声音信息的集合之间的声音信息交集;根据目标声音信息交集确定目标语音,并基于标识信息通过目标扬声器播放目标语音。通过将第一类型传感器对应的第一声音信息的集合中采集时间不早于被其他第一类型传感器采集时间的第一声音信息删除,进而删除各个第一类型传感器所采集的噪音杂音,并与第二声音信息的集合之间求声音信息交集,进一步剔除了第一类型传感器所采集的噪音杂音,然后根据目标声音信息交集确定目标语音发送给用户的语音交互对象对应的目标扬声器进行播放,减小了用户与其语音交互对象之间进行语音交互时的噪音干扰,提高了语音交互的质量。
37.当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
39.图1为本发明实施例提供的车载语音交互方法的一种流程图;
40.图2为车辆内传感器的一种设置布局图;
41.图3为各个传感器所采集到的声音信息的一种示意图;
42.图4为第一类型传感器的偏置电压对应的一种电路图;
43.图5为声音信息到各个传感器的距离的一种示意图;
44.图6为传感器采集范围的一种示意图;
45.图7为声音信息交集的一种示意图;
46.图8为本发明实施例提供的车载语音交互装置的一种结构图;
47.图9为本发明实施例提供的车载语音交互装置的另一种结构图;
48.图10为本发明实施例提供的电子设备的结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本技术所获得的所有其他实施例,都属于本发明保护的范围。
50.本发明实施例提供的车载语音交互方法可以应用于车载电子设备、边缘服务器或云端服务器等,此处不做具体限定。其中,车载电子设备可以为一种车载的中央计算机、中央域控制器、集成式ecu(electronic control unit,电子控制单元)、驾驶脑、车机、dhu(drilling head unit,娱乐主机和仪表的集成机器)、ihu(infotainment head unit,信息娱乐主机)或ivi(in-vehicle infotainment,车载信息娱乐系统)等任意车载信息交互终端。以车载电子设备为车载的中央域控制器为例,车载的中央域控制器可以控制车辆内的各个设备,如扬声器、传感器等,集成车辆内的各个设备的功能。例如,车载的中央域控制器可以获取传感器采集的数据,如车辆内的声音信息,并进行处理,控制扬声器播放处理后的声音信息。即车辆内的各种信息均可以由能够控制车辆内各个设备的车载的中央域控制器进行处理。
51.图1为本发明实施例提供的车载语音交互方法的一种流程图,如图1所示,所述方法包括如下步骤:
52.步骤101,在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合。
53.其中,语音交互指令包括:用户的语音交互对象对应的目标扬声器的标识信息。
54.具体的,每个第一类型传感器可以为与车辆内的一个座椅相对应的非全指向性传感器,第二类型传感器可以为能够采集到车辆内所有声音信息的全指向性传感器。
55.步骤102,针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合。
56.步骤103,针对每个目标第一声音信息集合,确定该目标第一声音信息集合与第二声音信息的集合之间的声音信息交集。
57.步骤104,根据目标声音信息交集确定目标语音,并基于标识信息通过目标扬声器播放目标语音。
58.其中,目标声音信息交集为:用户所在座椅对应的第一类型传感器对应的声音信息交集。
59.本发明实施例中,语音交互指令可以包括用户的语音交互对象对应的目标扬声器的标识信息。具体的,每个座椅旁边都可以设置多个按钮,每个按钮标识其他座椅对应的扬声器,例如,4座车中座椅a处设置有按钮b、按钮c和按钮d,分别标识座椅b、座椅c和座椅d处
扬声器;座椅b处设置有按钮a、按钮c和按钮d,分别标识座椅a、座椅c和座椅d处扬声器;座椅c处设置有按钮a、按钮b和按钮d,分别标识座椅a、座椅b和座椅d处扬声器;座椅d处设置有按钮b、按钮c和按钮a,分别标识座椅b、座椅c和座椅a处扬声器。若座椅a处的用户按下按钮b,表示该用户需要与其语音交互对象(座椅b处的用户)进行语音对话。
60.本发明实施例中,扬声器可以设置在车辆的前、后、左、右四个门上,每个座椅对应一个扬声器。
61.若针对座椅a处的用户确定出目标语音,则可以基于标识信息确定出播放该目标语音的目标扬声器为座椅b对应的扬声器,进而可以通过座椅b对应的扬声器播放目标语音。
62.采用本发明实施例提供的方法,在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;针对每个目标第一声音信息集合,确定该目标第一声音信息集合与第二声音信息的集合之间的声音信息交集;根据目标声音信息交集确定目标语音,并基于标识信息通过目标扬声器播放目标语音。通过将第一类型传感器对应的第一声音信息的集合中采集时间不早于被其他第一类型传感器采集时间的第一声音信息删除,进而删除各个第一类型传感器所采集的噪音杂音,并与第二声音信息的集合之间求声音信息交集,进一步剔除了第一类型传感器所采集的噪音杂音,然后根据目标声音信息交集确定目标语音发送给用户的语音交互对象对应的目标扬声器进行播放,减小了用户与其语音交互对象之间进行语音交互时的噪音干扰,提高了语音交互的质量。
63.本发明实施例提供的方法可以应用于任何车辆,如4座车和6座车等。每个车辆中可以设置与车座数量相等的多个第一类型传感器,以及设置一个第二类型传感器。图2为车辆内传感器的一种设置布局图,图2所示的4座车中的第一类型传感器和第二类型传感器的设置布局图,如图2所示,4座车中包括4个座位:座位1、座位2、座位3和座位4。可以在座位1附近设置一个第一类型传感器mic1,在座位2附近设置一个第二类型传感器mic2,在座位3附近设置一个第一类型传感器mic3,在座位4附近设置一个第一类型传感器mic4,在车辆中的中心位置设置一个第二类型传感器mic5。其中,每个第一类型传感器为与车辆内的一个座椅相对应的非全指向性传感器。通常,非全指向性传感器可以设置其采集范围小于180
°
,如图2中第一类型传感器mic1的采集范围a1、第一类型传感器mic2的采集范围a2、第一类型传感器mic3的采集范围a3和第一类型传感器mic2的采集范围a4均小于180
°
。并且,每个第一类型传感器均偏向其对应的座椅,例如,第一类型传感器mic1偏向其对应的座位1,这样设置便于第一类型传感器采集其对应的座椅处的用户的语音。
64.车辆中心位置处的第二类型传感器为全指向性传感器,通常,全指向性传感器可以设置其采集范围为360
°
,如图2中第二类型传感器mic5的采集范围a5为360
°
,即第二类型传感器可以采集到车辆内所有声音信息,包括车辆内的杂音、噪音等。
65.本发明实施例中,车辆第二类型传感器和每个第一类型传感器均可以包括性能指标:灵敏度、信噪比、频率响应和指向性。各个性能指标的定义具体如下文所述:
66.传感器的灵敏度为:当反馈给传感器1pa(94db)的声压时,传感器输出端的电压(dbv)。本发明实施例中,通常要求车辆内的第一类型传感器和第二类型传感器的灵敏度≥-35db。
67.传感器的信噪比为:信号与噪声的比例。本发明实施例中,通常要求车辆内的第一类型传感器和第二类型传感器的信噪比≥-40db;并且,由于第一类型传感器通常距离车窗和车门更近,因此第一类型传感器的信噪比大于第二类型传感器的信噪比。
68.传感器的频率响应为:灵敏度在不同的频率对应的不同的数值即为频率响应。将灵敏度对频率的依赖关系通过曲线表示出来便称为频率响应曲线。本发明实施例中,第一类型传感器的频率响应需求通常为:在语音信号频率范围内的频率响应中灵敏度高,其中,语音信号频率范围为: /-3db(300hz-3khz)。第二类型传感器的频率范围可以为:300hz~3khz。
69.传感器的指向性为:第一类型传感器指向范围小于《180
°
,第二类型传感器指向范围可以等于360
°

70.本发明实施例中,第一类型传感器可以采集到其指向范围内的用户的语音信息、车辆内的部分环境声音(车辆内的噪音、噪音)和扬声器播放声音;如图2所示,第一类型传感器mc1可以采集到的其指向范围a1内座位1上的用户的语音信息、其指向范围内的部分环境声音以及扬声器播放声音。第二类型传感器由于其指向范围为360
°
,因此其可以采集到车辆内的所有声音,包括:用户语音信息、环境声音和扬声器播放声音。图3为各个传感器所采集到的声音信息的一种示意图,如图3所示,第一类型传感器e和第二类型传感器f都会采集到用户语音a点、用户语音b点和其他用户语音,以及环境声音和扬声器播放声音。并且,图3中用户语音a点与第一类型传感器e及第二类型传感器f之间的距离分别为s1和s2,图3中用户语音b点与第一类型传感器e及第二类型传感器f之间的距离分别为s3和s4。
71.在一种可能的实施方式中,在执行上述步骤101之前,还可以包括如下步骤a1-步骤a2:
72.步骤a1,获取车辆的车窗状态信息和车门状态信息。
73.步骤a2,基于车窗状态信息和车门状态信息,调整车辆内各个第一类型传感器的灵敏度。
74.具体的,可以通过车身总线获取车辆中车窗和车门的打开状态。如果根据所获取的车窗状态信息和车门状态信息确定出车辆的左前门和/或左前车窗处于打开状态,可以增加靠近主驾的座椅对应的第一类型传感器的灵敏度;如图2所示,座位1为主驾座椅,如果确定出车辆的左前门和/或左前车窗处于打开状态,可以增加第一类型传感器mic1的灵敏度。如果确定出车辆的右前门和/或右前车窗处于打开状态,可以增加靠近副驾的座椅对应的第一类型传感器的灵敏度。如果确定出车辆的左后门和/或左后车窗处于打开状态,可以增加靠近主驾后排的座椅对应的第一类型传感器的灵敏度。如果确定出车辆的右后门和/或右后车窗处于打开状态,可以增加靠近副驾后排的座椅对应的第一类型传感器的灵敏度。
75.具体的,所述基于车窗状态信息和车门状态信息,调整车辆内各个第一类型传感器的灵敏度,可以包括如下步骤b1-b3:
76.步骤b1:针对每个第一类型传感器,计算与该第一类型传感器对应的座椅距离最
近的车门的预设车门影响系数和该车门的开闭程度的乘积,作为第一乘积。
77.本发明实施例中,车门的预设车门影响系数可以针对具体的车辆进行设定,此处不做具体限定。车门的开闭程度的取值范围可以为0-100%,例如,车门处于未打开状态时其开闭程度为0,车门处于全打开状态时其开闭程度为100%。
78.步骤b2:计算与该第一类型传感器对应的座椅距离最近的车窗的预设车窗影响系数和该车窗的开闭程度的乘积,作为第二乘积。
79.本发明实施例中,车窗的预设车门影响系数可以针对具体的车辆进行设定,此处不做具体限定。车窗的开闭程度的取值范围可以为0-100%,例如,车窗处于未打开状态时其开闭程度为0,车窗处于全打开状态时其开闭程度为100%。
80.其中,步骤b1中的所述计算与该第一类型传感器对应的座椅距离最近的车门的预设车门影响系数和该车门的开闭程度的乘积,作为第一乘积的步骤,与步骤b2的执行的先后顺序不做限定。
81.步骤b3:计算第一乘积、第二乘积与该第一类型传感器的理论灵敏度的和值,作为该第一类型传感器调整后的灵敏度。
82.本发明实施例中,每个第一类型传感器可以设定理论灵敏度,该理论灵敏度为:该第一类型传感器对应的座椅距离最近的车门和车窗均处于关闭状态时,该第一类型传感器采集声音信息的最佳灵敏度。
83.具体的,本发明实施例中针对每个第一类型传感器,可以采用如下公式调整该第一类型传感器的灵敏度:
84.s=s0 k1*x1 k2*x2
85.其中,s为该第一类型传感器调整后的灵敏度,s0为该第一类型传感器的理论灵敏度;ki为与该第一类型传感器对应的座椅距离最近的车门所对应的预设车门影响系数,x1为与该第一类型传感器对应的座椅距离最近的车门的开闭程度;k2为与该第一类型传感器对应的座椅距离最近的车窗对应的预设车窗影响系数,x2为与该第一类型传感器对应的座椅距离最近的车窗的开闭程度。并且,s0为预先设定好的值,可以根据车辆不同具体设定,此处不做限定;x1为车门的开闭程度,车门全开则x1取值为100%,车门未开则x1取值为0;x2为车窗的开闭程度,车窗全开则x2取值为100%,车窗未开则x2取值为0。
86.图4为第一类型传感器的偏置电压对应的一种电路图。如图4所示,电路原理为:micp2和micn2是一对差分信号,经过电容c1的滤波可以输入到第一类型传感器mic两端。第一类型传感器mic两引脚分别是接地和供电,图4中电阻r1就关系到第一类型传感器mic的灵敏度。第一类型传感器mic的偏置电压为v

用于第一类型传感器mic供电,电阻r3对应的电压为v3,第一类型传感器mic如果接收到声音信息会产生电压v4,r1对应的电压v1,电容c1在直流电路相当于短路,起滤低频波的作用。电阻r2对应的电阻为v2,电阻r2是一个可变电阻,可以通过调节r2的大小,调节第一类型传感器mic的灵敏度,第一类型传感器mic的灵敏度越大,第一类型传感器mic越能采集到更微弱的声音信号。具体的调节第一类型传感器mic的可变电阻r2的方法如下:
87.v4=v
总-v1-v3-v2=v
总-v1-v3-i

*r2=v
总-v1-v3-((v
总-v4)/(r1 r2 r3))
88.*r2。假设:va=v


v1-v3;ra=r1 r3;则v4=(vara
–v总
r2 var2)/ra。
89.假设b=vara var2;则(s0 k1*x1 k2*x2)/20=lg(b-v总r2)

90.g(ra*v0);s=s0 k1*x1 k2*x2=20lg((b-v

r2)/(ra*v0));
91.假设c=(s0 k1*x1 k2*x2)/20 lg(ra*v0);则可以调整r2=v

/
92.(b-10^c)。其中,v

、v2和v3的值均是已知的,v0通常取值为1。
93.即针对每个第一类型传感器,如果与该第一类型传感器对应的座椅距离最近的车窗和车门未全关闭,可以根据该车门的开闭程度x1、该车门所对应的预设车门影响系数k1、该车窗的开闭程度x2、该车窗所对应的预设车门影响系数k2以及理论灵敏度s0,采用公式s=s0 k1*x1 k2*x2,确定出该第一类型传感器调整后的灵敏度s。而具体的可以通过调节该第一类型传感器的可变电阻r2的大小,将r2调整为“r2=v

/(b-10^c)”,使该第一类型传感器的达到调整后的灵敏度s。
94.如果车门和车窗已经关闭,可以将第一类型传感器的r2恢复到其理论灵敏度状态下对应的电阻值,因为第一类型传感器mic的灵敏度过高,持续时间过长,第一类型传感器mic的热量会过高,这会对第一类型传感器mic产生较大损害,影响其采集声音信息的性能。
95.在一种可能的实施方式中,如图2所示,第一类型传感器mic1、mic2、mic3、mic4分别设置有对应的采集区域(朝向车辆座位的扇形区域),但车辆安装第一类型传感器存在安装位置偏差会导致采集区域产生偏差,行车过程中的抖动也会导致第一类型传感器的采集区域产生偏差。基于此,本发明实施例中可以通过比较采集的第一声音信息的音源到各个第一类型传感器的最近距离,对各个第一类型传感器所采集的第一声音信息进行整理。具体的,以图2所示的4座车为例,第一类型传感器mic1、mic2、mic3和mic4所采集的第一声音信息的集合分别为e1、e2、e3和e4。
96.集合e1-e4为每个第一类型传感器的所有采集数据,集合e1-e4中包括:时间戳和第一声音信息。第一声音信息是某频点的声音语音数据段,时间戳为第一类型传感器采集到第一声音信息的时刻。集合d1-d4为在执行完上述步骤102后各个第一类型传感器对应的目标第一声音信息集合。
97.图5为声音信息到各个传感器的距离的一种示意图,下面以图5为例,对所述针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合的步骤进行如下说明:
98.如图5所示,第一声音信息a到各个第一类型传感器mic1、mic2、mic3、mic4,以及到第二类型传感器mic5的距离分别x1、x2、x3、x4和x5;第一声音信息b到各个第一类型传感器mic1、mic2、mic3、mic4,以及到第二类型传感器mic5的距离分别y1、y2、y3、y4和y5。
99.例如,对于第一声音信息a,如果各个第一类型传感器和第二类型传感器均采集到该第一声音信息a,则可以比较x1、x2、x3、x4、x5的大小,确定其中的最小值xa,如果最小值xa对应的传感器为第一类型传感器,则只将该第一声音信息a保存在距离最小值xa对应的第一类型传感器中;如果最小值xa对应的传感器为第二类型传感器,则可以不在任何传感器中保存该第一声音信息a。
100.由于声音到传感器的距离等于声音速度*传播时间,因此可以通过比较各个传感器采集到声音信息的时间戳,达到比较声音信息到各个传感器的距离的目的。第一声音信息a到达传感器的最近时间戳则是第一声音信息a到达传感器的最近距离。因此,可以针对
每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合。
101.音源位置位于车辆中间区域,(即音源位置到第一类型传感器mic1-4中某两个的距离相等)的第一声音信息通常为杂音,可以直接删除各个第一类型传感器mic1-4中的这类第一声音信息。例如,集合d1和集合d2中的第一声音信息b的音源位置与第一类型传感器mic1和第一类型传感器mic2的距离相同,则可以直接删除集合d1和集合d2中的第一声音信息b。
102.图6为传感器采集范围的一种示意图,第二类型传感器mic5全指向采集到第二声音信息s1、s2、和s3,则第二类型传感器mic5采集到的第二声音信息的集合d[5]中包括s1、s2、和s3。如图6所示,第一类型传感器mic1采集到第一声音信息s1,则第一类型传感器mic1采集到的第一声音信息的集合e[1]中包括:s1。第一类型传感器mic2采集到第一声音信息s2和s2,则第一类型传感器mic2采集到的第一声音信息的集合e[2]中包括:s1和s2。
[0103]
mic1、mic2和mic5都采集到了声音信息s1,如果声音信息s1到mic1和mic2距离一样,则将mic1和mic2对应的第一声音信息的集合中的声音信息s1均删除,得到的mic1和mic2对应的目标第一声音信息集合d[1]和d[2]中均不包括声音信息s1。如果声音信息s1到mic1的距离小于到mic2的距离,则将mic2对应的第一声音信息的集合中的声音信息s1删除,将声音信息s1保存在mic2对应的第一声音信息的集合中,得到的mic1对应的目标第一声音信息集合d[1]中包括声音信息s1,而得到的mic2对应的目标第一声音信息集合d[2]中不包括声音信息s1。
[0104]
本发明实施例中,所述针对每个目标第一声音信息集合,确定该目标第一声音信息集合与第二声音信息的集合之间的声音信息交集。由于第二类型传感器的灵敏度可以采集到车辆内所有声音信息,第一类型传感器采集到的是其指向性范围内的所有声音信息。所以可以将所有第一类型传感器采集到的而第二类型传感器未采集到的声音信息,判定为车外、车窗、电路滤波自干扰、电磁干扰、风吹动第一类型传感器误判的声音,即可以判断为杂音或干扰音。因此,通过求每个目标第一声音信息集合与第二声音信息的集合之间的声音信息交集,可以剔除这类杂音干扰音。
[0105]
图7为声音信息交集的一种示意图。如图7所示,第一类型传感器mic1对应的目标第一声音信息集合d[1],和第二类型传感器mic5对应的第二声音信息的集合d[5]的交集为f[1]。声音信息z1在mic1的集合d[1]中但不在mic5的集合d[5]中,声音信息z2既在mic1的集合d[1]中也在mic5的集合d[5]中。则f[1]只保留d[1]和d[5]共同存在的数据z2,z1不保留在f[1]中。
[0106]
在一种可能的实施方式中,在所述根据目标声音信息交集确定目标语音之前,还包括步骤c1-c2:
[0107]
步骤c1,基于扬声器标识,剔除各个所述声音信息交集中的扬声器声音信息,得到对应的各个剔除后的声音信息交集;
[0108]
步骤c2,将所述用户所在座椅对应的第一类型传感器对应的剔除后的声音信息交集确定为目标声音信息交集。
[0109]
例如,扬声器的声音信息y在播放时,可以将播放声音信息y通过连接线传输到车载电子设备的处理器中,通过车载电子设备直接剔除各个声音信息交集中的扬声器声音信息y。
[0110]
采用本发明实施例提供的方法,通过将第一类型传感器对应的第一声音信息的集合中采集时间不早于被其他第一类型传感器采集时间的第一声音信息删除,进而删除各个第一类型传感器所采集的噪音杂音,并与第二声音信息的集合之间求声音信息交集,进一步剔除了第一类型传感器所采集的噪音杂音,并且,通过在车辆内布置多个传感器,根据车窗和车门状态自动调节对应影响区域传感器的灵敏度;根据与第二类型传感器进行对比,判断声音来源的方向,根据采集区域对应扬声器的回路的声音,剔除扬声器的干扰,根据用户的按键操作将所确定的目标语音发送给用户的语音交互对象对应的目标扬声器进行播放,减小了用户与其语音交互对象之间进行语音交互时的噪音干扰,提高了语音交互的质量。
[0111]
基于同一发明构思,根据本发明上述实施例提供的车载语音交互方法,相应地,本发明另一实施例还提供了一种车载语音交互装置,其结构示意图如图8所示,具体包括:
[0112]
信息接收模块801,用于在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;其中,所述语音交互指令包括:所述用户的语音交互对象对应的目标扬声器的标识信息;
[0113]
第一信息剔除模块802,用于针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;
[0114]
交集确定模块803,用于针对每个目标第一声音信息集合,确定该目标第一声音信息集合与所述第二声音信息的集合之间的声音信息交集;
[0115]
目标语音确定模块804,用于根据目标声音信息交集确定目标语音,并基于所述标识信息通过所述目标扬声器播放所述目标语音;其中,所述目标声音信息交集为:所述用户所在座椅对应的第一类型传感器对应的声音信息交集。
[0116]
可见,采用本发明实施例提供的装置,在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;针对每个目标第一声音信息集合,确定该目标第一声音信息集合与第二声音信息的集合之间的声音信息交集;根据目标声音信息交集确定目标语音,并基于标识信息通过目标扬声器播放目标语音。通过将第一类型传感器对应的第一声音信息的集合中采集时间不早于被其他第一类型传感器采集时间的第一声音信息删除,进而删除各个第一类型传感器所采集的噪音杂音,并与第二声音信息的集合之间求声音信息交集,进一步剔除了第一类型传感器所采集的噪音杂音,然后根据目标声音信息交集确定目标语音发送给用户的语音交互对象对应的目标扬声器进行播放,减小了用户与
其语音交互对象之间进行语音交互时的噪音干扰,提高了语音交互的质量。
[0117]
可选的,参见图9,所述装置还包括:
[0118]
灵敏度调整模块901,用于获取车辆的车窗状态信息和车门状态信息;基于所述车窗状态信息和所述车门状态信息,调整车辆内各个第一类型传感器的灵敏度。
[0119]
可选的,所述灵敏度调整模块901,具体用于针对每个第一类型传感器,计算与该第一类型传感器对应的座椅距离最近的车门的预设车门影响系数和该车门的开闭程度的乘积,作为第一乘积;计算与该第一类型传感器对应的座椅距离最近的车窗的预设车窗影响系数和该车窗的开闭程度的乘积,作为第二乘积;计算所述第一乘积、所述第二乘积与该第一类型传感器的理论灵敏度的和值,作为该第一类型传感器调整后的灵敏度。
[0120]
可选的,参见图9,所述装置还包括:第二信息剔除模块902,用于基于扬声器标识,剔除各个所述声音信息交集中的扬声器声音信息,得到对应的各个剔除后的声音信息交集;将所述用户所在座椅对应的第一类型传感器对应的剔除后的声音信息交集确定为目标声音信息交集。
[0121]
可选的,每个所述第一类型传感器为与车辆内的一个座椅相对应的非全指向性传感器,所述第二类型传感器为能够采集到所述车辆内所有声音信息的全指向性传感器。
[0122]
可见,采用本发明实施例提供的装置,通过将第一类型传感器对应的第一声音信息的集合中采集时间不早于被其他第一类型传感器采集时间的第一声音信息删除,进而删除各个第一类型传感器所采集的噪音杂音,并与第二声音信息的集合之间求声音信息交集,进一步剔除了第一类型传感器所采集的噪音杂音,并且,通过在车辆内布置多个传感器,根据车窗和车门状态自动调节对应影响区域传感器的灵敏度;根据与第二类型传感器进行对比,判断声音来源的方向,根据采集区域对应扬声器的回路的声音,剔除扬声器的干扰,根据用户的按键操作将所确定的目标语音发送给用户的语音交互对象对应的目标扬声器进行播放,减小了用户与其语音交互对象之间进行语音交互时的噪音干扰,提高了语音交互的质量。
[0123]
本发明实施例中,在根据目标声音信息交集确定出目标语音后,可以基于该标识信息在目标扬声器播放目标语音。而目标扬声器的播放音量也会影响用户与其语音交互对象之间的语音交互效果。通常,扬声器的音量可以设定为0-39等多个等级,等级越高,扬声器的音量越大。而对于人耳,适合人耳的扬声器的音量等级通常为5-20,因此,本发明实施例中可以对目标扬声器播放目标语音的音量做出如下限定:
[0124]
如果目标扬声器的设定音量的等级高于20,则目标扬声器的按照等级为20的音量播放目标语音;如果目标扬声器的设定音量的等级低于5,则目标扬声器的按照等级为5的音量播放目标语音;如果目标扬声器的设定音量的等级不小于5且不大于20,则目标扬声器的按照其设定音量的等级播放目标语音。
[0125]
本发明实施例中,可以通过对目标扬声器的播放音量调整得更适合人耳,以保证用户与其语音交互对象之间进行语音交互时耳朵不会因扬声器音量过大受到刺激,也不会因为扬声器音量过小导致听不见目标语音,提高了用户与其语音交互对象之间进行语音交互的效果。
[0126]
本发明实施例还提供了一种电子设备,如图10所示,包括处理器1001、通信接口1002、存储器1003和通信总线1004,其中,处理器1001,通信接口1002,存储器1003通过通信
总线1004完成相互间的通信,
[0127]
存储器1003,用于存放计算机程序;
[0128]
处理器1001,用于执行存储器1003上所存放的程序时,实现如下步骤:
[0129]
在接收到用户发出的语音交互指令的情况下,获取各个第一类型传感器采集到的第一声音信息的集合和第二类型传感器采集到的第二声音信息的集合;其中,所述语音交互指令包括:所述用户的语音交互对象对应的目标扬声器的标识信息;
[0130]
针对每个第一类型传感器所采集到的每个第一声音信息,若该第一声音信息被该第一类型传感器采集到的时间不早于被其他第一类型传感器采集到的时间,则将该第一类型传感器对应的第一声音信息的集合中的该第一声音信息删除,得到该第一类型传感器对应的目标第一声音信息集合;
[0131]
针对每个目标第一声音信息集合,确定该目标第一声音信息集合与所述第二声音信息的集合之间的声音信息交集;
[0132]
根据目标声音信息交集确定目标语音,并基于所述标识信息通过所述目标扬声器播放所述目标语音;其中,所述目标声音信息交集为:所述用户所在座椅对应的第一类型传感器对应的声音信息交集。
[0133]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect,pci)总线或扩展工业标准结构(extended industry standard architecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0134]
通信接口用于上述电子设备与其他设备之间的通信。
[0135]
存储器可以包括随机存取存储器(random access memory,ram),也可以包括非易失性存储器(non-volatile memory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
[0136]
上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0137]
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一车载语音交互方法的步骤。
[0138]
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一车载语音交互方法。
[0139]
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0140]
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0141]
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0142]
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图