行为检测方法、装置、车辆、电子设备及存储介质与流程-j9九游会真人

文档序号:35694595发布日期:2023-10-11 16:59阅读:8来源:国知局


1.本公开涉及人工智能技术领域,尤其涉及一种行为检测方法、装置、车辆、电子设备及存储介质。


背景技术:

2.在车辆驾驶场景中,规范司机的驾驶行为是解决车辆安全隐患的一个重要方面,由此,亟需提出一种行为检测方法,以在车辆驾驶场景中,对司机的非规范行为(例如,抽烟行为,喝水行为,接打电话行为)进行检测,从而对司机的行为进行相应规范。
3.相关技术中,在进行行为检测时,行为检测的准确性较差,行为检测效果不佳。


技术实现要素:

4.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此,本公开的目的在于提出一种行为检测方法、装置、车辆、电子设备及存储介质,由于是联合待检测图像中的目标物体信息和图像区域信息对待检测图像进行行为检测,能够有效地提升行为检测识别的准确性和检测识别效率,从而能够有效地提升行为检测方法的鲁棒性和适用性。
6.本公开第一方面实施例提出的行为检测方法,包括:获取待检测图像;识别待检测图像中的目标物体信息和图像区域信息;以及根据目标物体信息和图像区域信息,确定人体行为信息。
7.本公开第一方面实施例提出的行为检测方法,通过获取待检测图像,并识别待检测图像中的目标物体信息和图像区域信息,以及根据目标物体信息和图像区域信息,确定人体行为信息。由此,由于是联合待检测图像中的目标物体信息和图像区域信息对待检测图像进行行为检测,能够有效地提升行为检测识别的准确性和检测识别效率,从而能够有效地提升行为检测方法的鲁棒性和适用性。
8.本公开第二方面实施例提出的行为检测装置,包括:获取模块,用于获取待检测图像;识别模块,用于识别待检测图像中的目标物体信息和图像区域信息;以及确定模块,用于根据目标物体信息和图像区域信息,确定人体行为信息。
9.本公开第二方面实施例提出的行为检测装置,通过获取待检测图像,并识别待检测图像中的目标物体信息和图像区域信息,以及根据目标物体信息和图像区域信息,确定人体行为信息。由此,由于是联合待检测图像中的目标物体信息和图像区域信息对待检测图像进行行为检测,能够有效地提升行为检测识别的准确性和检测识别效率,从而能够有效地提升行为检测方法的鲁棒性和适用性。
10.根据本公开第三方面,提供了一种车辆,包括:本公开第二方面实施例提出的行为检测装置。
11.根据本公开第四方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令
被至少一个处理器执行,以使至少一个处理器能够执行本公开第一方面实施例的行为检测方法。
12.根据本公开第五方面,提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本公开第一方面实施例的行为检测方法。
13.根据本公开第六方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开第一方面实施例的行为检测方法。
14.本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
15.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
16.图1是本公开一实施例提出的行为检测方法的流程示意图;
17.图2是本公开另一实施例提出的行为检测方法的流程示意图;
18.图3是本公开另一实施例提出的行为检测方法的流程示意图;
19.图4是本公开一实施例提出的行为检测装置的结构示意图;
20.图5是本公开另一实施例提出的行为检测装置的结构示意图;
21.图6是本公开一实施例提出的车辆的结构示意图;
22.图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
23.下面详细描述本公开的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开,而不能理解为对本公开的限制。相反,本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
24.图1是本公开一实施例提出的行为检测方法的流程示意图。
25.其中,需要说明的是,本实施例的行为检测方法的执行主体为行为检测装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在电子设备中,电子设备可以包括但不限于终端、服务器端等。
26.如图1所示,该行为检测方法,包括:
27.s101:获取待检测图像。
28.需要说明的是,本公开实施例中获取待检测图像,均是在经过相关用户授权后获取的,其过程均符合相关法律、法规的规定,且不违背公序良俗。
29.其中,当前待对其进行行为检测的图像,即可以被称为待检测图像,该待检测图像可以是针对人脸采集得到的人脸图像,或者,该待检测图像,还可以是针对人体某个部位(例如,手部,对此不做限制)采集得到的图像,对此不做限制。
30.本公开实施例中,待测图像的数量可以是一个或者多个,待测图像可以具体例如一幅图像,或者一段视频中的视频帧对应的图像,待测图像还可以是二维图像,或者三维图像,对此不做限制。
31.一些实施例中,获取待检测图像,可以是采用手机,相机等具有摄像功能的摄像装置,针对人脸采集得到的人脸图像,或者,还可以是对视频流进行解析,以得到多个视频帧图像,再从多个视频帧图像中挑选出包含人脸的视频帧图像,并将该视频帧图像作为待检测图像,而后,可以基于前述获取得到的待检测图像执行后续的行为检测方法,对此不做限制。
32.s102:识别待检测图像中的目标物体信息和图像区域信息。
33.本公开实施例中,当对前述获取得到的待检测图像进行行为检测时,待检测图像中可以被分为多个图像区域,以待检测图像是人脸图像为例,可以将待检测图像分为,人脸区域(例如,眼部区域,嘴巴区域,),物体区域(例如,眼镜区域,喝水时的吸管区域,)对此不做限制。
34.其中,用于对待检测图像中的人脸区域进行描述的信息,即可以被称为图像区域信息,该图像区域信息可以具体例如为图像区域像素信息,图像区域的特征信息等,对此不做限制。
35.其中,用于对待检测图像中的目标物体进行描述的信息,即可以被称为目标物体信息,该目标物体信息可以具体例如为,目标物体相对于待检测图像的位置信息,目标物体的特征信息等,对此不做限制。
36.一些实施例中,识别待检测图像中的目标物体信息和图像区域信息,可以是采用特征解析的方法(例如,局部二值模式((local binary patterns,lbp)算法,对此不做限制),对前述所获取的待检测图像进行特征识别,以从待检测图像中识别得到多个特征信息,而后,可以对前述识别得到的多个特征信息进行解析处理,将多个特征信息中用于对物体进行描述的信息作为目标物体信息,将多个特征信息中用于对人脸部位进行描述的信息作为图像区域信息,对此不做限制。
37.或者,也可以采用其他任意可能的方法,识别待检测图像中的目标物体信息和图像区域信息,例如,模型识别的方式,卷积神经网络识别的方式等,对此不做限制。
38.s103:根据目标物体信息和图像区域信息,确定人体行为信息。
39.其中,用于对人体行为进行描述的信息,即可以被称为人体行为信息,该人体行为信息可以具体例如为人体行为的类别信息,人体行为的评价信息等,对此不做限制。
40.本公开实施例中,在获取待检测图像,并识别待检测图像中的目标物体信息和图像区域信息后,可以结合目标物体信息和图像区域信息,确定人体行为信息。
41.一些实施例中,根据目标物体信息和图像区域信息,确定人体行为信息,可以是在确定目标物体信息和图像区域信息后,对目标物体信息和图像区域信息进行融合处理,以得到相应的融合处理结果,再根据融合处理结果,确定人体行为信息。
42.举例而言,可以是对上述确定得到的目标物体信息(目标物体特征)和图像区域信息(图像区域特征)进行特征融合处理,以得到相应的融合特征,而后,可以结合融合特征,确定人体行为信息,对此不做限制。
43.另一些实施例中,还可以是以目标物体信息和图像区域信息为双重参考,根确定人体行为信息,例如,可以先根据图像区域信息,确定可能发生在该图像区域的行为及与该行为对应的物体信息,而后,可以判断前述确定的目标物体信息是否和与该图像区域的行为及与该行为对应的物体信息相匹配,并在目标物体信息是否和与该图像区域的行为及与
该行为对应的物体信息相匹配时,将与该物体信息对应的行为作为人体行为信息,对此不做限制。
44.举例而言,假设从待检测图像中识别得到的图像区域信息是嘴部图像区域信息,则可以确定可能发生在该嘴部图像区域的行为可以是抽烟行为,喝水行为等,并确定与抽烟行为对应的物体信息是烟,与喝水行为对应的物体信息是水杯,而后,可以将前述识别得到的目标物体信息与烟或水杯相比对,并在确定目标物体信息是烟时,确定存在抽烟行为,在确定目标物体信息是水杯时,确定存在喝水行为,对此不做限制。
45.本实施例中,通过获取待检测图像,并识别待检测图像中的目标物体信息和图像区域信息,以及根据目标物体信息和图像区域信息,确定人体行为信息。由此,由于是联合待检测图像中的目标物体信息和图像区域信息对待检测图像进行行为检测,能够有效地提升行为检测识别的准确性和检测识别效率,从而能够有效地提升行为检测方法的鲁棒性和适用性。
46.图2是本公开另一实施例提出的行为检测方法的流程示意图。
47.如图2所示,该行为检测方法,包括:
48.s201:获取初始图像,其中,初始图像由车辆的摄像装置捕获,初始图像对应驾驶区域标注信息。
49.其中,在行为检测方法开始执行的初始阶段,获取得到的用于检测行为的图像,即可以被称为初始图像。
50.本公开实施例中,初始图像可以是由车辆的摄像装置所捕获得到的图像,该摄像装置可以是预先设置于车辆中的,或者,该摄像装置也可以和车辆集成设置。
51.本公开实施例中,在采用车辆的摄像装置获取初始图像时,为了有效地降低后续图像处理的数据量,可以针对初始图像预先设置相应的标注信息,例如,可以针对初始图像预先设置相应的驾驶区域,而后,可以在经由车辆的摄像装置捕获得到初始图像后,针对驾驶区域内的图像执行后续的行为检测方法,从而能够有效地降低后续图像处理的数据量,在有效地节约计算资源的同时,有效地辅助提升行为检测效率。
52.其中,用于对上述针对初始图像预先设置的驾驶区域进行描述的信息,即可以被称为驾驶区域标准信息,该驾驶区域标注信息可以具体例如为,驾驶区域的位置标准信息,对此不做限制。
53.也即是说,本公开实施例所描述的行为检测方法的一种具体应用场景可以具体例如为,在车辆驾驶场景中,采用车辆的摄像装置获取初始图像,而后结合预设配置的车辆驾驶区域标注信息,从初始图像确定出待检测图像,并对待检测图像进行行为检测,以确定司机是否存在违规驾驶行为(例如,抽烟行为,接打电话行为,对此不做限制)。
54.需要说明的是,本公开实施例的解释说明可以以上述车辆驾驶的应用场景进行示例,另外本公开实施例也可以应用于其他任意可能的行为检测的应用场景中,对此不做限制。
55.s202:将初始图像输入至人脸检测模型中,由人脸检测模型对初始图像进行人脸检测,以得到人脸检测结果。
56.其中,人脸检测模型可以用于对初始图像进行人脸识别检测,并输出相应的检测结果,该检测结果即可以被称为人脸检测结果。
57.其中,该人脸检测模型可以是人工智能模型,具体例如为神经网络模型或者是机器学习模型,当然也可以是其他任意可能的能够执行人脸检测任务的模型,对此不做限制。
58.也即是说,本公开实施例在获取初始图像后,可以将初始图像输入至人脸检测模型中,由人脸检测模型对初始图像进行人脸检测,并输出相应的人脸检测结果,而后,可以基于人脸检测结果,获取待检测图像,具体可以参见后续实施例。
59.s203:如果人脸检测结果指示:初始图像中存在人脸,则根据驾驶区域标注信息,从初始图像中确定出待检测图像。
60.可以理解的是,在行为检测方法的执行过程中,获取得到的初始图像,并不能总是具有有效的图像信息,以行为检测方法适用于上述车辆驾驶场景中为例,在车辆的摄像装置在获取初始图像时,可能会存在采集空白的情况,例如,司机不在车内的情况,司机俯身的情况等,在这种情况下,采集得到的初始图像并不能表征司机的行为信息,此时,若对初始图像进行处理,可能会存在较大的资源浪费,由此,可以在采集得到初始图像后,对初始图像进行人脸检测,以确保后续处理的待检测图像可以包含有效的人脸信息。
61.本公开实施例在将初始图像输入至人脸检测模型中,由人脸检测模型对初始图像进行人脸检测,以得到人脸检测结果之后,可以根据人脸检测结果的指示,触发后续步骤。
62.本公开实施例中,如果人脸检测结果指示:初始图像中存在人脸,则可以表示该初始图像可以支持进行后续的行为检测方法,此时,可以根据驾驶区域标注信息,对初始图像进行图像分割处理,以从初始图像中确定出待检测图像,对此不做限制。
63.本公开实施例中,通过获取初始图像,再结合人脸检测模型对初始图像进行人脸检测,并在人脸检测结果指示:初始图像中存在人脸时,结合针对初始图像设置的驾驶区域标注信息,从初始图像中确定出待检测图像,由于是结合人脸检测模型对初始图像进行人脸检测,从而可以保障待检测图像可以具有有效的人脸信息,从而在对待检测图像进行行为检测时,可以有效地保障行为检测操作的有效性,有效地节约因无效操作所带来的资源浪费,此外,由于是结合针对初始图像设置的驾驶区域标注信息,从初始图像中确定出待检测图像,能够在有效地确保初始图像信息完整的情况下,有效地降低后续图像处理的数据量,进而有效地节约计算资源,有效地辅助提升行为检测效率。
64.s204:识别待检测图像中的目标物体信息和图像区域信息。
65.s205:根据目标物体信息和图像区域信息,确定人体行为信息。
66.s204-s205的描述说明可以具体参见上述实施例,在此不再赘述。
67.本实施例中,通过获取初始图像,再结合人脸检测模型对初始图像进行人脸检测,并在人脸检测结果指示:初始图像中存在人脸时,结合针对初始图像设置的驾驶区域标注信息,从初始图像中确定出待检测图像,由于是结合人脸检测模型对初始图像进行人脸检测,从而可以保障待检测图像可以具有有效的人脸信息,从而在对待检测图像进行行为检测时,可以有效地保障行为检测操作的有效性,有效地节约因无效操作所带来的资源浪费,此外,由于是结合针对初始图像设置的驾驶区域标注信息,从初始图像中确定出待检测图像,能够在有效地确保初始图像信息完整的情况下,有效地降低后续图像处理的数据量,进而有效地节约计算资源,有效地辅助提升行为检测效率,再识别待检测图像中的目标物体信息和图像区域信息,并根据目标物体信息和图像区域信息,确定人体行为信息,能够提升车辆驾驶场景下行为检测识别的准确性和检测识别效率,从而有效地满足车辆驾驶场景中
行为检测识别的应用需求,有效地提升行为检测方法的鲁棒性和适用性。
68.图3是本公开另一实施例提出的行为检测方法的流程示意图。
69.如图3所示,该行为检测方法,包括:
70.s301:获取待检测图像。
71.s301的描述说明可以具体参见上述实施例,在此不再赘述。
72.s302:识别待检测图像中的目标物体区域和部位图像区域。
73.其中,待检测图像中目标物体对应的图像区域,即可以被称为目标物体区域,该目标物体区域可以具体例如为,抽烟时烟对应的图像区域,接听电话时电话对应的图像区域,相应地,待检测图像中人脸部位对应的图像区域,即可以被称为部位图像区域,该部位图像区域可以具体例如为嘴巴区域,眼睛区域,对此不做限制。
74.一些实施例中,识别待检测图像中的目标物体区域和部位图像区域,可以是在确定待检测图像中的目标物体信息和图像区域信息后,根据待检测图像中的目标物体信息和图像区域信息,对待检测图像进行图像分割处理,以得到目标物体区域和部位图像区域,或者,也可以采用其他任意可能的方式,识别待检测图像中的目标物体区域和部位图像区域,例如,检测框识别的方式,图像识别的方式等,对此不做限制。
75.可选地,一些实施例中,识别待检测图像中的目标物体区域,可以是将待检测图像输入至预训练的物体区域检测模型之中,由物体区域检测模型对待检测图像进行物体区域检测,以得到目标物体区域,由于是结合物体区域检测模型对待检测图像进行物体区域检测,从而能够在对待检测图像进行物体区域检测的过程中,有效地降低其他主观因素对物体区域检测所产生的干扰,在有效地提升物体区域检测效率的同时,有效地提升物体区域检测的准确度。
76.其中,物体区域检测模型可以用于对待检测图像进行物体区域检测,该物体区域检测模型可以是人工智能模型,具体例如为神经网络模型或者是机器学习模型,当然也可以是其他任意可能的能够执行物体区域检测任务的模型,对此不做限制。
77.也即是说,本公开实施例中,识别待检测图像中的目标物体区域,可以是将待检测图像输入至物体区域检测模型之中,由物体区域检测模型对待检测图像进行物体区域检测,并输出目标物体区域。
78.可选地,一些实施例中,识别待检测图像中的部位图像区域,可以是将待检测图像输入至预训练的关键点检测模型之中,由关键点检测模型对待检测图像进行关键点检测,以得到多个关键点信息,再基于多个关键点信息对待检测图像进行剪切处理,以得到部位图像区域,由于是结合关键点检测模型对待检测图像进行关键点检测,从而能够有效地提升关键点检测的鲁棒性和适用性,有效地提升关键点检测的准确性,从而在基于关键点检测所得到的关键点信息,对待检测图像进行剪切处理时,使得剪切处理得到的部位图像区域能够具有更佳的准确性,有效地提升部位图像区域的识别效果。
79.其中,可以具体为能够用于表征人体部位的关键的点,例如,眼部中心点,相应的,用于对关键点进行描述的信息即可以被称为关键点信息,该关键点信息可以具体例如为关键点相对于待检测图像的位置坐标,对此不做限制。
80.其中,预先训练的用于对待检测图像进行关键点识别的模型,即可以被称为关键点检测模型,该关键点检测模型可以是人工智能模型,具体例如为神经网络模型或者是机
器学习模型,当然也可以是其他任意可能的能够执行关键点检测任务的模型,对此不做限制。
81.也即是说,本公开实施例在获取待检测图像后,可以将待检测图像输入至预训练的关键点检测模型之中,由关键点检测模型对待检测图像进行关键点检测,并输出相应的关键点信息,而后,可以结合关键点检测模型输出的关键点信息,对待检测图像进行剪切处理,以得到部位图像区域。
82.s303:根据目标物体区域,确定目标物体信息。
83.本公开实施例在从待检测图像中确定出目标物体区域后,可以根据目标物体区域,确定与目标物体区域对应的目标物体信息。
84.一些实施例中,根据目标物体区域,确定目标物体信息,可以是在确定目标物体区域后,对目标物体区域进行解析处理,以确定与目标物体区域对应的目标物体信息。
85.举例而言,对目标物体区域进行解析处理,可以是在确定目标物体区域后,对目标物体区域进行特征解析处理,并将前述特征解析结果作为目标物体信息,或者,对目标物体区域进行解析处理,可以是在确定目标物体区域后,对目标物体区域进行模型解析处理,并将前述模型解析结果作为目标物体信息,对此不做限制。
86.可选地,一些实施例中,根据目标物体区域,确定目标物体信息,还可以是获取目标物体区域的区域类别信息,并将区域类别信息作为目标物体信息,由于是将目标物体区域的区域类别信息作为目标物体信息,从而能够为后续的行为检测方法的执行过程提供充分的参考信息,实现将错综复杂的目标物体区域整理为具有区域类别信息的目标物体区域,从而能够基于区域类别信息有效地简化后续行为检测的操作逻辑,进而有效地提升行为检测效率。
87.本公开实施例中,可以按照目标物体区域对应的目标物体的种类,将目标物体区域分为多个区域类别,例如,烟对应的区域类别,电话对应的区域类别,相应地,用于对区域类别进行描述的信息,即可以被称为区域类别信息,该区域类别信息可以具体例如为,烟对应的区域相对于待检测图像的位置信息,对此不做限制。
88.本公开实施例中,根据目标物体区域,确定目标物体信息,还可以是在确定目标物体区域后,确定与各个目标物体区域对应的区域类别信息,并将该区域类别信息作为目标物体信息,即可以是将目标物体区域输入至预先训练的区域类别确定模型中,由区域类别确定对目标物体区域进行分类处理,并输出与目标物体区域对应的区域类别信息,并将该区域类别信息作为目标物体信息,对此不做限制。
89.s304:根据部位图像区域,确定图像区域信息。
90.本公开实施例在从待检测图像中确定出部位图像区域后,可以根据部位图像区域,确定与部位图像区域对应的图像区域信息。
91.一些实施例中,根据部位图像区域,确定图像区域信息,可以是在确定部位图像区域后,对部位图像区域进行解析处理,以确定与部位图像区域对应的图像区域信息。
92.举例而言,对部位图像区域进行解析处理,可以是在确定部位图像区域后,对部位图像区域进行特征解析处理,并将前述特征解析结果作为图像区域信息,或者,对部位图像区域进行解析处理,可以是在确定部位图像区域后,对部位图像区域进行模型解析处理,并将前述模型解析结果作为图像区域信息,对此不做限制。
93.可选地,一些实施例中,根据部位图像区域,确定图像区域信息,可以是根据部位图像区域,确定部位类别,并将部位类别作为图像区域信息,由于是将部位图像区域对应的部位类别作为图像区域信息,从而能够为后续的行为检测方法的执行过程提供充分的参考信息,实现将错综复杂的部位图像区域整理为具有相应部位类别的部位图像区域,从而能够基于部位类别有效地简化后续行为检测的操作逻辑,进而有效地提升行为检测效率。
94.本公开实施例中,可以按照部位图像分为多个部位类别,例如,可以将左眼部位图像和右眼部位图像共同划分为眼部类别,对此不做限制。
95.也即是说,本公开实施例中,可以是在确定部位图像区域后,对于部位图像区域对应的部位图像进行分类处理,以确定与该部位图像区域对应的部位类别,并将该部位类别作为图像区域信息,对此不做限制。
96.s305:将目标物体信息和图像区域信息输入至行为信息分类模型中。
97.其中,信息分类模型可以支持对目标物体信息和图像区域信息进行行为信息分类处理,该行为信息分类模型可以具体例如为,二次分类模型,或者,该行为信息分类模型还可以被配置为其他任意可能的能够执行行为信息分类操作的模型,对此不做限制。
98.s306:基于行为信息分类模型,确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件。
99.其中,目标物体信息和图像区域信息之间可以具有相应的关联关系,该关联关系即可以被称为待匹配关系。
100.其中,针对目标物体信息和图像区域信息之间的待匹配关系,和候选关联关系预先设置的约束条件,即可以被称为设定条件,该设定条件可以结合实际业务场景中的行为检测需求,自适应配置,对此不做限制。
101.本公开实施例中,基于行为信息分类模型,确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件,可以是将目标物体信息和图像区域信息共同输入至行为信息分类模型之中,以得到由行为信息分类模型输出的目标物体信息和图像区域信息之间的待匹配关系,而后,可以对待匹配关系与候选关联关系进行比对,以确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间是否满足设定条件。
102.举例而言,可以是确定待匹配关系与候选关联关系之间的相似度,并将相似度与预先设定的相似度阈值进行比对,并在相似度大于相似度阈值时,确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件,对此不做限制。
103.本公开实施例在确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件时,可以将候选行为信息作为人体行为信息,由于是结合行为信息分类模型,确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件,从而能够有效地降低其他主观因素对此所产生的干扰,进而准确地确定设定条件的满足时机,有效地提升人体行为信息的检测识别效果。
104.s307:在候选行为信息对应的候选物体信息和候选区域信息之间的候选关联关系与目标关联关系之间满足设定条件时,将候选行为信息作为人体行为信息。
105.其中,候选行为信息可以包括多种行为信息,即本公开实施例描述的行为检测方法,可以支持结合目标物体信息和图像区域信息,从候选行为信息中,确定与待检测图像相
应的候选行为信息,并将其检测得到的人体行为信息。
106.其中,候选行为信息可以具有对应的物体信息,该物体信息即可以被称为候选物体信息,候选行为信息可以具有对应的区域信息,该区域信息即可以被称为候选区域信息。
107.其中,候选物体信息和候选区域信息之间可以具有相应的关联关系,该关联关系即可以被称为候选关联关系,该候选关联关系可以具体例如为,语义关联关系,特征关联关系等,对此不做限制。
108.也即是说,本公开实施例中,在行为检测方法开始执行之前,可以支持预先配置多种候选行为信息,并分别对多个候选行为信息进行解析处理,以确定与多个候选行为信息分别对应的候选物体信息和候选区域信息,而后,可以基于候选物体信息和候选区域信息,确定与待检测图像对应的人体行为信息,具体可以参见后续实施例。
109.本公开实施例中,由于是在确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件时,将候选行为信息作为人体行为信息,从而能够有效地缩小人体行为信息的搜索确定范围,从而能够实现从候选行为信息快速确定人体行为信息,进而有效地提升人体行为信息的确定效率。
110.本实施例中,通过获取待检测图像,并识别待检测图像中的目标物体区域和部位图像区域,再根据目标物体区域,确定目标物体信息,从而能够为后续的行为检测方法的执行过程提供充分的参考信息,实现将错综复杂的目标物体区域整理为具有区域类别信息的目标物体区域,从而能够基于区域类别信息有效地简化后续行为检测的操作逻辑,进而有效地提升行为检测效率,再根据部位图像区域,确定图像区域信息,从而能够为后续的行为检测方法的执行过程提供充分的参考信息,实现将错综复杂的部位图像区域整理为具有相应部位类别的部位图像区域,从而能够基于部位类别有效地简化后续行为检测的操作逻辑,进而有效地提升行为检测效率,由于是结合行为信息分类模型,确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件,从而能够有效地降低其他主观因素对此所产生的干扰,进而准确地确定设定条件的满足时机,有效地提升人体行为信息的检测识别效果,由于是在确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件时,将候选行为信息作为人体行为信息,从而能够有效地缩小人体行为信息的搜索确定范围,从而能够实现从候选行为信息快速确定人体行为信息,进而有效地提升人体行为信息的确定效率。
111.图4是本公开一实施例提出的行为检测装置的结构示意图。
112.如图4所示,该行为检测装置40,包括:
113.获取模块401,用于获取待检测图像;
114.识别模块402,用于识别待检测图像中的目标物体信息和图像区域信息;以及
115.确定模块403,用于根据目标物体信息和图像区域信息,确定人体行为信息。
116.在本公开的一些实施例中,如图5所示,图5是本公开另一实施例提出的行为检测装置的结构示意图,其中,识别模块402,包括:
117.识别子模块4021,用于识别待检测图像中的目标物体区域和部位图像区域;
118.第一确定子模块4022,用于根据目标物体区域,确定目标物体信息;
119.第二确定子模块4023,用于根据部位图像区域,确定图像区域信息。
120.在本公开的一些实施例中,第一确定子模块4022,还用于:
121.获取目标物体区域的区域类别信息;
122.将区域类别信息作为目标物体信息。
123.在本公开的一些实施例中,第二确定子模块4023,还用于:
124.根据部位图像区域,确定部位类别;
125.将部位类别作为图像区域信息。
126.在本公开的一些实施例中,确定模块403,还用于:
127.在候选行为信息对应的候选物体信息和候选区域信息之间的候选关联关系与目标关联关系之间满足设定条件时,将候选行为信息作为人体行为信息;
128.其中,目标关联关系是目标物体信息和图像区域信息之间的关联关系。
129.在本公开的一些实施例中,确定模块403,还用于:
130.将目标物体信息和图像区域信息输入至行为信息分类模型中;
131.基于行为信息分类模型,确定目标物体信息和图像区域信息之间的待匹配关系与候选关联关系之间满足设定条件。
132.在本公开的一些实施例中,识别子模块4021,还用于:
133.将待检测图像输入至预训练的物体区域检测模型之中,由物体区域检测模型对待检测图像进行物体区域检测,以得到目标物体区域。
134.在本公开的一些实施例中,识别子模块4021,还用于:
135.将待检测图像输入至预训练的关键点检测模型之中,由关键点检测模型对待检测图像进行关键点检测,以得到多个关键点信息;
136.基于多个关键点信息对待检测图像进行剪切处理,以得到部位图像区域。
137.在本公开的一些实施例中,获取模块401,还用于:
138.获取初始图像,其中,初始图像由车辆的摄像装置捕获,初始图像对应驾驶区域标注信息;
139.将初始图像输入至人脸检测模型中,由人脸检测模型对初始图像进行人脸检测,以得到人脸检测结果;
140.如果人脸检测结果指示:初始图像中存在人脸,则根据驾驶区域标注信息,从初始图像中确定出待检测图像。
141.与上述图1至图3实施例提供的行为检测方法相对应,本公开还提供一种行为检测装置,由于本公开实施例提供的行为检测装置与上述图1至图3实施例提供的行为检测方法相对应,因此在行为检测方法的实施方式也适用于本公开实施例提供的行为检测装置,在本公开实施例中不再详细描述。
142.本实施例中,通过获取待检测图像,并识别待检测图像中的目标物体信息和图像区域信息,以及根据目标物体信息和图像区域信息,确定人体行为信息。由此,由于是联合待检测图像中的目标物体信息和图像区域信息对待检测图像进行行为检测,能够有效地提升行为检测识别的准确性和检测识别效率,从而能够有效地提升行为检测方法的鲁棒性和适用性。
143.图6是本公开一实施例提出的车辆的结构示意图。
144.如图6所示,该车辆60,包括:上述实施例中的行为检测装置40。
145.本实施例中,通过获取待检测图像,并识别待检测图像中的目标物体信息和图像
区域信息,以及根据目标物体信息和图像区域信息,确定人体行为信息。由此,由于是联合待检测图像中的目标物体信息和图像区域信息对待检测图像进行行为检测,能够有效地提升行为检测识别的准确性和检测识别效率,从而能够有效地提升行为检测方法的鲁棒性和适用性。
146.为了实现上述实施例,本公开还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开前述实施例提出的行为检测方法。
147.为了实现上述实施例,本公开还提出一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如本公开前述实施例提出的行为检测方法。
148.为了实现上述实施例,本公开还提出一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行如本公开前述实施例提出的行为检测方法。
149.图7示出了适于用来实现本公开实施方式的示例性电子设备的框图。图7显示的电子设备12仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
150.如图7所示,电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。
151.举例来说,这些体系结构包括但不限于工业标准体系结构(industry standard architecture;以下简称:isa)总线,微通道体系结构(micro channel architecture;以下简称:mac)总线,增强型isa总线、视频电子标准协会(video electronics standards association;以下简称:vesa)局域总线以及外围组件互连(peripheral component interconnection;以下简称:pci)总线。
152.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
153.存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(random access memory;以下简称:ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。
154.尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(compact disc read only memory;以下简称:cd-rom)、数字多功能只读光盘(digital video disc read only memory;以下简称:dvd-rom)或者其他光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
155.具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及
程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
156.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该电子设备12交互的设备通信,和/或与使得该电子设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且,电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network;以下简称:lan),广域网(wide area net work;以下简称:wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与电子设备12的其他模块通信。应当明白,尽管图中未示出,可以结合电子设备12使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
157.处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的行为检测方法。
158.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
159.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
160.需要说明的是,在本公开的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。
161.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。
162.应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
163.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
164.此外,在本公开各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模
块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
165.上述提到的存储介质可以是只读存储器,磁盘或光盘等。
166.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
167.尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图