1.本发明涉及人工智能技术领域,尤其涉及一种基于场景工程的矿山无人驾驶语义分割方法及装置。
背景技术:
2.无人驾驶是通过计算机视觉、自然语言处理等相关技术,使得汽车可以在没有人类驾驶员干预的情况下自主运行的自动驾驶技术。与普通道路无人驾驶相比,矿山无人驾驶作业成本高、危险系数大、无人驾驶应用率高。
3.语义分割能够识别和标记图像中的每一类物体,通过语义分割,机器可以学会感知和理解它所看到的世界,有利于完成基于感知的决策任务,因此目前多基于对无人驾驶行驶图片进行语义分割,以提高无人驾驶的可信度。然而,当驾驶场景发生变化时,例如遇到雨天、夜晚等场景时,对无人驾驶行驶图片语义分割的准确性会急剧下降,进而导致无人驾驶的可信度下降。
技术实现要素:
4.本发明提供一种基于场景工程的矿山无人驾驶语义分割方法及装置,用以解决现有技术中驾驶场景变化时无人驾驶行驶图片语义分割精度降低导致无人驾驶可信度下降的缺陷。
5.本发明提供一种基于场景工程的矿山无人驾驶语义分割方法,包括:
6.确定无人驾驶行驶图片对应的矿山场景;
7.若所述矿山场景为晴天场景,则将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;
8.若所述矿山场景为夜晚场景或雨天场景,则将所述无人驾驶行驶图片转换为晴天场景图片,并将所述晴天场景图片输入至所述语义分割网络,得到第二语义分割结果;所述晴天场景图片与所述无人驾驶行驶图片的语义信息相同;
9.其中,所述语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
10.根据本发明提供的一种基于场景工程的矿山无人驾驶语义分割方法,若所述矿山场景为夜晚场景,则所述将所述无人驾驶行驶图片转换为晴天场景图片,包括:
11.将所述无人驾驶行驶图片输入至第一编码器,由所述第一编码器对所述无人驾驶行驶图片进行特征提取,得到第一图片特征;
12.将所述第一图片特征输入至第一解码器,由所述第一解码器基于所述第一图片特征进行图片重建,得到所述晴天场景图片;
13.其中,所述第一编码器、所述第一解码器以及第二解码器构成夜晚图片转换网络,所述夜晚图片转换网络基于晴天场景样本图片和夜晚场景样本图片训练得到,所述第一解码器用于基于所述第一编码器提取的晴天场景样本图片的第一样本特征生成预测晴天图
片,所述第二解码器用于基于所述第一编码器提取的夜晚场景样本图片的第二样本特征生成预测夜晚图片。
14.根据本发明提供的一种基于场景工程的矿山无人驾驶语义分割方法,若所述矿山场景为雨天场景,则所述将所述无人驾驶行驶图片转换为晴天场景图片,包括:
15.将所述无人驾驶行驶图片输入至第二编码器,由所述第二编码器对所述无人驾驶行驶图片进行特征提取,得到第二图片特征;
16.将所述第二图片特征输入至所述第一解码器,由所述第一解码器基于所述第二图片特征进行图片重建,得到所述晴天场景图片;
17.其中,语义分割模块、第三解码器与所述第二编码器构成雨天特征提取网络,所述雨天特征提取网络基于雨天场景样本图片以及对应的语义分割标签训练得到,所述第二编码器用于提取所述雨天场景样本图片的第三样本特征,所述第三解码器用于基于所述第三样本特征生成预测雨天图片,所述语义分割模块用于基于所述第三样本特征对所述雨天场景样本图片进行语义分割,得到样本语义分割结果。
18.根据本发明提供的一种基于场景工程的矿山无人驾驶语义分割方法,所述将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果,包括:
19.将所述无人驾驶行驶图片输入至所述语义分割网络的编码层,由所述编码层对所述无人驾驶行驶图片进行特征提取,得到所述编码层输出的行驶图片特征;
20.将所述行驶图片特征输入至所述语义分割网络的解码层,由所述解码层对所述行驶图片特征进行特征解码,得到所述解码层输出的所述第一语义分割结果。
21.根据本发明提供的一种基于场景工程的矿山无人驾驶语义分割方法,所述编码层包括多个模块,各模块依次包括第一归一化模块、注意力模块、第二归一化模块以及前馈神经网络模块;
22.所述第一归一化模块用于对上一行驶图片特征进行归一化处理,得到第一特征;所述注意力模块用于对所述第一特征进行注意力计算,得到注意力特征;所述第二归一化模块用于对所述注意力特征进行归一化处理,得到第二特征;所述前馈神经网络模块用于对所述第二特征进行维度缩减,得到当前行驶图片特征;当前模块中的上一行驶图片特征为上一模块中的当前行驶图片特征,首个模块中第一归一化模块的上一行驶图片特征为所述无人驾驶行驶图片的特征。
23.根据本发明提供的一种基于场景工程的矿山无人驾驶语义分割方法,所述注意力模块基于卷积神经网络的注意力机制构建得到。
24.根据本发明提供的一种基于场景工程的矿山无人驾驶语义分割方法,所述晴天场景样本图片基于如下步骤获取:
25.通过多个采集平台采集初始晴天场景样本图片;
26.对所述初始晴天场景样本图片进行数据清洗,得到所述晴天场景样本图片。
27.本发明还提供一种基于场景工程的矿山无人驾驶语义分割装置,包括:
28.场景确定单元,用于确定无人驾驶行驶图片对应的矿山场景;
29.第一分割单元,用于若所述矿山场景为晴天场景,则将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;
30.第二分割单元,用于若所述矿山场景为夜晚场景或雨天场景,则将所述无人驾驶
行驶图片转换为晴天场景图片,并将所述晴天场景图片输入至所述语义分割网络,得到第二语义分割结果;所述晴天场景图片与所述无人驾驶行驶图片的语义信息相同;
31.其中,所述语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
32.本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于场景工程的矿山无人驾驶语义分割方法。
33.本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于场景工程的矿山无人驾驶语义分割方法。
34.本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于场景工程的矿山无人驾驶语义分割方法。
35.本发明提供的基于场景工程的矿山无人驾驶语义分割方法及装置,若矿山场景为晴天场景,则基于语义分割网络获取第一语义分割结果,若矿山场景为夜晚场景或雨天场景,则将无人驾驶行驶图片转换为保留相同语义信息的晴天场景图片后,基于语义分割网络获取第二语义分割结果,实现能够在无人驾驶对应矿山场景变化的情况下,准确对无人驾驶行驶图片准确进行语义分割,进而提高无人驾驶可信度。
附图说明
36.为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
37.图1是本发明提供的基于场景工程的矿山无人驾驶语义分割方法的流程示意图;
38.图2是本发明提供的夜晚图片转换网络训练方法的流程示意图;
39.图3是本发明提供的基于夜晚图片转换网络生成晴天场景图片的流程示意图;
40.图4是本发明提供的雨天特征提取网络训练方法的流程示意图;
41.图5是本发明提供的基于雨天特征提取网络生成晴天场景图片的流程示意图;
42.图6是本发明提供的又一基于场景工程的矿山无人驾驶语义分割方法的流程示意图;
43.图7是本发明提供的语义分割网络的结构示意图;
44.图8是本发明提供的基于场景工程的矿山无人驾驶语义分割装置的结构示意图;
45.图9是本发明提供的电子设备的结构示意图。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
47.针对当前矿山无人驾驶在不同环境中切换时可信度较低的问题,本发明提出基于场景工程的语义分割,即当无人驾驶场景发生变化时,驾驶模型随之切换,从而可以提高无人驾驶在全场景下语义分割的准确率,使高精度语义分割模型效果更佳,在复杂场景下保持高精度感知,从而提高无人驾驶在全驾驶场景下的可信度。
48.对此,本发明提供一种基于场景工程的矿山无人驾驶语义分割方法。图1是本发明提供的基于场景工程的矿山无人驾驶语义分割方法的流程示意图,如图1所示,该方法包括:
49.步骤110、确定无人驾驶行驶图片对应的矿山场景。
50.此处,无人驾驶行驶图片指展示无人驾驶汽车在道路上行驶的场景照片,其可以用于表征行驶道路的路况信息。其中,无人驾驶行驶图片可以由安装在汽车上的摄像头或激光雷达等设备捕捉到的。矿山场景是指无人驾驶汽车在矿区道路上行驶的场景,其可以包括晴天场景、夜晚场景、雨天场景等。
51.在一些具体实施方式中,可以基于预先构建得到的场景分类器确定无人驾驶行驶图片对应的矿山场景,即将无人驾驶行驶图片输入至场景分类器,由场景分类器提取无人驾驶图片中的场景特征,并基场景特征确定无人驾驶行驶图片对应的矿山场景。其中,场景分类器可以是基于样本无人驾驶图片以及对应的样本矿山场景标签训练得到。
52.步骤120、若矿山场景为晴天场景,则将无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;
53.步骤130、若矿山场景为夜晚场景或雨天场景,则将无人驾驶行驶图片转换为晴天场景图片,并将晴天场景图片输入至语义分割网络,得到第二语义分割结果;晴天场景图片与无人驾驶行驶图片的语义信息相同;
54.其中,语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
55.需要说明的是,矿区无人驾驶车行驶画面内容单调,但受自然环境影响较大,因此本发明实施例以矿区自然天气为分类依据,选择晴天场景、夜晚场景和雨天场景三种类别。其中,晴天场景无人驾驶行驶图片光线较强,且图片质量较好,从而对晴天场景无人驾驶行驶图片语义分割的准确度较高。夜晚场景无人驾驶行驶图片光线较弱,且图片质量较差,从而对夜晚场景无人驾驶行驶图片语义分割的准确度较低。雨天场景无人驾驶行驶图片中存在雨滴的遮挡和干扰,导致难以分辨图片中的物体,进而对雨天场景无人驾驶行驶图片语义分割的准确度较低。
56.在此基础上,若矿山场景为晴天场景,则对应的无人驾驶行驶图片光线较强,且图片质量较好,进而语义分割网络能够准确对无人驾驶行驶图片进行语义分割,并准确得到第一语义分割结果。
57.若矿山场景为夜晚场景或雨天场景,则对应的无人驾驶行驶图片光线较差且图片质量较差,进而语义分割网络无法准确对无人驾驶行驶图片进行语义分割。对此,本发明实施例先将无人驾驶行驶图片转换为光线较强且图片质量较好的晴天场景图片,从而语义分割网络能够准确对晴天场景图片进行语义分割,并准确得到第二语义分割结果。其中,晴天场景图片与无人驾驶行驶图片的语义信息相同,即可以理解为晴天场景图片是对无人驾驶行驶图片的风格进行了转换,但并未改变无人驾驶行驶图片中的语义信息。
58.由此可见,本发明实施例提供的基于场景工程的矿山无人驾驶语义分割方法,若矿山场景为晴天场景,则基于语义分割网络获取第一语义分割结果,若矿山场景为夜晚场景或雨天场景,则将无人驾驶行驶图片转换为保留相同语义信息的晴天场景图片后,基于语义分割网络获取第二语义分割结果,实现能够在无人驾驶对应矿山场景变化的情况下,准确对无人驾驶行驶图片准确进行语义分割,进而提高无人驾驶可信度。
59.基于上述实施例,若矿山场景为夜晚场景,则将无人驾驶行驶图片转换为晴天场景图片,包括:
60.将无人驾驶行驶图片输入至第一编码器,由第一编码器对无人驾驶行驶图片进行特征提取,得到第一图片特征;
61.将第一图片特征输入至第一解码器,由第一解码器基于第一图片特征进行图片重建,得到晴天场景图片;
62.其中,第一编码器、第一解码器以及第二解码器构成夜晚图片转换网络,夜晚图片转换网络基于晴天场景样本图片和夜晚场景样本图片训练得到,第一解码器用于基于第一编码器提取的晴天场景样本图片的第一样本特征生成预测晴天图片,第二解码器用于基于第一编码器提取的夜晚场景样本图片的第二样本特征生成预测夜晚图片。
63.需要说明的是,在夜晚场景下,语义分割的主要难点在夜晚场景图片质量不佳(如光线弱)导致分割精度较低。对此,本发明实施例首先解决夜晚场景图片质量不佳的问题。
64.具体来说,本发明实施例采用图2所示的方法,训练得到夜晚图片转换网络(夜晚图片转换网络基于第一编码器、第一解码器以及第二解码器构建得到),并通过图3所示的方法,通过训练完成的第一编码器和第一解码器,将夜晚场景的无人驾驶行驶图片转换为晴天场景图片,具体流程如下:
65.如图2所示,夜晚图片转换网络包括第一编码器e、第一解码器g1以及第二解码器g2,在对夜晚图片转换网络进行训练时,第一编码器e用于提取晴天场景样本图片id的第一样本特征,以及提取夜晚场景样本图片in的第二样本特征,第一解码器用于基于第一样本特征重建生成与晴天场景样本图片风格id和语义相同的预测晴天图片第二解码器用于基于第二样本特征重建生成与夜晚场景样本图片in风格和语义相同的预测夜晚图片其中,夜晚图片转换网络是以最小化晴天场景样本图片id与预测晴天图片之间的差异,以及最小化夜晚场景样本图片in与预测夜晚图片之间的差异为训练目标的,即夜晚图片转换网络的损失函数ln可以表示为:
66.ln=l
rec1
l
rec2
67.其中,l
rec1
表示晴天场景样本图片id与预测晴天图片之间的差异,l
rec2
表示夜晚场景样本图片in与预测夜晚图片之间的差异。
68.此外,夜晚图片转换网络是以最小化晴天场景样本图片id与预测晴天图片之间的差异,以及最小化夜晚场景样本图片in与预测夜晚图片之间的差异为训练目标,且第一编码器e能够学习准确从晴天场景样本图片和夜晚场景样本图片中提取相应的语义内容,进而使得训练完成的第一编码器e能够准确提取用于表征图片语义内容的特征。同时,
第一解码器g1能够基于第一编码器e提取的特征准确重建得到晴天风格图片,以及第二解码器g2能够基于第一编码器e提取的特征准确重建得到夜晚风格图片。
69.如图3所示,在训练完成夜晚图片转换网络后,将无人驾驶行驶图片输入至第一编码器e,由第一编码器对e无人驾驶行驶图片进行特征提取,得到第一图片特征,并将第一图片特征输入至第一解码器g1,由第一解码器g1基于第一图片特征进行图片重建,得到保留有无人驾驶行驶图片语义信息的晴天场景图片。
70.基于上述任一实施例,若矿山场景为雨天场景,则将无人驾驶行驶图片转换为晴天场景图片,包括:
71.将无人驾驶行驶图片输入至第二编码器,由第二编码器对无人驾驶行驶图片进行特征提取,得到第二图片特征;
72.将第二图片特征输入至第一解码器,由第一解码器基于第二图片特征进行图片重建,得到晴天场景图片;
73.其中,语义分割模块、第三解码器与第二编码器构成雨天特征提取网络,雨天特征提取网络基于雨天场景样本图片以及对应的语义分割标签训练得到,第二编码器用于提取雨天场景样本图片的第三样本特征,第三解码器用于基于第三样本特征生成预测雨天图片,语义分割模块用于基于第三样本特征对雨天场景样本图片进行语义分割,得到样本语义分割结果。
74.需要说明的是,在雨天场景下,无人驾驶行驶图片上会存在雨滴干扰,进而基于语义分割网络无法准确提取相应的语义信息。对此,本发明实施例首先将雨天场景的无人驾驶行驶图片转换为晴天场景图片,以雨天场景图片存在雨滴干扰的问题。
75.具体来说,本发明实施例采用图4所示的方法,训练得到雨天特征提取网络(雨天特征提取网络基于语义分割模块、第三解码器以及第二编码器构建得到),并通过图5所示的方法,通过训练完成的第二编码器以及上述第一解码器,将雨天场景的无人驾驶行驶图片转换为晴天场景图片,具体流程如下:
76.如图4所示,雨天特征提取网络包括第二编码器e2、语义分割模块seg以及第三解码器g3,在对雨天特征提取网络进行训练时,第二编码器e2用于提取雨天场景样本图片ir的第三样本特征,语义分割模块seg用于基于第三样本特征对雨天场景样本图片进行语义分割,得到样本语义分割结果,第三解码器g3用于基于第三样本特征生成预测雨天图片其中,雨天特征提取网络是以最小化雨天场景样本图片ir与预测雨天图片之间的差异为训练目标的,即雨天特征提取网络的损失函数l
rec3
表示雨天场景样本图片ir与预测雨天图片之间的差异。
77.需要说明的是,语义分割模块seg的训练目标是最小化样本语义分割结果与对应语义分割标签之间的差异,由于语义分割标签是不受雨滴和图像风格影响的,从而第二编码器e2在与语义分割模块seg联合训练时,第二编码器e2能够忽略雨滴和图像风格的影响,学习从图片中准确提取出相应的关键语义信息,进而确保第三解码器g3能够基于提取的关键语义信息重建得到与雨天场景样本图片差异较小的预测雨天图片。也就是说,语义分割模块seg仅参与训练,而不参与雨天图片重建的使用,即语义分割模块seg是对雨天图片重建的支路起辅助作用的,其与第二编码器e2和第三解码器g3联合训练,最终目的是作用于
第二编码器e2,使之提取出关键语义信息且忽略图像风格和雨滴的影响。
78.如图5所示,在训练完成雨天特征提取网络后,将无人驾驶行驶图片输入至第二编码器e2,由第二编码器e2无人驾驶行驶图片进行特征提取,准确提取用于表征无人驾驶行驶图片关键语义信息的第二图片特征,并将第二图片特征输入至上述实施例中训练完成的第一解码器g1,由第一解码器g1基于第二图片特征进行图片重建,得到保留有无人驾驶行驶图片关键语义信息的晴天场景图片。
79.在一些具体实施方式中,如图6所示,可以将夜晚图片转换网络与语义分割网络(即晴天场景语义分割网络lightformer)共同构成夜晚场景分割网络(nightformer),将雨天特征提取网络、第一编码器与语义分割网络(即晴天场景语义分割网络lightformer)共同构成雨天场景分割网络(derainformer)。基于场景分类器确定无人驾驶行驶图片对应的矿山场景,在矿山场景为晴天场景的情况下,将无人驾驶行驶图片输入至lightformer,由lightformer对无人驾驶行驶图片进行语义分割,得到对应的语义分割结果。在确定无人驾驶行驶图片对应的矿山场景为夜晚场景的情况下,将无人驾驶行驶图片输入至nightformer,由nightformer将无人驾驶行驶图片转换为晴天场景图片,并对晴天场景图片进行语义分割,得到对应的语义分割结果。在确定无人驾驶行驶图片对应的矿山场景为雨天场景的情况下,将无人驾驶行驶图片输入至derainformer,由derainformer将无人驾驶行驶图片转换为晴天场景图片,并对晴天场景图片进行语义分割,得到对应的语义分割结果。其中,场景分类器可以基于样本图片以及样本场景标签训练得到。
80.由此可见,本发明实施例能够针对不同的矿山场景(晴天场景、夜晚场景和雨天场景),分别训练得到对应的分割网络(lightformer、nightformer以及derainformer),从而能够根据无人驾驶行驶图片对应的矿山场景,采用对应场景的分割网络进行语义分割,实现更稳定的语义分割效果,提升矿山无人驾驶可信度。
81.此外,实验表明,相比于现有技术中将所有矿山场景图片(即不区分矿山场景)同时输入分割网络进行训练,本发明实施例提供的方法获得的每个场景下的分割网络准确率更高,无人驾驶场景切换时表现出的系统稳定性更强,可信度更高。
82.基于上述任一实施例,将无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果,包括:
83.将无人驾驶行驶图片输入至语义分割网络的编码层,由编码层对无人驾驶行驶图片进行特征提取,得到编码层输出的行驶图片特征;
84.将行驶图片特征输入至语义分割网络的解码层,由解码层对行驶图片特征进行特征解码,得到解码层输出的第一语义分割结果。
85.其中,编码层包括多个模块,各模块依次包括第一归一化模块、注意力模块、第二归一化模块以及前馈神经网络模块;
86.第一归一化模块用于对上一行驶图片特征进行归一化处理,得到第一特征;注意力模块用于对第一特征进行注意力计算,得到注意力特征;第二归一化模块用于对注意力特征进行归一化处理,得到第二特征;前馈神经网络模块用于对第二特征进行维度缩减,得到当前行驶图片特征;当前模块中的上一行驶图片特征为上一模块中的当前行驶图片特征,首个模块中第一归一化模块的上一行驶图片特征为无人驾驶行驶图片的特征;注意力模块基于卷积神经网络的注意力机制构建得到。
87.在一些具体实施方式中,如图7所示,语义分割网络可以是基于transformer网络结构构建得到,输入图片经编码层(encoder)进行编码提取特征,解码层(decoder)对提取的特征进行解码,得到分割结果。可选地,本发明实施例中的语义分割网络使用transformer的架构,cnn的卷积模块操作。其中,transformer作为骨干网络,其性能较强,但计算量较大,导致训练困难,而cnn具有轻量、高效等优点,因此本发明实施例将transformer架构的优势与cnn轻便的优势结合,以transformer结构为网络架构,其中基本模块使用cnn的卷积操作代替,形成轻量且强大的语义分割网络lightformer。
88.其中,编码层encoder由四个相同的模块(即block1、block2、block3和block4)堆叠而成,每个模块的输入与输出大小相同,且每个模块依次包含第一归一化模块(bn)、注意力模块(attention)、第二归一化模块(bn)以及前馈神经网络模块(ffn)。其中,当前模块的输入为上一模块的输出,如block2的输入(即bn的输入)为block1中ffn的输出,且首个模块(block1)中bn的输入为无人驾驶行驶图片的特征,末个模块(block4)中ffn的输出为最终的行驶图片特征。
89.此外,bn与ffn遵循transformer原始架构,对于attention,将原本的self-attention替换为卷积块构成的convolutional block attention module(cbam),其中,cbam可沿着两个独立的维度(通道和空间)依次推断注意力图,然后将注意力图与输入特征图相乘以进行自适应特征优化,由此既减小了注意力模块的计算量,又实现了从通道和空间两个维度同时考虑注意力的计算,从而达到更优的效果。
90.基于上述任一实施例,晴天场景样本图片基于如下步骤获取:
91.通过多个采集平台采集初始晴天场景样本图片;
92.对初始晴天场景样本图片进行数据清洗,得到晴天场景样本图片。
93.在一些具体实施方式中,科根据实际作业的矿山场景,通过多个采集平台采集初始晴天场景样本图片,采集平台可以包括suv(sport utility vehicle)、宽体矿用卡车和普通矿用卡车。初始晴天场景样本图片可以包括18小时以上的驾驶时间、18k注释激光雷达和用于3d感知的图像帧,包括各种矿山、一天中的时间和天气条件。
94.接着,对采集的初始晴天场景样本图片进行数据清洗,筛选高质量图片,得到晴天场景样本图片。可以理解的是,夜晚图片转换网络和雨天特征提取网络所采用的训练集,也可以采用类似的方法获取,如对于雨天特征提取网络,可以通过多个采集平台采集初始雨天场景样本图片,并对初始雨天场景样本图片进行数据清洗,得到雨天场景样本图片。
95.下面对本发明提供的基于场景工程的矿山无人驾驶语义分割装置进行描述,下文描述的基于场景工程的矿山无人驾驶语义分割装置与上文描述的基于场景工程的矿山无人驾驶语义分割方法可相互对应参照。
96.基于上述任一实施例,本发明还提供一种基于场景工程的矿山无人驾驶语义分割装置,如图8所示,该装置包括:
97.场景确定单元810,用于确定无人驾驶行驶图片对应的矿山场景;
98.第一分割单元820,用于若所述矿山场景为晴天场景,则将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;
99.第二分割单元830,用于若所述矿山场景为夜晚场景或雨天场景,则将所述无人驾驶行驶图片转换为晴天场景图片,并将所述晴天场景图片输入至所述语义分割网络,得到
第二语义分割结果;所述晴天场景图片与所述无人驾驶行驶图片的语义信息相同;
100.其中,所述语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
101.图9是本发明提供的电子设备的结构示意图,如图9所示,该电子设备可以包括:处理器(processor)910、存储器(memory)920、通信接口(communications interface)930和通信总线940,其中,处理器910,存储器920,通信接口930通过通信总线940完成相互间的通信。处理器910可以调用存储器920中的逻辑指令,以执行基于场景工程的矿山无人驾驶语义分割方法,该方法包括:确定无人驾驶行驶图片对应的矿山场景;若所述矿山场景为晴天场景,则将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;若所述矿山场景为夜晚场景或雨天场景,则将所述无人驾驶行驶图片转换为晴天场景图片,并将所述晴天场景图片输入至所述语义分割网络,得到第二语义分割结果;所述晴天场景图片与所述无人驾驶行驶图片的语义信息相同;其中,所述语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
102.此外,上述的存储器920中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
103.另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法所提供的基于场景工程的矿山无人驾驶语义分割方法,该方法包括:确定无人驾驶行驶图片对应的矿山场景;若所述矿山场景为晴天场景,则将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;若所述矿山场景为夜晚场景或雨天场景,则将所述无人驾驶行驶图片转换为晴天场景图片,并将所述晴天场景图片输入至所述语义分割网络,得到第二语义分割结果;所述晴天场景图片与所述无人驾驶行驶图片的语义信息相同;其中,所述语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
104.又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各提供的基于场景工程的矿山无人驾驶语义分割方法,该方法包括:确定无人驾驶行驶图片对应的矿山场景;若所述矿山场景为晴天场景,则将所述无人驾驶行驶图片输入至语义分割网络,得到第一语义分割结果;若所述矿山场景为夜晚场景或雨天场景,则将所述无人驾驶行驶图片转换为晴天场景图片,并将所述晴天场景图片输入至所述语义分割网络,得到第二语义分割结果;所述晴天场景图片与所述无人驾驶行驶图片的语义信息相同;其中,所述语义分割网络基于晴天场景样本图片以及对应的样本语义分割标签训练得到。
105.以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可
以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
106.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
107.最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。