1.本发明属于排土机技术领域，尤其涉及一种用于无人化排土机的安全防护方法、系统及计算机可读存储介质。
背景技术：
2.排土机是一种重型工业设备，用于移动大量的土壤，从而加速工程项目的进展。然而，排土机的作业环境恶劣，对操作人员的要求较高。为了提高效率，降低成本，无人化推土机已经成为主要的j9九游会真人的解决方案。
3.在没有操作人员的情况下，无人化推土机的安全性成为重要的参考指标，然而，现有的无人化推土机并未配置相应的安全防护系统，安全性能较差。
技术实现要素：
4.本发明提供了一种用于无人化排土机的安全防护方法、系统及计算机可读存储介质，以解决现有技术中提出无人化排土机安全性差的技术问题。
5.本发明第一方面提供了一种用于无人化排土机的安全防护方法，该无人化排土机设置有感测装置以及预警装置，该安全防护方法包括：
6.部署训练好的目标识别模型；
7.获取感测装置在感测范围内的动静态目标的特征数据；
8.基于训练好的目标识别模型、特征数据及无人化排土机的预设作业路径，控制预警装置是否发出警报。
9.在本发明可选的方案中，基于训练好的目标识别模型、特征数据及无人化排土机的预设作业路径，控制预警装置是否发出警报包括：
10.根据特征数据以及目标识别模型确定动静态目标为人的情况下，控制预警装置发出警报。
11.在本发明可选的方案中，根据特征数据以及目标识别模型确定动静态目标为人的情况下，控制预警装置发出警报包括：
12.判断人的行为是否为异常行为；
13.若是，则控制无人化排土机停止运动；
14.若否，则控制无人化排土机继续运动。
15.在本发明可选的方案中，基于训练好的目标识别模型、特征数据及无人化排土机的预设作业路径，控制预警装置是否发出警报包括：
16.根据特征数据以及目标识别模型确定动静态目标为静态目标的情况下，判断静态目标是否位于预设作业路径；
17.若是，则控制预警装置发出警报。
18.在本发明可选的方案中，基于训练好的目标识别模型、特征数据及无人化排土机的预设作业路径，控制预警装置是否发出警报包括：
19.根据特征数据以及目标识别模型确定动静态目标为动态目标，并预测动态目标的运动路径；
20.判断运动路径以及预设作业路径是否发生干涉；
21.若是，则控制预警装置发出警报。
22.在本发明可选的方案中，在部署训练好的目标识别模型之前包括：
23.获取特征数据样本，特征数据样本包括图像数据以及与图像数据相对应的点云数据；
24.构建目标识别模型，目标识别模型包括关联的第一神经网络与第二神经网络，其中，第一神经网络用于融合图像数据与点云数据并获得特征向量，第二神经网络用于根据特征向量以识别动静态目标；
25.根据特征数据样本训练并验证目标识别模型；
26.在确定训练后的目标识别模型满足识别精度的情况下得到训练好的目标识别模型。
27.在本发明可选的方案中，第一神经网络为卷积神经网络，第二神经网络为长短期记忆神经网络。
28.在本发明可选的方案中，感测装置包括布置于无人化排土机上的多个图像采集装置以及雷达。
29.本发明第二方面提供了一种用于无人化排土机的安全防护系统，该安全防护系统包括：
30.目标识别模块，用于部署训练好的目标识别模型；
31.数据采集模块，采集感测装置在感测范围内的动静态目标的特征数据；
32.报警判断模块，基于训练好的目标识别模型、特征数据及无人化排土机的预设作业路径，控制预警装置是否发出警报。
33.本发明第三方面提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述的用于无人化排土机的安全防护方法。
34.与现有技术相比，本发明具有以下有益效果：
35.本发明提供的安全防护方法基于深度学习技术，智能化识别感测装置检测到的动静态目标，以确定潜在风险目标，并依此控制预警装置发出警报，从而提醒排除风险。将该安全防护方法部署于无人化排土机上，能够极大地提高该无人化排土机的安全性。
附图说明
36.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1a为根据本发明其中一个实施例提供的安全防护方法的应用环境框图；
38.图1b为跟本发明其中一个实施例提供的无人化排土机上感测装置的布置示意简图；
39.图2为根据本发明其中一个实施例提供的安全防护方法的流程框图之一；
40.图3为根据本发明其中一个实施例提供的安全防护方法的流程框图之二;
41.图4为根据本发明其中一个实施例提供的安全防护系统的示意框图。
42.附图标记
43.100、无人化排土机；110、控制装置；120、感测装置；121、图像采集装置；122、雷达；130、预警装置；
44.400、安全防护系统；401、目标识别模块；402、数据采集模块；403、报警判断模块。
具体实施方式
45.为了使本发明的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本发明。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。
46.请参阅图1a，本技术提供用于无人化排土机100的安全防护方法可应用于图1a所示的应用环境中。具体地，该无人化排土机100设置有控制装置110、感测装置120以及预警装置130。感测装置120以及预警装置130均连接于控制装置110，控制装置110能够获取由感测装置120发送过来的数据，并控制预警装置130发出警报。
47.在具体应用中，该安全防护方法可部署于控制装置110上，控制装置110的示例可以包括但不限于通用处理器、数字信号处理器dsp、多个微处理器、与dsp核心关联的一个或多个微处理器、控制器等等。
48.在一些可选的实施例中，感测装置120包括多个图像采集装置121以及雷达122。在具体应用中，感测装置120可部署于无人化排土机100的底盘上。
49.请参阅图1b，在图示实施例中，图像采集装置121的数量为2个并分别位于无人化排土机100的底盘的前侧与后侧，雷达122的数量为6个并环绕无人化排土机100的底盘设置，其中，无人化排土机100的底盘的前侧与后侧各布置有1个雷达122，无人化排土机100的底盘的左侧与右侧各布置有2个雷达。如此通过在无人化排土机100的周侧布置图像采集装置121以及雷达122，在无人化排土机100的周侧形成了电子警戒围栏，以确保在感测装置120的感测范围内没有危险目标。
50.需要说明的是，图像采集装置121以及雷达122的数量及布置方式并不局限于图1b所示实施例，优选地，通过合理布置各感测装置120的位置，保证感测范围在水平方向范围内没有死角即可。
51.在本实施例中，图像采集装置121包括例如工业相机、深度相机、运动摄像头等，雷达122包括例如毫米波雷达、激光雷达等。在具体应用中，图像采集装置121可为工业相机，雷达122可为毫米波雷达。
52.在一些可选的实施例中，预警装置130包括例如声响报警、光学报警等，在具体应用中，预警装置130为声光报警器。
53.请参阅图3，将该安全防护方法应用于图1a中的控制装置110举例说明，该安全防护方法包括以下步骤：
54.步骤s301，部署训练好的目标识别模型；
55.步骤s302，获取感测装置120在感测范围内的动静态目标的特征数据；
56.步骤s303，基于训练好的目标识别模型、特征数据以及无人化排土机100的预设作业路径，控制预警装置130发出警报。
57.对于步骤s301，在一些可选的实施例中，目标识别模型为神经网络模型，因而，需要对该目标识别模型进行训练，以使得训练好的目标识别模型满足识别精度要求。
58.对于步骤s302，感测装置120的感测范围可预先配置，感测装置120能够检测感测范围内的物体，并获得感测范围内物体的特征数据。需要说明的是，感测范围内的物体可分为移动状态的物体以及静止状态的物体，移动状态的物体为动态目标，静止状态的物体为静态目标，即动静态目标。动态目标和静态目标均包括一种特殊目标，即人。换言之，在本实施例中，动静态目标可分为动态目标、静态目标以及人。其中，动态目标包括例如移动的不同工种作业车辆，静态目标包括停止的车辆、障碍物等。
59.对于步骤s303，训练好的目标识别模型根据相应的特征数据能够计算出相应的结果，并与无人化排土机的预设作业路径进行对比，从而评估出潜在安全风险的动静态目标，进而控制预警装置130进行报警。
60.可见，本技术提供的安全防护方法基于深度学习技术，智能化识别感测装置120检测到的动静态目标，以确定潜在风险目标，并依此控制预警装置130发出警报，从而提醒排除风险。
61.由上述可知，在部署目标识别模型之前，还需对目标识别模型进行训练，以得到训练好的目标识别模型。因而，请参阅图2，在步骤s301之前还包括：
62.步骤s201，获取特征数据样本；特征数据样本包括图像数据以及与图像数据相对应的点云数据。
63.在一些可选的实施例中，特征数据样本可为无人化排土机采集到的现场作业的数据，或者，从无人化排土机采集到的现场作业数据中挑选出具有代表性的数据，以保证数据的覆盖度和多样性，尽可能涵盖现场所有可能出现的情况。
64.由上述可知，在一些实施例中，感测装置120主要由工业相机及毫米波雷达组成，因而特征数据包括图像数据以及点云数据，点云数据与图像数据相对应。
65.需要说明的是，毫米波雷达能够在恶劣天气以及低光照的条件下有效探测目标，并结合工业相机提供的高分辨率图像信息，从而提高识别精度。另外，特征数据样本中的数据量要足够大，换言之，目标识别模型需要足够大的训练数据量，才能确保训练好的目标识别模型具有较好的识别精度。
66.步骤s202，构建目标识别模型，目标识别模型包括关联的第一神经网络与第二神经网络，其中，第一神经网络用于融合图像数据与点云数据并获得特征向量，第二神经网络用于根据特征向量以识别动静态目标。
67.在本实施例中，目标识别模型为神经网络模型并包括相关联的第一神经网络以及第二神经网络。
68.在一种可选的实施例中，第一神经网络为卷积神经网络，将图像数据以及点云数据输入卷积神经网络即可获得以反馈匹配这些图像数据以及点云数据的特征向量。可见，第一神经网络用于融合不同传感器采集到的特征数据，将不同类型数据进行标准化处理以保证数据尺度的一致性，以提高识别精度。
69.在具体应用中，通过卷积神经网络分别提取图像数据以及点云数据以获取对应的
图像特征向量以及点云特征向量，并将二者融合以得到上述的特征向量。需要说明的是，图像特征向量与点云特征向量二者可通过拼接方法或者加权平均法进行融合。其中，拼接方法和加权平均法为常用的不同特征向量组合方法，在此不作详细说明。
70.需要说明的是，将从不同传感器中获得的数据中提取的相应特征向量进行融合并不局限使用神经网络，例如还可通过卡尔曼滤波器算法实现。
71.在一些可选的实施例中，第二神经网络为长短期记忆神经网络，长短期记忆神经网络为一种循环神经网络变体，用于处理时间序列数据。可以理解地，感测装置120随无人化排土机100运动，感测装置120检测到的动态目标也在运动，该目标识别模型需要预测下一时刻的行为以评估风险。
72.可见，本公开提供的目标识别模型可为卷积神经网络与长短期记忆神经网络结合的模型，以同时考虑时间和空间信息。
73.在具体应用中，该目标识别模型可利用现有的深度学习框架进行构建，例如，tensorflow或pytorch等框架。
74.步骤s203，根据特征数据样本训练并验证目标识别模型。
75.在一些可选的实施例中，在对目标识别模型进行训练之前，还需对特征数据样本中的各特征数据进行预处理，例如将不同特征数据标记为人、移动物体、静止物体、安全行为、异常行为等，当然，同一特征数据可具有多种标记；又例如，对图像数据进行旋转、图像增强等处理，对点云数据进行滤波、降噪等处理，以增强目标识别模型的稳定性和鲁棒性。
76.在一种可选的实施例中，将特征数据样本分割为训练集、验证集以及测试集，训练集用于模型训练，验证集用于调试模型参数，测试集用于测试模型是否达到精度要求。在具体应用中，训练集、验证集以及测试集均涵盖所有不同标记的特征数据。
77.需要说明的是，在训练目标识别模型的过程中，需要设置合适的训练参数，主要包括批次大小、迭代次数、优化函数、学习率等，以保证训练效率和精度。
78.在具体应用中，通过训练集对目标识别模型进行训练，不断调整参数以优化模型性能，并通过验证集进行验证，保证模型不受过拟合影响。
79.在一些可选的实施例中，通过定义合适的损失函数以用于评估训练后的目标识别模型是否满足测试需求。具体地，通过最小化损失函数来优化模型参数，以得到训练后的目标识别模型。在具体应用中，损失函数可采用交叉熵损失函数，当然并不局限于此。
80.在另一种可选的实施例中，通过定义合适的优化器以用于评估训练后的目标识别模型是否满足测试需求。例如，通过随机梯度下降优化器。
81.步骤s204，在确定训练后的目标识别模型满足识别精度的情况下得到训练好的目标识别模型。
82.在一些可选的实施例中，使用测试集对训练后的模型进行测试，根据测试结果判断目标识别模型是否满足精度要求。在满足识别精度要求的情况下，确定该训练后的目标识别模型为训练好的目标识别模型。在不满足识别精度要求的情况下，重复步骤s203以继续训练该目标识别模型，直至目标识别模型满足识别精度要求。
83.由上述可知，训练好的目标识别模型预测能够识别动静态目标的种类，并评估行为为安全行为或异常行为，在获取不同种类传感器的数据后，可将不同种类的数据进行融合，以保证识别精度。
84.在一些可选的实施例中，在步骤s303还包括下述步骤：
85.步骤(1)，根据特征数据以及目标识别模型确定动静态目标为人的情况下，控制预警装置130发出警报。
86.在本实施例中，目标识别模型根据感测装置120采集到的特征数据进行判断，在判断动静态目标为人的情况下，为了确保人身安全，不管人在移动状态还是静止状态，均发出警报，以提醒位于感测范围内的人，提醒其注意安全。
87.在一些实施例中，感测装置120包括图像采集装置121，目标识别模型通过图像采集装置121采集的数据即可判断动静态目标是否为人，在动静态目标为人的情况下直接发出警报。
88.示例性，感测装置120的感测范围半径为50米，即以无人化排土机100为中心的半径50米范围内，如果感测到有人进入感测范围内，则控制预警装置130发出警报。
89.在一些可选的实施例中，上述步骤(1)中包括：
90.步骤(11)，判断人的行为是否为异常行为；
91.步骤(12)，若是，则控制无人化排土机100停止运动；
92.步骤(13)，若否，则控制无人化排土机100继续运动。
93.在本实施例中，在目标识别模型判断感测装置120检测到的动静态目标为人的情况下，继续判断人的行为是否异常。进一步地，在人的行为为异常行为情况下，控制无人化排土机100停止运动；在人的行为为正常行为的情况下，控制无人化排土机100继续运动，如此避免发生重大安全事故。
94.在一些实施例中，感测装置120包括图像采集装置121和雷达122，目标识别模型通过图像采集装置121能够确定动静态目标为人以及人随时间变化的姿态变化特征数据等，根据雷达122采集到的人随时间变化的点云数据，从而确定人的位置数据，将二者采集到的特征数据结合即可判断出人的行为是否为异常行为。
95.在具体应用中，异常行为包括人靠近无人化排土机100移动，正常行为包括人远离无人化排土机100移动。
96.示例性地，感测装置120的感测半径为50米，目标识别模型判断出50米范围内的人在朝向无人化排土机100不断移动，人的该行为为异常行为，直至人在无人化排土机100的10米范围内，为了避免发生事故，则控制无人化排土机100停止运动。目标识别模型判断出人在远离无人化排土机100移动，人的该行为为正常行为，换言之，人在接收到预警装置130发出的报警后，远离无人化排土机100移动，无人化排土机继续沿预设作业路径运动，直至人位于无人化排土机100的50米范围外，感测装置120在感测范围内检测不到人的情况下，即可控制预警装置130停止报警。
97.当然，异常行为并不局限于上述实施例，例如，异常行为还可包括人的静止行为，具体地，人在该无人化排土机100的预设作业路径上静止不动，直至无人化排土机100运动至极限安全距离停止运动。又例如，异常行为还可为人在感测范围内上扬手臂交叉挥动双手，以示意无人化排土机100停止运动。人的异常行为并不局限于此，在此不做一一举例说明。
98.在一些可选的实施例中，步骤303包括下述步骤：
99.步骤(2)，根据特征数据以及目标识别模型确定动静态目标为静态目标的情况下，
判断静态目标是否位于预设作业路径；
100.步骤(3)，若是，则控制预警装置130发出警报。
101.在本实施例中，目标识别模型能够根据感测装置120采集的特征数据判断感测范围内的静态目标，例如巨石、处于静止状态的运输车辆等。如果静态目标位于预设作业路径上，则控制预警装置130发出警报。
102.在一些实施例中，感测装置120包括图像采集装置121和雷达122，目标识别模型通过图像采集装置121能够确定目标的种类，根据雷达122采集到的目标随时间变化的点云数据确定目标的位置，将二者结合即可确定目标种类以及该目标是否处于静止状态。
103.示例性地，感测装置120的感测半径为50米，目标识别模型通过感测装置120能够确定50米内具有多个巨石，并判断出位于预设作业路径中的巨石，进而控制预警装置130发出警报。
104.在具体应用中，控制装置110并不局限于通过预警装置130发出警报，例如，控制装置110也可发出报警信号至控制中心，以通知控制中心的作业人员及时安排相关人员处理静态目标，以避免出现紧急情况。
105.在具体应用中，控制装置110中配置有该无人化排土机100的尺寸参数，具体包括无人化排土机100的底盘宽度以及高度等。通过感测装置120即可获取巨石的尺寸参数，从而判断出巨石是否会阻碍无人化排土机通过。
106.在一些可选的实施例中，步骤s303包括以下步骤：
107.步骤(4)，根据特征数据以及目标识别模型确定动静态目标为动态目标，并预测动态目标的运动路径；
108.步骤(5)，判断运动路径以及预设作业路径是否发生干涉；
109.步骤(6)，若是，则控制预警装置130发出警报。
110.在本实施例中，目标识别模型能够根据感测装置120采集的特征数据判断感测范围内的动态目标，并预测动态目标的运动路径，根据运动路径以及预设作业路径即可确定二者是否发生干涉，在具有发生干涉的情况下，控制预警装置130发出警报，从而避免发生安全事故。
111.在一些实施例中，感测装置120包括图像采集装置121和雷达122，目标识别模型通过图像采集装置121能够确定目标的种类，根据雷达122采集到的目标随时间变化的点云数据确定目标的位置，将二者结合即可确定目标种类、该目标是否处于运动状态，以及预测该目标的运动方向。
112.需要说明的是，动态目标包括移动的作业车辆，例如，卸料车、推土车等，当然并不局限于此。
113.示例性地，感测装置120的感测半径为50米，目标识别模型通过感测装置120能够确定50米内具有移动的卸料车，并根据卸料车的位置随时间的变化，预测出其运动路径，在确定卸料车的运动路径与预设作业路径发生干涉的情况下，控制预警装置130发出警报。
114.在一些可选的实施例中，上述步骤(6)还包括以下步骤：
115.步骤(61)，判断动态目标是否具有异常行为；
116.步骤(62)，若是，则控制无人化排土机100停止运动；
117.步骤(62)，若否，则控制无人化排土机100继续运动。
118.在本实施例中，此时预警装置130已经发出警报以进行提醒动态目标，目标识别模型继续判断动态目标是否具有异常行为，在动态目标继续异常行为的情况下，控制无人化排土机100停止运动，以避免安全事故。在动态目标停止异常行为的情况下，控制无人化排土机100继续运动。
119.在具有应用中，异常行为包括车辆朝向无人化排土机100移动。示例性地，感测装置120的感测半径为50米，目标识别模型判断出50米范围内的卸料车在朝向无人化排土机100不断移动，确定卸料车的该行为为异常行为，直至卸料车在无人化排土机100的10米范围内，为了避免发生事故，则控制无人化排土机100停止运动。如果卸料车上的作业人员接收到警报后，控制卸料车远离无人化排土机100移动，即停止异常行为，直至离开50米感测范围，预警装置130即可停止报警，并且无人化排土机100也能继续运动。
120.由上述可知，本技术提供的用于无人化排土机100的安全防护方法中，将动静态目标划分为人、动态目标和静态目标，其中人的安全等级最高，以确保禁止非作业人员进入，保证人身安全。
121.综上所述，该无人化排土机100配置有感测装置120以形成电子监控围栏，并结合基于深度学习技术构建的安防防护方法以评估位于感测范围内的动静态目标的潜在风险，进而发出警报，可以有效减少和防止在生产过程中因人员疏忽、安全管理不到位造成的安全事故。
122.请参阅图4，本技术另一方面还提供了一种用于无人化排土机100的安全防护系统400，该安全防护系统400包括：
123.目标识别模块401，用于部署训练好的目标识别模型；
124.数据采集模块402，采集感测装置在感测范围内的动静态目标的特征数据；
125.报警判断模块403，基于训练好的目标识别模型、特征数据及无人化排土机的预设作业路径，控制预警装置是否发出警报。
126.应理解，本文中前述关于本技术的方法所描述的具体特征、操作和细节也可类似地应用于本技术的系统，或者，反之亦然。另外，上文描述的本技术的方法的每个步骤可由本技术系统的相应部件或单元执行。
127.应理解，本技术的装置的各个模块可全部或部分地通过软件、硬件、固件或其组合来实现。各模块各自可以硬件或固件形式内嵌于电子设备的处理器中或独立于处理器，也可以软件形式存储于电子设备的存储器中以供处理器调用来执行各模块的操作。
128.另外，结合上述实施例中的安全防护方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种安全防护方法。需要说明的是，这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。
129.上面参考根据本技术的实施例的方法、系统和计算机程序产品的流程图和/或框图描述了本技术的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。
130.还需要说明的是，本技术中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本技术不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
131.以上所述，仅为本技术的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。