1.本发明涉及在车辆周围环境中检测对象和确定对象高度的一种方法和一种装置。
背景技术：
2.对高度自动化驾驶而言，传感器系统必须能够可靠检测到远距离的即使小的障碍物。目前，正为这类任务研发激光雷达系统和立体摄像系统，因为它们可提供周围环境的三维立体(3d)成像。由此可同时检测自由空间和障碍物的大小和距离。立体摄像系统提供比激光雷达系统明显更高的横向分辨率，而激光雷达系统可提供非常准确的距离确定。然而，目前的j9九游会真人的解决方案不能检测到远距离的小对象。
技术实现要素：
3.因此，本发明的任务是提供一种方法和系统，借助该方法和系统能可靠检测到小对象，并可靠确定对象高度。
4.该任务由独立权利要求1和6的标的解决。有益的设计方案和实施方式是从属权利要求的标的。
5.首先的考虑是，为能评估小障碍物的危险，需准确估计对象高度。
6.迄今为止的立体方法主要基于半全局匹配(sgm)方法。最近，基于深度神经网络的机器学习方法应用得越来越多，这些方法是用激光雷达测量的真值数据/地面实况数据训练出来的。
7.要检测在100米距离处的10厘米高的小对象，需要至少0.03度的角度分辨率。高分辨率的激光雷达系统超过该数值的3倍到6倍，因此不能充分适用于该任务。带有8兆象素图像传感器和30度孔径角镜头的高分辨率摄像系统提供130像素/每度的角度分辨率，对在100米的距离处的10厘米高的对象进行8像素成像。
8.2个高分辨率的摄像装置组成的立体摄像系统理论上可在100米距离检测到这样一个小对象。然而，从立体图像中获取的深度图信噪比通常太差，无法明确检测到对象，并同时确定对象高度。
9.因此，根据本发明所述，提出一种借助周围环境检测系统检测对象和确定对象高度的方法，所述周围环境检测系统包括车辆的第一周围环境检测传感器和第二周围环境检测传感器，其中，至少有一个周围环境检测传感器是摄像装置，所述方法操作步骤如下：
[0010]-用所述摄像装置拍摄单目图像，
[0011]-用第二周围环境检测传感器拍摄周围环境表征-在单目图像中进行对象检测，
[0012]-在第二周围环境检测传感器的周围环境表征中进行对象检测，
[0013]-在第二周围环境检测传感器的周围环境表征中确定与对象的距离，
[0014]-确定检测到的对象的高度。
[0015]
所述摄像装置优选是高分辨率的长焦摄像装置。该摄像装置的分辨率例如为8兆
象素，孔径角度为30度，角度分辨率为130像素/每度。第二周围环境检测传感器例如是立体摄像装置。在此情况下，周围环境检测系统则可设置为立体摄像装置，而单目摄像装置则可在该设计方案中是该立体系统的组成部分。也可设想使用一个单个的单目摄像装置和单独的立体摄像装置。在该设计方案中，第二周围环境检测传感器的周围环境表征则是深度图像。
[0016]
也可设想使用雷达传感器或激光雷达传感器作为第二周围环境检测传感器。在雷达传感器情况下，则周围环境表征是对象列表或雷达信号特征列表，其中记录了所检测到的对象或雷达特征以及它们与车辆的距离。这些数据于是可与单目图像相融合。在第二周围环境检测传感器是激光雷达传感器情况下，则周围环境表征是点云。在权利要求中，为方便阅读，对象使用的是单数。当然也可检测到多个对象。还须指出的是，对象检测的这两个步骤可同时实施或按任意顺序先后进行。例如，可先在第二周围环境检测传感器的周围环境表征中进行对象检测，然后才在单目图像中检测对象。如上所述，也可设想以相反顺序或同时实施相关操作步骤。
[0017]
在单目图像中的对象检测以象素为单位给出对象尺寸。借助第二周围环境检测传感器，尤其当第二周围环境检测传感器是雷达传感器或激光雷达传感器时，优选测量与该对象的距离。
[0018]
在一特别优选的设计方案中，基于单目图像中以象素为单位的对象高度、所确定的对象距离和周围环境检测传感器的已知的角度分辨率确定对象高度。各相应传感器的角度分辨率从具体的传感器数据中获取。
[0019]
在另一优选的设计方案中，借助基于经训练的卷积神经网络(cnn)的语义分割进行单目图像中的对象检测。这是有益的，因为借助语义分割可高效检测对象，借助经相应训练的卷积神经网络(cnn)不仅可改善对象检测，还可确定对象形状。该信息可有助于确定，必要时是否能够在车辆不受损情况下驶过对象。
[0020]
在一优选设计方案中，在检测对象后，通过比较单目图像和第二周围环境表征来确认对象。在该设计方案中比较检测的位置是否一致。如果在比较中存在一致性，则该对象毫无疑问地得到确认。
[0021]
此外，在一特别优选的实施方式中，周围环境检测传感器之一的对象检测为其他周围环境检测传感器确定了关注区域/感兴趣区域。这意味着，例如第二周围环境检测传感器的例如借助雷达传感器的对象检测为摄像装置确定了关注区域(roi)或者说感兴趣区域或搜索区域。由此实现仅在单目图像中的该特定区域寻找对象。这导致了效率更高的对象检测。还可设想的是，在单目图像中的对象检测可提高雷达搜索区域中的灵敏度。由此例如可将诸如极弱的雷达检测目标识别为对象。这也导致更有效的、尤其是更安全可靠的对象检测。
[0022]
此外，根据本发明提出一种用于车辆的周围环境检测系统，它包括具有特定角度分辨率的第一周围环境检测传感器和第二周围环境检测传感器以及计算单元，其中，至少第一周围环境检测传感器设置为摄像装置，其中，用摄像装置拍摄单目图像，用第二周围环境检测传感器拍摄另一周围环境表征，其中，计算单元设置用于，在单目图像和第二周围环境检测传感器的周围环境表征中检测对象，其中，计算单元还设置用于，进行对象距离的确定和对象高度的确定。
[0023]
在一优选设计方案中，第一周围环境检测传感器是长焦摄像装置，第二周围环境检测传感器是立体摄像装置、雷达传感器或激光雷达传感器。
[0024]
进一步优选的是，如果第二周围环境检测传感器设置为立体摄像装置，那么所述长焦摄像装置是该立体摄像装置的组成部分。因此，第二周围环境检测传感器是立体摄像装置，而第一周围环境检测传感器仍是单目摄像装置。在此，该立体摄像装置通过确定深度图像中的高度，被用作高度确定传感器。
附图说明
[0025]
其他有益的设计方案和实施方式是附图的标的。其中：
[0026]
图1：该图是所述方法一实施方式的流程示意图；
[0027]
图2：该图是根据本发明一实施方式的周围环境检测系统的示意图；
[0028]
图3：该图是一示例场景图；
[0029]
图4：该图是在图3所示场景下的深度图像的示例图。
具体实施方式
[0030]
图1展示借助立体检测系统检测对象和确定对象高度的方法的一优选实施方式的流程示意图，所述立体检测系统包括车辆的第一周围环境检测传感器和第二周围环境检测传感器，其中，至少一个周围环境检测传感器是单目摄像装置。在步骤s1中，借助该摄像装置拍摄单目图像。在步骤s2中，用第二周围环境检测传感器拍摄周围环境表征。在随后的步骤s3中，在单目图像中进行对象检测。在步骤s4中，在第二周围环境检测传感器的周围环境表征中进行对象检测。步骤s3和s4可以任意顺序先后进行，即先s4再s3或先s3再s4，或同时进行。在步骤s5中，进行第二周围环境检测传感器周围环境表征中与对象距离的确定。最后，在步骤s6中进行所检测的对象的高度确定。
[0031]
图2展示根据本发明一实施方式所述周围环境检测系统1的示意图。周围环境检测系统1包括优选设置为摄像装置的第一周围环境检测传感器2a以及包括第二周围环境检测传感器2b。这两个周围环境检测传感器2a、2b通过数据连接d与计算单元3相连接。该计算单元3设置用于在单目图像中检测对象，其中，所述计算单元还设置用于，在单目图像和第二周围环境检测传感器的周围环境表征中进行对象检测，其中，所述计算单元还设置用于，进行对象的距离确定和高度确定。在此，数据连接d可设置为电缆连接，也可设置为无线连接。
[0032]
图3展示一示例场景图。在该图中，展示了车道部分。三个对象o1、o2、o3处于该车道上。这里的图是单目图像m。在单目图像m中例如借助语义分割检测对象o1、o2、o3。
[0033]
图4展示借助立体摄像装置从图3所示场景中拍摄的深度图像示例图。为此，第二周围环境检测传感器设置成立体摄像装置。在深度图像t中可看见作为突起物的对象o1、o2和o3。在深度图像t中也可测定与对象o1、o2、o3的距离。
[0034]
附图标记列表
[0035]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
周围环境检测系统
[0036]
2a
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一周围环境检测传感器
[0037]
2b
ꢀꢀꢀꢀꢀꢀꢀꢀ
第二周围环境检测传感器
[0038]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算单元
[0039]dꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据连接
[0040]mꢀꢀꢀꢀꢀꢀꢀꢀꢀ
单目图像
[0041]
o1至o3
ꢀꢀꢀꢀ
对象
[0042]
s1至s6
ꢀꢀꢀꢀ
方法步骤
[0043]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
深度图像