一种基于机器视觉的行车横风预警方法及系统-j9九游会真人

1.本发明涉及交通智能行车预警技术领域，尤其是涉及一种基于流体力学与机器视觉联合技术的行车横风预警方法及系统。


背景技术：

2.风作为常见的物理现象，一直以来都受到广泛的关注。无论是风能资源量化、空气污染监测，还是天气预报都将依赖于对当地风力状况的快速、准确测量。在交通工程领域，风，特别是侧风往往会对行车安全带来较大影响。尤其对于卡车及卡车编队，侧风会在汽车风压中心上产生气动力。由于风压中心与车辆重心的不同，车辆的气动特性会发生改变，车辆容易发生偏移，侧滑，侧倾以及侧翻等事故。针对侧风对行车安全的不利影响，为制定在特定横风风速下应该采取的行车安全措施，提前收集风速信息显得尤为重要。
3.例如中国专利申请cn115223367a以及cn111599199a，过去的风力信息往往需要借助气象站或者大规模安置风速仪得到，费时费力，成本较高，效率低下，维修困难。其次，传统的风速收集方法仅仅能收集某个点位的风速，不能实时连续地反映道路的风场变化情况。此外，提前收集的侧风信息并不能提前传输到后续的更易受侧风影响到卡车上，难以实现侧风下的安全保障。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于流体力学与机器视觉联合技术的行车横风预警方法及系统。
5.本发明的目的可以通过以下技术方案来实现：
6.作为本发明的第一方面，提供一种基于机器视觉的行车横风预警方法，所述方法步骤包括：
7.通过车载摄像设备采集视频风场信息，进行道路场景的风速特征采集与流体力学计算，提取相应的预设道路场景风场特征；
8.基于机器视觉进行的道路风场风速分析，得到视觉预测的联合风场特征；
9.每辆车辆基于视觉预测联合风场特征结合本车特性计算出横风预警等级。
10.进一步的，所述进行道路场景的风速特征采集与流体力学计算，提取相应风场的特征的步骤包括：依靠流体力学仿真特征提取与从真实环境中提取相应风场的特征，具体过程如下：
11.获取用于建立数值仿真模型的道路环境特征，包括植被、天气、地貌和路面宽度；
12.使用流体力学软件对选定的道路环境特征建立流体力学仿真cfd车道场景数值模型；
13.基于cfd车道场景数值模型，进行流体力学仿真计算，对出现特殊风速风向的点位特征进行cfd特征提取；
14.采集真实车道场景数据，包括环境视频数据、环境风场特征数据和车道风场特征
数据；
15.利用真实车道场景采集数据重构真实行车道横风风场，对cfd特征提取的点位进行交叉验证，得到道路场景风场特征；
16.重复上述过程，完成多种情况下复杂的道路场景的风速特征采集与流体力学计算。
17.进一步的，所述基于机器视觉进行的道路风场风速分析，包括以下步骤：
18.输入车载摄像设备采集视频风场信息与提取的相应道路场景的风场特征；
19.通过语义分割，分割道路行车环境视频中车道与环境的界线，记录车道信息并将环境数据用于光流法运动建模；
20.采用光流运动建模，将环境数据作为输入，按时序提取动态物体的位姿，并估计反应风速与风向的物体动态特征；
21.通过机器学习视频帧分类，将光流建模得到的物体动态特征作为输入进行分类，输出风速与风向特征并映射到风速的等级划分表上。
22.进一步的，在所述光流法运动建模中，基于车辆的位置与速率信息剔除汽车运动对视频帧中物体流动方向和速率的影响。
23.进一步的，进行所述机器学习视频帧分类的具体过程如下：
24.输入基于光流法运动建模提取的反应风速与风向的物体动态特征；
25.采取机器学习分析技术，剔除非相关特征，使用视觉语义分割技术强化相关的关键特征；
26.通过transformer与长短期记忆人工神经网络lstm，联合搭建具有识别时间序列动态视频帧的分类模型，输出视觉预测的风速。
27.进一步的，所述车辆将获得的视觉预测联合风场特征向传播给后续车辆，视觉预测联合风场特征的传播形式包括：
28.一辆车与一辆车直接通信；前序车辆直接传递预警等级给相同配置的后车，预警等级的计算有前序车辆执行，后车直接执行接收预警等级下的预设方案；
29.一辆车与多辆车直接通信；当后车与前序车辆不是相同配置车辆时，传递计算得到的风场特征给后车，由后车自行计算出预警等级和预警方案；
30.多辆车基于路侧基础设施通信。
31.作为本发明的第二方面，提供一种基于机器视觉的行车横风预警系统，其特征在于，所述系统用于实施如上任一所述横风预警方法，包括：
32.搭载有车载控制系统与车载摄像设备的车辆；
33.视频处理计算模块，基于车载摄像设备获取视频，计算获取联合风场特征；
34.侧风预警计算模块，基于联合风场特征结合本车特性计算出横风预警等级；
35.所述车辆对收集到视频风场信息基于视频处理计算模块与侧风预警计算模块进行处理并将信息广播给后续的车辆。
36.进一步的，所述视频处理计算模块包括：
37.视频数据接口，用于访问获取车载摄像设备获取视频数据；
38.动态光流信息捕捉模块，用以基于预设道路场景风场特征与光流法运动建模提取视频数据中反应风速与风向的关键特征；
39.预设的风场特征模块，存储有结合流体力学仿真与从真实环境所提取相应的预设道路场景风场特征；
40.视频处理器，基于机器学习视频帧分类将动态光流信息捕捉模块的结果进行分类，并得到联合计算风场特征。
41.进一步的，所述横风预警计算模块包括：
42.预设方案模块，存储有预设横风等级和横风预警方案；
43.风场特征处理模块，基于视频处理计算模块获取的联合风场特征与预设方案模块中预设方案进行比对得到预警等级与预警方案；
44.车内可联网装置，连接车辆各驾驶控制子系统，完成横风预警方案。
45.进一步的，所述侧风预警计算模块设置于路侧由路侧基础设施完成统一处理预警或直接设置于各车辆上由各车自行处理数据进行预警。
46.与现有技术相比，本发明具有以下有益效果：
47.本发明所提供的技术方案由流体力学计算、机器视觉道路风场分析以及基于v2v的联合行车横风预警构成。视觉风速测量技术有可以显著降低测量风场所需的成本和时间。其重大意义在于：
48.1)解决了道路交通中侧风预警的高成本问题：基于更廉价并且已经广泛普及的行车记录仪，采取视觉风速测量，减少了风速仪的布设，没有额外的硬件成本。
49.2)解决了道路风环境估计困难的问题：道路环境风场具有其复杂性质，采取基于真实场景数据的流体力学计算技术，结合道路环境的多种因素提取了道路风场的关键特征，弥补了道路风场预测难的问题，实现了车道级的横风实时估计。
50.3)增强了大型车辆的侧风驾驶安全：采用车车通信技术，当配备有视觉风速测量能力的小汽车先行，检测到前续道路有较大横风时，通过车车通信或车路协同通信的its智慧通信，将信息传送到后序的车辆，来实现预警。
附图说明
51.图1示出了本公开一些方面提供的系统结构框图，该系统包括一个车载控制系统、一个视频处理模块、一个侧风预警模块；
52.图2示出了本公开一些方面提供的道路场景的风速特征采集流体力学计算技术示例流程图；
53.图3示出了本公开一些方面提供的基于机器视觉的道路风场风速分析技术示例流程图；
54.图4示出了本公开一些方面提供的基于联合技术的行车横风预警技术示例流程图。
具体实施方式
55.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
56.随着机器视觉技术的快速发展，结合光流技术，计算流体力学技术，采用机器学习
识别车道风速成为可能。视觉风速测量技术有可能显着降低测量风场所需的成本和时间。而随着车路协同、车联网等its技术的普及，车与车之间，车与路之间能够实现通信互联。因此，当配备有视觉风速测量能力的小汽车先行，检测到前续道路有较大横风时，通过its的智慧通信(车联网或车路协同)将信息传送到后面的车辆，即可实现较为完整的预警系统，为后续车辆预防横风危险提供足够的数据参考。传统方法安装风速计以监测单个位置的成本通常较高，而且即使这样也只能提供一个位置的测量值。使用视觉风速测量方法的唯一硬件成本是摄像头记录设备，标准的拍照手机或行车记录仪可以提供足够的分辨率。较多的车辆上都配备了行车记录仪，在部分自动驾驶上还会配备更多摄像头。这为该技术的应用提供基础。因此，这种方法的每个测量点的成本都大大降低，可实现连续测量，并且消除了在某个位置安装风速计所需的时间和劳动力所带来的障碍。
57.本发明的目的在于提供一种基于流体力学与机器视觉联合技术的行车横风预警方法与系统，克服无法对道路环境的侧风风速估计、预测、预警的问题。通过汽车的行车记录仪通过视觉风速测量技术测量道路风场的风向与风速，并在v2i与v2vj9九游会真人的技术支持下得到该风场对本车和后续车辆的影响程度和需要采取的相应措施。可以有效的实现对不利风速的预警，并提醒后续易受影响车辆采取合理的规避措施，可以有效避免危险事故的发生，改善交通安全。
58.为达成上述目的，本发明提供的方案如下：
59.基于道路场景的风速特征采集流体力学计算，考虑道路环境植被、地貌、天气因素的多工况场景的流体力学分析场景搭建；考虑车道数和宽度的车道场景的流体力学数值分析模型建立；对道路环境风场特征的数据采集；对道路环境尤其是周围环境的受侧风影响下环境视频信息采集；将实际采集的数据与搭建的数值分析场景进行交叉验证，提取道路场景风场的特征。
60.基于机器视觉的道路风场风速分析，采用行车记录仪和信息储存与处理模块，至少有一个行车记录仪正常工作，至少有一个信息储存与处理模块可以执行对行车记录仪视频数据的指令处理，通过结合预设的道路场景风场特征计算指令输出；将上述方法提取的行车道风场特征联合光流法运动建模，提取视频数据中的能有效反应风速与风向的可能关键特征；采取机器学习分析技术，剔除非相关特征，使用视觉语义分割技术强化可能关键特征；通过transformer与长短期记忆人工神经网络lstm，联合搭建具有识别时间序列动态视频帧的分类模型；根据车辆行车记录仪的输入视频，输出视觉预测的风速。
61.基于联合技术的行车横风预警方法，包括车车(路)通信模块、侧风预警计算模块；车车通信模块将前序车辆的视觉预测风速向后广播或单播；每辆车辆配备的预警等级计算模块在获得的前序车辆视觉预测风速后结合本车特性计算出预警等级和给出规避方案。
62.实施例1
63.作为本发明的其中一种实施方式，本实施例提供一种基于流体力学与机器视觉联合技术的行车横风预警方法及系统，预警系统结构如下所示：
64.参考图1，本实施例公开的一种针对地面道路行车道的横风预警系统包括车载控制系统101、视频处理计算模块103和侧风预警计算模块102。系统的主要工作流程可以表述为如图1的小汽车125收集到视频风场信息，上传到路侧的云储存器126，通过信息处理127，将信息广播128给后续的车辆129。
65.参考图1，其中示出了一个车载控制系统101的组成图。在车载控制系统101中可以实施一个车辆动力学控制模块104，移动装置gps模块108，和用于车车通信模块106与车路通信模块105的移动网络5g接口109。视频处理模块107通过处理模块110接口读取数据储存模块111的行车道视频数据，通过视频处理103，传输到数据处理模块113，将信息接入侧风预警模块112。
66.继续参考图1，视频处理模块107中实施了视频处理计算模块103。侧风预警模块109中实施了侧风预警计算模块102。视频处理计算模块103通过访问视频数据接口114，通过对动态光流的信息捕捉115，结合预设的风场特征模块116，通过处理模块接口110，将数据传输至视频处理器117，然后得到风场特征的输出118。风场特征输出118通过侧风预警模块112的处理模块公用接口110将数据传入侧风预警计算模块102。侧风预警计算模块102中实施了采取预设侧风等级和预警方案的模块119与风场特征处理模块120。通过车内可联网装置，连接驾驶员接口子系统122、车辆感应子系统123和车辆驾驶子系统124，来实现侧风预警。
67.其中驾驶员接口子系统122依赖于风场特征输出118后侧风预警计算模块102的输出结果。车辆感应子系统123与车辆驾驶子系统124依赖于驾驶员接口子系统122获得的调整信号。驾驶员接口子系统122、车辆感应子系统123、车辆驾驶子系统124均是在侧风预警计算模块得出风场预警等级与应当采取的措施后，在车载控制系统层面操控车辆动力学控制，实现侧风的防范。
68.如图1所示，其中涉及的数据储存模块111与处理计算模块103是当前可获得的便携车载端，如智能手机，智能平板计算装置，手提计算机等具有储存和计算的端口设备。这些设备可以用来实施视频数据接口114，通过视频处理器117捕捉动态光流特征115，并加载预设存储的特征模块116，来实现计算风场的输出118。
69.如图1所示，移动网络5g接口是为了实施车车通信模块106与车路通信模块105的。目前的通信协议是易获得的，如点对点通信，寻呼网络，电话网络，wifi网络以及其他类似的网络。本技术的系统网络也能与其他车载系统中配置某种其他通信设备一起使用，以保障其他通信不被影响。
70.如图1所示，驾驶员接口子系统122、车辆感应子系统123与车辆驾驶子系统124能够实质性的与其他车辆子系统在采取相同的通信方式下一起使用。这些车辆子系统包括卡车、汽车、工程专用车、和其他大型移动机械设备的各自控制系统，但是不包括水路运输的器械和系统。
71.实施例3
72.作为本发明的另一种实施方式，本实施例提供基于流体力学与机器视觉的行车横风预警方法的其中一种实施示例，该方法主要步骤如下：
73.道路场景的风速特征采集流体力学计算示例
74.本示例为机器视觉更准确地识别道路风场特征提供一种联合特征提取的方案，依靠流体力学仿真特征提取203与从真实环境中提取相应风场的特征204。
75.参考图2，为了建立数值仿真模型，道路环境特征201首先被考虑，这包含了植被、天气、地貌和路面宽度。使用流体力学软件对选定的道路环境特征201进行cfd(流体力学仿真)车道场景数值模型建立202。流体力学计算可使用的软件包括但不限于xflow、fluent，
上述软件均是成熟的流体力学计算软件。
76.当完成cfd车道场景数值模型建立202后，进行流体力学仿真计算，对出现特殊风速风向的点位特征进行cfd特征提取203。示例性地，某些情况下会在道路环境中出现风速突变的情况，以及出现湍流。这种情况下，如果在路侧收集的风速将不能真实的反应行车道上的风速影响。因此需要在cfd仿真阶段提取特殊点位的特征，以指导真实车道场景数据采集204。
77.继续参考图2，真实车道场景数据采集204包括环境视频数据采集、环境风场特征数据采集、车道风场特征数据采集。示例性地，环境视频数据采集是通过摄像设备完成的，包括但不限于gopro类运动相机，智能手机，行车记录仪，只要能提供合适的分辨率即可。环境风场特征数据采集由风速仪在侧道周围环境采集，需要采集风速和风向数据并记录采集位置。车道风场特征数据采集由风速仪在车道上采集，需要采集风速和风向数据并记录采集位置。
78.继续参考图2，通过真实车道场景数据采集204，利用这些数据重构真实行车道横风风场，对cfd特征提取203的点位下的真实特征提取205。然后生成预设道路场景风场特征206为机器视觉处理模块306的信息储存与处理模块302提供联合技术的预设数据。以上是针对一种道路场景的风速特征采集流体力学技术示例，重复上述过程可以完成多种情况下复杂的道路场景的风速特征采集与流体力学计算，并储存到预设特征数据库305中。
79.基于机器视觉的道路风场风速分析示例
80.图3示出了本公开多个方面提供的基于机器视觉的道路风场风速分析技术示例流程图。该技术由行车记录仪模块301、信息储存与处理模块302与联合计算风场特征303部分组成。
81.如图3所示，行车记录仪模块301拍摄行车环境的视频数据，将数据储存到信息储存与处理模块302的视频与风场数据库304中。预设特征数据库305联合视频与风场数据库304，将数据传输到机器视觉处理模块306中。通过语义分割307道路环境中的场景，选择行道树等行车道周围的环境特征；采用光流运动建模308，提取随时间变化，如树叶的运动姿态的变化来估计姿态，反应风的流动情况；通过机器学习视频帧分类309技术将光流建模的结果进行分类，映射到风速的等级划分表上，并得到联合计算风场特征303。视频与风场数据库304也将储存联合计算风场特征303来进一步提高机器视觉的处理精度。由于需要实现车车通信来实现侧风的预警，因此预设特征数据库305为在线访问数据库，方便所有参与通信的车辆读取不断更新的预设特征，提高视觉风速预测的精度。
82.参考图3，机器视觉处理模块306包含了三大类的处理技术，语义分割307、光流法运动建模308与机器学习视频帧分类309技术。这些方法定义了使用处理技术的范围，但不局限处理技术的种类。每种处理技术下都有多种处理方法，通过修改参数可以形成不同的方法。只要满足合适的输入输出，均能被该方案实施。
83.为了说明不同方法的用途和输入输出，示例性地，语义分割307技术需要分割道路行车环境视频中车道与环境的界线，记录车道信息(车道数量，车辆数量和排布)并将环境部分的数据传输到下一个流程，光流法运动建模308中；光流法运动建模308将环境数据作为输入，按照视频帧的时序提取动态物体的位姿，并估计物体流动(比如树叶、树枝和草丛)的方向和速率，由于是行驶的汽车手机的视频数据，在光流法运动建模308中需要剔除汽车
运动对视频帧中物体流动方向和速率的影响。这要求行车记录仪模块301收集车辆的位置与速率信息。机器学习视频帧分类309技术将上一步处理的动态特征作为输入，输出风速与风向特征。
84.继续参考图3，在该技术中需要得到的联合计算风场特征303包括风速特征、车道特征、风向特征、地理位置、时序特征和行车道上的车辆分布。其中风速特征、风向特征与时序特征由机器学习视频帧分类309输出，车道特征与车辆分布由语义分割307输出。
85.基于联合技术的行车横风预警示例
86.图4示出了本实施例公开的基于联合技术的行车道预警技术示例流程图。如图4所示，在预警阶段，该技术主要有车车(路)通信模块401与侧风预警计算模块402组成。车载控制系统101中的车路通信模块105与车车通信模块106与该示例中车车(路)通信模块401中的车路通信模块406与车车通信模块407为相同的模块。在该示例中说明其通信方式。
87.参考图4，当获得了联合计算风场特征403(该特征来自于图3中的联合计算风场特征303)后。将特征与预设方案数据库404中的侧风预警方案进行比对，得到预警等级405。在车车(路)通信模块401下将信息广播到其他车辆或通过基础设施完成通信方式408。进而执行后续车辆的动力学控制409。
88.继续参考图4，车1、车2与车3在前序的驾驶中收集到了视觉风速信息，通过如通信方式408中车车通信，完成一对一向后传递的信息单播(如车与车之间连接的黑线)。或者如车1到车4、车5和车6的虚线通信方式完成广播机制。当通信涉及的范围较大，车1、车2和车3在车车通信范围内无法与车4、车5和车6取得有效通信的时候，可以借助路侧基础设施410完成通信。
89.侧风预警计算模块402可以存在于路侧，由路侧基础设施完成统一处理或直接存在于各车上，由各车自行处理数据。当侧风预警计算模块被安装在路侧时，此时按照通信方式408中与基础设施联合的通信方式。当侧风预警计算模块被安装在车辆上时，此时按照通信方式408的车车通信方式完成通信，此时的信息传递可以是联合计算风场特征303或侧风预警等级405。当按照联合计算风场特征303传递信息时，预警等级405由各车本地完成计算。当车车通信直接传递预警等级405时，便由前车计算出预警等级405再直接传递给后车实现预警。预警等级405依赖于预设方案数据库404设计的风速等级。因此预设方案数据库404具有联网功能，以方便所有车辆都能访问预设的预警方案数据。
90.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。