1.本文公开的主题涉及一种用于检查轨道的系统和方法，具体地，涉及一种用于使用机器学习检查轨道的系统和方法。
背景技术：
2.铁路检查通常涉及超声扫描仪、感应传感器、涡流传感器、相机传感器或其组合的使用。铁路检查用于检测轨道中可指示轨道缺陷的特征。超声技术通常使用超声传感器，该超声传感器安装在骑在轨道上表面上的轨道车辆的柔性轮中。车轮中充满耦合液，因此安装在内部的传感器可以将超声波信号发送到轨道中。返回信号经过处理后用于绘制轨道中的缺陷位置。记录检测数据后，将对其进行分析以识别信号中与轨道缺陷相对应的模式。这些模式被标记以区别于轨道缺陷(例如，螺栓孔、轨道端部、焊接点和信号中的噪声)不相关信号。
3.当前的标记过程的一个问题是它是高度劳动密集型的，并且需要许多小时的人工分析来识别与轨道缺陷相对应的模式。人工分析的成本很高，如果分析人员疲劳或缺乏有关缺陷类型变化的经验而遗漏了缺陷，则可能会导致错误。为了解决这些问题，人工评估通常与基于规则的识别器软件结合使用，该软件旨在突出显示可能指示轨道缺陷的传感器模式。这些基于规则的系统通常经过调优，可以接受大量的误报，而不会冒遗漏轨道缺陷的风险。为了消除误报，基于规则的系统输出的结果仍必须由人类分析人员进行评估，这样，时间仅得到适度的缩短。
4.因此，尽管现有轨道检查系统适合于其预期目的，但是仍然存在改进的需要，特别是在提供使用机器学习来检查轨道的系统和方法时。
技术实现要素：
5.根据本公开的一方面，提供了一种用于检查轨道的车辆。所述车辆包括被配置为捕获描述所述轨道的传感器数据的轨道检查传感器以及处理器。所述处理器被配置为接收所述传感器数据以及近实时地处理所捕获的传感器数据以确定所捕获的传感器数据是否识别出可疑轨道缺陷。所述处理包括将所捕获的传感器数据输入机器学习系统，所述机器学习系统已经过训练，以识别传感器数据中指示轨道缺陷的模式。所述处理还包括接收来自所述机器学习系统的输出，所述输出指示所捕获的传感器数据是否识别出可疑轨道缺陷。至少部分地基于所述输出指示所捕获的传感器数据识别出可疑轨道缺陷，向所述车辆的操作员发送警报。所述警报包括所述可疑轨道缺陷的位置并指示所述操作员停止所述车辆和执行维修动作。
6.根据本公开的其他方面，提供了用于检查轨道的方法、系统和计算机程序产品。非限制性示例方法包括从安装在位于所述轨道上的车辆上的轨道检查传感器接收传感器数据。处理所述传感器数据以识别所述轨道中的可疑轨道缺陷的位置。所述处理包括输入采取适合于机器学习系统的形式的所述传感器数据，所述机器学习系统已经过训练，以识别
所述传感器数据中指示轨道缺陷的模式。从所述机器学习系统接收包括可疑轨道缺陷的列表及其在所述轨道上的相应位置的输出。基于所述可疑轨道缺陷的列表启动维修动作。
7.通过以下结合附图的描述，这些以及其他优点和特征将变得更明显。
附图说明
8.在说明书的结尾处的权利要求中特别指出并明确要求保护被视为公开内容的主题。通过以下结合附图的详细描述，本公开的上述和其他特征以及优点将变得显而易见，其中：
9.图1a、图1b、图1c和图1d示出了根据本发明的实施例的轨道检查系统；
10.图2a是从基于规则的潜在轨道缺陷识别器输出的图像的线图；
11.图2b是图2a所示图像的一部分的更详细视图的线图；
12.图3是根据本发明的实施例的用于训练神经网络推理引擎以识别轨道缺陷的系统的组件的框图；
13.图4是根据本发明的实施例的用于使用神经网络推理引擎来识别轨道缺陷的系统的组件的框图；
14.图5是根据本发明的实施例的用于使用神经网络，借助实时数据来识别轨道缺陷的系统的组件的框图；
15.图6是根据本发明的实施例的用于审核神经网络推理引擎的准确性的系统的组件的框图；
16.图7a是根据本发明的实施例的用于使用神经网络来识别轨道缺陷的系统的框图；
17.图7b是根据本发明的实施例的用于在云环境中使用神经网络来识别轨道缺陷的系统的框图；
18.图8是根据本发明的实施例的可疑缺陷列表表格的示例；
19.图9是根据本发明的实施例的对无缺陷螺栓孔的超声扫描的示例；
20.图10是根据本发明的实施例的对有缺陷螺栓孔的超声扫描的示例；
21.图11、图12和图13是根据本发明的实施例的来自神经网络推理引擎的输出的示例；以及
22.图14是根据本发明的实施例的用于实现使用机器学习来检查轨道的部分或全部方面的计算机系统的框图。
23.具体实施方式参考附图并借助示例解释了本公开的实施例以及优点和特征。
具体实施方式
24.本发明的实施例涉及一种用于使用机器学习来检查诸如与铁轨一起使用的轨道的系统和方法。本发明的实施例以人类分析人员的准确度水平提供了轨道缺陷自动检测方面具有优势。轨道缺陷自动检测比人类分析人员执行速度更快，而且没有潜在的疲劳感。本发明的实施例使用称为深度学习神经网络的机器学习分支，通过以成千上万个由人类分析人员正确识别的缺陷示例进行训练来构建识别器。实施例可以利用的深度学习工具包括但不限于执行数据段图像识别的卷积神经网络(cnn)，以及包括“长期短期记忆”(lstm)模块的递归神经网络(rnn)，这些模块可通过为数据段提供上下文来提高识别度。
25.通过使用机器学习，人类分析人员的数万小时训练和经验被嵌入计算机程序中，这些计算机程序高速并行地运行以处理大量记录运行。在一个实施例中，机器学习系统以与人类操作员的结果文件相同的格式产生轨道缺陷识别。因此，很容易以与人类操作员相同的方式对准确性进行审核，以确定机器学习系统是否以相同的标准运行。通过显示轨道缺陷的其他示例，机器学习系统可以随时接受额外的训练。例如，如果有新的缺陷类型或新的传感器布置需要学习，就会发生这种情况。
26.本发明的实施例可以在云计算平台上运行，其中机器学习系统接收记录数据并快速返回识别文件。本发明的实施例还包括在车辆上实时工作的嵌入式系统，以在需要使操作员立即停车并通过附加测试来检验缺陷检测的情况下为操作员提供帮助。本发明的其它实施例包括除神经网络以外的其他机器学习技术，例如但不限于：聚类；表征学习；以及贝叶斯网络。本发明的更过其他实施例包括传感器的不同组合，以提供从中识别出轨道缺陷模式的输入数据。
27.轨道缺陷的示例包括但不限于：螺栓孔裂纹、轨头与轨腰分离、横断面缺陷和垂直裂头。指示轨道缺陷的信号模式通过本发明的示例性实施例与轨道缺陷(例如，螺栓孔、轨道端部、焊接点和信号中的噪声)不相关信号区别开来。人眼通常无法检测到轨道缺陷，例如螺栓孔裂纹通常隐藏在将螺栓孔固定在一起的板的后面。另外，轨道缺陷可以包括轨道底面或内部的裂纹。
28.现在参考图1a、1b、1c和1d，其中大体上示出了轨道检查系统20，其包括被配置为在诸如铁轨之类的轨道上操作的仪器车或车辆22以及动力车或车辆24。动力车辆24包括能量源，诸如被配置为沿着轨道移动车辆22、24的引擎或电动机(未示出)。动力车辆24可以由人类操作员操作，可以进行远程操作或自主操作。仪器车辆22包括带有轮28的车架26。轮28适于在铁轨30上操作。
29.在一个实施例中，仪器车辆22具有两个车架26。在一个实施例中，一个车架26包括磁感应检测器系统32，该磁感应检测器系统包括至少一对与轨道30接触的电刷34。应当理解，在示例性实施例中，系统20中有两对电刷34，其中一对与一对轨道30中的一个轨道相关联。在两个电刷34之间的区域中，电刷34围绕轨道30建立磁场。感应传感器单元36定位在轨道30的正上方，并且用于感测磁场中的扰动。来自感应传感器单元的信号被发送到数据处理系统，在该数据处理系统中分析与干扰有关的信号，并将其与已知缺陷画像进行比较。
30.系统20进一步包括超声传感器系统38，其包括一个或多个滚子搜索单元(rsu)40。每个rsu 40包括由柔性材料形成的充液轮42，当轮40与轨道30接触并压靠在轨道30上时，该柔性材料发生变形以建立接触表面。充液轮40安装在附接到rsu框架46的轴44上，使得当车架26沿轨道被拉动时，充液轮42与轨道30接触。rsu 40包括至少一个安装在充液轮42内部的超声传感器48。超声传感器48被配置和定位成通过轮34中的液体以及通过接触表面将超声束50传输到轨道30中，然后从轨道30接收反射的或返回的超声束。传感器48产生返回信号，该返回信号被传输到数据处理系统。基于响应于返回的超声波束而产生的信号，可以识别轨道30中的缺陷或不良状况。
31.应当理解，车辆22、24可以组合成单个车辆52，如图1d所示。在一些实施例中，车辆52可以包括第二组轮54，其允许车辆52在道路上行驶并行驶到轨道30上。
32.在此描述的本发明的实施例使用超声跟踪数据作为通过输入和分析来查找轨道
缺陷的检测数据。实施例不限于由超声扫描仪生成的数据，并且可以包括由用于检测轨道缺陷的任何其他传感器生成的数据，这些其他传感器诸如但不限于感应传感器和涡流传感器。另外，实施例也不限于来自单一类型传感器的检测数据。
33.基于规则的识别器难以识别轨道缺陷的原因之一是，对于符合规则的每个轨道缺陷示例，都会产生一些因不符合规则而被遗漏的轨道缺陷示例(漏报)。也将有一些传感器信号示例满足规则标准，但不是真正的缺陷(误报)。因此，通常将基于规则的系统调优为接受大量潜在的误报，而不冒着遗漏缺陷(误报)的风险。因此，结果仍必须由人类分析人员评估。
34.人类分析人员需要许多小时的训练，然后需要许多月/年的经验才能可靠地发现多种类型的轨道缺陷。分析人员必须通过经验来建立技能或肌肉记忆，以识别轨道缺陷类型的所有变化。即使是技术娴熟且经验丰富的分析人员也可能出现疲劳，因此经常需要多位分析人员对数据进行复查，以确保不会发生遗漏潜在轨道缺陷的情况。另外，小缺陷信号可能隐藏在噪声信号下，这在高音量情况下可能很难检测到。
35.现在参考图2a，其中大体上示出了从基于规则的潜在轨道缺陷识别器输出的结果图像200的线图。结果图像200可以基于输入基于规则的识别器的超声跟踪数据来生成，并且包括大约十二英尺铁轨的左轨道204、右轨道206以及上下文数据208的图像。图2b更详细地示出了图像的一部分202。如图2b所示，基于规则的系统在具有潜在轨道缺陷的位置上叠加方框。如上所述，现有系统需要对基于规则的系统输出的图像进行人工分析，以检测轨道缺陷。要求人类分析人员复查每个方框以及结果图像200的其他部分，以确定它们是否对应于轨道缺陷。目前的基于规则的系统倾向于过度预测，并且需要很多人员时间才能滤除误报。
36.现在参考图3，其中大体上示出了根据本发明的实施例的用于训练神经网络推理引擎以识别轨道缺陷的系统300的组件的框图。如图3所示，标记图像数据库308被输入神经网络训练接口306。图3所示的标记图像数据库308包括例如用于由一个或多个超声扫描仪或传感器收集的超声跟踪数据的检测数据。超声跟踪数据中的图像先前已由人类分析人员标记。神经网络训练接口306提取图像及其相应的标签，以输入神经网络数据预处理器304。神经网络数据预处理器304将接收到的数据分成图像和相关标签。图像被神经网络数据预处理器304分批馈入神经网络推理引擎302(在本文中也称为“神经网络”)，并且针对每个图像预测标签。神经网络训练预处理器304将每个图像的已知的地面真值标签发送到比较逻辑310。
37.如图3所示，比较逻辑310将预测标签与已知标签进行比较。在本发明的示例性实施例中，比较逻辑310使用损失函数将预测标签与地面真值标签进行比较。将比较的结果输入神经网络训练引擎312，以确定对神经网络偏差和权值的调整，从而提高准确性并减小损失函数。所确定的调整被输入神经网络推理引擎302。迭代地重复图3所示的过程，以最小化损失函数并最大化预测的准确性。在本发明的一个或多个实施例中，图3所示的神经网络的多个部分由现成的软件实现。例如，可以使用google tensorflow开源代码python数学例程库来实现神经网络。
38.在本发明的一个或多个实施例中，神经网络推理引擎302实现深度学习卷积神经网络(dlcnn)以执行图像模式识别。神经网络推理引擎302还可以使用基于长短期记忆
(ltsm)递归神经网络的模型来识别不确定长度的轨道缺陷。这两种方法可以组合使用，以进行详细的图像识别，但可以提供来自递归神经网络的上下文信息。在本发明的一个或多个实施例中，作为神经网络的补充或替代，利用更简单的基于统计或规则的技术，因为对于某些类型的检测，可以通过增强现有基于规则的方法来获得良好的结果。这种情况的示例可以是将高噪声部分标记为不适合分析。在本发明的一个或多个实施例中，各种轨道缺陷类型的完全覆盖涉及组合用于识别轨道缺陷的不同技术。例如，螺栓孔裂纹和横断面缺陷的长度通常很有限，可以由dlcnn单独检测。轨头与轨腰分离以及垂直裂头的长度可能不确定，并且对诸如ltsm之类的递归神经网络的响应更好。两者的结合将详细的模式识别与上下文信息组合在一起。
39.将神经网络训练到期望的准确度水平并针对先前看不见的数据进行测试之后，移除训练组件，并将神经网络用作识别器。
40.在很多时候，神经网络的重新训练是有用的，例如，在布局新传感器之后，在添加传感器之后(例如，将感应传感器输入添加到超声输入)，以及在轨道上出现新类型的可疑轨道缺陷之后。
41.现在参考图4，其中大体上示出了根据本发明的实施例的用于使用神经网络推理引擎来识别轨道缺陷的系统400的组件的框图。如图4所示，神经网络文件接口读取了包含最新不间断检测数据的最新不间断检测文件408。不间断检测数据是指已作为采集过程的一部分记录的传感器数据。通常在采集运行结束时将这些数据上传到网络位置。新数据文件的到来通常会自动触发此处描述的过程的其余部分。在一个实施例中，，不间断检测文件408包含由一个或多个超声传感器收集的超声跟踪数据。神经网络文件接口406将不间断检测文件408的内容馈入神经网络数据预处理器404。神经网络训练预处理器404将检测文件中的传感器数据转换为适合于神经网络的格式(通常是命中模式的一系列重叠的二维图像，但也可以是例如感应传感器检测的一维信号)，然后将这些图像分批或作为连续流输入神经网络推理引擎302。神经网络推理引擎302确定任何接收到的图像或数据流部分是否指示轨道缺陷。神经网络推理引擎302输出可疑轨道缺陷列表402。输出可以是采取诸如.csv或.xml之类的文本文件形式的表格。下面在图8中示出了示例表格。在一个实施例中，可疑轨道缺陷列表402被存储在报告数据库中，跟踪可疑轨道缺陷402的人员可以借助该数据库，通过使用手持式探头执行更详细的测试来确认可疑轨道缺陷402的存在，并在需要时采取维修动作。
42.根据本发明的一个或多个实施例，记录传感器数据，并且例如在云中和/或返回办公室，根据运转时间(例如24小时)的服务水平协议离线执行参考图4描述的处理。
43.现在参考图5，其中大体上示出了根据本发明的实施例的用于使用神经网络，借助实时数据来识别轨道缺陷的系统500的组件的框图。系统500包括神经网络推理引擎302的本地副本，示出为神经网络推理引擎516。如图5所示，可以将本发明的一个或多个实施例嵌入实时测量系统(例如，执行检查的有轨道车)中，从而可以流传输实时数据并近实时地识别它们。如本文所使用的，术语“近实时”是指可忽略的时间量，例如收集数据(例如，图像)和神经网络处理数据所花费的时间。
44.如图5所示，实时增长的检测文件508的内容由神经网络实时接口506读取。实时增长的检测文件508的内容包括系统500所处的轨道车当前正在收集的数据。在一个实施例
中，实时增长的检测文件508包含由轨道车上的一个或多个超声传感器收集的超声跟踪数据。神经网络实时接口506按照收集到时的原样将增长的检测数据508流传输到神经网络数据预处理器504。神经网络数据预处理器504从检测数据中提取图像，然后将这些图像作为连续流馈入神经网络推理引擎516。神经网络推理引擎516确定图像是否指示轨道缺陷。如果图像具有轨道缺陷的特征，则将其输出为新的可疑轨道缺陷502。
45.如图5所示，新的可疑轨道缺陷502的识别可以触发警报514，以使轨道车辆停止并允许通过手持传感器进行验证。附加地或替代地，新的可疑轨道缺陷502的识别可以触发从位于轨道车辆上的线扫描相机510的缓冲器捕获与新的可疑轨道缺陷502相对应的轨道部分的图像。应当注意，通常很难或不可能在相机图像中看到轨道缺陷，但是，相机图像仍有用于帮助识别包含缺陷的确切铁路轨道部分。例如，相机图像可用于帮助通过手持传感器执行验证的操作员。警报514或关于轨道缺陷的识别信息(例如相机图像)也可以发送到不在轨道车辆上的指定用户设备和/或计算机。
46.如图5所示，可疑报告系统512可以(例如，经由无线网络)将新的可疑轨道缺陷502的列表上传到不在轨道车辆上的数据库。在一个实施例中，还可以通过可疑报告系统512将通过手持传感器的验证结果和/或由线扫描相机510捕获的图像中上传到数据库。
47.现在参考图6，其中大体上示出了根据本发明的实施例的用于审核神经网络的准确性的系统600的组件的框图。图600所示的系统600可以在云环境中运行，在云环境中，不间断检测文件608从一个或多个地理位置上传到审核软件。神经网络完整文件接口606将检测文件608馈入神经网络数据预处理器604。神经网络训练预处理器604从检测文件608中提取图像，然后将这些图像分批或作为连续流馈入神经网络推理引擎302。神经网络推理引擎302确定是否有任何接收到的图像指示轨道缺陷。神经网络推理引擎302输出可疑轨道缺陷列表602。
48.在一个实施例中，以与轨道缺陷的人类标记人员产生的输出相同的格式下载可疑轨道缺陷列表602并将其添加到可疑轨道缺陷数据库中。另外，如图6所示，从神经网络输出的可疑轨道缺陷列表602被输入分析人员标签模块610，在该模块，人类分析人员审核可疑轨道缺陷列表602。通过与分析人员结果模块614进行比较来比较由分析人员提供的标签，从而确定分析人员是否也将可疑列表确定为轨道故障。包括任何误报和漏报的比较结果被反馈回神经网络推理引擎302以进行持续改进。比较结果也可以被报告给指定用户或发送到审核结果数据库。图6所示的审核可以定期或不定期地和/或可以响应于执行审核或其他事件的请求来自动执行。
49.根据本发明的一个或多个实施例，通过将神经网络输出与人类输出(例如标签)进行比较，来定期地或不定期地验证神经网络输出。在发现误报和漏报的情况下，通过将这些误报和漏报随机分配给训练集或验证集来将其添加到网络训练过程中。以这种方式，训练数据增加并导致更准确的神经网络。另外，添加到验证集可导致更具统计意义的神经网络准确性度量。审核过程可以自动执行，以便神经网络不断提高其学习能力。根据本发明的替代实施例，新的神经网络无需训练便可实施，其依赖于来自人类检测的反馈来逐步教会其新的检测。新的神经网络在后台运行，在达到所需的准确度水平之前不用于轨道缺陷检测。
50.现在参考图7a，其中大体上示出了根据本发明的实施例的用于使用神经网络来识别轨道缺陷的系统700a的组件的框图。
51.图7所示的系统700a包括由位于主计算机704上的一个或多个计算机程序执行的轨道检查应用708。轨道检查应用708包括三个模块：训练模块710、检测模块712和审核模块714。轨道检查应用708中的模块可以由最终用户系统702上的最终用户经由云网络706启动，也可以由位于主计算机704本地的最终用户系统702启动。模块也可以通过在计算机系统732上执行的计算机指令经由网络706启动。
52.图7a所示的训练模块710的示例性实施例由上面参考图3描述的组件和处理来实现，以训练神经网络推理引擎302。在一个实施例中，图3所示的标记图像数据库308存储在训练数据存储设备720中，并且经由云网络706访问。在另一实施例(未示出)中，训练数据存储设备720位于主计算机704本地(无需使用云网络706即可访问)，可以由主计算机704直接访问或者包含在主计算机704中。
53.图7a所示的检测模块712可以由图4中描述的组件和处理来实现，以利用神经网络推理引擎302来检测轨道缺陷。在一个实施例中，在图4中使用的最新不间断检测文件408可以被存储在检测数据存储设备718中并经由云网络706访问。在另一实施例(未示出)中，最新不间断检测文件408位于主计算机704本地，可以由主计算机704直接访问。如图7a所示，神经网络推理引擎302直接连接到主计算机704，并且访问由主计算机704控制。尽管未示出，但是神经网络推理引擎302可以通信地耦合到云网络706并且可以经由云网络706访问(例如，由计算机系统732访问)。在一个实施例中，可疑轨道缺陷列表402被存储在轨道缺陷报告数据存储设备722中和/或输出到最终用户系统702或计算机系统732。在另一实施例(未示出)中，轨道缺陷报告数据存储设备722位于主计算机704本地，可以由主计算机704直接访问或者包含在主计算机704中。
54.审核模块714可以由图6中描述的组件和处理来实现，以审核由神经网络推理引擎302在检测轨道缺陷时产生的结果的准确性。在一个实施例中，在图6中使用的检测文件608可以被存储在检测数据存储设备718中并经由云网络706访问。在另一实施例(未示出)中，检测文件608被下载到主计算机704并由主计算机704直接访问。在一个实施例中，可疑轨道缺陷列表402被存储在轨道缺陷报告数据存储设备722中和/或输出到最终用户系统702或计算机系统732。在另一实施例(未示出)中，轨道缺陷报告数据存储设备722位于主计算机704本地，可以由主计算机704直接访问或者包含在主计算机704中。
55.在图7a中还示出了轨道车724，其包括主计算机726、车载检测模块750、本地检测数据存储设备728、本地报告数据存储设备740、本地用户设备742和本地神经网络推理引擎516，以实现上面关于图5描述的车载处理。在一个实施例中，本地神经网络推理引擎516是神经网络推理引擎302的副本，其经由云网络706检索并且在神经网络推理引擎302更新时更新。在被输出到本地最终用户设备742的同时，从本地神经网络推理引擎516输出的标记图像还可以经由云网络706被发送到其他最终用户系统702、其他处理器(例如计算机系统732)和/或被发送到轨道缺陷报告数据存储设备722。类似地，存储在本地报告数据存储设备740中的数据的副本可以经由云网络706上传到轨道缺陷报告数据存储设备722，并且存储在本地检测数据存储设备728中的数据的副本可以经由云网络706上传到检测数据存储设备718。
56.图7a所示的最终用户系统702可以使用执行计算机程序(用于执行本文所述的过程)的通用计算机来实现。每个最终用户系统702可以是个人计算机(例如，台式计算机、膝
上型计算机、平板计算机、智能电话)或主机连接的终端。如果最终用户系统702是个人计算机，则本文所述的处理可以由最终用户系统702和主计算机704共享。类似地，如果最终用户系统742是个人计算机，则本文所述的处理可以由最终用户系统742和主计算机726共享。
57.云网络706可以包括任何类型的已知网络中的一个或多个，其中包括但不限于广域网(wan)、局域网(lan)、全球网络(例如，因特网)、虚拟专用网(vpn)和内联网。云网络706可以包括专用网络，其中对专用网络的访问限于授权成员。可以使用无线联网技术或本领域中公知的任何种类的物理网络实现来实现云网络706。图7a所示的组件可以通过多个网络(例如，因特网、内联网和专用网络)耦合到一个或多个其他组件，使得并非所有组件都通过同一网络耦合到其他组件。
58.本领域普通技术人员将理解，可以利用其他网络配置来实现本发明的实施例的优点。图7a所示的配置用于说明性目的，并且不应解释为对范围的限制。
59.如上所述，可以通过云网络706访问存储设备718、720和722。可以使用用于存储电子信息的各种设备来实现存储设备718、720和722。应当理解，存储设备中的一个或多个可以使用包含在主计算机704中的存储器来实现，或者可以是单独的物理设备，如图7a所示。在包括云网络706的分布式环境中。存储设备可以在逻辑上被寻址为合并数据源。可以经由主计算机704以及702、726、742和732的授权用户来检索和操纵存储在存储设备中的信息。
60.图7a所示的主计算机704可以使用响应于存储在可由服务器访问的存储介质中的计算机程序而执行操作的一个或多个服务器来实现。主计算机704可以用作网络服务器(例如，web服务器)以与最终用户系统702通信。主计算机704还可以用作应用服务器。主计算机704执行一个或多个计算机程序(包括轨道检查应用708)，以执行本文所述的功能。通过向最终用户系统702和/或计算机系统732提供应用，可以由最终用户系统702和/或计算机系统732共享处理。备选地，最终用户系统702可以包括用于执行本文所述的处理中的一部分或全部的独立软件应用。如上所述，应当理解，可以利用单独的服务器来实现网络服务器功能和应用服务器功能。备选地，网络服务器、防火墙和应用服务器可以由执行计算机程序以执行必要功能的单个服务器来实现。
61.现在参考图7b，其中大体上示出了根据本发明的实施例的用于在云环境中使用神经网络来识别轨道缺陷的系统700b的组件的框图。图7b所示的系统700b具有类似于上面参考图7a描述的组件。然而，一些组件位于云网络706内。如图7b所示，存储设备718、720和722、主计算机704、计算机系统732、神经网络推理引擎302和轨道检查应用708(包括训练模块710、检测模块712和审核模块714)位于云网络706内；并且经由最终用户系统702访问。另外，位于轨道车724中的主计算机726也可以经由云网络访问组件。图7b所示的系统700b可以经由云计算架构来实现，并且可以使用诸如但不限于亚马逊网络服务的云服务。
62.现在参考图8，其中大体上示出了根据本发明的实施例的可疑缺陷列表表格800的示例。在一个实施例中，可疑缺陷列表表格800以文本文件的形式输出，例如但不限于.csv或.xml。图8所示的可疑缺陷列表表格800包括测试段id列802，其标识在具有可疑轨道缺陷的铁路轨道上运行的数据采集记录；轨道指示器列804，其标识可疑缺陷在左轨道中还是右轨道中；轨道脉冲计数列806，其标识从记录开始沿着轨道的距离；uic代码/注释列808，其用于标识国际铁路联盟(uic)代码或其内部变更(对应于可疑轨道缺陷类型(uic代码))，以及包含描述可疑轨道缺陷的文本的注释，以及包括置信度列810，其指示神经网络评估可疑
轨道缺陷的置信度。可以根据纬度、经度、里程标和码数，或者其他铁路基础描述，将测试段id、轨道指示器和轨道脉冲计数转换为相关铁路上的唯一位置。此工作通过将这些信息与运行中的元数据(此处未显示)相结合来完成。可以训练神经网络来识别轨道中许多不同类型的缺陷和特征。常见的类型包括但不限于：螺栓孔、螺栓孔裂纹、轨头与轨腰分离、横断面缺陷和垂直裂头。
63.现在参考图9，其中大体上示出了根据本发明的实施例的对无缺陷螺栓孔的超声扫描900的示例。在一个实施例中，通过组合来自十四个或更多个传感器的回波来显示缺陷，这些传感器可以包括但不限于：超声传感器；感应传感器和/或涡流传感器。图9所示的示例描绘的图像显示，来自超声传感器的回波被输入用于训练和/或轨道缺陷检测的神经网络。图9所示的示例具有“好”螺栓孔，意味着它不是轨道缺陷。不同的数字对应于来自不同类别的传感器的结果。在一个实施例中，
“‑
3”指示以70度角来自后方传感器的回波，
“‑
2”指示以负45
°
角来自后方传感器来的回波，
“‑
1”指示缺乏预期的回波或响应(例如，预期会看到轨道而没有)，“0”指示未接收到回波，“ 1”指示以0
°
角度(垂直于轨道)来自传感器的回波，“ 2”指示以正45度角来自前方传感器的回波，“ 3”指示以正70度角来自前方传感器的回波。可以将类似和/或重复的传感器映射到相同数字。上面的数字映射是一个示例，可以在检测到不同的故障类型时更改。这些映射的选择对神经网络的学习能力具有很大影响。
64.现在参考图10，其中大体上示出了根据本发明的实施例的对有缺陷螺栓孔的超声扫描1000的示例。图10中的示例示出了大螺栓孔裂纹的一个示例。应当注意，螺栓孔裂纹有很多变化，它们在图像中的显示方式也具有很多变化。例如，较小的螺栓孔裂纹仅只有几个像素长，并且螺栓孔裂纹也可能出现在螺栓孔的不同部分，并且可以由不同的传感器检测到。
65.现在参考图11、图12和图13，其中大体上示出了根据本发明的实施例的来自神经网络，例如来自神经网络推理引擎302的输出1100、1200和1300。在该示例中，神经网络已经过训练，可以识别螺栓孔裂纹、无裂纹的螺栓孔和轨道端部。在训练神经网络期间，示出了许多具有这些类型的中的每一种的示例以及噪声和其他信号的示例，因此也可以识别“未知”。在一个实施例中，图像以重叠序的序列流传输到神经网络中。在图11至13所示的示例中，图像为80x64像素，并且重叠60像素(即4像素增量)。重叠的识别(例如，螺栓孔裂纹和无裂纹螺栓孔等等)由彩色条纹(在图11至13中显示为阴影条纹)示出。标记为1102的部分指示可疑螺栓孔裂纹，标记为1104的部分指示无裂纹螺栓孔，标记为1106的部分指示轨道端部，标记为1108的部分具有未知内容。神经网络会分别给每个识别一个正确识别的置信度。这些在该实施例中被示为具有竖直破折号的竖直位置。在该实施例中，大多数接近最大置信度(任意地示出为沿轴的一半)，但是少数几个较低，指示较低的置信度。通过将各个条纹置信度组合到运行中的滤波器中，可以消除偶然的错误指示，从而获得更高的置信度。运行中的滤波器还用于给出轨道缺陷的位置，通常将其显示为一组指示的中心。
66.现在参考图14，其中大体上示出了根据本发明的实施例的用于实现使用机器学习来检查轨道的部分或全部方面的计算机系统1400的框图。本文所述的处理可以通过硬件、软件(例如，固件)或其组合来实现。在示例性实施例中，所描述的方法可以至少部分地通过硬件实现，并且可以是专用或通用计算机系统1400(例如，移动设备、个人计算机、工作站、
小型计算机或大型机)的微处理器的一部分。
67.在一个示例性实施例中，如图14所示，计算机系统1400包括处理器1405、耦合至存储控制器1415的存储器1412，以及经由本地i/o控制器1435通信地耦合的一个或多个输入设备1445和/或输出设备1447，例如外围设备。这些设备1447和1445例如可以包括打印机、扫描仪、麦克风等。常规键盘1450和鼠标1455可以耦合到i/o控制器1435。i/o控制器1435例如可以是本领域中公知的一个或多个总线或其他有线或无线连接。i/o控制器1435可以具有用于实现通信的附加元件，为了简单起见这些元件被省略，诸如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器。
68.i/o设备1447、1445还可以包括传送输入和输出两者的设备，例如磁盘和磁带存储、网络接口卡(nic)或调制器/解调器(用于访问其他文件、设备、系统、或网络)、射频(rf)或其他收发器、电话接口、网桥、路由器等。
69.处理器1405是用于执行硬件指令或软件(特别是存储在存储器1412中的那些硬件指令或软件)的硬件设备。处理器1405可以是定制的或可商购的处理器、中央处理单元(cpu)、与计算机系统1400相关联的若干个处理器当中的辅助处理器、基于半导体的微处理器(采用微芯片或芯片组的形式)、微处理器或其他用于执行指令的设备。处理器1405可以包括高速缓存、例如但不限于，用于加速可执行指令获取的指令高速缓存、用于加速数据获取和存储的数据高速缓存，以及用于加速可执行指令和数据两者的虚拟地址到物理地址转换的转换后备缓冲器(tlb)。可以将高速缓存组织为更多高速缓存级别(l1、l2等)的层次结构。
70.存储器1412可以包括易失性存储元件(例如，随机存取存储器ram，例如dram，sram，sdram等)和非易失性存储元件(例如，rom、可擦除可编程只读存储器(eprom)、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁带、光盘只读存储器(cd-rom)、磁盘、软盘、盒带、盒式磁带等)。此外，存储器1412可以结合电、磁、光或其他类型的存储介质。请注意，存储器1412可以具有分布式架构，其中各种组件彼此远离放置，但是可以由处理器1405访问。
71.存储器1412中的指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。在图14的示例中，存储器1412中的指令包括合适的操作系统(os)1411。操作系统1411本质上可以控制其他计算机程序的执行，并提供调度、输入输出控制、文件和数据管理、内存管理以及通信控制和相关服务。
72.可以将附加数据(例如包括用于处理器1405的指令或其他可检索信息)存储在存储装置1427中，该存储器可以是诸如硬盘驱动器或固态驱动器之类的存储设备。存储器1412或存储装置1427中存储的指令可以包括那些使处理器能够执行本公开的调度系统和方法的一个或多个方面的指令。
73.计算机系统1400可以进一步包括耦合到显示器1430的显示控制器1425。在示例性实施例中，计算机系统1400可以进一步包括用于耦合到网络1465的网络接口1460。网络1465可以是基于ip的网络，用于经由宽带连接在计算机系统1400和外部服务器、客户机等之间进行通信。网络1465在计算机系统1400和外部系统之间发送和接收数据。在示例性实施例中，网络1465可以是由服务提供商管理的托管ip网络。网络1465可以以无线的方式来实现，例如，使用诸如wifi、wimax等的无线协议和技术。网络1465还可以是诸如局域网、广
域网、城域网、因特网或其他类型类型的网络环境之类的分组交换网络。网络1465可以是固定无线网络、无线局域网(lan)、无线广域网(wan)、个域网(pan)、虚拟专用网(vpn)、内联网或其他合适的网络系统，并且可以包括用于接收和发送信号的设备。
74.本文所述的用于使用机器学习来检查轨道的系统和方法可以全部或部分地体现在计算机程序产品或诸如图14所示的计算机系统1400中。
75.一些实施例的技术效应和益处包括提供一种用于使用机器学习来检查诸如铁路中使用的轨道的系统。进一步的技术效应和益处包括以更快的速度以及人类分析人员的准确度水平自动检测轨道缺陷。
76.一些实施例的技术效应和益处还包括使用神经网络深度学习卷积神经网络和/或递归神经网络的能力，与使用更简单的神经网络的现有方法相比，它们可以提供更准确的结果。
77.一些实施例的技术效应和益处还包括直接使用传感器信号的能力，与利用统计数据作为输入来训练神经网络的现有方法相比，这可以导致更准确的预测。本文所述的直接对传感器结果的二维和三维表示执行模式识别的能力不是由现有技术执行的。相比之下，现有方法将传感器信号中的数千个像素极大地简化为少量的统计数据，这些统计数据被馈入通常具有一个隐藏层的简单的非卷积一维神经网络。
78.一些实施例的技术效应和益处还包括使用成千上万个示例数据点(即，标记数据)训练神经网络的能力，与通常使用几个百个示例数据点训练的现有方法相比，这可以导致更准确的预测。可以从庞大的历史记录日志库中挖掘数据，以提供成千上万的数据示例来训练神经网络。这种从现有的人工识别过程中获取示例数据的能力，以及神经网络结果与手动标记的示例的持续比较可导致更准确的预测。比较的结果可以分为实报、误报和漏报，然后馈入神经网络以改善训练，审核神经网络并保持神经网络最新。
79.一些实施例的技术效应和益处包括在独立计算机上与在基于功能强大的基于云的计算机上一样容易地运行的能力。这使得在云上进行高计算强度训练过程变得切实可行，并且识别器可以在许多情况下以计算强度较低的方式工作(例如，在办公计算机或云计算机上执行传感器数据的后处理，以及在数据采集车辆上执行实时处理)。
80.在整个说明书和权利要求书中，除非上下文另外明确指出，否则以下术语具有本文明确关联的含义。术语“连接”表示所连接的项目之间没有任何中间设备的直接连接。术语“耦合”表示所连接的项目之间的直接连接，或通过一个或多个无源或有源中间设备的间接连接。术语“电路”表示耦合在一起以提供或执行所需功能的单个或多个有源或无源组件。术语“信号”表示至少一个电流、电压或数据信号。术语“模块”表示电路(无论是集成的还是采用其他方式)、一组这样的电路、处理器、实现软件的处理器、或电路(无论是集成的还是采取其他方式)的组合、一组在这样的电路、处理器和/或实现软件的处理器。
81.术语“大约”旨在包括与基于提交申请时可用的设备的特定数量的测量值相关联的误差程度。例如，“大约”可以包括给定值的
±
8％或5％或2％的范围。
82.本文所使用的术语仅出于描述特定实施例的目的，并且无意于限制本公开。如本文所使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外明确指出。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定了所述特征、整数、步骤、操作、元件和/或组件的存在，但并不排除存在或添加一个或多个其他特征、整数、
步骤、操作、元素组件和/或其组。
83.所附权利要求中的所有装置或步骤加功能元件的对应结构、材料、操作和等同物旨在包括用于与具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或操作。已经出于说明和描述的目的给出了本发明的描述，但并不意图是穷举的或将本发明限制为所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。实施例的选择和描述是为了最好地解释本发明的原理和实际应用，并使本领域的其他普通技术人员能够理解本发明的各种实施例，这些实施例具有各种适合于预期的特定用途的修改。
84.本发明可以是系统、方法和/或计算机程序产品。该计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质。
85.计算机可读存储介质可以是有形设备，其可以保留和存储由指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述各项的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下项：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能磁盘(dvd)、记忆棒、软盘、机械编码设备、例如其上记录有指令的打孔卡或凹槽内的凸起结构，以及上述各项的任何合适组合。如本文所使用的，计算机可读存储介质不应被理解为本身是瞬时信号，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
86.本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者可以经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令以存储在各个计算/处理设备内的计算机可读存储介质中。
87.用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言，例如python、java、smalltalk、c 等，以及常规过程编程语言，例如“c”编程语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行，部分地在用户计算机上执行，作为独立软件包执行，部分地在用户计算机上并且部分地在远程计算机上，或者完全地在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户计算机，或者可以与外部计算机建立连接(用于例如，通过使用因特网服务提供商的因特网)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化电子电路，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以执行计算机可读程序指令，从而执行本发明的各方面。
88.此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或
框图描述了本发明的各方面。将理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合可以通过计算机可读程序指令来实现。
89.可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，以产生机器，使得这些指令经由计算机或其他可编程数据处理设备的处理器执行时，创建用于实现流程图和/或框图中的一个或多个方框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，这些指令引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图中的一个或多个方框中指定的功能/动作的各方面的指令。
90.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中指定的功能/动作。
91.附图中的流程图和框图示出了根据本发明的各个实施例的系统、方法和计算机程序产品的可能的实现的架构、功能和操作。就这一点而言，流程图或框图中的每个方框可以代表指令的模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代的实现中，方框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合可以由执行指定功能或动作，或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
92.尽管仅结合有限数量的实施例详细地提供了本公开，但是应当容易理解，本公开不限于这样的公开的实施例。而是，可以对本公开进行修改以结合迄今未描述但与本公开的精神和范围相称的任何数量的变化、改变、替换或等效布置。另外，尽管已经描述了本公开的各种实施例，但是应当理解，示例性实施例可以仅包括所描述的示例性方面中的一些。因此，本公开不应被视为由前述描述限制，而是仅由所附权利要求的范围限制。