一种实验操作监测预警方法、装置和系统与流程-j9九游会真人

1.本发明涉及计算机领域，特别是涉及一种实验操作监测预警方法、装置和系统。


背景技术：

2.实验仪器是用于科学研究、工程实验和教学实验等领域的设备和工具，用于收集、处理和分析实验数据，以支持科学研究和实验研究的进行。
3.由于实验仪器是高精密仪器，实验人员在做实验时的不当操作不但会导致实验结果的偏差，还会对实验仪器形成损伤；当前应对上述问题的方式主要是设置用户设册和操作指南，实验人员在实验操作前阅读用户设册和操作指南后以了解操作规程，并按照操作规程进行实验操作，但由于人的学习能力有偏差，有的实验人员并不能完全理解规程，进而导致其进行错误的操作，而现有的设备又难以对此作出及时的预警和制止，进而会导致实验偏差以及仪器损坏等严重后果。
4.因此，现有的实验仪器存在难以在实验人员有误操作倾向时对实验人员进行预警的问题。


技术实现要素：

5.基于此，有必要针对上述的问题，提供一种实验操作监测预警方法、装置和系统。
6.本发明实施例是这样实现的，一种实验操作监测预警方法，所述方法包括：
7.s1：获取实验人员输入的实验类型；
8.s2：调用与实验类型相对应的实验规程，所述实验规程包括标准流程和标准动作；
9.s3：在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
10.s4：若实验人员的当前操作流程符合标准流程，则监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
11.s5：若实验人员在当前操作流程中的各个操作动作均符合标准动作，则进入下一操作流程并执行步骤s3至步骤s4，重复执行本步骤，直至所有实验流程完成。
12.在其中一个实施例中，本发明提供了一种实验操作监测预警装置，所述装置包括：
13.获取模块，用于获取实验人员输入的实验类型；
14.调用模块，用于调用与实验类型相对应的实验规程；
15.第一监测模块，用于在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
16.第二监测模块，用于在实验人员的当前操作流程符合标准流程时，监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
17.重复执行模块，用于在实验人员在当前操作流程中的各个操作动作均符合标准动作时，进入下一操作流程并执行步骤s3至步骤s4，重复执行本步骤，直至所有实验流程完
成。
18.在其中一个实施例中，本发明提供了一种实验操作监测预警系统，所述系统包括：
19.实验仪器；
20.监控设备，用于对实验人员操作实验仪器的操作动作进行视频录制；
21.计算机设备，与所述实验仪器、监控设备连接，用于执行所述的实验操作监测预警方法。
22.本发明提供了一种实验操作监测预警方法、装置和系统，其中方法包括获取实验人员输入的实验类型；调用与实验类型相对应的实验规程；在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号，以提醒实验人员进行操作调整；若实验人员的当前操作流程符合标准流程，则监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号，以提醒实验人员进行操作调整；若实验人员在当前操作流程中的各个操作动作均符合标准动作，则进入下一操作流程并执行上述步骤，反复循环，直至所有实验流程完成；在本技术中，在实验人员进行实验时，在实验规程的两个层面，即操作流程以及操作动作两个层面对实验人员的操作进行监测，既能够实现对于整个实现的流程大方向的准确把控，又能够在细微到每一个操作流程中实验人员的操作动作手势方面对实验人员进行规范，即能够在大小两个层面对实验过程进行监控，进而避免由实验人员操作不当而造成的实验误差以及仪器损伤等问题。
附图说明
23.图1为一个实施例中一种实验操作监测预警方法的流程图；
24.图2为一个实施例中一种实验操作监测预警装置的模块图；
25.图3为一个实施例中一种实验操作监测预警系统的示意图；
26.图4为一个实施例中计算机设备的内部结构框图。
具体实施方式
27.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
28.可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。
29.如图1所示，在一个实施例中，提出了一种实验操作监测预警方法，所述方法包括：
30.s1：获取实验人员输入的实验类型；
31.s2：调用与实验类型相对应的实验规程，所述实验规程包括标准流程和标准动作；
32.s3：在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
33.s4：若实验人员的当前操作流程符合标准流程，则监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
34.s5：若实验人员在当前操作流程中的各个操作动作均符合标准动作，则进入下一操作流程并执行步骤s3至步骤s4，重复执行本步骤，直至所有实验流程完成。
35.在本实施例中，本方法在计算机设备中执行，计算机设备可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和cdn等基础云计算服务的云服务器；在实验人员进行实验操作时，通过监控设备对实验人员的操作过程进行拍摄，以实现监测作用，监控设备可以是智能摄像头，也可以是其它类型的监控设备，在此不限定；
36.在本技术中，计算机设备中存储有实验类型数据库，数据库中包括若干个实验类型，以及各个实验类型对应的实验规程；实验人员在实验前通过计算机设备的输入设备(比如键盘)将即将进行的实验的实验类型，计算机设备对输入的实验类型以及数据库中的实验类型进行比对，进而确定输入的实验类型对应的实验规程；再者，在实验人员进行实验时，在实验规程的两个层面，即操作流程以及操作动作两个层面对实验人员的操作进行监测，既能够实现对于整个实现的流程大方向的准确把控，又能够在细微到每一个操作流程中实验人员的操作动作手势方面对实验人员进行规范，即能够在大小两个层面对实验过程进行监控，进而避免由实验人员操作不当而造成的实验误差以及仪器损伤等问题。
37.作为一个优选的实施例，所述监测实验人员的当前操作流程是否符合标准流程包括：
38.获取实验人员在执行当前操作流程前的前序动作；
39.依据前序动作进行动作模拟，以得到预估动作；
40.将预估动作与标准流程中对应的操作流程的初始动作进行匹配；
41.若预估动作与初始动作匹配成功，则当前操作流程符合标准流程，否则，当前操作流程不符合标准流程。
42.其中，所述依据前序动作进行动作模拟，以得到预估动作包括：
43.对第一视频片段进行人体检测，以识别出第一视频片段中实验人员的人体区域，所述第一视频片段为实验人员在执行前序动作时的视频片段；
44.对人体区域进行肢体节点定位；
45.对各个肢体节点进行特征提取，以得到前序动作对应的运动特征序列；
46.将运动特征序列输入至动作预测模型中进行预测，进而得到预估动作。
47.其中，所述将预估动作与标准流程中对应的操作流程的初始动作进行匹配包括：
48.应用动作识别算法对预估动作的动作类型进行识别；
49.将预估动作的动作类型与初始动作的动作类型进行比对。
50.在本实施例中，动作预测模型是指用于预测人类行为、动作或姿态的模型，其主要是从图像或视频中的人体肢体节点推断出后续的人体的关节位置和骨骼连接关系，动作预测模型通常采用循环神经网络(rnn)或卷积神经网络(cnn)进行建模，以捕捉动作之间的时序依赖关系和空间特征，另外还通过使用长短时记忆网络(lstm)或注意力机制(attention)来提高模型的性能；在应用动作预测模型之前需要进行模型训练，主要包括数据收集，收集的数据为实验操作的历史视频片段，确保数据集包含多个样本，且能够代表各种不同的动作变化和条件；数据预处理，即对收集到的数据进行预处理，以准备输入模型进行训练，可以包括数据清洗、降噪、裁剪、姿态提取、特征提取等操作，以获得精细的图像显
示；特征提取，可以使用传统的手工特征提取方法，也可以使用深度学习模型自动提取特征。常见的特征包括空间特征、时间特征、光流特征等；依据数据集对动作预测模型进行训练，训练完成之后对模型进行评估和优化，使用评估指标如准确率、召回率、f1值等对模型进行评估、根据评估结果来调整模型结构、超参数或训练策略，以提高预测性能；另外，在得到预估动作之后，还可以对预估动作所在的视频图像进行优化处理，比如进行平滑操作、过滤噪声或进一步的分析。
51.在本实施例中，计算机设备中存储有动作类型数据库，动作类型数据库中包括各种实验动作对应的动作类型；动作识别算法可以是时序建模算法，这类算法基于时间序列数据，如动作序列中的关节位置、速度、加速度等信息，常见的时序建模算法包括隐马尔可夫模型(hidden markov model，hmm)、条件随机场(conditional random field，crf)、长短期记忆网络(long short-term memory,lstm)等，动作识别算法也可以是基于图像或视频的算法，这类算法使用图像或视频数据进行动作分类，常见的方法包括光流法(optical flow)、基于差的方法(frame difference)、三维卷积神经网络(3d convolutionalneural networks，3d cnn)等；本实施例中，动作识别算法对预估动作的动作类型进行识别后，即将预估动作与动作类型数据库中的某个动作类型对应，将该动作类型作为第一动作类型，初始动作也对应于动作类型数据库中的某个动作类型，将该动作类型作为第二动作类型，如若第一动作类型与第二动作类型一致，则预估动作与初始动作匹配。
52.在本技术中，在当前操作流程开始前实验人员的前序动作即可确定其后续动作(即当前操作流程的初始动作)是否属于标准流程的范畴，即在实验人员正式执行当前操作流程前即可对实验人员的动作趋势进行预估判断，在实验人员的运动趋势存在严重的偏移时，能够在实验人员的执行动作还未发生前对实验人员进行动作制止，避免了因预警不及时而使动作已经完成并造成损失的问题。
53.作为一个优选的实施例，所述监测实验人员的当前操作动作是否符合标准动作包括：
54.识别第二视频片段中的第一动作轮廓，所述第二视频片段为实验人员在执行当前操作动作时的视频片段；
55.对第一动作轮廓与第二动作轮廓进行相似度分析，所述第二动作轮廓为标准动作对应的动作轮廓；
56.若第一动作轮廓与第二动作轮廓的相似度达到第一设定值，则实验人员的当前操作动作符合标准动作，否则，实验人员的当前操作动作不符合标准动作。
57.其中，第一动作轮廓包括若干个第一帧轮廓，第二动作轮廓包括若干个第二帧轮廓，所述对第一动作轮廓与第二动作轮廓进行相似度分析包括：
58.将各个第一帧轮廓与各个第二帧轮廓进行时序对齐；
59.计算每一个第一帧轮廓与对应的第二帧轮廓的轮廓点距离和；
60.将轮廓点距离和小于第二设定值的第一帧轮廓与第二帧轮廓判定为相似帧轮廓。
61.其中，若相似帧轮廓的数量大于第一设定值，则第一动作轮廓与第二动作轮廓的相似度视为达到第一设定值。
62.在本实施例中，第二视频片段包括有若干帧，每一帧视频对应一个第一帧轮廓，同理第二帧轮廓即与标准动作对应的视频片段中各个帧的视频对应；轮廓点距离和即第一帧
轮廓的每一个轮廓点与第二帧轮廓上对应的轮廓点的距离之和，轮廓点距离和能够表征第一帧轮廓与第二帧轮廓的吻合度大小，轮廓点距离和越大则吻合度越低，轮廓点距离和的计算可以采用欧式距离公式、曼哈顿距离公式或者其它的距离度量方法进行，在此不作限定；再者，第一设定值可以是30、50或其它值，第二设定值可以是100像素、200像素或者其它值，在此不作限定。
63.在本技术中，实现了对第一动作轮廓与第二动作轮廓的每一帧的轮廓进行相似度分析，并依据多帧的相似度情况确定第一动作轮廓与第二动作轮廓整体的相似度情况，即实现了精细化的轮廓相似度分析，进一步保证了对当前操作动作是否符合标准动作判断的准确性。
64.作为一个优选的实施例，发出预警信号包括：
65.发出语音警示；
66.显示包含不标准操作的视频片段，并在对不标准操作进行标记；
67.显示包含标准操作的视频片段，以使实验人员依据标准操作进行操作调整。
68.在本实施例中，对不标准操作进行标记即对不标准操作对应的实验动作进行标记，在显示标准操作的视频片段时，在对应于不标准实验动作的标准实验动作处进行标记，标记可以是箭头、圆圈或者其它类型的标记；本技术中，在实验人员操作出现异常时，先发出语音警示，能够让实验人员及时意识到其操作有误，并暂停操作，显示不标准动作能够让实验人员及时了解其错误原因，显示标准动作可使实验人员依据标准操作进行及时整改，另外在显示标准动作和不标准动作时，对动作进行标记，能够使实验人员能够及时关注到视频重点。
69.如图2所示，在一个实施例中，提供了一种实验操作监测预警装置，所述装置包括：
70.获取模块，用于获取实验人员输入的实验类型；
71.调用模块，用于调用与实验类型相对应的实验规程；
72.第一监测模块，用于在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
73.第二监测模块，用于在实验人员的当前操作流程符合标准流程时，监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号，以提醒实验人员进行操作调整；
74.重复执行模块，用于在实验人员在当前操作流程中的各个操作动作均符合标准动作时，进入下一操作流程并执行步骤s3至步骤s4，重复执行本步骤，直至所有实验流程完成。
75.在本技术中，各模块实现各自功能的过程，具体可参考前述图1所示实施例的描述，此处不再赘述。
76.如图3所示，在一个实施例中，一种实验操作监测预警系统，所述系统包括：
77.实验仪器；
78.监控设备，用于对实验人员操作实验仪器的操作动作进行视频录制；
79.计算机设备，与所述实验仪器、监控设备连接，用于执行所述的实验操作监测预警方法。
80.在本实施例中，计算机设备可以是独立的物理服务器或终端，也可以是多个物理
服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和cdn等基础云计算服务的云服务器；在实验人员进行实验操作时，通过监控设备对实验人员的操作过程进行拍摄，以实现监测作用，监控设备可以是智能摄像头，也可以是其它类型的监控设备，在此不限定；实验仪器可以是物理实验仪器、化学实验仪器或其它类型的实验仪器，只要需要实验人员进行操作即可，此为可选的具体实施方式，在此不作限定。
81.在本技术中，系统的各个组成部件之间相互配合，实验人员在实验前通过计算机设备的输入设备(比如键盘)将即将进行的实验的实验类型，计算机设备对输入的实验类型以及数据库中的实验类型进行比对，进而确定输入的实验类型对应的实验规程；再者，在实验人员进行实验时，在实验规程的两个层面，即操作流程以及操作动作两个层面对实验人员的操作进行监测，既能够实现对于整个实现的流程大方向的准确把控，又能够在细微到每一个操作流程中实验人员的操作动作手势方面对实验人员进行规范，即能够在大小两个层面对实验过程进行监控，进而避免由实验人员操作不当而造成的实验误差以及仪器损伤等问题。
82.图4示出了一个实施例中计算机设备的内部结构图。如图4所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明实施例提供的实验操作监测预警方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明实施例提供的实验操作监测预警方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
83.本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
84.在一个实施例中，本发明实施例提供的实验操作监测预警装置可以实现为一种计算机程序的形式，计算机程序可在如图4所示的计算机设备上运行。计算机设备的存储器中可存储组成该实验操作监测预警装置的各个程序模块，比如，图2所示的获取模块、调用模块、第一监测模块、第二监测模块和重复执行模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本发明各个实施例的实验操作监测预警方法中的步骤。
85.例如，图4所示的计算机设备可以通过如图2所示的实验操作监测预警装置中的获取模块执行步骤s1；计算机设备可通过调用模块执行步骤s2；计算机设备可通过第一监测模块执行步骤s3；计算机设备可通过第二监测模块执行步骤s4；计算机设备可通过重复执行模块执行步骤s5。
86.在一个实施例中，提出了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
87.s1：获取实验人员输入的实验类型；
88.s2：调用与实验类型相对应的实验规程，所述实验规程包括标准流程和标准动作；
89.s3：在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号；
90.s4：若实验人员的当前操作流程符合标准流程，则监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号；
91.s5：若实验人员在当前操作流程中的各个操作动作均符合标准动作，则进入下一操作流程并执行步骤s3至步骤s4，重复执行本步骤，直至所有实验流程完成。
92.在一个实施例中，提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
93.s1：获取实验人员输入的实验类型；
94.s2：调用与实验类型相对应的实验规程，所述实验规程包括标准流程和标准动作；
95.s3：在实验人员进行实验操作时，监测实验人员的当前操作流程是否符合标准流程，若不符合，则发出预警信号；
96.s4：若实验人员的当前操作流程符合标准流程，则监测实验人员的当前操作动作是否符合标准动作，若不符合，则发出预警信号；
97.s5：若实验人员在当前操作流程中的各个操作动作均符合标准动作，则进入下一操作流程并执行步骤s3至步骤s4，重复执行本步骤，直至所有实验流程完成。
98.应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
99.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
100.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
101.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保
护范围。