多类告警检测模型生成方法、装置和计算机设备与流程-j9九游会真人

文档序号:35696004发布日期:2023-10-11 19:04阅读:4来源:国知局


1.本技术涉及计算机技术领域,特别是涉及一种多类告警检测模型生成方法、装置、计算机设备和存储介质。


背景技术:

2.随着计算机技术的发展,出现了对系统告警进行自动监测的技术。银行等企业的后台系统为了维持持续稳定的运行,往往会部署颗粒度极细的告警监控,但这种配置往往会淹没重要告警,使得运维人员排查故障时注意力转移至过细部分,而忽略了可能是其他方面引起的故障,导致后台系统自动告警的准确度较低,进而降低了后台系统故障的排除效率。


技术实现要素:

3.基于此,有必要针对上述技术问题,提供一种能够自动高效地监测系统告警的多类告警检测模型生成方法、装置、计算机设备和存储介质,提高了后台系统故障的排除效率。
4.一种多类告警检测模型生成方法,所述方法包括:
5.获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型;
6.获取告警信号集中各类告警信号对应的独热编码,基于所述独热编码与所述目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型;
7.将所述各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,所述目标多类告警检测模型用于预测后台系统的告警信息。
8.在其中一个实施例中,获取系统监控数据特征矩阵包括:
9.获取卷积神经网络模型,获取系统监控数据集;
10.基于所述卷积神经网络模型对所述系统监控数据集进行特征提取,得到所述系统监控数据特征矩阵。
11.在其中一个实施例中,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型包括:
12.获取所述初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行多次训练,得到多个中间故障状态检测模型;
13.从所述多个中间故障状态检测模型中选出满足贝尔曼最优化条件的中间故障状态检测模型作为所述目标故障状态检测模型。
14.在其中一个实施例中,获取告警信号集中各类告警信号对应的独热编码包括:
15.依次从所述告警信号集中选出当前告警信号类型;
16.将当前告警信号类型编码为第一固定值,将所述告警信号集中的其他告警信号类型编码为第二固定值,直至得到各个当前告警信号类型对应的独热编码。
17.在其中一个实施例中,所述方法还包括:
18.获取待测试系统监控数据,基于所述卷积神经网络模型对所述待测试系统监控数据进行特征提取,得到待测试数据特征矩阵;
19.将所述待测试数据特征矩阵输入所述目标多类告警检测模型,得到所述待测试系统监控数据对应的各类告警信号对应的目标告警信息。
20.在其中一个实施例中,所述方法还包括:
21.当所述各类告警信号对应的目标告警信息不满足实际条件时,接收终端发送的各类告警信号对应的最佳告警信息,将所述最佳告警信息作为所述目标告警信息;
22.获取预设时间段的最佳告警信息数据,基于所述最佳告警信息数据对所述目标多类告警检测模型进行优化,得到目标优化多类告警检测模型。
23.一种多类告警检测模型生成装置,所述装置包括:
24.第一模型生成模块,用于获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型;
25.第二模型构建模块,用于获取告警信号集中各类告警信号对应的独热编码,基于所述独热编码与所述目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型;
26.目标模型确定模块,用于将所述各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,所述目标多类告警检测模型用于预测后台系统的告警信息。
27.在其中一个实施例中,多类告警检测模型生成装置还包括模型应用模块,用于获取待测试系统监控数据,基于所述卷积神经网络模型对所述待测试系统监控数据进行特征提取,得到待测试数据特征矩阵;将所述待测试数据特征矩阵输入所述目标多类告警检测模型,得到所述待测试系统监控数据对应的各类告警信号对应的目标告警信息。
28.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
29.获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型;
30.获取告警信号集中各类告警信号对应的独热编码,基于所述独热编码与所述目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型;
31.将所述各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,所述目标多类告警检测模型用于预测后台系统的告警信息。
32.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
33.获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型;
34.获取告警信号集中各类告警信号对应的独热编码,基于所述独热编码与所述目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型;
35.将所述各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,所述目标多类告警检测模型用于预测后台系统的告警信息。
36.上述多类告警检测模型生成方法、装置、计算机设备和存储介质,通过获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型;获取告警信号集中各类告警信号对应的独热编码,基于所述独热编码与所述目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型;将所述各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,所述目标多类告警检测模型用于预测后台系统的告警信息,通过基于系统监控数据特征矩阵对初始故障状态检测模型进行训练,得到系统异常告警信息预测准确性有较大提高的目标故障状态检测模型,并基于各类告警信号对应的独热编码与目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型,使得各类告警信号对应的告警信息得以分类,将各类告警信号对应的目标告警检测模型进行组合,得到可用于预测后台系统的告警信息的目标多类告警检测模型,系统监控数据特征矩阵对初始故障状态检测模型进行强化学习,并将各类告警信号对应的独热编码和目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型,使得最终得到的目标多类告警检测模型可以综合多角度监控的数据信息预测后台系统可能发现的异常触发告警,相比现有类似技术主要基于单一监控信息预测告警的准确性更高,使得目标多类告警检测模型可以更好地从多角度出发检测后台系统异常,提高了后台自动触发告警的准确性,进而有利于提高后台系统故障的排除效率。
附图说明
37.图1为一个实施例中多类告警检测模型生成方法的应用环境图;
38.图2为一个实施例中多类告警检测模型生成方法的流程示意图;
39.图3为一个实施例中特征提取的流程示意图;
40.图4为一个实施例中模型训练的流程示意图;
41.图5为一个实施例中数据编码的流程示意图;
42.图6为一个实施例中模型应用的流程示意图;
43.图7为一个实施例中模型优化的流程示意图;
44.图8为一个实施例中模型构建的流程示意图;
45.图9为一个实施例中模型框架的示意图;
46.图10为一个实施例中人机交互的流程示意图;
47.图11为一个实施例中多类告警检测模型生成装置的结构框图;
48.图12为一个实施例中计算机设备的内部结构图;
49.图13为一个实施例中计算机设备的内部结构图。
具体实施方式
50.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
51.本技术实施例提供的多类告警检测模型生成方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104
需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102用于传送用户操作请求相关的数据信息。服务器104用于获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于系统监控数据特征矩阵对初始故障状态检测模型进行训练,得到目标故障状态检测模型;获取告警信号集中各类告警信号对应的独热编码,基于独热编码与目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型;将各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,目标多类告警检测模型用于预测后台系统的告警信息。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
52.本技术的多类告警检测模型生成方法、装置、计算机设备和存储介质包括但不限用于人工智能领域和金融领域。
53.在一个实施例中,如图2所示,提供了一种多类告警检测模型生成方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
54.步骤s200,获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于系统监控数据特征矩阵对初始故障状态检测模型进行训练,得到目标故障状态检测模型。
55.其中,系统监控数据特征矩阵指从系统中收集到的、涉及多角度监控信息的系统监控数据集中提取出的特征数据矩阵,可以将其看成是强化学习中的随机状态,且其可以反映后台系统的环境状态。初始故障状态检测模型指用于对系统多角度的监控数据进行强化学习,以预测系统从某个环境状态到另外一个环境状态的数据信息的模型,其可以是强化学习中马尔可夫决策过程中的状态-动作价值函数q
π
(st,at),具体可见公式(1),公式(1)中at为随机动作at,at 1,at 2,

(可以是指系统异常告警的信号类型,比如告警位置、告警类别等);st为随机状态st 1,st 2,

(可以是指系统的环境状态);gt为奖励回报,表示初始故障状态检测模型训练时从设定的t时刻开始到结束获得的与环境交互的奖励的总和,奖励越多表示初始故障状态检测模型与环境交互的越好,训练得到的模型性能越好,gt具体计算公式如公式(2)所示,公式(2)中,r
t
是t时刻的模型奖励,γ为折扣系数,且γ∈[0,1]。目标故障状态检测模型指用于获得系统中环境状态相关信息的模型,可以是对初始故障状态检测模型进行训练得到的能够最好地获取系统环境状态变化信息的模型。
[0056]qπ
(st,at)=e[gt|st=st,at=at] (1)
[0057]
gt=r
t
γr
t 1
γ2r
t 2
γ3r
t 3

…ꢀ
(2)
[0058]
具体地,为了更好地学习到系统多监督监控数据中的变化规律,以更好地提高系统自动告警的准确性,可以从系统的监控平台(如zabbix、promtheus等)获取系统各个服务器的cpu、io、网络流量、网络延时、日志报错信息等多角度监控数据,并对这些数据进行特征的提取,以得到可用于训练初始故障状态检测模型的系统监控数据特征矩阵,此外初始故障状态检测模型为强化学习中马尔可夫决策过程中的状态-动作价值函数,通过将系统监控数据特征矩阵输入初始故障状态检测模型中,使得初始故障状态检测模型进行多次强化学习训练,得到能够更好地与系统环境状态交互的目标故障状态检测模型,目标故障状态检测模型可以高效地获取到系统中各服务器异常与否的环境状态信息。
[0059]
步骤s202,获取告警信号集中各类告警信号对应的独热编码,基于独热编码与目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型。
[0060]
其中,告警信号集指预设的告警信号的类型的集合,其包括但不限于告警位置和告警类别,可以根据实际需要场景添加相关的告警信号,以获取告警信号对应的相关告警信息。独热编码指用于对分类变量进行编码的数据编码方式,也称one-hot编码(one-hot encoding)或一位有效编码,在one-hot编码中,每个分类变量被编码为一个“独热向量”,也就是一个只有一个元素为1,其余元素都为0的向量;例如,假设有一个颜色变量,其值分别为红、黄、蓝三种。则使用one-hot编码后,红色用[1,0,0]表示,黄色用[0,1,0]表示,蓝色用[0,0,1]表示,在这种编码方式下,每个颜色被编码为一个长度为3的向量,其中只有一个元素为1,其余为0,且对应于该颜色的索引位置。目标告警检测模型指用于预测每一种告警信号对应的告警信息的模型。
[0061]
具体地,为了更好地区分出每一种告警信号对应的告警信息,可以将告警信号集中的每一类告警信号编码成其对应的独热编码,通过每一类告警信号的独热编码与目标故障状态检测模型共同构建成每一类告警信号对应的目标告警检测模型,从而实现不同告警信号在系统中环境状态信息的区分,使得最终能够更清晰更高效地得到各类告警信号对应的告警信息。其中,可以将每类告警信号对应的独热编码分别与目标故障状态检测模型进行相乘,进而得到可以用来预测各类告警信号对应的告警信息的目标告警检测模型。
[0062]
步骤s204,将各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,目标多类告警检测模型用于预测后台系统的告警信息。
[0063]
其中,目标多类告警检测模型指用于预测多种类告警信号对应的告警信息的模型。
[0064]
具体地,为了使得系统从多角度采集得到的监控数据输入到模型中,即可根据模型获得当前时刻下系统多种类告警信号对应的告警信息,可以将各类告警信号对应的目标告警检测模型组合成一个模型,也就是目标多类告警检测模型,通过该目标多类告警检测模型可以实现对系统异常告警的实时监控,进而对系统实时监控得到的异常状态信息实现告警信号类型信息的分类,从而使得当系统出现异常需要维护处理时,运维人员可以更高效地获得系统多种告警信号对应的告警信息,进而根据各类告警信息进行系统维护,排除系统故障。
[0065]
上述多类告警检测模型生成方法,通过基于系统监控数据特征矩阵对初始故障状态检测模型进行训练,得到系统异常告警信息预测准确性有较大提高的目标故障状态检测模型,并基于各类告警信号对应的独热编码与目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型,使得各类告警信号对应的告警信息得以分类,将各类告警信号对应的目标告警检测模型进行组合,得到可用于预测后台系统的告警信息的目标多类告警检测模型,系统监控数据特征矩阵对初始故障状态检测模型进行强化学习,并将各类告警信号对应的独热编码和目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型,使得最终得到的目标多类告警检测模型可以综合多角度监控的数据信息预测后台系统可能发现的异常触发告警,相比现有类似技术主要基于单一监控信息预测告警的准确性更高,使得目标多类告警检测模型可以更好地从多角度出发检测后台系统异常,提高了后台自动触发告警的准确性,进而有利于提高后台系统故障的排除效率。
[0066]
在一个实施例中,如图3所示,步骤s200包括:
[0067]
步骤s300,获取卷积神经网络模型,获取系统监控数据集。
[0068]
步骤s302,基于卷积神经网络模型对系统监控数据集进行特征提取,得到系统监控数据特征矩阵。
[0069]
其中,卷积神经网络模型(convolutional neural networks)指一种深度学习模型或类似于人工神经网络的多层感知器,可用于提取多领域数据的特征。系统监控数据集指系统中的多角度的监控数据,可以是从监控平台(如zabbix、promtheus等)获取服务器的cpu、io、网络流量、网络延时、日志报错信息等多角度监控数据,当采集到系统多角度监控数据后,可以对这些多角度监控数据进行归一化处理,使得通过模型进行特征提取或对模型进行训练调整参数时能够达到更好的效果。
[0070]
具体地,由于从系统各个服务器采集得到的多角度监控数据对应的数据量较大,而卷积神经网络模型在大数据量的情况下提取数据特征的效果相比其他神经网络模型好,因此可以通过卷积神经网络模型对系统监控数据集中的数据进行特征的提取,以获得用于训练初始故障状态检测模型的系统监控数据特征矩阵。该卷积神经网络模型可以包含5个全连接层,其中每个全连接层由一维卷积部分、池化部分、归一化部分构成,输出为2048长度的特征向量。
[0071]
本实施例中,通过卷积神经网络模型对系统监控数据集进行特征提取,得到可用于训练初始故障状态检测模型的系统监控数据特征矩阵,在一定程度上避免系统监控数据集数据量过大而导致数据特征提取效果不好的影响,从而有利于提高后续初始故障状态检测模型进行强化学习得到的目标故障状态检测模型的性能。
[0072]
在一个实施例中,如图4所示,步骤s200包括:
[0073]
步骤s400,获取初始故障状态检测模型,基于系统监控数据特征矩阵对初始故障状态检测模型进行多次训练,得到多个中间故障状态检测模型。
[0074]
步骤s402,从多个中间故障状态检测模型中选出满足贝尔曼最优化条件的中间故障状态检测模型作为目标故障状态检测模型。
[0075]
其中,中间故障状态检测模型指对初始故障状态检测模型进行训练过程中,多次调参,得到的参数不同且模型性能不同的故障状态检测模型。贝尔曼最优化条件指中间故障状态检测模型在使用某种策略时与系统环境交互过程中的回报始终比其他策略要大。
[0076]
具体地,在对初始故障状态检测模型进行多次训练过程中,是随机确定环境状态与动作(即告警信号类型)的策略的,不同策略下训练得到的故障状态检测模型不同;其中,策略指一个从状态到行动的映射函数,表示在某个状态下应该采取的行动,其可以是确定性的也可以是随机性的。在对初始故障状态检测模型进行多次训练的过程中,采取的策略不同,最终训练得到的模型与环境的交互所得的奖励回报不同,为了使得最终应用的目标故障状态检测模型可以高效准确地对系统的环境状态信息进行预测,可以从不同策略下训练得到的多个中间故障状态检测模型选出满足贝尔曼(bellman)最优化条件的中间故障状态检测模型作为目标故障状态检测模型,其中贝尔曼最优化条件的相关公式可见公式(3),公式(3)中的q
π1
(st,at),q
π2
(st,at)等为不同的中间故障状态检测模型。由于系统中某一服务器的某一位置的环境状态对应的告警信号的告警信息是不确定的,因此对于不同策略下可能产生中间故障状态检测模型是不同的,因此可以在多个中间故障状态检测模型选择
出符合贝尔曼(bellman)最优方程的中间故障状态检测模型作为目标故障状态检测模型。
[0077]
q=max{q
π1
(st,at),q
π2
(st,at),...} (3)
[0078]
本实施例中,通过基于系统监控数据特征矩阵对初始故障状态检测模型进行多次训练,得到多个中间故障状态检测模型,并从多个中间故障状态检测模型中选出满足贝尔曼最优化条件的中间故障状态检测模型作为目标故障状态检测模型,贝尔曼最优化思想的加入,使得最终得到的目标故障状态检测模型在预测某一环境状态下对应的告警信息的准确度得到较大提高,其集结了在最优策略下预测系统各服务器对应的各类告警信号的告警信息的高发生概率,有利于提高目标故障状态检测模型对系统自动告警信息预测的准确性。
[0079]
在一个实施例中,如图5所示,步骤s202包括:
[0080]
步骤s500,依次从告警信号集中选出当前告警信号类型。
[0081]
步骤s502,将当前告警信号类型编码为第一固定值,将告警信号集中的其他告警信号类型编码为第二固定值,直至得到各个当前告警信号类型对应的独热编码。
[0082]
其中,当前告警信号类型指当前处理的告警信号类型,可以是告警位置和告警类别等;告警位置指系统哪里出现异常了,比如一个系统的某台服务器坏掉了,就会输出坏掉服务器的ip;告警类别指哪种类型的异常,比如服务器异常关机、程序进程down、磁盘占满等。第一固定值指预设的固定值,可以是1。第二固定值指预设的固定值,可以是0。第一固定值与第二固定值为不同的值。
[0083]
具体地,为了较好地对各种告警信号对应的告警信息进行区分,可以为各种告警信号编码成对应的独热编码(即one-hot编码),为了使得不破环以及更直观地得到各类告警信号对应告警信息,可以将告警信号作为一个分类变量,然后为每一个分类变量编码为一个“独热向量”,也就是一个只有一个元素为1,其余元素都为0的向量。例如,假设有一个颜色变量,其值分别为红、黄、蓝三种,则使用one-hot编码后,红色用[1,0,0]表示,黄色用[0,1,0]表示,蓝色用[0,0,1]表示,在这种编码方式下,每个颜色被编码为一个长度为3的向量,其中只有一个元素为1,其余为0,且对应于该颜色的索引位置。
[0084]
本实施例中,通过分别将每类告警信号编码为第一固定值,且每类告警信号对应的其他告警信号编码为第二固定值,得到各类告警信号的独热编码,有利于较好地区分不同告警信号对应的告警信息,使得最终得到的告警信息更为直观,在一定程度上提高了排除系统故障的效率。
[0085]
在一个实施例中,如图6所示,所述方法还包括:
[0086]
步骤s600,获取待测试系统监控数据,基于卷积神经网络模型对待测试系统监控数据进行特征提取,得到待测试数据特征矩阵。
[0087]
步骤s602,将待测试数据特征矩阵输入目标多类告警检测模型,得到待测试系统监控数据对应的各类告警信号对应的目标告警信息。
[0088]
其中,待测试系统监控数据指用于预测系统异常状态时对应的告警信息的数据,其包含了系统中每个服务器在当前时刻收集到的多角度监控的数据。待测试数据特征矩阵指待测试系统监控数据进行特征提取后得到的特征信息矩阵。目标告警信息指当前时刻下系统各服务器异常状态对应的信息。
[0089]
具体地,当模型使用时,可以通过卷积神经网络模型对当前时刻的待测试系统监
控数据进行特征的提取,以获得可直接输入目标多类告警检测模型中进行数据处理的待测试数据特征矩阵,进而通过目标多类告警检测模型得到当前时刻下待测试系统监控数据对应的各类告警信号对应的目标告警信息,运维人员可以根据获得的告警信息到系统出现异常故障的地方进行故障维修,从而排除异常故障对系统的影响。
[0090]
本实施例中,通过卷积神经网络模型对待测试系统监控数据进行特征提取,以获取可输入目标多类告警检测模型的待测试数据特征矩,并根据目标多类告警检测模型得到待测试系统监控数据对应的各类告警信号对应的目标告警信息,目标多类告警检测模型预测得到的目标告警信息的准确性具有一定的保障,通过目标多类告警检测模型实时的获取系统中各服务器对应的多角度监控数据,并在系统出现异常时自动生成对应的告警信息,较好地提高了系统排除故障的效率。
[0091]
在一个实施例中,如图7所示,所述方法还包括:
[0092]
步骤s700,当各类告警信号对应的目标告警信息不满足实际条件时,接收终端发送的各类告警信号对应的最佳告警信息,将最佳告警信息作为目标告警信息。
[0093]
步骤s702,获取预设时间段的最佳告警信息数据,基于最佳告警信息数据对目标多类告警检测模型进行优化,得到目标优化多类告警检测模型。
[0094]
其中,实际条件指根据实际情况去检查系统的异常状态信息与模型得到的告警信息是否一致的条件。最佳告警信息指当前时刻下系统出现异常状态时最准确的告警信息。最佳告警信息数据指每次出现目标告警信息与实际条件不符时收集的最佳告警信息,其可用于对目标多类告警检测模型做进一步优化,且可将其记录于log文件中。
[0095]
具体地,目标多类告警检测模型初期使用时往往会出现生成的告警信息不准确等问题,为了不断地提高目标多类告警检测模型生成的告警信息的准确性,可以对目标多类告警检测模型进一步更新迭代,也就是可以基于人机结合的手段,使用运维人员的实际经验,对模型进行实时优化。当目标多类告警检查模型输入各类告警信号对应的告警信息时,运维人员会登录系统服务器,在告警信息对应的地方进行人工检查,当运维人员在确定目标告警信息对应的异常与实际不符时,会从目标多类告警检查模型提供的其他潜在告警位置继续寻找最佳的告警位置,当发现最佳的告警位置时,会记录当前时刻最佳告警的相关信息,也就是最佳告警信息,并将此刻目标多类告警检查模型得到的目标告警信息修改成最佳告警信息,以及将最佳告警信息发送到服务器,以使服务器对目标多类告警检查模型判断失误的最佳告警信息进行记录。在预设的时间段后,获取该预设时间段内的最佳告警信息数据对目标多类告警检测模型进行参数微调,得到此刻微调后的目标优化多类告警检测模型,在下次进行告警信息生成时则使用目标优化多类告警检测模型,以此类推,不断的循环优化,使得多类告警检测模型根据不同时段的数据进行不断优化,从而不断地提高其告警信息生成的准确度。
[0096]
本实施例中,通过当各类告警信号对应的目标告警信息不满足实际条件时,接收终端发送的各类告警信号对应的最佳告警信息,将最佳告警信息作为目标告警信息,并获取预设时间段的最佳告警信息数据,基于最佳告警信息数据对目标多类告警检测模型进行优化,得到目标优化多类告警检测模型,从而实现了多类告警检测模型的不断优化,优化过程中也是采用不同时段更新收集的数据,避免了模型优化的过拟合,较好地提高了后台系统生成告警信息的准确度,从而有利于提高根据自动生成的告警信息排除后台系统故障的
效率。
[0097]
在一个实施例中,可以从银行系统的应用程序入口发送消息,然后收集数据包的传输路径,记录每条路径的发送等方面的时间,以收集训练模型的数据,也就是可以从系统的监控平台(如zabbix、promtheus等)获取服务器的cpu、io、存储、连接数等监控信息、程序运行日志、网络连接监控信息、网络流量、网络延时、日志报错信息等多角度监控数据,并对采集得到的多角度监控数据进行归一化处理,从而得到用于训练模型的系统监控数据集。收集到数据后可以获取卷积神经网络对系统监控数据集进行特征提取,得到系统监控数据特征矩阵,并获取强化学习中的马尔可夫决策过程中涉及的动作价值函数,将该动作价值函数模型作为初始故障状态检测模型,从而基于系统监控数据特征矩阵对初始故障状态检测模型进行多次训练,不断调整模型参数,以获得符合强化学习中的贝尔曼最优化方程的目标故障状态检测模型。然后获取告警信号集中各类告警信号对应的独热编码(即one-hot编码),通过独热编码与目标故障状态检测模型构建各类告警信号(包括但不限于告警位置和告警类别)对应的目标告警检测模型,并将各类告警信号对应的目标告警检测模型进行组合,得到可用于自动预测系统各类告警信号对应的告警信息的目标多类告警检测模型,当应用目标多类告警检测模型后,还可以通过人机结合的方式对模型进行不断的优化,也就是运维人员根据目标多类告警检测模型得到的目标告警信息到系统的相应位置进行实际考察,当实际考察发现目标告警信息不准确时,就继续在潜在的告警位置寻找最准确的告警位置,当找到最准确的告警位置之后,就记录最佳告警位置的告警数据信息以及将当前目标多类告警检测模型得到的目标告警信息修改成最佳位置告警信息,并将这些最佳告警数据信息发送到服务器进行记录,以使服务器根据记录的最佳位置数据信息对目标多类告警检测模型进行参数微调,以不断优化多类告警检测模型,从而使得优化后的多类告警检测模型自动生成告警信息的准确性得以不断提高。
[0098]
其中,图8为数据收集到模型训练再到模型不断优化的大致流程图,图中的强化模型可看成是卷积神经网络模型、独热编码与故障状态检测模型的组合,也可看成是独热编码与故障状态检测模型的组合,还可以看成是故障状态检测模型。图9为系统监控数据输入到最终输出系统监控数据对应的告警信息的流程图,其中图中的告警信号涉及告警位置和告警状态(也可以看成是告警类别,即表示异常与否的状态,该状态具体所属的类别,比如服务器异常关机、程序进程down等、磁盘占满等);q矩阵可看成故障状态检测模型输入特征矩阵后得到的结果值;cnn(convolutional neural networks)为卷积神经网络模型;图中左右两边的one-hot动作分别表示告警位置的独热编码和告警状态的独热编码。图10为训练得到目标多类告警检测模型后继续进行人机结合的模型优化的流程图,图10中的强化学习模型即为目标多类告警检测模型,通过不断地收集纠正的最佳告警信息数据,并基于这些最佳告警信息数据对目标多类告警检测模型进行不断地优化,以调整模型参数,从而提高优化后的目标多类告警检测模型自动生成各类告警信号对应的告警信息的准确性。通过不断地循环优化,并使用优化后的目标多类告警检测模型,使得银行后台系统可以生成准确度越来越高的告警信息,进而能够更加快速高效的确定系统的异常故障并给出j9九游会真人的解决方案,从而极大地提高了银行后台系统排除故障的效率。
[0099]
基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的多类告警检测模型生成方法的多类告警检测模型生成装置。该装置所提供的解决问题的实现方案
与上述方法中所记载的实现方案相似,故下面所提供的一个或多个多类告警检测模型生成装置实施例中的具体限定可以参见上文中对于多类告警检测模型生成方法的限定,在此不再赘述。
[0100]
在一个实施例中,如图11所示,提供了一种多类告警检测模型生成装置,包括:第一模型生成模块1100、第二模型构建模块1102和目标模型确定模块1104,其中:
[0101]
第一模型生成模块1100,用于获取系统监控数据特征矩阵,获取初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行训练,得到目标故障状态检测模型。
[0102]
第二模型构建模块1102,用于获取告警信号集中各类告警信号对应的独热编码,基于所述独热编码与所述目标故障状态检测模型构建得到各类告警信号对应的目标告警检测模型。
[0103]
目标模型确定模块1104,用于将所述各类告警信号对应的目标告警检测模型进行组合得到目标多类告警检测模型,所述目标多类告警检测模型用于预测后台系统的告警信息。
[0104]
在一个实施例中,第一模型生成模块1100还用于获取卷积神经网络模型,获取系统监控数据集;基于所述卷积神经网络模型对所述系统监控数据集进行特征提取,得到所述系统监控数据特征矩阵。
[0105]
在一个实施例中,第一模型生成模块1100还用于获取所述初始故障状态检测模型,基于所述系统监控数据特征矩阵对所述初始故障状态检测模型进行多次训练,得到多个中间故障状态检测模型;从所述多个中间故障状态检测模型中选出满足贝尔曼最优化条件的中间故障状态检测模型作为所述目标故障状态检测模型。
[0106]
在一个实施例中,第二模型构建模块1102还用于依次从所述告警信号集中选出当前告警信号类型;将当前告警信号类型编码为第一固定值,将所述告警信号集中的其他告警信号类型编码为第二固定值,直至得到各个当前告警信号类型对应的独热编码。
[0107]
在一个实施例中,多类告警检测模型生成装置还包括模型应用模块1106,用于获取待测试系统监控数据,基于所述卷积神经网络模型对所述待测试系统监控数据进行特征提取,得到待测试数据特征矩阵;将所述待测试数据特征矩阵输入所述目标多类告警检测模型,得到所述待测试系统监控数据对应的各类告警信号对应的目标告警信息。
[0108]
在一个实施例中,多类告警检测模型生成装置还包括优化模块1108,用于当所述各类告警信号对应的目标告警信息不满足实际条件时,接收终端发送的各类告警信号对应的最佳告警信息,将所述最佳告警信息作为所述目标告警信息;获取预设时间段的最佳告警信息数据,基于所述最佳告警信息数据对所述目标多类告警检测模型进行优化,得到目标优化多类告警检测模型。
[0109]
上述多类告警检测模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0110]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(input/output,
简称i/o)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储系统监控数据以及操作过程中的相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多类告警检测模型生成方法。
[0111]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多类告警检测模型生成方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0112]
本领域技术人员可以理解,图12和13中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0113]
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0114]
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0115]
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
[0116]
需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
[0117]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
[0118]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0119]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
当前第1页1  
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图