一种数据传输监控方法、装置、电子设备及可读存储介质与流程-j9九游会真人

文档序号:35756049发布日期:2023-10-16 21:10阅读:5来源:国知局


1.本技术涉及数据处理技术领域,具体涉及一种数据传输监控方法、装置、电子设备及可读存储介质。


背景技术:

2.网关提供服务器和应用之间的数据传输接口,实现服务器和应用之间的业务数据传输。相关技术中,为实现服务器和应用之间的业务数据的稳定传输,避免出现较大的业务数据占用过多资源,网关通过对业务数据传输进行限流或熔断控制每个业务的资源占用。但在相关技术中,通常在网关配置控制策略,由网关基于本地配置的控制策略统一对所有的业务数据进行限流和熔断,由于网关无法识别业务类型,因此对所述的业务数据采用相同的控制策略。
3.可见,相关技术中存在业务数据的控制策略配置的灵活性较低的问题。


技术实现要素:

4.本技术实施例提供一种数据传输监控方法、装置、电子设备及可读存储介质,以解决相关技术中存在业务数据的控制策略配置的灵活性较低的问题。
5.为解决上述问题,本技术是这样实现的:
6.第一方面,本技术实施例提供一种数据传输监控方法,应用于网络设备,所述网络设备与网关通信连接,所述网关用于传输客户端和业务系统之间的目标业务组的业务数据,所述目标业务组包括至少一个业务,所述方法包括:
7.接收网关发送的多个传输信息,每个所述传输信息用于表征在第一设定时间内所述业务数据单次传输的传输状态;
8.对所述多个传输信息进行统计,得到传输过程参数,所述传输过程参数用于表征在第一设定时间内所述业务数据的传输状态;
9.基于所述传输过程参数和控制策略确定目标信息,所述目标信息用于指示以下至少一项:是否对所述目标业务组的业务数据进行限流或解除限流,是否对所述目标业务组的业务数据进行降级或解除降级,是否对所述目标业务组的业务数据进行熔断或解除熔断;
10.向所述网关发送所述目标信息。
11.第二方面,本技术实施例还提供一种数据传输监控装置,包括:
12.接收模块,用于接收网关发送的多个传输信息,每个所述传输信息用于表征在第一设定时间内业务数据单次传输的传输状态;
13.处理模块,用于对所述多个传输信息进行统计,得到传输过程参数,所述传输过程参数用于表征在第一设定时间内所述业务数据的传输状态;
14.确定模块,用于基于所述传输过程参数和控制策略确定目标信息,所述目标信息用于指示以下至少一项:是否对所述目标业务组的业务数据进行限流或解除限流,是否对
所述目标业务组的业务数据进行降级或解除降级,是否对所述目标业务组的业务数据进行熔断或解除熔断;
15.发送模块,用于向所述网关发送所述目标信息。
16.第三方面,本技术实施例还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述第一方面所述的数据传输监控方法中的步骤。
17.第四方面,本技术实施例还提供一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如上述第一方面所述的数据传输监控方法中的步骤。
18.在本技术实施例中,通过接收网关发送的多个传输信息,每个所述传输信息用于表征在第一设定时间内所述业务数据单次传输的传输状态;对所述多个传输信息进行计算,得到传输过程参数,所述传输过程参数用于表征在第一设定时间内所述业务数据的传输状态;基于所述传输过程参数和控制策略确定目标信息,所述目标信息用于指示以下至少一项:是否对所述目标业务组的业务数据进行限流或解除限流,是否对所述目标业务组的业务数据进行降级或解除降级,是否对所述目标业务组的业务数据进行熔断或解除熔断。这样,由于网络设备针对按照业务组配置控制策略,从而可以针对不同类型的业务,设置不同的控制策略。因此本技术实施例提高了控制策略配置的灵活性,与此同时由于针对不同的业务组可以设置不同的控制策略,因此可以提高业务数据传输的效率。
附图说明
19.为更清楚地说明本技术实施例的技术方案,下面将对本技术实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的网关和网络设备交互示意图;
21.图2是本技术实施例提供的一种数据传输监控方法的流程图;
22.图3是本技术实施例提供的网关进行限流、降级或熔断的流程图;
23.图4是本技术实施例提供的网关进行限流、降级或熔断的示意图;
24.图5是本技术实施例提供的一种数据传输监控装置的结构图;
25.图6是本技术实施例提供的一种电子设备的结构图。
具体实施方式
26.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
27.请参见图1,图1是本技术实施例提供的网关和网络设备交互示意图,如图1所示,网络设备和网关通信连接,网关用于传输客户端和业务系统之间的目标业务组的业务数据,目标业务组包括至少一个业务。其中,业务系统包括目标系统和其他系统,网关向目标系统传输目标业务组的业务数据,以及向其他系统传输其他业务数据。在网关传输业务数
据后,网关再向网络设备发送传输信息,由网络设备确定是否向网关发送目标信息以对目标业务组的业务数据进行限流、降级或熔断。
28.其中,网络设备可以包括配置中心模块、控制中心模块和数据加工中心模块,数据加工中心模块接收多个传输信息,并在接收到多个传输信息后对多个传输信息进行计算处理,得到传输过程参数;配置中心模块预先配置有控制策略,配置中心模块基于预先设置的控制策略确定是否发送目标信息以对业务数据传输进行限流、降级、熔断、解除限流、解除降级或解除熔断;控制中心模块与配置中心模块长连接,用于在需要对目标业务组中的业务数据传输进行限流、降级、熔断、解除限流、解除降级或解除熔断的情况下向网关发送目标信息,具体过程详见后续实施例。
29.上述客户端和网络设备形成限流、降级和熔断的客户端-服务器(client-server,c/s)架构,应理解,将控制策略配置在网关本地,也会占用网关的硬件资源判定是否需要对业务数据进行限流、降级、熔断、解除限流、解除降级或解除熔断,对业务数据传输造成影响,降低业务数据的传输成功率。而本技术实施例中通过在网络设备配置不同业务组的控制策略,使得控制策略与业务数据传输解耦,降低了对网关业务传输的影响,能提高业务数据的传输成功率。
30.请参见图2,图2是本技术实施例提供的一种数据传输监控方法的流程图,应用于网络设备,如图2所示,包括以下步骤:
31.步骤201、接收网关发送的多个传输信息,每个所述传输信息用于表征在第一设定时间内所述业务数据单次传输的传输状态。
32.本技术实施例中,上传传输信息具体的参数内容可以根据实际需要进行设置,例如,在一些实施例中,该传输信息的参数内容可以包括业务数据传输过程中的网关负载相关参数、业务数据是否传输成功和业务数据传输的响应时间中的至少一项。
33.可选地,传输信息的参数内容可以协议约定,或者由网络设备配置。
34.应理解,网关在每次接收客户端的业务数据,并向业务系统传输业务数据之后,或者,网关在每次接收业务系统的业务数据,并向客户端传输业务数据之后,均会发送传输信息,使得接收到传输信息的网络设备能收集到网关针对业务数据的传输情况,网络设备通过分析在第一设定时间内接收到的多个传输信息,进而可以确定是否控制网关对业务数据进行限流、降级、熔断、解除限流、解除降级或解除熔断。
35.其中,网络设备为设有控制策略的设备,通过接收网关发送的传输信息,以及向网关发送目标信息,以指示网关对目标业务组中的业务数据进行限流、降级、熔断、解除限流、解除降级或解除熔断。应理解,网络设备对于不同的业务组配置有不同的控制策略,网络设备通过不同的控制策略控制网关对不同业务组的业务数据进行限流、降级、熔断、解除限流、解除降级或解除熔断。这样,使得控制策略与业务数据传输解耦,降低了对网关业务传输的影响,能提高业务数据的传输成功率。
36.上述目标业务组中包括多个预先设置的业务,目标业务组可以包括一个业务,也可以包括涉及整个网关传输的多个业务。应理解,不同业务的数据传输量和传输时延的要求存在区别,网关需要对不同业务组中的业务数据进行区别处理,即对不同业务组设置不同的控制策略。在网络设备接收到网关发送的多个传输信息的情况下,确定多个传输信息中为目标业务组的业务数据相关的传输信息,再对一个目标业务组中的业务相关的传输信
息进行统计,得到传输过程参数,进而通过传输过程参数和目标业务组对应的控制策略确定是否需要网关对目标业务组中的业务数据进行限流、降级、熔断、解除限流、解除降级或解除熔断。
37.步骤202、对所述多个传输信息进行统计,得到传输过程参数,所述传输过程参数用于表征在第一设定时间内所述业务数据的传输状态。
38.上述传输过程参数为统计多个传输信息的内容得到的参数,基于传输过程参数可以确定网关在第一设定时间内传输目标业务组相关的业务数据过程中的情况,进而可以确定是否需要指示网关对目标业务组中的业务数据进行限流、降级、熔断、解除限流、解除降级或解除熔断。
39.其中,传输过程参数可以为第一设定时间内网关的负载相关参数,也可以是第一设定时间内网关传输目标业务组的业务数据传输的成功率等。
40.例如,在传输过程参数为成功率,第一设定时间内的多个传输信息用于表征目标业务组的业务数据是否传输成功的情况下,将多个传输信息中传输成功的信息数量除以多个传输信息的总数,得到在第一设定时间内的数据传输的成功率。还例如,在传输过程参数为访问率,第一设定时间内的多个传输信息为每秒访问率的情况下,将多个传输信息的每秒访问率相加,得到在第一设定时间内的访问率。
41.步骤203、基于所述传输过程参数和控制策略确定目标信息,所述目标信息用于指示以下至少一项:是否对所述目标业务组的业务数据进行限流或解除限流,是否对所述目标业务组的业务数据进行降级或解除降级,是否对所述目标业务组的业务数据进行熔断或解除熔断。
42.上述控制策略为在网络设备预先配置的控制策略,控制策略包括在不同的数据传输状态下对网关发送不同的目标信息,以指示网关是否对业务的传输进行限流、降级、熔断、解除限流、解除降级或解除熔断。通过在网络设备为不同的业务组配置不同的控制策略,并基于传输过程参数和控制策略向网关发送目标信息,实现非本地的控制策略执行。
43.其中,控制策略与传输过程参数对应设置。例如,在传输过程参数为网关的负载相关参数的情况下,控制策略为负载相关参数在不同范围时发送限流或解除限流、降级或解除降级、熔断或解除熔断的目标信息;在传输过程参数为数据传输的成功率的情况下,控制车辆为数据传输的成功率在不同范围时限流或解除限流、降级或解除降级、熔断或解除熔断的目标信息。
44.上述对目标业务组的业务数据进行限流或解除限流,可以是对目标业务组的部分业务数据进行限流或解除限流,也可以是对目标业务组的全部业务数据进行限流或解除限流;上述对目标业务组的业务数据进行降级或解除降级,可以是对目标业务组的部分业务数据进行降级或解除降级,也可以是对目标业务组的全部业务数据进行降级或解除降级;上述对目标业务组的业务数据进行熔断或解除熔断,可以是对目标业务组的部分业务数据进行熔断或解除熔断,也可以是对目标业务组的全部业务数据进行熔断或解除熔断。
45.上述目标信息为网络设备基于传输过程参数和预先配置的控制策略发送的信息,指示网关对目标业务组中的一个业务数据进行限流或解除限流、降级或解除降级、熔断或解除熔断;网关在接收到网络设备发送的目标信息后,对目标业务组中的业务数据进行对应限流或解除限流、降级或解除降级、熔断或解除熔断的操作。
46.其中,如图2所示,网关在接收到客户端发送的业务数据后(图2中的1、发送业务数据),向目标系统发送该业务数据(图2中的2、发送业务数据),接收目标系统的响应业务数据(图2中的3、响应业务数据),再向客户端发送响应业务数据(图2中的4、响应业务数据)。在接收到其他客户端发送的业务数据的情况下,向其他系统发送业务数据。在网关传输完成发送业务数据和响应业务数据后,向网络设备发送传输信息;网络设备在接收到传输信息后,对传输信息进行计算处理,得到传输过程参数,再基于传输过程参数和预先配置的控制策略向网关发送目标信息;在网关接收到目标信息的情况下,根据目标信息进行限流、降级、熔断、解除限流、解除降级或解除熔断。
47.例如,如图3所示,网关在传输目标业务组的业务数据后,发送传输信息给网络设备,由网络设备基于预先配置的控制策略确定目标信息,指示网关限流、降级或熔断,再发送目标信息至网关,由网关执行限流、降级、熔断、解除限流、解除降级或解除熔断,实现非本地的控制策略执行。
48.其中,网关执行限流可以理解为对业务的业务数据进行限流,即以设定的较低的速率进行数据传输;网关解除限流可以理解为对已经被限流的业务数据恢复至正常的速率进行数据传输。网关执行降级可以理解为对业务的业务数据的传输接口进行降级,降级后的接口仅提供部分功能,不再提供全部功能,例如,客户端的正常接口可以上传程序日志文件,而降级后的接口不能上传程序日志文件;网关解除降级可以理解为将通过降级后的接口传输数据变为通过降级前的接口(即正常接口)传输数据。网关执行熔断可以理解为对业务的业务数据传输进行熔断,不再传输业务的业务数据;在网关解除熔断可以理解为恢复对业务的业务数据传输,可以是通过降级后的接口进行数据传输,可以是通过降级前的接口(即正常接口)进行数据传输。
49.步骤204、向所述网关发送所述目标信息。
50.在本技术实施例中,通过接收网关发送的多个传输信息,每个所述传输信息用于表征在第一设定时间内所述业务数据单次传输的传输状态;对所述多个传输信息进行计算,得到传输过程参数,所述传输过程参数用于表征在第一设定时间内所述业务数据的传输状态;基于所述传输过程参数和控制策略确定目标信息,所述目标信息用于指示以下至少一项:是否对所述目标业务组的业务数据进行限流或解除限流,是否对所述目标业务组的业务数据进行降级或解除降级,是否对所述目标业务组的业务数据进行熔断或解除熔断。这样,由于网络设备针对按照业务组配置控制策略,从而可以针对不同类型的业务,设置不同的控制策略。因此本技术实施例提高了控制策略配置的灵活性,与此同时由于针对不同的业务组可以设置不同的控制策略,因此可以提高业务数据传输的效率。
51.在一个实施例中,所述目标信息包括限流指示信息或解除限流指示信息,所述多个传输信息包括每秒访问率,所述传输过程参数包括目标访问率,所述目标访问率为所述多个传输信息的每秒访问率之和;所述基于所述传输过程参数和控制策略确定目标信息,包括:
52.在未对所述目标业务组的业务数据进行限流,且所述目标访问率大于第一访问阈值的情况下,确定所述目标信息为所述限流指示信息,所述限流指示信息用于指示对所述目标业务组的业务数据进行限流;
53.在已对所述目标业务组的业务数据进行限流,且所述目标访问率小于或等于第二
访问阈值的情况下,确定所述目标信息为所述解除限流指示信息,所述解除限流指示信息用于指示对所述目标业务组的业务数据解除限流,所述第二访问阈值小于或等于所述第一访问阈值。
54.本技术实施例中,上述控制策略可以理解为确定目标信息的过程的限流策略,即控制策略可以包括:在未对所述目标业务组的业务数据进行限流,且所述目标访问率大于第一访问阈值的情况下,确定所述目标信息为所述限流指示信息,所述限流指示信息用于指示对所述目标业务组的业务数据进行限流;
55.在已对所述目标业务组的业务数据进行限流,且所述目标访问率小于或等于第二访问阈值的情况下,确定所述目标信息为所述解除限流指示信息,所述解除限流指示信息用于指示对所述目标业务组的业务数据解除限流,所述第二访问阈值小于或等于所述第一访问阈值。
56.上述每秒访问率(queries per second,qps)与网关的负载相关,在业务的qps较大的情况下,该业务对网关的负载占用较大;而在业务的qps较小的情况下,该业务对网关的负载占用较小。通过获取第一设定时间内网关传输的目标业务组的业务的qps,确定网关的负载情况,进而确定是否需要对目标业务组的业务数据进行限流。
57.应理解,对于目标业务组,网络设备的控制策略可以设置一个访问阈值或设置两个访问阈值,在设置一个访问阈值的情况下,所述第一访问阈值等于第二访问阈值;在设置两个访问阈值的情况下,第一访问阈值大于第二访问阈值。
58.例如,第一访问阈值为总负载对应的qps的85%,第二访问阈值为总负载对应的qps的80%,在目标业务组的目标访问率大于总负载对应的qps的85%的情况下,需要对目标业务组中的业务数据进行限流,可以是对部分业务限流,也可以是对全部业务数据进行限流;而在目标业务组的目标访问率小于或等于总负载对应的qps的80%的情况下,目标业务组的业务传输未超过第二访问阈值,网关直接传输目标业务组的相关数据,或者,在目标业务组的业务被限流的情况下,解除限流。
59.应理解,在本技术实施例中,在控制策略设置两个访问阈值的情况下,第一访问阈值和第二访问阈值之间存在缓冲,网关在目标访问率大于第一访问阈值时,对目标业务组的业务数据进行限流,使得目标访问率降低,而降低之后的目标访问率仍大于第二访问阈值,网络设备不会向网关发送解除限流指示信息,从而避免在网关进行限流后立即触发解除限流的行为;与此同时,网关在目标访问率小于或等于第二访问阈值时,对目标业务组的业务数据进行解除限流,使得目标访问率升高,而升高之后的目标访问率仍小于第二访问阈值,网络设备不会向网关发送限流指示信息,从而避免网关在进行解除限流后立即触发限流的行为。因此,在本技术实施例中,可以避免网络设备频繁向网关发送限流指示信息和/或解除限流指示信息,保证了网关传输目标业务组数据的稳定。
60.例如,第一访问阈值为总负载对应的85%,第二访问阈值为总负载对应的80%,在目标访问率在大于85%的情况下,网关对目标业务组的业务数据传输进行限流,使得目标访问率下降至83%。下降后的目标访问率大于80%,并不会对目标业务组的数据解除限流,网络设备不向网关发送解除限流指示信息,进而提高了网关传输目标业务组数据的稳定性。
61.在一个实施例中,所述多个传输信息还包括响应时间,所述传输过程参数还包括
目标响应时间,所述目标响应时间为所述多个传输信息中的所述响应时间的平均值;其中,
62.按照以下方法设置所述第一访问阈值:
63.在所述目标响应时间小于或等于时间阈值的情况下,设置所述第一访问阈值为第一访问子阈值;在所述目标响应时间大于时间阈值的情况下,设置所述第一访问阈值为第二访问子阈值,所述第一访问子阈值大于所述第二访问子阈值。
64.上述响应时间为业务系统接收到第一业务数据的时间与业务系统发送响应信息的时间的间隔,其中,响应信息可以为业务系统通知客户端已经接收到第一业务数据的反馈,也可以是业务系统基于第一业务数据执行的操作信息。例如,客户端通过网关向业务系统发送第一业务数据,业务系统针对该第一业务数据通过网关向客户端发送响应信息。
65.应理解,在网关传输目标业务组的相关数据的过程中,传输的响应时间较长的情况下,目标业务组的相关数据对网络设备的负载相对更大;在响应时间较短的情况下,目标业务组的相关数据对网络设备的负载相对更小。故对于不同的响应时间,需要设置不同的访问阈值,以保证网关对目标业务组的稳定传输,避免出现业务传输的响应时间过长导致的网关负载超过阈值。
66.具体的,在响应时间较短的情况下(即目标响应时间小于或等于时间阈值的情况下),单个业务的数据传输对网关需要占用的负载更小,单个业务的业务数据传输的响应时间因异常情况变长时对网关需要占用的负载变化也较小,网关能够容纳的响应时间变长的业务数据也较多,此时设置第一访问阈值为更大的第一访问子阈值,使得网关可以传输更多的业务对应的数据。而在响应时间较长的情况下(即目标响应时间大于时间阈值的情况下),单个业务的数据传输对网关需要占用的负载更大,单个业务的业务数据传输的响应时间因异常情况变长时对网关需要占用的负载变化也较大,网关能够容纳的响应时间变长的业务数据较少,此时设置第一访问阈值为更小的第二访问子阈值,使得网关减少同时传输的业务数据,避免传输较多数量的业务导致网关的负载过大,以保证每个业务数据传输的稳定。
67.进一步地,本技术实施例还按照以下方法设置所述第二访问阈值:
68.在所述目标响应时间小于或等于时间阈值的情况下,设置所述第二访问阈值为第三访问子阈值;在所述目标响应时间大于时间阈值的情况下,设置所述第二访问阈值为第四访问子阈值,所述第三访问子阈值大于所述第四访问子阈值。
69.应理解,在网关传输目标业务组的相关数据的过程中,传输的响应时间越长的情况下,目标业务组的相关数据对网络设备的负载相对更大;在响应时间较短的情况下,目标业务组的相关数据对网络设备的负载相对更小。故对于不同的响应时间,需要设置不同的访问阈值,以保证网关对目标业务组的稳定传输,避免出现业务传输的响应时间过长导致的网关负载超过阈值。
70.具体的,在响应时间较短的情况下(即目标响应时间小于或等于时间阈值的情况下),单个业务的数据传输对网关需要占用的负载更小,单个业务的业务数据传输的响应时间因异常情况变长时对网关需要占用的负载变化也较小,网关能够容纳的响应时间变长的业务数据也较多,此时设置第二访问阈值为更大的第三访问子阈值,使得网关可以传输更多的业务对应的数据;在响应时间较长的情况下(即目标响应时间大于时间阈值的情况下),单个业务的数据传输对网关需要占用的负载更大,单个业务的业务数据传输的响应时
间因异常情况变长时对网关需要占用的负载变化也更大,网关能够容纳的响应时间变长的业务数据较少,此时设置第二访问阈值为更小的第四访问子阈值,使得网关减少同时传输的业务数据,避免传输较多数量的业务导致网关的负载过大,以保证每个业务数据传输的稳定。
71.例如,在业务的数据传输过程中,网关保持稳定传输业务数据的总负载范围的最大值为83%(网关保持稳定传输业务数据的总负载范围由网关的硬件决定),目标响应时间较长,单个业务的数据传输约占总负载的5%;目标响应时间较短,单个业务的数据传输约占总负载的1%。在该情况下,若网关的实时总负载为80%,将第一访问阈值设为固定值80%,在传输过程中单个业务的数据传输的响应时间变长,需要占用更多的资源,对于目标响应时间较短的业务,单个业务的占用的总负载从1%变为2%,此时网关的实时总负载从80%变为81%,即使超过第一访问阈值,也在网关保持稳定传输业务数据的总负载范围内,仍可以实现每个业务的稳定传输,不会影响到其他业务的传输,仅需要对响应时间变长的业务在传输业务数据完成后限流即可。而对于目标响应时间较长的业务,其响应时间变长,单个业务的占用的总负载可能从5%变为10%,此时网关的实时总负载从80%变为85%,超过第一访问阈值,同时也超过了网关保持稳定传输业务数据的总负载范围,在该情况下网关负载过高,会影响其他业务的数据传输。
72.而在本技术实施例中,将目标响应时间较长时设置第一访问阈值为70%,假设此时网关的实时总负载为69%,使得对于目标响应时间较长的业务,其响应时间变长,单个业务的占用的总负载从5%变为10%,网关的实时总负载从69%变为74%,属于网关保持稳定传输业务数据的总负载范围内,从而保证每个业务数据传输的稳定性。
73.应理解,在目标响应时间小于或等于时间阈值的情况下,设置第二访问阈值为第三访问子阈值;在目标响应时间大于时间阈值的情况下,设置第二访问阈值为第四访问子阈值,与在目标响应时间小于或等于时间阈值的情况下,设置第一访问阈值为第一访问子阈值;在目标响应时间大于时间阈值的情况下,设置第一访问阈值为第二访问子阈值,第一访问子阈值大于第二访问子阈值的目的和效果相同,在此不再赘述。
74.在本技术实施例中,多个传输信息包括每秒访问率和响应时间,通过每秒访问率和响应时间确定限流的第一访问阈值,以及解除限流的第二访问阈值,在目标响应时间较长的情况下设置更小的第一访问阈值和第二访问阈值,使得在业务的响应时间变长,占用网关的负载变大时,网关的实时总负载仍在网关保持稳定传输业务数据的总负载范围内,避免出现业务数据传输的响应时间过长导致的网关实时总负载超过网关保持稳定传输业务数据的总负载范围,提高了网关传输的稳定性。与此同时在目标响应时间较短的情况下设置更大的第一访问阈值和第二访问阈值,使得网关能够同时传输更多的业务数据,提高网关的传输效率。
75.在一个实施例中,所述目标信息包括降级熔断指示信息或恢复指示信息,所述多个传输信息包括传输标记,所述传输标记用于表征与目标业务组的业务数据是否传输成功,所述传输过程参数包括目标成功率,所述目标成功率为基于所述多个传输信息的传输标记确定的成功率;所述基于所述传输过程参数和控制策略确定目标信息,包括:
76.在未对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率小于第一成功率阈值的情况下,确定所述目标信息为所述降级熔断指示信息,所述降级熔断指
示信息用于指示对所述目标业务组中的业务数据进行接口降级或熔断;
77.在已对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率大于第二成功率阈值的情况下,确定所述目标信息为所述恢复指示信息,所述恢复指示信息用于指示所述目标业务组中的业务数据接口恢复或解除熔断,所述第二成功率阈值大于或等于所述第一成功率阈值。
78.本技术实施例中,上述控制策略可以理解为确定目标信息的过程的降级熔断策略,即控制策略可以包括:
79.在未对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率小于第一成功率阈值的情况下,确定所述目标信息为所述降级熔断指示信息,所述降级熔断指示信息用于指示对所述目标业务组中的业务数据进行接口降级或熔断;
80.在已对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率大于第二成功率阈值的情况下,确定所述目标信息为所述恢复指示信息,所述恢复指示信息用于指示所述目标业务组中的业务数据接口恢复或解除熔断,所述第二成功率阈值大于或等于所述第一成功率阈值。
81.上述目标成功率用于确定网关是否需要对目标业务组的业务数据进行降级或熔断,在目标成功率较高的情况下,不需要降级或熔断;在目标成功率降低的情况下,需要对目标业务组中的业务数据进行降级或熔断,以调整出更多的硬件资源传输未降级或熔断的业务数据。其中,在目标成功率下降过程中,先对目标业务组的业务的数据传输接口降级,再对目标业务组的业务数据进行熔断;而在目标成功率上升的情况下,先恢复目标业务组的业务的传输为降级后的传输接口进行业务传输,再恢复为降级前的传输接口进行业务传输。
82.应理解,对于目标业务组,网络设备的控制策略可以设置一个成功率阈值或设置两个成功率阈值。在设置一个成功率阈值的情况下,第一成功率阈值等于第二成功率阈值;在设置两个成功率阈值的情况下,第一成功率阈值小于或等于第二成功率阈值。
83.在本技术实施例中控制策略设置第一成功率阈值小于第二成功率阈值,在目标成功率小于第一成功率阈值的情况下,网关对目标业务组的业务数据进行降级或熔断,使得目标成功率上升,上升之后的目标成功率仍小于第二成功率阈值,网络设备不会向网关发送解除降级熔断指示信息,从而避免网关在进行降级或熔断后立即触发解除降级或解除熔断的行为;与此同时,在目标成功率大于第二成功率阈值的情况下,网关对目标业务组的也进行解除降级或解除熔断,使得目标成功率下降,下降之后的目标成功率仍大于第一成功率阈值,网络设备不会向网关发送降级熔断指示信息,从而避免网关在进行解除降级或解除熔断后立即触发降级或熔断的行为。因此,在本技术实施例中,可以避免网络设备频繁向网关发送降级熔断指示信息和/或解除降级熔断指示信息,保证了网关传输目标业务组数据的稳定。
84.例如,将第一成功率阈值设为90%,第二成功率阈值设为95%,在目标成功率为89%的情况下,小于第一成功率阈值90%阈值,网络设备向网关发送降级熔断指示信息,网关对目标业务组的业务数据进行降级或熔断,目标成功率上升至91%,此时目标成功率仍小于第二成功率阈值95%,网络设备不发送恢复指示信息,从而避免网关频繁降级熔断或解除降级熔断,进而提高了网关传输目标业务组数据的稳定性。
85.在一个实施例中,所述第一成功率阈值包括第一成功率子阈值、第二成功率子阈值和第三成功率子阈值中的至少部分;所述第一成功率子阈值大于所述第二成功率子阈值,所述第二成功率子阈值大于所述第三成功率子阈值;所述降级熔断指示信息为第一指示信息、第二指示信息或第三指示信息;
86.所述在未对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率小于第一成功率阈值的情况下,确定所述目标信息为所述降级熔断指示信息,包括:
87.在未对所述目标业务组的业务数据进行接口降级,所述目标成功率小于所述第一成功率子阈值,且大于或等于所述第二成功率子阈值的情况下,确定所述目标信息为所述第一指示信息,所述第一指示信息用于指示所述网关将所述目标业务组中的业务数据的传输接口降级;
88.在未对所述目标业务组的业务数据进行熔断,所述目标成功率小于所述第二成功率子阈值,且大于或等于所述第三成功率子阈值的情况下,确定所述目标信息为所述第二指示信息,所述第二指示信息用于指示对所述目标业务组中的业务数据熔断;
89.在未对所述目标业务组的业务数据全部熔断,且所述目标成功率小于所述第三成功率子阈值的情况下,确定所述目标信息为所述第三指示信息,所述第三指示信息用于指示对所述目标业务组中的业务数据全部熔断。
90.应理解,上述在不同情况下确定第一指示信息、第二指示信息和第三指示信息,使得网关通过如下不同的方式传输业务数据:
91.在目标成功率小于第一成功率子阈值,大于或等于第二成功率子阈值的情况下,网关对目标业务组中的部分业务数据通过正常接口进行传输,对目标业务组中的部分业务数据通过降级后的接口进行传输;
92.在目标成功率小于第二成功率子阈值,大于或等于第三成功率子阈值的情况下,网关对目标业务中部分业务数据通过正常接口进行传输,对目标业务组中的部分业务数据通过降级后的接口进行传输,对部分业务数据进行熔断。其中,在该情况下通过正常接口进行传输的业务数据的数量要少于在大于或等于第二成功率子阈值的情况下通过正常接口进行传输的业务数据的数量;
93.在目标成功率小于第三成功率子阈值的情况下,网关对目标业务组的业务数据全部熔断。
94.上述方式提供了不同的接口降级的组合策略,通过降级和熔断组合使用,提高了网关传输业务数据的鲁棒性,与此同时不同的方式适配不同的目标成功率,能提高控制策略的实用性。
95.应理解,由于在目标成功率下降过程中,先对目标业务组的业务的数据传输接口降级,再对目标业务组的业务数据进行熔断,故在具体过程中设置第一成功率子阈值、第二成功率子阈值和第三成功率子阈值,通过第一成功率子阈值、第二成功率子阈值和第三成功率子阈值确定是否需要向网关发送目标信息,以及发送哪一个信息。其中,先对目标业务组的业务的数据传输接口降级,业务的数据仍可以通过降级后的接口与业务系统进行数据传输,使得客户端仍可以实现与业务系统的部分交互;若直接熔断客户端和业务系统之间的数据传输,客户端与业务系统无法进行交互,影响客户端的使用体验,故在本技术实施例中,先对目标业务组的业务的数据传输接口降级,再对目标业务组的业务数据进行熔断。
96.例如,如图4所示,网关在传输目标业务组的相关数据之后,向网络设备发送传输信息,网络设备根据传输信息确定目标成功率,再基于目标成功率发送指示信息。其中,设第一成功率子阈值为0.9,第二成功率子阈值为0.8,第三成功率子阈值为0.5,在目标成功率大于或等于0.9的情况下,通过正常接口(即未降级的接口或降级前的接口)传输目标业务组中的全部业务;在目标成功率0.8至0.9之间的情况下,通过正常接口传输目标业务组中的部分业务,通过降级后的传输接口传输目标业务组中的部分业务;在目标成功率0.5至0.8之间的情况下,通过正常传输接口传输目标业务组中的部分业务,通过降级后的传输接口传输目标业务组中的部分业务,并对目标业务组中的部分业务中的部分数据熔断;在目标成功率小于0.5的情况下,对目标业务组中的部分业务中的全部数据熔断。
97.在本技术实施例中,通过在控制策略中设置第一子成功率、第二子成功率和第三子成功率,在目标成功率下降的情况下对目标业务组的业务数据进行接口降级,对目标业务组中的未被降级的业务和其他业务组中的业务通过正常接口进行传输,减少网关需要传输的业务数据的量,维持网关对业务数据传输的稳定性。与此同时,在目标成功率下降的情况下对部分业务熔断或全部业务熔断,对目标业务组中的未被熔断的业务数据和其他业务组中的业务数据进行稳定传输,进一步减少了网关传输的业务数据的量以维持网关对业务数据传输的稳定性。
98.在一个实施例中,所述第二成功率阈值包括第四成功率子阈值、第五成功率子阈值和第六成功率子阈值中的至少部分;所述第四成功率子阈值大于所述第五成功率子阈值,所述第五成功率阈值大于所述第六成功率子阈值,所述恢复指示信息为第一恢复子信息、第二恢复子信息或第三恢复子信息;
99.所述在已对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率大于第二成功率阈值的情况下,确定所述目标信息为所述恢复指示信息,包括:
100.在已对所述目标业务组的业务数据进行降级,未对所述目标业务组的业务数据进行熔断,且所述目标成功率大于或等于所述第四成功率子阈值的情况下,确定所述目标信息为所述第一恢复子信息,所述第一恢复子信息用于指示对所述目标业务组的全部业务的业务数据恢复至降级前的传输接口;
101.在已对所述目标业务组的业务数据进行接口降级,对所述目标业务组的业务数据进行熔断,所述目标成功率大于或等于所述第五成功率子阈值,且小于所述第四成功率子阈值的情况下,确定所述目标信息为所述第二恢复子信息,所述第二恢复子信息用于指示对所述目标业务组的全部熔断的业务恢复传输,和/或,用于指示对所述目标业务组的业务数据恢复至降级前的传输接口;
102.在已对所述目标业务组的全部业务的业务数据传输进行熔断,所述目标成功率大于或等于所述第六成功率子阈值,且小于所述第五成功率子阈值的情况下,确定所述目标信息为所述第三恢复子信息,所述第三恢复子信息用于指示对所述目标业务组的熔断的业务恢复传输。
103.应理解,上述在不同情况下确定第一恢复子信息、第二恢复子信息和第三恢复子信息,使得网关通过如下不同的方式传输业务数据:
104.在目标成功率大于或等于第四成功率子阈值的情况下,网关对目标业务组中的全部业务数据通过正常接口进行传输;
105.在目标成功率大于或等于第五成功率子阈值,小于第六成功率子阈值的情况下,网关对目标业务中部分业务数据通过正常接口进行传输,对目标业务组中的部分业务数据通过降级后的接口进行传输;
106.在目标成功率大于或等于第六成功率子阈值的情况下,网关对目标业务中部分业务数据通过正常接口进行传输,对目标业务组中的部分业务数据通过降级后的接口进行传输,对部分业务数据进行熔断。
107.上述方式提供了不同的恢复传输接口和恢复业务数据传输的组合策略,通过将降级接口恢复为正常接口传输、业务数据熔断恢复为用降级接口或正常接口进行传输,提高了网关传输业务数据的鲁棒性。
108.应理解,与网络设备发送第一指示信息、第二指示信息或第三指示信息类似,由于在目标成功率上升的情况下,先恢复目标业务组的业务的传输(可以恢复为降级后的传输接口进行业务传输,也可以是恢复为正常接口(即降级前的接口)进行业务传输),在恢复为正常接口进行业务传输,在需要恢复对目标业务组的业务传输的情况下,也设置第四成功率子阈值、第五成功率子阈值和第六成功率子阈值确定是否需要恢复接口或恢复传输。
109.例如,设第四成功率子阈值为0.9,第五成功率子阈值为0.8,第六成功率子阈值为0.5,在目标成功率大于或等于0.9的情况下,通过目标业务组中的全部业务恢复至正常接口传输;在目标成功率0.8至0.9之间的情况下,将目标业务组中的部分业务从降级后的传输接口恢复至正常接口,或者,将部分业务从熔断恢复至传输(可以是正常接口传输,也可以是降级后的传输接口传输);在目标成功率0.5至0.8之间的情况下,将全部业务从熔断恢复到至传输(可以是正常接口传输,也可以是降级后的传输接口传输)。
110.在本技术实施例中,通过在控制策略中设置第四子成功率、第五子成功率和第六子成功率,在目标成功率上升的情况下对目标业务组的业务数据进行部分接口或全部接口恢复至正常接口进行数据传输,提高网关传输业务数据的传输效率;同时,在目标成功率上升的情况下对部分业务或全部业务的数据传输进行恢复,以对目标业务组中的业务的数据进行传输,实现客户端和业务系统之间的数据交互。
111.请参见图5,图5是本技术实施例提供的一种数据传输监控装置的结构图,如图5所示,数据传输监控装置500包括:
112.接收模块501,用于接收网关发送的多个传输信息,每个所述传输信息用于表征在第一设定时间内所述业务数据单次传输的传输状态;
113.处理模块502,用于对所述多个传输信息进行统计,得到传输过程参数,所述传输过程参数用于表征在第一设定时间内所述业务数据的传输状态;
114.确定模块503,用于基于所述传输过程参数和控制策略确定目标信息,所述目标信息用于指示以下至少一项:是否对所述目标业务组的业务数据进行限流或解除限流,是否对所述目标业务组的业务数据进行降级或解除降级,是否对所述目标业务组的业务数据进行熔断或解除熔断;
115.发送模块504,用于向所述网关发送所述目标信息。
116.在一个实施例中,所述目标信息包括限流指示信息或解除限流指示信息,所述多个传输信息包括每秒访问率,所述传输过程参数包括目标访问率,所述目标访问率为所述多个传输信息的每秒访问率之和;所述确定模块503包括:
117.第一确定单元,用于在未对所述目标业务组的业务数据进行限流,且所述目标访问率大于第一访问阈值的情况下,确定所述目标信息为所述限流指示信息,所述限流指示信息用于指示对所述目标业务组的业务数据进行限流;
118.第二确定单元,用于在已对所述目标业务组的业务数据进行限流,且所述目标访问率小于或等于第二访问阈值的情况下,确定所述目标信息为所述解除限流指示信息,所述解除限流指示信息用于指示对所述目标业务组的业务数据解除限流,所述第二访问阈值小于或等于所述第一访问阈值。
119.在一个实施例中,所述多个传输信息还包括响应时间,所述传输过程参数还包括目标响应时间,所述目标响应时间为所述多个传输信息中的所述响应时间的平均值;其中,
120.按照以下方法设置所述第一访问阈值:
121.在所述目标响应时间小于或等于时间阈值的情况下,设置所述第一访问阈值为第一访问子阈值;在所述目标响应时间大于时间阈值的情况下,设置所述第一访问阈值为第二访问子阈值,所述第一访问子阈值大于所述第二访问子阈值。
122.在一个实施例中,所述多个传输信息还包括响应时间,所述传输过程参数还包括目标响应时间,所述目标响应时间为所述多个传输信息中的所述响应时间的平均值;其中,
123.按照以下方法设置所述第二访问阈值:
124.在所述目标响应时间小于或等于时间阈值的情况下,设置所述第二访问阈值为第三访问子阈值;在所述目标响应时间大于时间阈值的情况下,设置所述第二访问阈值为第四访问子阈值,所述第三访问子阈值大于所述第四访问子阈值。
125.在一个实施例中,所述目标信息包括降级熔断指示信息或恢复指示信息,所述多个传输信息包括传输标记,所述传输标记用于表征与目标业务组的业务数据是否传输成功,所述传输过程参数包括目标成功率,所述目标成功率为基于所述多个传输信息的传输标记确定的成功率;所述确定模块503包括:
126.第三确定单元,用于在未对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率小于第一成功率阈值的情况下,确定所述目标信息为所述降级熔断指示信息,所述降级熔断指示信息用于指示对所述目标业务组中的业务数据进行接口降级或熔断;
127.第四确定单元,用于在已对所述目标业务组的业务数据进行接口降级或熔断,且所述目标成功率大于第二成功率阈值的情况下,确定所述目标信息为所述恢复指示信息,所述恢复指示信息用于指示所述目标业务组中的业务数据接口恢复或解除熔断,所述第二成功率阈值大于或等于所述第一成功率阈值。
128.在一个实施例中,所述第一成功率阈值包括第一成功率子阈值、第二成功率子阈值和第三成功率子阈值中的至少部分;所述第一成功率子阈值大于所述第二成功率子阈值,所述第二成功率子阈值大于所述第三成功率子阈值;所述降级熔断指示信息为第一指示信息、第二指示信息或第三指示信息;
129.所述第三确定单元包括如下至少一项:
130.第一确定子单元,用于在未对所述目标业务组的业务数据进行接口降级,所述目标成功率小于所述第一成功率子阈值,且大于或等于所述第二成功率子阈值的情况下,确定所述目标信息为所述第一指示信息,所述第一指示信息用于指示所述网关将所述目标业
务组中的业务数据的传输接口降级;
131.第二确定子单元,用于在未对所述目标业务组的业务数据进行熔断,所述目标成功率小于所述第二成功率子阈值,且大于或等于所述第三成功率子阈值的情况下,确定所述目标信息为所述第二指示信息,所述第二指示信息用于指示对所述目标业务组中的业务数据熔断;
132.第三确定子单元,用于在未对所述目标业务组的业务数据全部熔断,且所述目标成功率小于所述第三成功率子阈值的情况下,确定所述目标信息为所述第三指示信息,所述第三指示信息用于指示对所述目标业务组中的业务数据全部熔断。
133.在一个实施例中,所述第二成功率阈值包括第四成功率子阈值、第五成功率子阈值和第六成功率子阈值中的至少部分;所述第四成功率子阈值大于所述第五成功率子阈值,所述第五成功率子阈值大于所述第六成功率子阈值,所述恢复指示信息为第一恢复子信息、第二恢复子信息或第三恢复子信息;
134.所述第四确定单元包括如下至少一项:
135.第四确定子单元,用于在已对所述目标业务组的业务数据进行降级,未对所述目标业务组的业务数据进行熔断,且所述目标成功率大于或等于所述第四成功率子阈值的情况下,确定所述目标信息为所述第一恢复子信息,所述第一恢复子信息用于指示对所述目标业务组的全部业务的业务数据恢复至降级前的传输接口;
136.第五确定子单元,用于在已对所述目标业务组的业务数据进行接口降级,对所述目标业务组的业务数据进行熔断,所述目标成功率大于或等于所述第五成功率子阈值,且小于所述第四成功率子阈值的情况下,确定所述目标信息为所述第二恢复子信息,所述第二恢复子信息用于指示对所述目标业务组的全部熔断的业务恢复传输,和/或,用于指示对所述目标业务组的业务数据恢复至降级前的传输接口;
137.第六确定子单元,用于在已对所述目标业务组的全部业务的业务数据传输进行熔断,所述目标成功率大于或等于所述第六成功率子阈值,且小于所述第五成功率子阈值的情况下,确定所述目标信息为所述第三恢复子信息,所述第三恢复子信息用于指示对所述目标业务组的熔断的业务恢复传输。
138.本技术实施例提供的数据传输监控装置为能实现上述数据传输监控方法的各实施例的各个过程,技术特征一一对应,且能达到相同的技术效果,为避免重复,这里不再赘述。
139.需要说明的是,本技术实施例中的数据传输监控装置可以是装置,也可以是电子设备中的部件、集成电路、或芯片。
140.本技术实施例还提供一种电子设备,参见图6,图6是本技术实施提供的一种电子设备的结构示意图,电子设备包括存储器601、处理器602和存储在存储器601上运行的程序或者指令,该程序或者指令被处理器602执行时可实现图1对应的方法实施例中的任意步骤及达到相同的有益效果,此处不再赘述。
141.其中,处理器602可以是中央处理单元(central processing unit,cpu)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field programmable gate array,fpga)或图形处理单元(graphics processing unit,gpu)。
142.本领域普通技术人员可以理解实现上述实施例方法的全部或者部分步骤是可以
通过程序指令相关的硬件来完成,所述的程序可以存储于一可读取介质中。
143.本技术实施例还提供一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现上述图1对应的方法实施例中的任意步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。所述的存储介质,如只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等。
144.本技术实施例中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。此外,本技术中使用“和/或”表示所连接对象的至少其中之一,例如a和/或b和/或c,表示包含单独a,单独b,单独c,以及a和b都存在,b和c都存在,a和c都存在,以及a、b和c都存在的7种情况。
145.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
146.通过以上的实施方式的描述,本领域的技术人员可以清楚地解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者第二终端设备等)执行本技术各个实施例的方法。
147.上面结合附图对本技术的实施例进行描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。
当前第1页1  
相关技术
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
网站地图