一种nfs服务器节点流量均衡方法、装置及存储系统
技术领域
1.本发明涉存储系统流量均衡技术领域,特别是涉及一种nfs服务器节点流量均衡方法、装置及存储系统。
背景技术:
2.存储系统分为集中式存储系统和分布式存储系统两类,在遇到流量风暴时都会造成数据流的拥塞,使得存储用户感知到卡顿的出现,影响用户体验。
3.现有解决存储流量拥塞的方案主要包括增加固定硬盘存储方式或多nfs(network file system,网络文件系统)服务器主备方式;其中,增加固定硬盘存储方式是通过提升固态硬盘存储池的占比,甚至采用全闪(服务器节点全部采用固态硬盘)的技术路径,来消纳巨大的数据流,但此方案在实际应用中势必会大大提高存储系统的构建成本;同时,图1所示的多nfs服务器主备方式虽然能通过冗余备份的模式扩大带宽和通道来,进而一定程度上实现低成本提升数据流处理能力,但这种主备运行模式缺少nfs服务器间的动态流量均衡,依然存在存储聚集式拥塞的风险。
技术实现要素:
4.本发明的目的是提供一种nfs服务器节点流量均衡方法,通过多nfs服务器并行且互为备份的运行模式,结合特定的nfs服务器节点流量均衡策略,解决现有存储系统大流量场景时极易出现存储集聚式拥塞的应用缺陷,提高流量处理并行度的同时,实现nfs服务器节点间的流量均衡,提高数据处理效率、平衡磁盘损耗、延长磁盘使用寿命以及降低运维成本,为存储系统的长期稳定运行提供可靠保障。
5.为了实现上述目的,有必要针对上述技术问题,提供一种nfs服务器节点流量均衡方法、装置及存储系统。
6.第一方面,本发明实施例提供了一种nfs服务器节点流量均衡方法,所述方法包括以下步骤:
7.响应于nfs服务器和运算服务器的启用,根据nfs服务器数量和运算服务器数量,将所有运算服务器随机平分至各个nfs服务器,并将所有运算服务器加入运算服务集合,以及将所有nfs服务器加入nfs服务集合;
8.定期采集各个运算服务器和各个nfs服务器的单位时间流量,更新至存储数据库中对应的流量状态记录,并根据所述流量状态记录的更新情况,更新所述运算服务集合和所述nfs服务集合;
9.根据更新后的流量状态记录,将所述运算服务集合中的各个运算服务器标记对应的流量标签,并将所述nfs服务集合中的各个nfs服务器标记对应的权重标签;
10.根据所述流量标签和所述权重标签,为所述运算服务集合中各个运算服务器重新分配所述nfs服务集合中待挂载nfs服务器。
11.进一步地,所述存储数据库包括etcd数据库。
12.进一步地,所述根据所述流量状态记录的更新情况,更新所述运算服务集合和所述nfs服务集合的步骤包括:
13.当开始执行各个运算服务器和各个nfs服务器的单位时间流量的采集任务时,开启等待记录更新定时任务,并在超过预设等待时长时,获取未完成对应流量状态记录更新的运算服务器和nfs服务器;
14.将各个未完成流量状态记录更新的运算服务器和nfs服务器分别从对应的所述运算服务集合和所述nfs服务集合中移除。
15.进一步地,所述将各个未完成流量状态记录更新的运算服务器和nfs服务器分别从对应的所述运算服务集合和所述nfs服务集合中移除的步骤之后,还包括:
16.判断运算服务集合中各个运算服务器的单位时间流量是否超过第一流量阈值,并将超过第一流量阈值的运算服务器移除所述运算服务集合;
17.判断nfs服务集合中各个nfs服务器的单位时间流量是否超过第二流量阈值,并将超过第二流量阈值的nfs服务器移除所述nfs服务集合。
18.进一步地,所述方法还包括:
19.将超过第一流量阈值的运算服务器对应的流量状态记录中添加异常运算服务标记,并在断开nfs连接后,拒绝接入nfs服务器,直至对应的异常运算服务标记清除。
20.进一步地,所述根据更新后的流量状态记录,将所述运算服务集合中的各个运算服务器标记对应的流量标签,并将所述nfs服务集合中的各个nfs服务器标记对应的权重标签的步骤包括:
21.将所述运算服务集合中的运算服务器按照对应所述流量状态记录中的单位时间流量进行排序,并根据对应的排序位次,将各个运算服务器标记对应的流量标签;
22.将所述nfs服务集合中的nfs服务器按照对应所述流量状态记录中的单位时间流量进行排序,并根据对应的排序位次,将各个nfs服务器标记对应的权重标签。
23.进一步地,所述根据所述流量标签和所述权重标签,为所述运算服务集合中各个运算服务器重新分配所述nfs服务集合中待挂载nfs服务器的步骤包括:
24.根据各个运算服务器的流量标签和所述nfs服务集合中nfs服务器的数量,对所述运算服务集合中的运算服务器进行分组,得到若干个运算服务器组;
25.根据公交车算法,为各个运算服务器组中的运算服务器分配对应的待挂载nfs服务器。
26.进一步地,所述方法,还包括:
27.响应于新运算服务器接入存储数据库,初始化所述存储数据库中对应的流量状态记录,并将所述新运算服务器分配至所述nfs服务集合中权重标签中权重最低的nfs服务器。
28.第二方面,本发明实施例提供了一种nfs服务器节点流量均衡装置,所述装置包括:
29.服务集合生成模块,用于响应于nfs服务器和运算服务器的启用,根据nfs服务器数量和运算服务器数量,将所有运算服务器随机平分至各个nfs服务器,并将所有运算服务器加入运算服务集合,以及将所有nfs服务器加入nfs服务集合;
30.服务集合更新模块,用于定期采集各个运算服务器和各个nfs服务器的单位时间
流量,更新至存储数据库中对应的流量状态记录,并根据所述流量状态记录的更新情况,更新所述运算服务集合和所述nfs服务集合;
31.状态标签维护模块,用于根据更新后的流量状态记录,将所述运算服务集合中的各个运算服务器标记对应的流量标签,并将所述nfs服务集合中的各个nfs服务器标记对应的权重标签;
32.节点流量均衡模块,用于根据所述流量标签和所述权重标签,为所述运算服务集合中各个运算服务器重新分配所述nfs服务集合中待挂载nfs服务器。
33.第三方面,本发明实施例还提供了一种存储系统,包括多个nfs服务器和多个运算服务器,所述nfs服务器间的节点流量均衡采用上述方法的步骤。
34.上述本技术提供了一种nfs服务器节点流量均衡方法、装置及存储系统,通过所述方法,实现了响应于nfs服务器和运算服务器的启用,根据nfs服务器数量和运算服务器数量,将所有运算服务器随机平分至各个nfs服务器,并将所有运算服务器加入运算服务集合,以及将所有nfs服务器加入nfs服务集合后,定期采集各个运算服务器和各个nfs服务器的单位时间流量,更新至存储数据库中对应的流量状态记录,并根据流量状态记录的更新情况,更新运算服务集合和nfs服务集合,以及根据更新后的流量状态记录,将运算服务集合中的各个运算服务器标记对应的流量标签,将nfs服务集合中的各个nfs服务器标记对应的权重标签,并根据流量标签和权重标签,为运算服务集合中各个运算服务器重新分配nfs服务集合中待挂载nfs服务器的技术方案。与现有技术相比,能够通过多nfs服务器并行且互为备份的运行模式,结合特定的nfs服务器节点流量均衡策略的方式,提高流量处理并行度的同时,实现nfs服务器节点间的动态流量均衡,不仅能提高存储系统的数据处理效率,有效避免大流量场景时出现存储集聚式拥塞风险,而且能够平衡磁盘损耗、延长磁盘使用寿命以及降低运维成本,进而为存储系统的长期稳定运行提供可靠保障。
附图说明
35.图1是现有多nfs服务器主备模式存储系统的运行示意图;
36.图2是本发明实施例中多个激活nfs服务器并行且互为备份的运行模式结合nfs服务器节点流量均衡策略的存储系统的运行示意图;
37.图3是本发明实施例中nfs服务器节点流量均衡方法的流程示意图;
38.图4是本发明实施例中nfs服务器节点初始分配连接示意图;
39.图5是本发明实施例中nfs服务器节点基于流量动态均衡的分配连接示意图;
40.图6是本发明实施例中nfs服务器节点流量均衡装置的结构示意图。
具体实施方式
41.为了使本技术的目的、技术方案和有益效果更加清楚明白,下面结合附图及实施例,对本发明作进一步详细说明,显然,以下所描述的实施例是本发明实施例的一部分,仅用于说明本发明,但不用来限制本发明的范围。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
42.本发明提供的nfs(network file system,网络文件系统)服务器节点流量均衡方法是基于图1所示的现有多nfs服务器主备模式存储系统在面临大流量接入场景时,仍存在
存储聚集式拥塞风险的情况而做出的改进,如图2所示,通过多个激活nfs服务器并行且互为备份的运行模式结合基于流量动态平衡的nfs服务器节点负载均衡策略,提高流量处理并行度且实现nfs服务器节点间高效且可靠地动态流量均衡,能有效提高存储系统的数据处理效率,避免大流量场景的存储集聚式拥塞风险的同时,还能有效平衡磁盘损耗、延长磁盘使用寿命以及降低运维成本。下述实施例将对本发明的nfs服务器节点流量均衡方法进行详细说明。
43.在一个实施例中,如图3所示,提供了一种nfs服务器节点流量均衡方法,包括以下步骤:
44.s11、响应于nfs服务器和运算服务器的启用,根据nfs服务器数量和运算服务器数量,将所有运算服务器随机平分至各个nfs服务器,并将所有运算服务器加入运算服务集合,以及将所有nfs服务器加入nfs服务集合;其中,nfs服务器数量和运算服务器数量可通过接入存储数据库的信息统计得到;在实际应用中,存储系统会包括多个nfs服务器和多个用于管理分布式文件系统并挂载在nfs服务器上响应客户端文件访问操作的运算服务器,且每个nfs服务器用于管理节点上附带的固态硬盘存储池和/机械硬盘存储池,各个nfs服务器可理解为对应存储系统内的网关服务器(接入点服务器)节点,相应的各个运算服务器可理解为对应存储系统内的数据节点;当各个nfs服务器和运算服务器启用时,会先接入存储数据库初始化存储数据库中对应的流量状态记录,此时就可以统计出当前存储系统的nfs服务器数量和运算服务器数量。
45.本实施例中的存储数据库原则上用于维护各个服务器流量状态的存储数据库可采用任一满足应用需求的分布式数据库,但考虑到大流量场景下节点流量均衡处理的高效、高可靠以及数据一致性等需求,本实施例优选的将存储数据库设为etcd数据库;由于etcd数据库是一个高可用性和高可靠性的分布式键值数据库,不仅能有效满足大流量场景下的应用需求,而且只需要在每个服务机器上部署一个相应的etcd客户端就可以确保各个服务机器都能互相连接,便于集群内部数据共享,进而为后续进行高效可靠的节点流量动态均衡提供有效的基础支持。
46.在上述存储数据库中维护的流量状态记录可理解为是用于定期维护每个nfs服务器和运算服务器启动运行后流量状态数据的信息记录;其中,nfs服务器对应的流量状态记录包括单位时间流量和对应的权重标签,当nfs服务器初次接入到存储数据库时,将对应的单位时间流量初始化为0,且对应的权重标签设为最低权重等级标签;运算服务器对应的流量状态记录包括单位时间流量和对应的流量标签,当运算服务器初次接入到存储数据库时,将对应的单位时间流量初始化为0,且对应的流量标签设为最低流量等级标签。
47.在各个nfs服务器和运算服务器刚启用时,原则上没有流量接入,如图4所示,此时直接根据nfs服务器数量和运算服务器数量确定每个nfs服务器上可平均挂载的运算服务器数目后,就按照可平均挂载的运算服务器数目为各个运算服务器随机分配对应挂载连接的nfs服务器,然后各个运算服务器就可以通过自动挂载程序autonfs向对应分配的nfs服务器发起挂载请求并完成挂载连接,在满足基于流量分配挂载对象原则的基础上,能保证初始运算服务器分配挂载对象的公平性和合理性;
48.上述运算服务集合可以理解为是用于维护正常可用,允许挂载nfs服务器的运算服务器的容器,在实际应用中也可根据应用需求采用队列的形式存储;同理,nfs服务集合
可理解为是用于维护正常可用nfs服务器的容器,在实际应用中也可根据应用需求采用队列的形式存储;需要说明的是,存储系统刚开始接入流量运行时,默认每个运算服务器和nfs服务器都是可以用,即将所有接入存储数据库更新流量状态记录的服务器都默认加入相应的集合完成集合初始化,后续随着流量的不断接入就会根据动态监测的各个服务器的运行情况对运算服务集合和nfs服务集合进行更新,以保证动态均衡处理的可靠性和有效性。
49.s12、定期采集各个运算服务器和各个nfs服务器的单位时间流量,更新至存储数据库中对应的流量状态记录,并根据所述流量状态记录的更新情况,更新所述运算服务集合和所述nfs服务集合;其中,单位时间流量可理解为是每两次采集各个服务器流量的时间间隔内的服务器流量,可以采用当前采集的流量减去上一次采集的流量作差的方式计算得到;每个服务器采集得到的对应单位时间流量均会存入存储数据库,用于后续的流量均衡计算使用;需要说明的是,存入流量状态记录的也可以是采集的各个服务器运行过程中的累积流量,后续流量均衡计算时将最近采集的两次累积流量直接作差得到单位时间流量再使用;
50.大流量接入场景,运算服务器和nfs服务器的处理都要高效及时,才能保证流量数据的正常处理,进而避免用户的不良体验,当然流量均衡处理过程是否高效及时会直接影响各个运算服务器和nfs服务器的运行性能,进而影响整个存储系统的服务性能;考虑到流量均衡处理的时效性要求,为了保证整个存储系统的服务性能,本实施例优选的对每个服务器采集流量更新对应流量状态记录的时长进行管理,将超限更新的服务器从维护可用服务器中集合中剔除,以避免因个别服务器更新异常影响整个存储系统内节点流量的均衡处理,导致系统服务性能降低风险的发生;具体的,所述根据所述流量状态记录的更新情况,更新所述运算服务集合和所述nfs服务集合的步骤包括:
51.当开始执行各个运算服务器和各个nfs服务器的单位时间流量的采集任务时,开启等待记录更新定时任务,并在超过预设等待时长时,获取未完成对应流量状态记录更新的运算服务器和nfs服务器;其中,预设等待时长可根据实际应用需求设置,此处不作限定;需要说明的是,用于管理运算服务器更新时效的等待时长与用于管理nfs服务器更新时效的等待时长可以相同也可以不同,根据实际需求设置即可;
52.将各个未完成流量状态记录更新的运算服务器和nfs服务器分别从对应的所述运算服务集合和所述nfs服务集合中移除;需要说明的是,考虑到未在预设等待时长内完成记录更新的运算服务器和nfs服务器可能存在网络通信异常或自身计算资源异常等情况,可能需要进行定位分析以保证后续能正常使用,有效提升资源利用率,本实施例优选地,在将未完成流量状态记录更新的运算服务器和nfs服务器分别从对应的运算服务集合和nfs服务集合中移除时,还发出相应的告警信息,以提示相关运维人员及时介入。
53.本实施例对各个运算服务器和nfs服务器更新流量状态进行时限管理,以及将超过预设等待时长的运算服务器/nfs服务器从维护可用服务器的运算服务集合/nfs服务集合中剔除,不仅能有效保证节点流量均衡处理的及时高效,而且能有效避免因个别服务器异常影响其他服务器正常接入流量,进而降低整个存储系统可用性的风险。
54.此外,为了避免个别运算服务器和nfs服务器接入流量过多造成局部流量阻塞,服务器处理效率低下的问题,本实施优选地对各个服务器接入流量进行动态监控,通过限制
高流量运算服务器挂载和限定高流量nfs服务器增加nfs连接的方式,避免高负载nfs服务器超出服务上限,提高存储系统的整体服务效率;具体的,所述将各个未完成流量状态记录更新的运算服务器和nfs服务器分别从对应的所述运算服务集合和所述nfs服务集合中移除的步骤之后,还包括:
55.判断运算服务集合中各个运算服务器的单位时间流量是否超过第一流量阈值,并将超过第一流量阈值的运算服务器移除所述运算服务集合;其中,第一流量阈值可基于运算服务器的历史流量基线数据或其他方式合理制定,用于判断运算服务器是否接近对应的处理上限,此处不作具体限定;原则上将超出第一流量阈值运算服务器移除运算服务集合,当前均衡处理不为其分配挂载nfs服务器即可保证存储系统的运行效率,但考虑到实际运行中超出第一流量阈值运算服务器往往存在某种需要人工干扰排除的异常,若继续接入可能会造成被挂载nfs服务器的负载异常,需要短期内拒绝挂载,但待该运算服务器异常排除后仍可继续服务的情况,为了避免运算服务器异常时继续挂载降低整个存储系统服务性能的同时,保证运算服务器异常恢复时,资源不浪费,提高运算服务器资源的利用率,本实施例优选地,将流量超限的运算服务器剔除运算服务集合时,在存储数据库的相应流量状态记录中增加异常运算服务标记,避免异常运算服务器挂载的同时,便于后续及时恢复使用;具体的,还包括:
56.将超过第一流量阈值的运算服务器对应的流量状态记录中添加异常运算服务标记,并在断开nfs连接后,拒绝接入nfs服务器,直至对应的异常运算服务标记清除;其中,异常运算服务标记的内容可根据实际应用需求设置,比如,考虑到运算服务器为nfs服务器的客户端,可添加异常客户端(badclient)的标记;需要说明的是,为了尽早解除流量超限运算服务器的异常处理,恢复资源利用,可以在被添加异常运算服务标记时,发出相应的告警信息,以提醒运维人员及时介入进行故障定位分析。
57.判断nfs服务集合中各个nfs服务器的单位时间流量是否超过第二流量阈值,并将超过第二流量阈值的nfs服务器移除所述nfs服务集合;其中,第二流量阈值可基于nfs服务器的历史流量基线数据或其他方式合理制定,用于判断nfs服务器是否接近服务上限的阈值,以有效防范高负载服务器持续过载影响整体服务效率的风险发生,此处不作具体限定;需要说明的是,此处将超过第二流量阈值的nfs服务器移除nfs服务集合可理解为是暂时不为此nfs服务器排序分配挂载的运算服务器,即暂时拒接新连接,直至根据下一周期采集的流量数据分析再次确定是否符合服务条件,加入nfs服务集合;另外,上述通过流量阈值对nfs服务器进行流量管控的方式,不仅可以基于单位时间流量进行管理,而且可以基于累计流量进行管理,还可以将档位时间流量与累计流量结合进行相应的流量均衡处理,此处不作详述。
58.s13、根据更新后的流量状态记录,将所述运算服务集合中的各个运算服务器标记对应的流量标签,并将所述nfs服务集合中的各个nfs服务器标记对应的权重标签;其中,流量标签可理解为标识各个运算服务器当前统计周期内处理流量大小的标签;权重标签可理解为是标识各个nfs服务器根据当前统计周期内接入的流量大小判断当前负载程度,以及下一周期允许接入流量大小的标签;
59.在实际应用中,流量标签和权重标签可按照对应的预设流量分段范围设置等级等方式实现,但考虑到节点流量均衡的高效性要求,本实施例优选地采用基于流量排序的方
式设置动态更新对应的流量标签和权重标签,以实现简单高效的标签标记,提升整体流量均衡处理的效率;具体的,所述根据更新后的流量状态记录,将所述运算服务集合中的各个运算服务器标记对应的流量标签,并将所述nfs服务集合中的各个nfs服务器标记对应的权重标签的步骤包括:
60.将所述运算服务集合中的运算服务器按照对应所述流量状态记录中的单位时间流量进行排序,并根据对应的排序位次,将各个运算服务器标记对应的流量标签;其中,流量标签与对应的排序位次对应,比如,将运算服务器的单位时间流量数据按照升序排列,并依次打上da、db、dc、dd、de、df等流量标签(流量依次增大的标签);
61.将所述nfs服务集合中的nfs服务器按照对应所述流量状态记录中的单位时间流量进行排序,并根据对应的排序位次,将各个nfs服务器标记对应的权重标签;其中,权重标签也同样与对应的排序位次对应,比如,将nfs服务器的单位时间流量数据按照升序排列,并依次打上pa、pb、pc、pd、pe、pf等权重标签(流量负载依次增大的标签)。
62.s14、根据所述流量标签和所述权重标签,为所述运算服务集合中各个运算服务器重新分配所述nfs服务集合中待挂载nfs服务器;其中,待挂载nfs服务器的分配原则可理解为是低流量标签的运算服务器分配高权重标签的nfs服务器,以实现多个nfs服务器间节点流量的动态平衡;具体的,如图5所示,所述根据所述流量标签和所述权重标签,为所述运算服务集合中各个运算服务器重新分配所述nfs服务集合中待挂载nfs服务器的步骤包括:
63.根据各个运算服务器的流量标签和所述nfs服务集合中nfs服务器的数量,对所述运算服务集合中的运算服务器进行分组,得到若干个运算服务器组;其中,运算服务器组可理解为是根据得到的流量标签排序依次选取对应数量的多个流量大小相近的运算服务器组成的同一流量等级的运算服务器集合;
64.根据公交车算法,为各个运算服务器组中的运算服务器分配对应的待挂载nfs服务器;其中,公交车算法可理解为是实现将流量标签排序在前的运算服务器先分配到权重标签排序在后的nfs服务器,就能保证按照流量均衡原则建立连接,参考现有公交车算法实现即可,此处不作详述。
65.本实施例提供的多个激活nfs服务器并行且互为备份的运行模式,与现有一个nfs服务器激活使用,多个nfs服务器备份的主备模式相比,能有效提高流量处理的并行度;同时,基于多个激活nfs服务器互为备份运行模式优选设计的特定的nfs服务器节点流量均衡策略,实现了nfs服务器节点间流量的高效且合理的动态均衡,不仅能提升系统的数据处理效率,有效避免大流量场景的存储集聚式拥塞风险,而且能有效平衡各个nfs服务器管理的磁盘损耗、延长磁盘使用寿命以及降低运维成本,为存储系统的长期稳定运行提供可靠保障。
66.需要说明的是,本实施例中通过部署存储数据库存储各个服务器的流量状态记录,不仅可以为上述流量均衡处理步骤中流量标签和权重标签的设定提供依据,而且能为运算服务器和nfs服务器的流量超限监测中所使用的流量阈值提供制定依据,还能为基于存储数据库内保存的状态历史信息对各个服务器和整个存储系统进行运行状态分析,对应分析报告的出具,以及相应调优策略的制定等提供更多可靠的数据支撑,便于对各个服务器乃至整个存储系统的清晰管理。
67.此外,考虑到存储系统运行过程中,基于业务需求,可能会出现有新的运算服务器
接入存储系统,且接入时间点在两次采集数据的单位时间之内的情况,为了及时高效地为新启用的运算服务器提供存储服务,支撑更多应用场景,本实施例优选地,实时监测新运算服务器的启用,并及时分配可挂载nfs服务器;具体的,所述方法,还包括:
68.响应于新运算服务器接入存储数据库,初始化所述存储数据库中对应的流量状态记录,并将所述新运算服务器分配至所述nfs服务集合中权重标签中权重最低的nfs服务器;其中,新运算服务器启用连接存储数据库后,也会将对应的单位时间流量初始化为0,且对应的流量标签设为最低流量等级标签,等待下一次统一采集单位时间流量时再进行更新;原则上新接入的运算服务器的流量较少可直接接入当前处理流量较大的nfs服务器,但考虑到新接入运算服务器也存在着引入未知大流量的风险,为了避免被接入nfs服务器直接过载,降低整个存储系统的可靠性的情况,本实施例优选地根据最近一次得到的各个nfs服务器的权重标签将新运算服务器默认匹配至权重标签中权重最低(负载最低)的nfs服务器。
69.本技术实施例提供的nfs服务器和运算服务器启用时,将所有运算服务器随机平分至各个nfs服务器,且将所有运算服务器和nfs服务器分别加入至对应的运算服务集合和nfs服务集合后,定期采集各个运算服务器和各个nfs服务器的单位时间流量,更新至对应的流量状态记录,并根据流量状态记录的更新情况,更新运算服务集合和nfs服务集合,以及根据更新后的流量状态记录,为运算服务集合中的运算服务器标记对应的流量标签,为nfs服务集合中的nfs服务器标记对应的权重标签,并根据流量标签和权重标签为运算服务集合中运算服务器重新分配nfs服务集合中待挂载nfs服务器,以及在监测到有新运算服务器接入存储数据库完成对应的流量状态记录初始化后,将新运算服务器分配至nfs服务集合中权重标签中权重最低的nfs服务器的技术方案,以多个激活nfs服务器并行且互为备份的运行模式替换现有一个nfs服务器激活且多个nfs服务器备份的主备模式,结合基于多个激活nfs服务器互为备份运行模式优选设计的特定的基于节点流量设置的节点动态标签确定数据流向和动态挂载点的nfs服务器节点流量均衡策略,有效提高流量处理的并行度的同时,实现不同应用场下nfs服务器间的节点流量高效合理的动态均衡,不仅能提升系统的数据处理效率,有效避免大流量场景的存储集聚式拥塞风险,而且能有效平衡各个nfs服务器管理的磁盘损耗、延长磁盘使用寿命以及降低运维成本,还能实现可靠的历史信息回溯,为基于存储数据库内保存的状态历史信息对各个服务器和整个存储系统进行运行状态分析,直观历史分析报告的出具,以及相应调优策略的制定等提供更多可靠的数据支撑,便于对各个服务器乃至整个存储系统的清晰管理,为存储系统的长期稳定运行提供可靠保。
70.需要说明的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。
71.在一个实施例中,如图6所示,提供了一种nfs服务器节点流量均衡装置,所述装置包括:
72.服务集合生成模块1,用于响应于nfs服务器和运算服务器的启用,根据nfs服务器数量和运算服务器数量,将所有运算服务器随机平分至各个nfs服务器,并将所有运算服务器加入运算服务集合,以及将所有nfs服务器加入nfs服务集合;
73.服务集合更新模块2,用于定期采集各个运算服务器和各个nfs服务器的单位时间
流量,更新至所述存储数据库中对应的流量状态记录,并根据所述流量状态记录的更新情况,更新所述运算服务集合和所述nfs服务集合;
74.状态标签维护模块3,用于根据更新后的流量状态记录,将所述运算服务集合中的各个运算服务器标记对应的流量标签,并将所述nfs服务集合中的各个nfs服务器标记对应的权重标签;
75.节点流量均衡模块4,用于根据所述流量标签和所述权重标签,为所述运算服务集合中各个运算服务器重新分配所述nfs服务集合中待挂载nfs服务器。
76.关于一种nfs服务器节点流量均衡装置的具体限定可以参见上文中对于一种nfs服务器节点流量均衡方法的限定,对应的技术效果也可等同得到,在此不再赘述。上述一种nfs服务器节点流量均衡装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
77.在一个实施例中,提供了一种存储系统,包括多个nfs服务器和多个运算服务器,其特征在于,所述nfs服务器间的节点流量均衡采用上述方法的步骤。
78.综上,本发明实施例提供的一种nfs服务器节点流量均衡方法、装置及存储系统,其nfs服务器节点流量均衡方法实现了当nfs服务器和运算服务器启用时,响应于nfs服务器和运算服务器的启用,根据nfs服务器数量和运算服务器数量,将所有运算服务器随机平分至各个nfs服务器,并将所有运算服务器加入运算服务集合,以及将所有nfs服务器加入nfs服务集合后,定期采集各个运算服务器和各个nfs服务器的单位时间流量,更新至存储数据库中对应的流量状态记录,并根据流量状态记录的更新情况,更新运算服务集合和所述nfs服务集合,以及根据更新后的流量状态记录,将运算服务集合中的各个运算服务器标记对应的流量标签,将nfs服务集合中的各个nfs服务器标记对应的权重标签,并根据流量标签和权重标签,为运算服务集合中各个运算服务器重新分配nfs服务集合中待挂载nfs服务器技术方案,该方法以多个激活nfs服务器并行且互为备份的运行模式替换现有一个nfs服务器激活且多个nfs服务器备份的主备模式,结合基于多个激活nfs服务器互为备份运行模式优选设计的特定的基于节点流量设置的节点动态标签确定数据流向和动态挂载点的nfs服务器节点流量均衡策略,有效提高流量处理的并行度的同时,实现不同应用场下nfs服务器间的节点流量高效合理的动态均衡,不仅能提升系统的数据处理效率,有效避免大流量场景的存储集聚式拥塞风险,而且能有效平衡各个nfs服务器管理的磁盘损耗、延长磁盘使用寿命以及降低运维成本,还能实现可靠的历史信息回溯,为基于存储数据库内保存的状态历史信息对各个服务器和整个存储系统进行运行状态分析,直观历史分析报告的出具,以及相应调优策略的制定等提供更多可靠的数据支撑,便于对各个服务器乃至整个存储系统的清晰管理,为存储系统的长期稳定运行提供可靠保。
79.本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
80.以上所述实施例仅表达了本技术的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本技术的保护范围。因此,本技术专利的保护范围应以所述权利要求的保护范围为准。