一种基于分布式存储的管理调度系统及方法与流程

1.本发明属于存储调度管理领域，特别是涉及一种基于分布式存储的管理调度系统及方法。

背景技术：

2.分布式存储在实际使用中，经常碰到存储接入数和容量资源使用不均衡的情况。主要是因为早期老旧存储节点的并发性能不足，在使用中，平台预先开通的业务模型，无法根据业务发展情况，结合存储性能、存储可用容量进行动态模型调整，导致大量存储时长较小的视频空间开通到了低性能的存储点位，使存储节点的并发性能过早到达瓶颈无法再开通空间，造成大量存储空间资源浪费。

技术实现要素：

3.本发明的目的是在视频监控云平台和分布式存储技术的基础上，进行动态业务组模型变更，基于一定时间段内对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态的调整原有区域的业务组模型，形成最优业务组模型,以提高平台开通空间响应速度，并实现存储性能及容量资源使用的最大化。
4.为实现上述目的，本发明提供了如下方案：一种基于分布式存储的管理调度方法，包括：
5.系统在初始化期间会基于人工配置基础数据或基于导入的基础业务数据，每一条业务数据对应形成一个业务模型，业务模型中记录开通的业务类型及不同业务的预计或实际开通占比，多个业务模型形成业务组模型；
6.基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；
7.根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，形成最优业务组模型；所述最优业务组为最符合业务实际开通情况的资源需求，实现存储性能及容量资源使用的最大化。
8.优选地，所述基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析的过程包括，
9.基于分布式存储管理平台，读取数据库数据获取客户的历史业务开通数据，统计各存储区域的各业务模型的开通数量，并根据区域、业务组类型，按照数量多少进行排序，获得排序结果；根据所述排序结果分别对各区域进行动态建模，查各区域下的存储信息及已经开通的业务组模型。
10.优选地，根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型的过程包括，
11.基于目标区域下的存储信息及已经开通的业务组模型，判断上一周期开通数量最多的业务组模型是否存在，若已经存在，统计业务组类型的剩余数量；
12.若不存在，查所述目标区域下是否有合适的存储开通此类型的业务组模型；若有，动态修改存储区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
13.优选地，在所述统计业务组类型的剩余数量的过程中还包括，所述业务组类型的剩余数量小于历史类型业务组开通数时，从所述目标区域的其他业务组模型扣除资源补充给所述业务组模型。
14.优选地，查所述目标区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查共享区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
15.优选地，查所述共享区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查上级区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
16.一种基于分布式存储的管理调度系统，包括，
17.外部平台及与所述外部平台对应的外部接口、内部系统及与所述内部系统对应的对外接口、应用层、服务网关、能力层、数据层、资源层；
18.其中，所述内部系统、外部平台分别通过对外接口、外部接口实现管理调度系统与外部的信息交互；
19.所述应用层用于通过划分区域实现数据信息的存储、管理与调度。
20.优选地，所述外部平台至少包括存储厂商平台，所述外部接口至少包括流媒体存储管理接口；
21.所述内部系统至少包括流媒体存储系统、视频接入云平台、统一运维、业务管理平台；
22.所述对外接口至少包括流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口；
23.其中，所述存储厂商平台与所述流媒体存储管理接口对应连接；
24.所述流媒体存储系统、视频接入云平台、统一运维、业务管理平台分别与所述流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口对应连接。
25.优选地，所述应用层包括用户管理单元、存储管理单元、日志管理单元、报表统计单元、资源调度单元、监控告警单元；
26.所述用户管理单元用于实现客户管理、管理员管理以及操作员管理；
27.所述存储管理单元用于实现存储告警、本地存储管理、数据节点管理、本地节点管理、磁盘管理、本地空间管理、空间管理、流媒体存储管理、白名单管理、信源管理；
28.所述日志管理单元用于管理系统日志、管理员操作日志、客户操作日志；
29.所述报表统计单元用于实现存储数据统计、客户数据统计、业务数据统计以及预定单管理；
30.所述资源调度单元用于实现共享配置、就近存储、优先配置、业务资源受理以及存储建模；
31.所述监控告警单元用于数据节点监控、流媒体存储监控、存储设备告警、流媒体存储告警、智慧运维、智慧存储、业务故障受理。
32.优选地，所述资源层用于进行边缘存储、云端存储、云存储、软件定义存储、天翼云存储以及块数据对接。
33.本发明公开了以下技术效果：
34.本发明提供的一种基于分布式存储的管理调度系统及方法，基于分布式存储管理平台进行动态业务组建模，实现存储资源动态分配，提高存储资源利用率，首先基于分布式存储管理平台对下属的存储进行性能、容量资源、已开通的业务组模型的管理，统计相应时间段内的各区域业务开通情况并进行分析，根据分析结果动态的调整原有区域的业务组模型，开通常用业务组类型，避免因为平台预先开通的业务组类型不适配实际空间业务开通情况，造成平台响应效率降低，程序临时拆分生成业务组也无法充分考虑存储性能、存储可用容量的总和配比，容易造成存储的资源浪费现象，动态建模充分实现了存储性能及容量资源使用的最大化。
35.本发明将用户业务空间调度开通到存储性能和存储可用容量综合配比最优的存储节点上，提高存储资源的利用率；另外，不仅对本区域的存储资源进行建模调度分配，还同时可对关联区域的存储节点进行动态建模管理调度，最大程度提高了平台动态建模的灵活性和存储资源利用率。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明实施例的方法流程图；
38.图2为本发明实施例的系统结构示意图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
41.如图1所示，本发明提供了一种基于分布式存储的管理调度方法,包括：
42.系统在初始化期间会基于人工配置基础数据或基于导入的基础业务数据，每一条业务数据对应形成一个业务模型，业务模型中记录开通的业务类型及不同业务的预计或实际开通占比，多个业务模型形成业务组模型；
43.基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；
44.根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，形成最优业务组模型；所述最优业务组为最符合业务实际开通情况的资源需求，实现存储性能及容量资源使用的最大化。
45.进一步地优化方案，所述基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析的过程包括，
46.基于分布式存储管理平台，读取数据库数据获取客户的历史业务开通数据，统计各存储区域的各业务模型的开通数量，并根据区域、业务组类型，按照数量多少进行排序，获得排序结果；根据所述排序结果分别对各区域进行动态建模，查各区域下的存储信息及已经开通的业务组模型。
47.进一步地优化方案，根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型的过程包括，
48.基于目标区域下的存储信息及已经开通的业务组模型，判断上一周期开通数量最多的业务组模型是否存在，若已经存在，统计业务组类型的剩余数量；在所述统计业务组类型的剩余数量的过程中，当所述业务组类型的剩余数量小于历史类型业务组开通数时，从所述目标区域的其他业务组模型扣除资源补充给所述业务组模型。
49.若不存在，查所述目标区域下是否有合适的存储开通此类型的业务组模型；若有，动态修改存储区域的业务组模型后，预先开通最优业务组模型；实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
50.查所述目标区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查共享区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
51.查所述共享区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查上级区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。
52.在所述统计业务组类型的剩余数量的过程中还包括，所述业务组类型的剩余数量小于历史类型业务组开通数时，从所述目标区域的其他业务组模型扣除资源补充给所述业务组模型。
53.进一步地优化方案，下面依据上述过程进行具体的论述：
54.1、系统启动定时任务，读取数据库数据，获取一周时间内客户业务开通情况；
55.2、统计每个目标区域的各种模型开通数量，并根据区域、业务组类型，按照数量从多到少进行排序；
56.3、对各区域逐一进行动态建模，查区域下的存储ip信息及存储已经开通的业务组模型；
57.4、若该区域下，统计出的上一个周期开通数量最多的业务组模型，已经存在，则统计此业务组类型的剩余数量，剩余数量小于上周此类型业务组开通数的，从该存储下其他模型扣除资源补充给该模型
58.5、若该区域下，统计出的上一个周期开通数量最多的业务组模型，不存在，遍历查该区域下是否有合适的存储开通此类型的业务模型(将存储性能、存储可用容量进行综合配比，低性能的存储不适合开通低码率且天数少的业务组模型)。
59.6、如果该区域下有合适的存储开通此类型的业务组模型，动态修改存储原有模型，预先开通此类模型，开通数量和统计结果相同；
60.7、如果该区域下没有合适的存储开通此类型的业务组模型，查共享区域，若共享区域下有合适的存储，动态修改共享区域下存储原有模型，预先开通此类模型，开通数量和统计结果相同；
61.8、如果共享区域下没有合适的存储开通此类型的业务模型，查上级区域，若上级区域下有合适的存储，动态修改上级区域下存储原有模型，预先开通此类模型，开通数量和统计结果相同。
62.如图2所示，本发明还提供一种基于分布式存储的管理调度系统，包括，
63.外部平台及与所述外部平台对应的外部接口、内部系统及与所述内部系统对应的对外接口、应用层、服务网关、能力层、数据层、资源层；
64.其中，所述内部系统、外部平台分别通过对外接口、外部接口实现管理调度系统与外部的信息交互；
65.所述应用层用于通过划分区域实现数据信息的存储、管理与调度。
66.进一步地优化方案，所述外部平台至少包括存储厂商平台，所述外部接口至少包括流媒体存储管理接口；
67.所述内部系统至少包括流媒体存储系统、视频接入云平台、统一运维、业务管理平台；
68.所述对外接口至少包括流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口；
69.其中，所述存储厂商平台与所述流媒体存储管理接口对应连接；
70.所述流媒体存储系统、视频接入云平台、统一运维、业务管理平台分别与所述流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口对应连接。
71.进一步地优化方案，所述应用层包括用户管理单元、存储管理单元、日志管理单元、报表统计单元、资源调度单元、监控告警单元；
72.所述用户管理单元用于实现客户管理、管理员管理以及操作员管理；
73.所述存储管理单元用于实现存储告警、本地存储管理、数据节点管理、本地节点管理、磁盘管理、本地空间管理、空间管理、流媒体存储管理、白名单管理、信源管理；
74.所述日志管理单元用于管理系统日志、管理员操作日志、客户操作日志；
75.所述报表统计单元用于实现存储数据统计、客户数据统计、业务数据统计以及预定单管理；
76.所述资源调度单元用于实现共享配置、就近存储、优先配置、业务资源受理以及存储建模；
77.所述监控告警单元用于数据节点监控、流媒体存储监控、存储设备告警、流媒体存储告警、智慧运维、智慧存储、业务故障受理。
78.进一步地优化方案，所述资源层用于进行边缘存储、云端存储、云存储、软件定义存储、天翼云存储以及块数据对接。
79.以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

技术特征：

1.一种基于分布式存储的管理调度方法，其特征在于，包括：系统在初始化期间会基于人工配置基础数据或基于导入的基础业务数据，每一条业务数据对应形成一个业务模型，业务模型中记录开通的业务类型及不同业务的预计或实际开通占比，多个业务模型形成业务组模型；基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，形成最优业务组模型；所述最优业务组为最符合业务实际开通情况的资源需求，实现存储性能及容量资源使用的最大化。2.根据权利要求1所述的基于分布式存储的管理调度方法，其特征在于，所述基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析的过程包括，基于分布式存储管理平台，读取数据库数据获取客户的历史业务开通数据，统计各存储区域的各业务模型的开通数量，并根据区域、业务组类型，按照数量多少进行排序，获得排序结果；根据所述排序结果分别对各区域进行动态建模，查各区域下的存储信息及已经开通的业务组模型。3.根据权利要求1所述的基于分布式存储的管理调度方法，其特征在于，根据所述分析结果进行动态业务组模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型的过程包括，基于目标区域下的存储信息及已经开通的业务组模型，判断上一周期开通数量最多的业务组模型是否存在，若已经存在，统计业务组类型的剩余数量；若不存在，查所述目标区域下是否有合适的存储开通此类型的业务组模型；若有，动态修改存储区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。4.根据权利要求3所述的基于分布式存储的管理调度方法，其特征在于，在所述统计业务组类型的剩余数量的过程中还包括，所述业务组类型的剩余数量小于历史类型业务组开通数时，从所述目标区域的其他业务组模型扣除资源补充给所述业务组模型。5.根据权利要求3所述的基于分布式存储的管理调度方法，其特征在于，查所述目标区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查共享区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。6.根据权利要求5所述的基于分布式存储的管理调度方法，其特征在于，查所述共享区域下是否有合适的存储开通此类型的业务组模型的过程中，若没有，查上级区域是否有合适的存储；若有，动态修改共享区域的业务组模型后，预先开通最优业务组模型，实现存储性能及容量资源使用的最大化；其中，所述最优业务组模型的开通数量与统计结果相同。7.一种基于分布式存储的管理调度系统，其特征在于，包括，
外部平台及与所述外部平台对应的外部接口、内部系统及与所述内部系统对应的对外接口、应用层、服务网关、能力层、数据层、资源层；其中，所述内部系统、外部平台分别通过对外接口、外部接口实现管理调度系统与外部的信息交互；所述应用层用于通过划分区域实现数据信息的存储、管理与调度。8.根据权利要求7所述的基于分布式存储的管理调度系统，其特征在于，所述外部平台至少包括存储厂商平台，所述外部接口至少包括流媒体存储管理接口；所述内部系统至少包括流媒体存储系统、视频接入云平台、统一运维、业务管理平台；所述对外接口至少包括流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口；其中，所述存储厂商平台与所述流媒体存储管理接口对应连接；所述流媒体存储系统、视频接入云平台、统一运维、业务管理平台分别与所述流媒体存储管理接口、流媒体存储业务接口、存储故障申告接口、存储业务受理接口对应连接。9.根据权利要求7所述的基于分布式存储的管理调度系统，其特征在于，所述应用层包括用户管理单元、存储管理单元、日志管理单元、报表统计单元、资源调度单元、监控告警单元；所述用户管理单元用于实现客户管理、管理员管理以及操作员管理；所述存储管理单元用于实现存储告警、本地存储管理、数据节点管理、本地节点管理、磁盘管理、本地空间管理、空间管理、流媒体存储管理、白名单管理、信源管理；所述日志管理单元用于管理系统日志、管理员操作日志、客户操作日志；所述报表统计单元用于实现存储数据统计、客户数据统计、业务数据统计以及预定单管理；所述资源调度单元用于实现共享配置、就近存储、优先配置、业务资源受理以及存储建模；所述监控告警单元用于数据节点监控、流媒体存储监控、存储设备告警、流媒体存储告警、智慧运维、智慧存储、业务故障受理。10.根据权利要求7所述的基于分布式存储的管理调度系统，其特征在于，所述资源层用于进行边缘存储、云端存储、云存储、软件定义存储、天翼云存储以及块数据对接。

技术总结

本发明公开了一种基于分布式存储的管理调度系统及方法，包括：基于分布式存储管理平台，统计各存储区域的业务开通情况并进行分析，获得分析结果；根据分析结果进行动态业务模型变更，基于对各区域客户需求的分析，将存储性能、存储可用容量进行综合配比，动态调整各存储区域的业务组模型，开通最优业务组模型，实现存储性能及容量资源使用的最大化。本发明将用户业务空间调度开通到存储性能和存储可用容量综合配比最优的存储节点上，提高存储资源的利用率；另外，不仅对本区域的存储资源进行建模调度分配，还同时可对关联区域的存储节点进行动态建模管理调度，最大程度提高了平台动态建模的灵活性和存储资源利用率。平台动态建模的灵活性和存储资源利用率。平台动态建模的灵活性和存储资源利用率。