(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910034312.7
(22)申请日 2019.01.15
(71)申请人 珠海金山网络游戏科技有限公司
地址 519000 广东省珠海市高新区唐家湾
镇前岛环路325号金山软件园3号楼
申请人 成都西山居互动娱乐科技有限公司
(72)发明人 郭申 马力 黎健钧
(74)专利代理机构 广州嘉权专利商标事务所有
限公司 44205
代理人 俞梁清
(51)Int.Cl.
G06F 16/11(2019.01)
G06F 16/14(2019.01)
G06F 16/17(2019.01)
(54)发明名称一种基于minio文件系统的bucket空间占比统计方法及其装置(57)摘要本发明涉及一种基于m inio文件系统的bucket空间占比统计方法，包括连接远程文件控制系统；识别并生成bucket列表；提取bucket单元信息；遍历bucket单元并生成层级列表；提取层级信息；遍历层级并生成文件列表；提取 文件信息；遍历文件并生成配置信息；生成一级报表；分析一级报表并生成参考列表；上传参考列表至服务器。一种基于minio文件系统的bucket空间占比统计装置，包括：载入模块、总遍历模块、Bucket调用模块、Bucket遍历模块、层级调用模块、层级遍历模块、文件调用模块、文件遍历模块、预处理模块、分析模块以及上传模块。本发明可以在minio文件系统的存储空间内针对bucket 空间进行有效的空间占比统计，极大地方便了工作人员对文件系统的管理，
提高了工作效率。权利要求书2页 说明书4页 附图3页CN 109857703 A 2019.06.07
C N 109857703
A
1.一种基于minio文件系统的bucket空间占比统计方法，包括以下步骤：
S1、连接远程文件控制系统；
S2、对存储空间进行遍历，识别bucket单元并生成bucket列表；
S3、调用bucket列表并提取bucket单元信息；
S4、基于bucket单元信息对不同bucket单元分别进行遍历并生成相应层级列表；
S5、调用不同层级列表并提取相应层级信息；
S6、基于层级信息对不同层级分别进行遍历并生成相应文件列表；
S7、调用不同文件列表并提取相应文件信息；
S8、基于文件信息对不同文件分别进行遍历并生成相应配置信息；
S9、对所有配置信息进行预处理并生成一级报表；
S10、基于预设信息对一级报表进行进一步数据处理并生成参考列表；
S11、上传参考列表至服务器。
2.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述存储空间至少包括一个bucket单元。
3.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述bucket单元信息至少包括bucket名、bucket地址、所占存储空间量以及最新修改时间。
4.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述bucket单元
至少包括一个层级。
5.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述层级信息至少包括层级名、层次地址以及所占存储空间量。
6.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述层级至少包括一个文件。
7.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述文件信息至少包括文件名、文件地址以及所占存储空间量。
8.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，一级列表的生成具体指按遍历时间对存储空间中所有的bucket单元、不同bucket单元的相应层级以及不同层级的相应文件信息的进行的排序。
9.根据权利要求1所述的基于minio文件系统的bucket空间占比统计方法，其特征在于，所述预设信息至少包括存储时间的排序、占用存储空间量的排序以及占用存储空间量的占比。
10.一种基于minio文件系统的bucket空间占比统计装置，包括：
载入模块，用于连接远程文件控制系统；
总遍历模块，用于对存储空间进行遍历，识别bucket单元并生成bucket列表；
Bucket调用模块，用于调用bucket列表并提取bucket单元信息；
Bucket遍历模块，用于对不同bucket单元分别进行遍历并生成相应层级列表；
层级调用模块，用于调用不同层级列表并提取相应层级信息；
层级遍历模块，用于对不同层级分别进行遍历并生成相应文件列表；
文件调用模块，用于调用不同文件列表并提取相应文件信息；
文件遍历模块，用于对不同文件分别进行遍历并生成相应配置信息；预处理模块，用于对所有配置信息进行预处理并生成一级报表；
分析模块，用于对一级报表进行进一步数据处理并生成参考列表；以及上传模块，用于上传参考列表至服务器。
一种基于minio文件系统的bucket空间占比统计方法及其
装置
技术领域
[0001]本发明涉及一种基于minio文件系统的bucket空间占比统计方法及其装置，属于服务端测试领域。
背景技术
[0002]在现有大业务场景下，Minio文件系统的使用越来越广泛。作为一种开源的多平台文件系统，Minio可以提供用于文件上传、下载以及修改等的诸多接口，实现轻量级的文件操作；而基于Apache License v2.0开源协议的对象存储服务，可以兼容亚马逊S3云存储服务接口，非常适合于存储大容量且非结构化的数据，例如图片、视频、日志文件、备份数据以及虚拟机镜像等；对于对象文件的大小也没有明确限制，从几kb到最大5T不等。同时，Minio 作为一个非常轻量的服务，可以轻松实现与NodeJS,Redis或者MySQL等的结合。
[0003]但当后台压测平台使用minio文件系统作为文件储存介质时，会存在一个问题，即如何有效获取空间占用统计信息；若想统计所有bucket单元的占用空间，源系统不提供相关手段。现阶段的技术手段是进入机器内文件的根目录，通过输入du-sh命令查看空间使用情况。
[0004]然而作为文件系统，必然涉及数据清理；而若要实现有效的数据清理，至少需要获取各个文件的占用空间以及最新修改时间，这样才能够针对性的清理磁盘空间，而如何实现这种效果是当下需要解决的问题。
发明内容
[0005]针对现有技术的不足，本发明提供了一种基于minio文件系统的bucket空间占比统计方法，包括以下步骤：
[0006]S1、连接远程文件控制系统；
[0007]S2、对存储空间进行遍历，识别bucket单元并生成bucket列表；
[0008]S3、调用bucket列表并提取bucket单元信息；
[0009]S4、基于bucket单元信息对不同bucket单元分别进行遍历并生成相应层级列表；[0010]S5、调用不同层级列表并提取相应层级信息；
[0011]S6、基于层级信息对不同层级分别进行遍历并生成相应文件列表；
[0012]S7、调用不同文件列表并提取相应文件信息；
[0013]S8、基于文件信息对不同文件分别进行遍历并生成相应配置信息；
[0014]S9、对所有配置信息进行预处理并生成一级报表；
[0015]S10、基于预设信息对一级报表进行进一步数据处理并生成参考列表；
[0016]S11、上传参考列表至服务器。
[0017]进一步，所述存储空间至少包括一个bucket单元。
[0018]进一步，所述bucket单元信息至少包括bucket名、bucket地址、所占存储空间量以
及最新修改时间。
[0019]进一步，所述bucket单元至少包括一个层级。
[0020]进一步，所述层级信息至少包括层级名、层次地址以及所占存储空间量。[0021]进一步，所述层级至少包括一个文件。
[0022]进一步，所述文件信息至少包括文件名、文件地址以及所占存储空间量。[0023]进一步，一级列表的生成具体指按遍历时间对存储空间中所有的bucket单元、不同bucket单元的相应层级以及不同层级的相应文件信息的进行的排序。
[0024]进一步，所述预设信息至少包括存储时间的排序、占用存储空间量的排序以及占用存储空间量的占比。
[0025]一种基于minio文件系统的bucket空间占比统计装置，包括：
[0026]载入模块，用于连接远程文件控制系统；
[0027]总遍历模块，用于对存储空间进行遍历，识别bucket单元并生成bucket列表；[0028]Bucket调用模块，用于调用bucket列表并提取bucket单元信息；
[0029]Bucket遍历模块，用于对不同bucket单元分别进行遍历并生成相应层级列表；[0030]层级调用模块，用于调用不同层级列表并提取相应层级信息；
[0031]层级遍历模块，用于对不同层级分别进行遍历并生成相应文件列表；
[0032]文件调用模块，用于调用不同文件列表并提取相应文件信息；
[0033]文件遍历模块，用于对不同文件分别进行遍历并生成相应配置信息；
[0034]预处理模块，用于对所有配置信息进行预处理并生成一级报表；
[0035]分析模块，用于对一级报表进行进一步数据处理并生成参考列表；以及
[0036]上传模块，用于上传参考列表至服务器。
[0037]本发明的有益效果为：可以在minio文件系统的存储空间内针对bucket空间进行有效的空间占比统计，极大地方便了工作人员对文件系统的管理，提高了工作效率。
附图说明
[0038]图1所示为根据本发明的总体流程图；
[0039]图2所示为根据本发明的装置连接图；
[0040]图3所示为根据本发明实施例A的示意图；
[0041]图4所示为根据本发明实施例B的示意图。
具体实施方式
[0042]应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
[0043]此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议