一种基于文件系统的数据同步方法、系统及存储介质与流程

1.本发明涉及信息技术领域，具体涉及一种基于文件系统的数据同步方法、系统及存储介质。

背景技术：

2.随着信息技术的发展，各个应用系统产生的数据越来越多，数据同步的需求也凸显。
3.对于非结构化数据，传统的同步方案主要是通过操作系统的文件操作接口对源计算机的文件系统的数据进行遍历、读取然后通过 ip网络、fc等方式同步到目的计算机。或者是越过操作系统提供的文件操作接口直接对磁盘进行块复制。对于具有海量小文件的文件系统来说，通过文件操作接口的方式需要频繁进行系统调用、磁盘寻址，无法满足快速同步数据的需求。而使用磁盘块复制的方式进行数据同步，又无法选择特定文件/目录进行复制，有灵活度过低的缺点。为此，需要研究能够提高基于文件系统的数据同步技术。
4.现有技术公开了一种文件系统远程数据同步实现方法和系统，该方法包括：通过本地服务器中部署的同步代理收集本地服务器的第一文件系统数据的相关信息，并将第一文件系统数据的相关信息和预设的数据比较算法传输给远端服务器中部署的数据保护服务器；数据保护服务器通过数据比较算法将第一文件系统数据的相关信息和远端服务器的第二文件系统数据的相关信息进行比较，并在比较结果为第一文件系统数据的相关信息和第二文件系统数据的相关信息不相同时，将比较结果反馈给同步代理；同步代理根据该比较结果执行本地服务器和远端服务器之间的数据同步。通过该实施例方案，实现了在实时性要求不强，低质量网络下对文件系统数据的远程保护。但其技术方案不能解决目前基于文件系统的数据同步效率低或者基于硬盘块同步灵活度低的问题。

技术实现要素：

5.本发明所要解决的技术问题：目前基于文件系统的数据同步效率低或者基于硬盘块同步灵活度低的问题。推出了一种基于文件系统的数据同步方法、系统及存储介质，能够兼顾数据同步效率低或者灵活度。
6.为解决上述技术问题，本发明采用如下技术方案：一种基于文件系统的数据同步方法，包括以下步骤：接收需要同步的文件和/或目录，接收目标计算机信息；获得需要同步的文件和/或目录所在的文件系统类型；根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述目标计算机生成复原文件系统；所述目标计算机分析所述复原文件系统，删除非需要同步的文件和/或目录，完成
数据同步。
7.作为优选，解析所述文件系统的信息的方法包括：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。
8.作为优选，解析所述文件系统的元数据的方法包括：建立若干个文件系统解析模块，若干个所述文件系统解析模块分别对应不同的文件系统类型；根据所述文件系统类型，选择对应的所述文件系统解析模块解析所述文件系统获得所述文件系统的元数据。
9.作为优选，记录有效数据块位置的方法包括：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。
10.作为优选，所述目标计算机生成复原文件系统的方法包括：将全部所述有效数据块存储；读取所述有效数据块包含的元数据；根据所述元数据建立所述有效数据库包含的文件和/或目录的索引，完成复原文件系统的生成。
11.一种基于文件系统的数据同步系统，用于执行如前述的一种基于文件系统的数据同步方法，包括输入模块、探测模块、文件系统解析模块、有效数据块记录模块、数据传输模块和元数据裁剪模块，所述输入模块接收、探测模块、文件系统解析模块、有效数据块记录模块和数据传输模块均部署在数据源所在计算机，所述元数据裁剪模块部署在目标计算机，所述输入模块接收需要同步的文件和/或目录，并接收目标计算机信息，所述探测模块获得需要同步的文件和/或目录所在的文件系统类型，所述文件系统解析模块根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，所述有效数据块记录模块记录有效数据块位置，所述数据传输模块根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述元数据裁剪模块生成复原文件系统，所述元数据裁剪模块分析所述复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。
12.作为优选，所述文件系统解析模块解析所述文件系统的信息时，执行以下步骤：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。
13.作为优选，所述有效数据块记录模块记录有效数据块位置时，执行以下步骤：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。
14.一种计算机系统，所述计算机系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如前述的一种基于文件系统的数据同步方法。
15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机系统执行时实现如前述的一种基于文件系统的数据同步方法。
16.本发明的有益技术效果包括：实现对文件系统进行识别及解析，分析出所选中的文件/目录的数据以及元数据所在的磁盘块，对相应磁盘块进行同步，最终同时满足快速进行海量小文件数据的同步以及灵活选中特定文件/目录进行同步的需求，大大缩减了海量小文件的同步时间。
17.本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。
附图说明
18.下面结合附图对本发明做进一步的说明：图1为本发明实施例数据同步方法流程示意图。
19.图2为本发明实施例解析文件系统信息方法流程示意图。
20.图3为本发明实施例目标计算机生成复原文件系统方法流程示意图。
21.图4为本发明实施例数据同步系统结构示意图。
22.图5为本发明实施例计算机系统结构示意图。
23.其中：10、输入模块，20、探测模块，30、文件系统解析模块，40、有效数据块记录模块，50、数据传输模块，60、元数据裁剪模块，70、计算机系统，71、存储器，72、计算机程序，73、处理器。
具体实施方式
24.下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。
25.在下文描述中，出现诸如术语“内”、“外”、“上”、“下”、“左”、“右”等指示方位或者位置关系仅是为了方便描述实施例和简化描述，而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
26.一种基于文件系统的数据同步方法，请参阅附图1，包括以下步骤：步骤a01）接收需要同步的文件和/或目录，接收目标计算机信息；步骤a02）获得需要同步的文件和/或目录所在的文件系统类型；步骤a03）根据文件系统类型，解析文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；步骤a04）根据有效数据块位置将有效数据块同步到目标计算机，目标计算机生成复原文件系统；步骤a05）目标计算机分析复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。
27.通过对文件系统进行识别及解析，分析出所选中的文件/目录的数据以及元数据
所在的磁盘块，对相应磁盘块进行同步，最终同时满足快速进行海量小文件数据的同步以及灵活选中特定文件/目录进行同步的需求，大大缩减了海量小文件的同步时间。
28.具体而言，包括：用户选择要同步的文件/目录，以及目的计算机信息。
29.文件系统类型探测模块20根据用户选择的文件/目录所在的文件系统类型选择对应的文件系统解析模块30。
30.文件系统解析模块30解析文件系统的基本信息（如块大小等），元数据位置，用户选择的文件/目录所在的数据块位置并通过“有效数据块记录及编排模块”记录其位置信息。
31.有效数据块记录及编排模块：根据“文件系统解析模”的解析，使用 bitmap 记录需要同步的数据块，用 1 表示对应的数据块需要同步，用 0 表示对应的数据块不需要同步，通过此模块将要同步的数据块读取顺序化，bitmap 中的一位对应了磁盘中的一个数据块，bitmap 中的第一个比特位对应了磁盘中的第一个数据块，第二个比特位对应了磁盘中的第二个数据块，以此类推。
32.数据传输模块50：根据“有效数据块记录及编排模块”生成的 bitmap 顺序读取需要同步的数据块到目的计算机，生成文件系统。可以写到物理硬盘、块设备或者稀疏文件中。
33.在数据传输完成后，元数据裁剪模块60根据用户选择的文件/目录，分析生成的文件系统，裁剪掉多余的元数据信息，使得目的计算机的文件系统只包含用户选择的文件/目录。
34.另一方面本实施例提供了解析文件系统的信息的方法，请参阅附图2，包括：步骤b01）解析文件系统的元数据；步骤b02）根据元数据获得文件系统的文件信息；步骤b03）将文件信息与需要同步的文件和/或目录，获得有效数据块。
35.解析文件系统的元数据的方法包括：建立若干个文件系统解析模块30，若干个文件系统解析模块30分别对应不同的文件系统类型；根据文件系统类型，选择对应的文件系统解析模块30解析文件系统获得文件系统的元数据。
36.记录有效数据块位置的方法包括：建立bitmap，bitmap的位数量与文件系统的数据块数量相符；若数据块为有效数据块，则对应的bitmap的位值为1，反之，若数据块非有效数据块，则对应的bitmap的位值为0。
37.另一方面本实施例提供了目标计算机生成复原文件系统的方法，请参阅附图3，包括：步骤c01）将全部有效数据块存储；步骤c02）读取有效数据块包含的元数据；步骤c03）根据元数据建立有效数据库包含的文件和/或目录的索引，完成复原文件系统的生成。
38.另一方面本实施例提供了一种基于文件系统的数据同步系统，用于执行如前述的一种基于文件系统的数据同步方法，请参阅附图4，包括输入模块10、探测模块20、文件系统解析模块30、有效数据块记录模块40、数据传输模块50和元数据裁剪模块60，输入模块10接收、探测模块20、文件系统解析模块30、有效数据块记录模块40和数据传输模块50均部署在
数据源所在计算机，元数据裁剪模块60部署在目标计算机，输入模块10接收需要同步的文件和/或目录，并接收目标计算机信息，探测模块20获得需要同步的文件和/或目录所在的文件系统类型，文件系统解析模块30根据文件系统类型，解析文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，有效数据块记录模块40记录有效数据块位置，数据传输模块50根据有效数据块位置将有效数据块同步到目标计算机，元数据裁剪模块60生成复原文件系统，元数据裁剪模块60分析复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。
39.文件系统解析模块30解析文件系统的信息时，执行以下步骤：解析文件系统的元数据；根据元数据获得文件系统的文件信息；将文件信息与需要同步的文件和/或目录，获得有效数据块。
40.有效数据块记录模块40记录有效数据块位置时，执行以下步骤：建立bitmap，bitmap的位数量与文件系统的数据块数量相符；若数据块为有效数据块，则对应的bitmap的位值为1，反之，若数据块非有效数据块，则对应的bitmap的位值为0。
41.另一方面，本技术实施例提供了一种计算机系统，请参阅附图5，计算机系统70包括存储器71、处理器73以及存储在存储器71中并可在处理器73上运行的计算机程序72，计算机程序72被处理器73执行时实现如前述的一种基于文件系统的数据同步方法。
42.计算机系统可以是一个通用计算机系统或一个专用计算机系统。在具体实现中，计算机系统可以是包括有多个服务器的服务器集，如可以是包括有多个节点的区块链系统。本领域技术人员可以理解，图5仅仅是计算机系统的举例，并不构成对计算机系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，比如还可以包括输入输出设备、网络接入设备等。
43.处理器73可以是中央处理单元（central processing unit，cpu），处理器73还可以是其他通用处理器73、数字信号处理器73（digital signal processor，dsp）、专用集成电路（application specific integrated circuit，asic）、现成可编程门阵列（field-programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器73可以是微处理器73或者也可以是任何常规的处理器73。
44.存储器71在一些实施例中可以是计算机系统的内部存储单元，比如计算机系统的硬盘或内存。存储器71在另一些实施例中也可以是计算机系统的外部存储设备，比如计算机系统上配备的插接式硬盘、智能存储卡（smart media card，smc）、安全数字（secure digital，sd）卡、闪存卡（flash card）等。进一步地，存储器71还可以既包括计算机系统的内部存储单元也包括外部存储设备。存储器71用于存储操作系统、应用程序、引导装载程序（boot loader）、数据以及其他程序等。存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
45.另一方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序72，计算机程序72被处理器73执行时实现如前述的一种基于文件系统的数据同步方法。
46.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。

技术特征：

1.一种基于文件系统的数据同步方法，其特征在于，包括以下步骤：接收需要同步的文件和/或目录，接收目标计算机信息；获得需要同步的文件和/或目录所在的文件系统类型；根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述目标计算机生成复原文件系统；所述目标计算机分析所述复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。2.根据权利要求1所述的一种基于文件系统的数据同步方法，其特征在于，解析所述文件系统的信息的方法包括：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。3.根据权利要求2所述的一种基于文件系统的数据同步方法，其特征在于，解析所述文件系统的元数据的方法包括：建立若干个文件系统解析模块，若干个所述文件系统解析模块分别对应不同的文件系统类型；根据所述文件系统类型，选择对应的所述文件系统解析模块解析所述文件系统获得所述文件系统的元数据。4.根据权利要求1至3任一项所述的一种基于文件系统的数据同步方法，其特征在于，记录有效数据块位置的方法包括：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。5.根据权利要求1至3任一项所述的一种基于文件系统的数据同步方法，其特征在于，所述目标计算机生成复原文件系统的方法包括：将全部所述有效数据块存储；读取所述有效数据块包含的元数据；根据所述元数据建立所述有效数据库包含的文件和/或目录的索引，完成复原文件系统的生成。6.一种基于文件系统的数据同步系统，用于执行如权利要求1至5任一项所述的一种基于文件系统的数据同步方法，其特征在于，包括输入模块、探测模块、文件系统解析模块、有效数据块记录模块、数据传输模块和元数据裁剪模块，所述输入模块接收、探测模块、文件系统解析模块、有效数据块记录模块和数据传输模块均部署在数据源所在计算机，所述元数据裁剪模块部署在目标计算机，所述输入模块接收需要同步的文件和/或目录，并接收目标计算机信息，所述探测模块获得需要同步的文件和/或目录所在的文件系统类型，
所述文件系统解析模块根据所述文件系统类型，解析所述文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，所述有效数据块记录模块记录有效数据块位置，所述数据传输模块根据所述有效数据块位置将所述有效数据块同步到所述目标计算机，所述元数据裁剪模块生成复原文件系统，所述元数据裁剪模块分析所述复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。7.根据权利要求6所述的一种基于文件系统的数据同步系统，其特征在于，所述文件系统解析模块解析所述文件系统的信息时，执行以下步骤：解析所述文件系统的元数据；根据所述元数据获得所述文件系统的文件信息；将所述文件信息与需要同步的文件和/或目录，获得有效数据块。8.根据权利要求6或7所述的一种基于文件系统的数据同步系统，其特征在于，所述有效数据块记录模块记录有效数据块位置时，执行以下步骤：建立bitmap，所述bitmap的位数量与所述文件系统的数据块数量相符；若所述数据块为有效数据块，则对应的bitmap的位值为1，反之，若所述数据块非有效数据块，则对应的bitmap的位值为0。9.一种计算机系统，其特征在于，所述计算机系统包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5任一项所述的一种基于文件系统的数据同步方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被计算机系统执行时实现如权利要求1至5任一项所述的一种基于文件系统的数据同步方法。

技术总结

本发明涉及信息技术领域，具体涉及一种基于文件系统的数据同步方法、系统及存储介质，方法包括以下步骤：接收需要同步的文件和/或目录，接收目标计算机信息；获得需要同步的文件和/或目录所在的文件系统类型；根据文件系统类型，解析文件系统的信息，获得需要同步的文件和/或目录所在的数据块，作为有效数据块，记录有效数据块位置；根据有效数据块位置将有效数据块同步到目标计算机，目标计算机生成复原文件系统；目标计算机分析复原文件系统，删除非需要同步的文件和/或目录，完成数据同步。本发明的有益技术效果包括：同时满足快速进行海量小文件数据的同步以及灵活选中特定文件/目录进行同步的需求，大大缩减了海量小文件的同步时间。同步时间。同步时间。