文件异步导出方法、系统、存储介质及电子装置与流程



1.本技术涉及数据导出技术领域,尤其涉及一种文件异步导出方法、系统、存储介质及电子装置。


背景技术:



2.随着数据库的数据量逐渐增多,在导出文件数据的时候,由于文件数据量过大,将会导致应用服务器的内存消耗过大,时间变长,出现请求超时的情况,并且,过多的数据请求也会使服务器压力增大。
3.现有的文件导出都是实时查询数据库数据,然后生成excel文件写入输出流。然而,在现有的文件导出过程中,随着文件的数据量越来越大,导出的excel文件过大,容易出现请求超时问题,而且,通过使用poi(开放源码函式库)导出文件,也会造成服务器内存占用率飙升,导致文件导出效率较低。
4.因此,现在亟需一种文件异步导出方法、系统、存储介质及电子装置来解决上述问题。


技术实现要素:



5.本技术提供一种文件异步导出方法、系统、存储介质及电子装置,用以解决现有技术中由于文件数据量大,在进行文件导出时造成数据库服务器压力增大,导致文件导出效率较低的缺陷,实现通过异步导出文件,并将导出文件上传到文件服务器,在提高文件数据导出数量的同时,减少文件数据导出的处理时间和服务器压力,从而提高了文件导出效率。
6.本技术提供一种文件异步导出方法,包括:
7.接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;
8.根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;
9.将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;
10.通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。
11.根据本技术提供的一种文件异步导出方法,所述根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件,包括:
12.根据所述异步导出请求,获取所述待查询文件的查询配置信息,其中,所述查询配置信息至少包括所述待查询文件的源地址信息、版本信息和文件名信息;
13.根据所述查询配置信息,调用所述待查询文件对应的数据接口;
14.接收所述数据接口发送的所述待查询文件。
15.根据本技术提供的一种文件异步导出方法,在所述根据所述查询配置信息,调用
所述待查询文件对应的数据接口之前,所述方法还包括:
16.根据所述异步导出请求,生成对应的目标异步导出任务;
17.将所述目标异步导出任务添加到任务线程池中;
18.所述根据所述查询配置信息,调用所述待查询文件对应的数据接口,包括:
19.在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口。
20.根据本技术提供的一种文件异步导出方法,在所述在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口之前,所述方法还包括:
21.在确定存在多个异步导出任务时,获取所述任务线程池的空闲状态;
22.根据所述空闲状态,确定当前的最大批量任务处理量;
23.所述根据所述查询配置信息,调用所述待查询文件对应的数据接口,包括:
24.基于所述最大批量任务处理量,确定当前同时进行任务处理的多个目标异步导出任务;
25.根据各个目标异步导出任务对应的查询配置信息,分别调用各个目标异步导出任务中待查询文件对应的数据接口。
26.根据本技术提供的一种文件异步导出方法,所述将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息,包括:
27.基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件;
28.将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,其中,所述文件服务服务器为云端服务器。
29.根据本技术提供的一种文件异步导出方法,所述将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,包括:
30.基于所述目标文件的文件类型以及文件服务器的负载信息,确定目标文件服务器;
31.将所述目标文件存储到所述目标文件服务器中,并生成对应的文件地址信息。
32.根据本技术提供的一种文件异步导出方法,所述基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件,包括:
33.基于预设文件格式需求,将所述待查询文件转换为csv格式文件,得到所述目标文件。
34.本技术还提供一种文件异步导出系统,包括:
35.查询记录信息生成模块,用于接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;
36.查询文件获取模块,用于根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;
37.查询文件上传模块,用于将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;
38.查询文件导出模块,用于通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,
获取到所述目标文件。
39.本技术还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行实现如上述任一种所述文件异步导出方法。
40.本技术还提供一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述文件异步导出方法。
41.本技术提供的文件异步导出方法、系统、存储介质及电子装置,通过异步导出请求,从对应数据接口获取待查询文件,并将待查询文件上传到文件服务器,同时对数据库中的查询记录信息进行更新,使得数据库仅需将待查询文件的下载地址发送到客户端,减轻了数据库查询压力,提高了文件数据导出数量和文件导出效率。
附图说明
42.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本技术的实施例,并与说明书一起用于解释本技术的原理。
43.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
44.图1是根据本技术实施例的一种智能设备的交互方法的硬件环境示意图;
45.图2为本技术提供的文件异步导出方法的流程示意图;
46.图3为本技术提供的文件异步导出系统的结构示意图;
47.图4为本技术提供的电子装置的结构示意图。
具体实施方式
48.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
49.需要说明的是,本技术中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
50.根据本技术实施例的一个方面,提供了一种文件异步导出方法。该文件异步导出方法广泛应用于智慧家庭(smart home)、智能家居、智能家用设备生态、智慧住宅(intelligence house)生态等全屋智能数字化控制应用场景。可选地,在本实施例中,上述文件异步导出方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示,服务器104通过网络与终端设备102进行连接,可用于为终端或终端上安装
的客户端提供服务(如应用服务等),可在服务器上或独立于服务器设置数据库,用于为服务器104提供数据存储服务,可在服务器上或独立于服务器配置云计算和/或边缘计算服务,用于为服务器104提供数据运算服务。
51.上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:wifi(wireless fidelity,无线保真),蓝牙。终端设备102可以并不限定于为pc、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
52.随着文件数据量的增多,导出文件数据也会变得越来越慢,由于数据库服务器压力增大,请求频繁出现超时,数据库服务器可能出现内存超限等现象。
53.本技术通过异步导出文件,调用文件数据获取接口,通过多任务线程池控制线程数量,并将获取到的导出文件上传到云端文件服务器,用户通过数据库获取导出文件的下载地址,从而在导出任务中下载文件,提高文件数据导出数量和下载速度,减少文件导出处理时间和数据库服务器压力。
54.图2为本技术提供的文件异步导出方法的流程示意图,如图2所示,本技术提供了一种文件异步导出方法,包括:
55.步骤201,接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中。
56.在本技术中,首先接收客户端发送的excel文件的异步导出请求,该请求中包含有待查询文件(即excel文件)的源地址信息。同时,根据异步导出请求生成一个待处理的查询记录信息,并将这个查询记录信息插入到数据库中,以通过后续步骤对该查询记录信息中的文件下载地址进行更新后,客户端可利用该文件下载地址完成文件下载,得到待查询文件。
57.步骤202,根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件。
58.在本技术,通过异步导出请求中包含的关键查询信息以及一些配置信息,确定待查询文件对应的数据接口,同时,将异步导出请求添加至任务队列,按照“先入先出”的原则,在任务线程池中等待处理。当轮到该异步导出请求执行时,任务线程池执行对应的导出操作,从数据接口处获取到查询信息,即得到待查询文件。需要说明的是,在本技术中,关键查询信息主要为待查询文件的源地址,配置信息主要为文件版本信息、文件格式以及文件内容等。
59.步骤203,将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息。
60.在本技术中,通过数据接口获取到待查询文件对应的导出数据,进一步根据预设文件格式需求,将该导出数据进行格式转换,从而得到目标文件,并将该目标文件上传到文件服务器中储存,同时获取到该目标文件的下载地址。
61.步骤204,通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。
62.在本技术中,通过文件地址信息对数据库中对应的查询记录信息进行更新,即将文件地址信息添加至记录信息中,以使得客户端通过数据库获取到待查询文件的下载地址,进而根据该下载地址从文件服务器中下载对应的目标文件,从而完成文件导出。
63.本技术提供的文件异步导出方法,通过异步导出请求,从对应数据接口获取待查询文件,并将待查询文件上传到文件服务器,同时对数据库中的查询记录信息进行更新,使得数据库仅需将待查询文件的下载地址发送到客户端,减轻了数据库查询压力,提高了文件数据导出数量和文件导出效率。
64.在上述实施例的基础上,所述根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件,包括:
65.根据所述异步导出请求,获取所述待查询文件的查询配置信息,其中,所述查询配置信息至少包括所述待查询文件的源地址信息、版本信息和文件名信息;
66.根据所述查询配置信息,调用所述待查询文件对应的数据接口;
67.接收所述数据接口发送的所述待查询文件。
68.在本技术中,基于客户端发起的异步导出请求,从该请求中获取到待查询文件的源地址信息,以确定待查询文件的数据接口,当调用数据接口获取查询信息时(即通过数据结果获取到待查询文件对应的导出数据),再根据版本信息和文件名信息进行验证,若验证一致,接收数据接口发送的所述待查询文件。
69.在上述实施例的基础上,在所述根据所述查询配置信息,调用所述待查询文件对应的数据接口之前,所述方法还包括:
70.根据所述异步导出请求,生成对应的目标异步导出任务;
71.将所述目标异步导出任务添加到任务线程池中;
72.所述根据所述查询配置信息,调用所述待查询文件对应的数据接口,包括:
73.在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口。
74.在本技术中,将异步导出请求添加到任务线程池中,通过任务线程池,按照“先入先出”原则,从任务队列中依次对各个任务进行导出操作。
75.在上述实施例的基础上,在所述在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口之前,所述方法还包括:
76.在确定存在多个异步导出任务时,获取所述任务线程池的空闲状态;
77.根据所述空闲状态,确定当前的最大批量任务处理量;
78.所述根据所述查询配置信息,调用所述待查询文件对应的数据接口,包括:
79.基于所述最大批量任务处理量,确定当前同时进行任务处理的多个目标异步导出任务;
80.根据各个目标异步导出任务对应的查询配置信息,分别调用各个目标异步导出任务中待查询文件对应的数据接口。
81.在本技术中,可同时对多个异步导出请求进行处理,也可将一个异步导出请求拆分为多个子任务,通过任务线程池的多线程数据分页处理,根据任务线程池的空闲状态,在确定当前可处理的最大批量任务处理量后,同时将多个异步导出任务各自对应的数据接口获取导出数据,或将多个子任务各自对应的数据接口获取导出数据,以减少查询接口压力。
82.在上述实施例的基础上,所述将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息,包括:
83.基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件;
84.将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,其中,所述文件服务服务器为云端服务器。
85.在本技术中,为了进一步减少数据库内存压力,可根据预设文件格式需求,对文件进行格式转换。优选地,所述基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件,包括:
86.基于预设文件格式需求,将所述待查询文件转换为csv格式文件,得到所述目标文件。
87.在本技术中,由于excel文件占用的存储空间较大,本技术将待查询文件的格式替换为csv(comma-separated values)格式文件,兼容excel的打开方式,通过生成csv格式文件减少服务器内存压力。
88.在上述实施例的基础上,所述将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,包括:
89.基于所述目标文件的文件类型以及文件服务器的负载信息,确定目标文件服务器;
90.将所述目标文件存储到所述目标文件服务器中,并生成对应的文件地址信息。
91.在本技术中,针对不同负载程度的云端服务器(即文件服务器),将一次异步导出请求的压力分摊到不同的文件服务器节点,使得各个节点承担不同的任务,最终完成导出的整个任务,使得文件下载的压力进一步分摊到多个文件服务器中。
92.在一实施例中,对本技术提供的文件异步导出方法进行整体说明,具体过程为:
93.步骤s1,获取客户端发起的文件异步导出请求,该文件异步导出请求中携带有文件关键查询信息以及配置信息;
94.步骤s2,通过构建一个异步导出服务模块,对接收到的文件异步导出进行处理,生成一条待处理的记录信息,即查询记录信息,并插入到数据库中;
95.步骤s3,通过异步导出服务模块,将文件异步导出请求添加到任务线程池,基于“先进先出”原则,同时将该文件异步导出请求与多个其他异步任务执行导出操作,或将该文件异步导出请求拆分为多个子任务,根据请求中的配置信息,调用对应的接口并传递查询信息,从而从数据接口获取到相应的文件导出数据。通过多线程分页获取数据,减少查询接口压力,并将文件导出数据转换成csv文件,以减少服务器内存压力,并上传到对应的文件服务器;
96.步骤s4,当文件服务器接收到csv文件后,将文件进行存储,并返回该文件的下载地址;
97.步骤s5,将返回的信息,即下载地址更新到数据库中对应的查询记录信息中;
98.步骤s6,客户端通过数据库,查询到更新后的查询记录信息,从而获取到下载地址完成下载。
99.本技术提供的文件异步导出方法,针对现有excel文件占用的存储空间较大,在进行文件导出时,容易造成数据库服务器压力增大,导致文件导出效率较低的问题。通过将待查询文件替换为csv文件,兼容excel的打开方式;同时,为了减轻数据库查询压力,通过任务线程池,将一个大的查询任务分割为对个较小的查询子任务,并将生成文件的压力转移到文件服务器,减少应用服务器的带宽压力。
100.下面对本技术提供的文件异步导出系统进行描述,下文描述的文件异步导出系统与上文描述的文件异步导出方法可相互对应参照。
101.图3为本技术提供的文件异步导出系统的结构示意图,如图3所示,本技术提供了一种文件异步导出系统,包括查询记录信息生成模块301、查询文件获取模块302、查询文件上传模块303和查询文件导出模块304,其中,查询记录信息生成模块301用于接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;查询文件获取模块302用于根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;查询文件上传模块303用于将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;查询文件导出模块304用于通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。
102.在本技术中,通过查询记录信息生成模块301接收客户端发送的excel文件的异步导出请求,该请求中包含有待查询文件(即excel文件)的源地址信息。同时,查询记录信息生成模块301根据异步导出请求生成一个待处理的查询记录信息,并将这个查询记录信息插入到数据库中,以通过后续步骤对该查询记录信息中的文件下载地址进行更新后,客户端可利用该文件下载地址完成文件下载,得到待查询文件。
103.进一步地,查询文件获取模块302通过异步导出请求中包含的关键查询信息以及一些配置信息,确定待查询文件对应的数据接口,同时,查询文件获取模块302将异步导出请求添加至任务队列,按照“先入先出”的原则,在任务线程池中等待处理。当轮到该异步导出请求执行时,任务线程池执行对应的导出操作,从数据接口处获取到查询信息,即得到待查询文件。需要说明的是,在本技术中,关键查询信息主要为待查询文件的源地址,配置信息主要为文件版本信息、文件格式以及文件内容等。
104.进一步地,查询文件上传模块303通过数据接口获取到待查询文件对应的导出数据,并根据预设文件格式需求,将该导出数据进行格式转换,从而得到目标文件,并将该目标文件上传到文件服务器中储存,同时获取到该目标文件的下载地址。
105.最后,查询文件导出模块304通过文件地址信息对数据库中对应的查询记录信息进行更新,即将文件地址信息添加至记录信息中,以使得客户端通过数据库获取到待查询文件的下载地址,进而根据该下载地址从文件服务器中下载对应的目标文件,从而完成文件导出。
106.本技术提供的文件异步导出系统,通过异步导出请求,从对应数据接口获取待查询文件,并将待查询文件上传到文件服务器,同时对数据库中的查询记录信息进行更新,使
得数据库仅需将待查询文件的下载地址发送到客户端,减轻了数据库查询压力,提高了文件数据导出数量和文件导出效率。
107.在上述实施例的基础上,所述查询文件获取模块包括关键信息获取单元、数据接口调用单元和文件接收单元,其中,关键信息获取单元用于根据所述异步导出请求,获取所述待查询文件的查询配置信息,其中,所述查询配置信息至少包括所述待查询文件的源地址信息、版本信息和文件名信息;数据接口调用单元用于根据所述查询配置信息,调用所述待查询文件对应的数据接口;文件接收单元用于接收所述数据接口发送的所述待查询文件。
108.在上述实施例的基础上,所述系统还包括异步导出服务模块和任务添加模块,其中,异步导出服务模块用于根据所述异步导出请求,生成对应的目标异步导出任务;任务添加模块用于将所述目标异步导出任务添加到任务线程池中;
109.所述数据接口调用单元具体用于:
110.在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口。
111.在上述实施例的基础上,所述系统还用于:
112.在确定存在多个异步导出任务时,获取所述任务线程池的空闲状态;
113.根据所述空闲状态,确定当前的最大批量任务处理量;
114.所述数据接口调用单元还用于:
115.基于所述最大批量任务处理量,确定当前同时进行任务处理的多个目标异步导出任务;
116.根据各个目标异步导出任务对应的查询配置信息,分别调用各个目标异步导出任务中待查询文件对应的数据接口。
117.在上述实施例的基础上,所述查询文件上传模块包括文件格式转换单元和文件上传单元,其中,文件格式转换单元用于基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件;文件上传单元用于将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,其中,所述文件服务服务器为云端服务器。
118.在上述实施例的基础上,所述文件上传单元具体用于:
119.基于所述目标文件的文件类型以及文件服务器的负载信息,确定目标文件服务器;
120.将所述目标文件存储到所述目标文件服务器中,并生成对应的文件地址信息。
121.在上述实施例的基础上,所述文件格式转换单元具体用于:
122.基于预设文件格式需求,将所述待查询文件转换为csv格式文件,得到所述目标文件。
123.图4为本技术提供的电子装置的结构示意图,如图4所示,该电子装置可以包括:处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行文件异步导出方法,该方法包括:接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;根据所述异步导出请求,确定所述待查
询文件的数据接口,并通过所述数据接口,获取所述待查询文件;将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。
124.此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
125.另一方面,本技术还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在计算机可读的存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的文件异步导出方法,该方法包括:接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。
126.又一方面,本技术还提供一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述各方法提供的文件异步导出方法,该方法包括:接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。
127.以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
128.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。
129.最后应说明的是:以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征:


1.一种文件异步导出方法,其特征在于,包括:接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。2.根据权利要求1所述的文件异步导出方法,其特征在于,所述根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件,包括:根据所述异步导出请求,获取所述待查询文件的查询配置信息,其中,所述查询配置信息至少包括所述待查询文件的源地址信息、版本信息和文件名信息;根据所述查询配置信息,调用所述待查询文件对应的数据接口;接收所述数据接口发送的所述待查询文件。3.根据权利要求2所述的文件异步导出方法,其特征在于,在所述根据所述查询配置信息,调用所述待查询文件对应的数据接口之前,所述方法还包括:根据所述异步导出请求,生成对应的目标异步导出任务;将所述目标异步导出任务添加到任务线程池中;所述根据所述查询配置信息,调用所述待查询文件对应的数据接口,包括:在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口。4.根据权利要求3所述的文件异步导出方法,其特征在于,在所述在确定所述任务线程池中当前线程任务为所述目标异步导出任务时,根据所述查询配置信息,调用所述待查询文件对应的数据接口之前,所述方法还包括:在确定存在多个异步导出任务时,获取所述任务线程池的空闲状态;根据所述空闲状态,确定当前的最大批量任务处理量;所述根据所述查询配置信息,调用所述待查询文件对应的数据接口,包括:基于所述最大批量任务处理量,确定当前同时进行任务处理的多个目标异步导出任务;根据各个目标异步导出任务对应的查询配置信息,分别调用各个目标异步导出任务中待查询文件对应的数据接口。5.根据权利要求1所述的文件异步导出方法,其特征在于,所述将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息,包括:基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件;将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,其中,所述文件服务服务器为云端服务器。6.根据权利要求5所述的文件异步导出方法,其特征在于,所述将所述目标文件存储到对应的文件服务器中,并生成对应的文件地址信息,包括:
基于所述目标文件的文件类型以及文件服务器的负载信息,确定目标文件服务器;将所述目标文件存储到所述目标文件服务器中,并生成对应的文件地址信息。7.根据权利要求5所述的文件异步导出方法,其特征在于,所述基于预设文件格式需求,将所述待查询文件进行格式转换,得到目标文件,包括:基于预设文件格式需求,将所述待查询文件转换为csv格式文件,得到所述目标文件。8.一种文件异步导出系统,其特征在于,包括:查询记录信息生成模块,用于接收客户端发送的异步导出请求,并根据所述异步导出请求,生成待查询文件对应的查询记录信息,并将所述查询记录信息存储到数据库中;查询文件获取模块,用于根据所述异步导出请求,确定所述待查询文件的数据接口,并通过所述数据接口,获取所述待查询文件;查询文件上传模块,用于将所述待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;查询文件导出模块,用于通过所述文件地址信息,对所述查询记录信息进行更新,得到更新后的查询记录信息,以供所述客户端通过所述数据库中更新后的查询记录信息,获取到所述目标文件。9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行权利要求1至7中任一项所述的方法。10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。

技术总结


本申请公开了一种文件异步导出方法、系统、存储介质及电子装置,涉及智能家居/智慧家庭技术领域,该文件异步导出方法包括:接收客户端发送的异步导出请求,并根据异步导出请求,生成待查询文件对应的查询记录信息,并将查询记录信息存储到数据库中;根据异步导出请求,确定待查询文件的数据接口,并通过数据接口,获取待查询文件;将待查询文件转换为目标文件,存储至文件服务器中,并生成对应的文件地址信息;通过文件地址信息,对查询记录信息进行更新,得到更新后的查询记录信息,以供客户端通过数据库中更新后的查询记录信息,获取到目标文件。本申请减轻了数据库查询压力,提高了文件数据导出数量和文件导出效率。高了文件数据导出数量和文件导出效率。高了文件数据导出数量和文件导出效率。


技术研发人员:

李高杰

受保护的技术使用者:

青岛海尔科技有限公司 海尔智家股份有限公司

技术研发日:

2022.08.30

技术公布日:

2022/12/16

本文发布于:2024-09-23 00:42:02,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/36331.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:所述   文件   信息   数据
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议