(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011589994.7
(22)申请日 2020.12.29
(71)申请人 长威信息科技发展股份有限公司
地址 350001 福建省福州市鼓楼区软件大
道89号福州软件园F区5号楼13层
(72)发明人 黄炳裕 洪章阳 黄河 戴文艳
王伟宗 何亦龙
(74)专利代理机构 北京高航知识产权代理有限
公司 11530
代理人 乔浩刚
(51)Int.Cl.
G06F 9/451(2018.01)
G06F 16/9535(2019.01)
G06F 16/9538(2019.01)
G06F 16/957(2019.01)
G06F 16/958(2019.01)
(54)发明名称一种可视化大数据算子编排的方法及系统(57)摘要一种可视化大数据算子编排的方法，包括以下步骤：S1、采集或录入原始数据并对其进行预处理，经预处理后得到初始数据；S2、对初始数据进行再处理；S3、判断数据库中是否存在与数据集合匹配的业务类型；S4、创建A个调度策略，将A 个调度策略分类为B个调度策略子集；S5、确定用于算子运算的最优调度策略；S6、运行目标算子；S7、通过可视化设备将需要呈现的数据信息显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的呈现；本发明还提出了一种可视化大数据算子编排的系统。本发明不仅能够对算子运算结果进行可视化展示，还能够实现大数据算子的快速编排，数据分析能力和分析效率得到大幅度提高，操作简单， 使用效果极佳。权利要求书2页 说明书4页 附图1页CN 112698897 A 2021.04.23
C N 112698897
A
1.一种可视化大数据算子编排的方法，其特征在于，包括以下步骤：
S1、采集或录入原始数据并对其进行预处理，经预处理后得到初始数据；
S2、对初始数据进行滤波处理、平滑处理、规范化处理、几何变换、线性变换、特征检测及提取，并
将处理后的数据存储入数据库中；
S3、从数据库中获取所需数据集合，对获取的数据集合进行识别和解析，判断数据库中是否存在与数据集合匹配的业务类型；
若存在，则使用数据处理规则推荐算法推荐多个规则算子；若不存在，则自行在数据库中添加多个规则算子；
S4、提供展示算子的初始界面，获取算子运算对应的算子参数和处理器参数，并基于相关参数创建A个调度策略，将A个调度策略分类为B个调度策略子集；
S5、对B个调度策略子集进行过滤处理，获取C个可行调度策略，将算子参数和C个可行调度策略输入代价模型得到C个算子运算代价，根据目标需求和C个算子运算代价确定用于算子运算的最优调度策略；
S6、根据数据集合运行目标算子，获取运行目标算子后的运算数据并将其数据转成几何数据，完成数据建模，利用计算机内置的可视化类库的制图引擎将运算数据绘制成图表；
S7、通过可视化设备将需要呈现的数据信息显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的呈现。
2.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S1中，数据预处理包括数据格式的标准化、分析、分割、分类、压缩和解压缩。
3.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S3中，还包括以下操作：
提供算子搜索框以进行搜索算子的操作，获取算子搜索框中的搜索字段；从至少一个算子中确定与搜索字段匹配的算子，作为推荐算子在初始界面中进行展示。
4.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S3中，数据处理规则推荐算法包括以下步骤：
对数据集合进行分词处理以提取关键词，基于数据集合中的关键词对数据集合进行特征识别；
基于所识别出的关键特征确定数据集合所属的业务类型，并以业务类型为依据从算子库中提取与业务类型对应的多个规则算子。
5.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S4和S5中，每个调度策略子集包括至少一个调度策略；C个可行调度策略分别为B个调度策略子集中的C个可行调度子集的最优调度策略，C不大于B；C个算子运算代价与C个可行调度策略相对应。
6.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S4中，算子通过卡片形式展示在初始界面中，算子的卡片中包括对应算子的名称、简介、来源和算子类别。
7.根据权利要求1所述的一种可视化大数据算子编排的方法，其特征在于，在S4中，算子参数包括算子类型和算子大小，处理器参数包括处理器架构、缓存层级、缓存容量和带宽、计算能力和处理主频，调度策略切分类型、循环顺序和数据流。
8.一种可视化大数据算子编排的系统，其特征在于，包括数据获取模块、数据预处理模块、数据再处理模块、存储模块、分析匹配模块、算子编排模块、算子运行模块、结果生成模块和可视化设备； 其中，数据获取模块用于采集原始数据，数据预处理模块用于对数据进行预处理，数据再处理模块用于对数据进行再处理，存储模块用于存储数据，分析匹配模块用于识别解析数据并判断是否存在与数据集合匹配的业务类型，算子编排模块用于对算子进行编排，算子运行模块用于运行算子，结果生成模块用于生成算子运算结果并绘制图表，可视化设备用于进行可视化展示。
一种可视化大数据算子编排的方法及系统
技术领域
[0001]本发明涉及数据处理技术领域，尤其涉及一种可视化大数据算子编排的方法及系统。
背景技术
[0002]广义的讲，对任何函数进行某一项操作都可以认为是一个算子，甚至包括求幂次、开方都可以认为是一个算子，只是有的算子通过采用一个符号来代替它所要进行的运算，总而言之，算子就是映射，就是关系，就是变换，常见的算子有微分算子、梯度算子、散度算子、拉普拉斯算子、哈密顿算子等；广义的算子的定义还可以是向量空间、赋范向量空间、内积空间，算子还可分为有界的与无界的，线性的与非线性的等等类别；随着大数据、机器学习技术的研究和工程应用，对大数据分析计算的要求越来越高，现有大数据算子编排一般不能进行可视化的展示，也难以实现大数据算子的快速编排配置，数据分析能力和分析效率有待提高，使用效果不佳，有待进行改善。
发明内容
[0003](一)发明目的
[0004]为解决背景技术中存在的技术问题，本发明提出一种可视化大数据算子编排的方法及系统，不仅能够对算子运算结果进行可视化展示，还能够实现大数据算子的快速编排，数据分析能力和分析效率得到大幅度提高，操作简单，使用效果极佳，适合推广使用。[0005](二)技术方案
[0006]本发明提出了一种可视化大数据算子编排的方法，包括以下步骤：
[0007]S1、采集或录入原始数据并对其进行预处理，经预处理后得到初始数据；[0008]S2、对初始数据进行滤波处理、平滑处理、规范化处理、几何变换、线性变换、特征检测及提取，并将处理后的数据存储入数据库中；
[0009]S3、从数据库中获取所需数据集合，对获取的数据集合进行识别和解析，判断数据库中是否存在与数据集合匹配的业务类型；
[0010]若存在，则使用数据处理规则推荐算法推荐多个规则算子；若不存在，则自行在数据库中添加多个规则算子；
[0011]S4、提供展示算子的初始界面，获取算子运算对应的算子参数和处理器参数，并基于相关参数创建A个调度策略，将A个调度策略分类为B个调度策略子集；
[0012]S5、对B个调度策略子集进行过滤处理，获取C个可行调度策略，将算子参数和C个可行调度策略输入代价模型得到C个算子运算代价，根据目标需求和C个算子运算代价确定用于算子运算的最优调度策略；
[0013]S6、根据数据集合运行目标算子，获取运行目标算子后的运算数据并将其数据转成几何数据，完成数据建模，利用计算机内置的可视化类库的制图引擎将运算数据绘制成图表；
[0014]S7、通过可视化设备将需要呈现的数据信息显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的呈现。
[0015]优选的，在S1中，数据预处理包括数据格式的标准化、分析、分割、分类、压缩和解压缩。
[0016]优选的，在S3中，还包括以下操作：
[0017]提供算子搜索框以进行搜索算子的操作，获取算子搜索框中的搜索字段；从至少一个算子中确定与搜索字段匹配的算子，作为推荐算子在初始界面中进行展示。
[0018]优选的，在S3中，数据处理规则推荐算法包括以下步骤：
[0019]对数据集合进行分词处理以提取关键词，基于数据集合中的关键词对数据集合进行特征识别；
[0020]基于所识别出的关键特征确定数据集合所属的业务类型，并以业务类型为依据从算子库中提取与业务类型对应的多个规则算子。
[0021]优选的，在S4和S5中，每个调度策略子集包括至少一个调度策略；C个可行调度策略分别为B个调度策略子集中的C个可行调度子集的最优调度策略，C不大于B；C个算子运算代价与C个可行调度策略相对应。
[0022]优选的，在S4中，算子通过卡片形式展示在初始界面中，算子的卡片中包括对应算子的名称、简介、来源和算子类别。
[0023]优选的，在S4中，算子参数包括算子类型和算子大小，处理器参数包括处理器架构、缓存层级、缓存容量和带宽、计算能力和处理主频，调度策略切分类型、循环顺序和数据流。
[0024]本发明还提出了一种可视化大数据算子编排的系统，包括数据获取模块、数据预处理模块、数据再处理模块、存储模块、分析匹配模块、算子编排模块、算子运行模块、结果生成模块和可视化设备；
[0025]其中，数据获取模块用于采集原始数据，数据预处理模块用于对数据进行预处理，数据再处理模块用于对数据进行再处理，存储模块用于存储数据，分析匹配模块用于识别解析数据并判断是否存在与数据集合匹配的业务类型，算子编排模块用于对算子进行编排，算子运行模块用于运行算子，结果生成模块用于生成算子运算结果并绘制图表，可视化设备用于进行可视化展示。
[0026]本发明的上述技术方案具有如下有益的技术效果：
[0027]首先采集或录入原始数据并对其进行预处理，对初始数据再次处理，并将处理后的数据存储入数据库中，从数据库中获取所需数据集合，判断数据库中是否存在与数据集合匹配的业务类型；之后
提供展示算子的初始界面，获取算子运算对应的算子参数和处理器参数，并基于相关参数创建A个调度策略，将A个调度策略分类为B个调度策略子集，对B个调度策略子集进行过滤处理，获取C个可行调度策略，将算子参数和C个可行调度策略输入代价模型得到C个算子运算代价，根据目标需求和C个算子运算代价确定用于算子运算的最优调度策略；然后运行目标算子，获取运行目标算子后的运算数据，最后通过可视化设备将需要呈现的数据信息显示在Web页面前端，从而实现大数据平台的自动可视化分析页面的呈现；本发明不仅能够对算子运算结果进行可视化展示，还能够实现大数据算子的快速编排，数据分析能力和分析效率得到大幅度提高，操作简单，使用效果极佳，适合推广使用。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议