面向类型化资源的价值导向的存储与计算一体化优化系统

本发明是一种面向类型化资源的价值导向的存储与处理一体化优化方法，将物联 网中汇集到的资源从概念上划分为数据、信息和知识等类型的资源，并将传感器分为数据 传感器、信息传感器和知识传感器，分别采集数据、信息和知识类型的资源，当用户发出资 源服务请求后，将资源的收集、传输、存储、处理、转换、创建、显示、保护和使用作为相关资 源的相应活动进行建模，通过资源类型转换优化资源的处理和存储过程，属于分布式计算 和软件工程学技术交叉领域。

随着物联网技术的发展，使用传感器网络采集的资源量急剧增长，物联网环境下 实时资源传输调度的性能决定了物联网中传感节点的进程管理和内存管理效率，研究资源 调度对改善物联网的系统控制性能、提高网络的连通性和资源完善实时收发能力具有重要 意义。传统的资源处理方法不考虑资源类型转换，用户发出资源请求后，处理的资源在传输 过程中容易受网络带宽、转发长度的限制，造成传输效率低的问题。设备服务的计算资源是 高度受限的，如设备的存储能力、计算能力和带宽等资源都是有限的；设备服务的搜索空间 是巨大的。如何快速高效地使用户选择满足其需求的服务是一个巨大的挑战。如何在有限 的物联网服务计算资源的情况下为无限的服务请求提供高效可靠、满足其个性化需求的服 务是亟待解决的问题。

本发明提出一种面向类型化资源的价值导向的存储与处理一体化优化方法，关键 技术在于将物联网中汇集到的以数据、信息和知识等形式存在的原始资源，通过转换资源 类型改变资源规模，协同调整处理资源所需的计算和存储资源，优化物联网资源利用率和 传输效率。

技术问题：

本发明的目的是为解决物联网有限带宽与海量资源传输需求的矛盾，通过比较直接处 理资源和转换资源类型后再进行处理两种方案的代价确定资源的处理方案，从而实现在有 限的网络带宽资源下的动态资源分配，提高网络资源利用率和采集到的资源的处理效率。

技术方案：

本发明是一种面向类型化资源的价值导向的存储与处理一体化优化方法，通过数据传 感器、信息传感器和知识传感器采集到的数据、信息和知识等类型的资源在传输过程中由 于网络带宽等资源有限导致传输效率低，资源分配不均，无法及时满足用户的资源请求，本 发明提出通过转换资源类型改变资源规模，提高资源利用率和传输效率。本发明定义资源 建模包括采用资源实例、资源类型、资源集合的概念对资源分类的描述、资源类型转换的描 述，具体定义如下：

（1）资源实例(RINS)：描述原子级别的资源，作为资源分类树的最底层结点，资源实例 包括资源类型(REtype)和资源规模(REsca)两个属性，可表示为RINS:=<REtype, REsca>；

（2）资源类型(TypeDIK)：本发明定义资源包含三种类型，分别是数据、信息和知识，可表 示为TypeDIK:=<DataDIK, InformationDIK, KnowledgeDIK>；表1给出了对DataDIK、 InformationDIK和KnowledgeDIK等资源类型的解释；

DataDIK：DataDIK是通过直接观察得到的资源，在没有上下文背景的情况下，DataDIK没有 语义，对DataDIK进行分析时要引入DataDIK的数学结构，包括度量结构、网络结构和代数结 构。在DataGraphDIK上可统计DataDIK的结构频度、时间频度和空间频度；

InformationDIK：InformationDIK用来表达实体之间的交互和协作，由概念化的DataDIK 和相关资源元素的组合构成；

KnowledgeDIK：KnowledgeDIK表示更高抽象层次的资源，通过对DataDIK和InformationDIK 进行抽象可得到KnowledgeDIK，通过对KnowledgeDIK进行演绎和推理可挖掘隐式存在或未知 的资源；

（3）资源集合(RC)：资源集合是不同类型或相同类型资源的集合，由资源实例构成；

DataDIK到InformationDIK的转换

直接观察得到的DataDIK，通过概念映射和聚类，将DataDIK进行重组和分类，重组后的 DataDIK集合对应不同的类或者概念，可得到InformationDIK；

DataDIK到KnowledgeDIK的转换

DataDIK可以从标准的模式中继承语义关系，被有效地集成并被其他应用重用，DataDIK 中会存在冗余、不一致等现象，在DataDIK向知识的转换过程中，通过链接DataDIK来源以及语 义约束，识别出最可靠的DataDIK，进而形成KnowledgeDIK；

InformationDIK到KnowledgeDIK的转换

InformationDIK用来表达实体之间的交互和协作，通过分类和抽象交互记录或行为记 录得到有关实体动态行为的统计规则，即知识。知识可以通过从已知资源中推断得出，推断 过程中缺乏的必要信息可通过适当的研究技术来收集，例如实验、调查等；

InformationDIK到DataDIK的转换

离散，从概念集合到资源实例的转换。InformationDIK表达了实体之间的动态交互和协 作，观察实体对象在某一时刻的静态状态得到DataDIK；

KnowledgeDIK到DataDIK的转换

根据知识推理，对抽取出的KnowledgeDIK集合建立相关实例，KnowledgeDIK结点之间的 关系以属性的方式与实例相关联，得到DataDIK；

KnowledgeDIK到InformationDIK的转换

逻辑推理，知识图谱的无结构特征使得其可以链接和利用更丰富的知识库帮助用户做 决策，从知识检索到知识创造的过程中得到InformationDIK；

表1.类型化资源的解释

Data DIK Information DIK Knowledge DIK

语义负载 没有指定利益相关者/机器 指定利益相关者/机器 抽象已知得到未知

形式 元素的概念集合 数据的概念映射和相关关系组合 概率或分类

用法 概念化数据后识别存在性 交互 推理与预测

图 DataGraph DIK InformationGraph DIK KnowledgeGraph DIK

体系结构

图1给出了面向类型化资源的价值导向的处理优化系统的体系结构，图2给出了面向类 型化资源的价值导向的处理优化系统的流程图。本发明将传感器分为数据传感器、信息传 感器和知识传感器，分别采集数据、信息和知识等类型的资源，并将采集到的资源集合定义 为RES:={RESD, RESI, RESK }，每种资源的规模为Amt={AmtD, AmtI, AmtK }，表2所示为RES 中单位资源类型转换的原子代价，数据和信息之间的转换需要上下文背景的支持，数据是 通过观察直接得到的，其本身不包含语义信息，通过对数据赋予上下文背景，数据才能转换 成信息；数据和知识之间的转换在不同阶段有不同的约束信息，在数据抽取阶段，选择的数 据转换集合应符合领域知识的基本描述，并根据特定领域的概念描述，将数据分组归类，以 实例形式对数据进行抽象和封装；信息到知识的转换需要经验规则的支持。而通过推理知 识可得到相关的数据和信息，通过分析和观察信息可得到数据。表3所示为单位资源类型转 换的规模增量，表4所示为单位资源的处理代价和存储代价

表2.RES中单位资源类型转换的原子代价

Data DIK Information DIK Knowledge DIK

Data DIK TCost D-D TCost D-I TCost D-K

Data DIK TCost I-D TCost I-I TCost I-K

Data DIK TCost K-D TCost K-I TCost K-K

表3.单位资源类型转换的规模增量

Data DIK Information DIK Knowledge DIK

Data _{DIK D-D D-I D-K}

Information _{DIK I-D I-I I-K}

Knowledge _{DIK K-D K-I K-K}

表4.单位资源的处理代价和存储代价

Data DIK Information DIK Knowledge DIK

处理代价(CostPR) CostPR D CostPR I CostPR K

存储代价(STCost) STCost D STCost I STCost K

有益效果：

本发明提出了一种面向类型化资源的价值导向的存储与处理一体化优化方法，通过衡 量资源处理的代价确定资源处理方案，优化资源处理和存储，有利于缓解物联网资源传输 过程中存在的负载不均衡、实时性可靠性难以保障等问题。通过传感器组采集到的以数据、 信息和知识等形态存在的资源，应用物联网传输网络将这些资源传输至资源处理结点，优 化资源分配。本发明提出通过数据、信息和知识等资源之间的类型转换改变资源规模，解决 了受网络带宽资源有限导致资源无法传输效率低、网络资源利用率不高的问题。该方法具 有如下优点：

1）对资源类型的划分

本发明提出在概念上将资源划分为数据（DataDIK）、信息（InformationDIK）和知识 （KnowledgeDIK），便于挖掘资源之间的联系和转换资源类型，进而改变资源规模，动态适应 网络带宽、缓存等资源限制；

2）存储与计算一体化协同调整

一种面向类型化资源的物联网资源采集传输优化系统开发方法，本发明将资源从概念 上划分为数据、信息和知识三张类型，通过转换资源类型进而改变资源规模，有利于降低资 源的存储代价和处理代价，通过协同调整资源处理和存储的代价，优化资源利用率和处理 效率，降低资源在传输给用户时的带宽需要；

3）动态分配网络资源

通过对已有资源的细分和合理存储，优化了资源存储的空间效率，降低物联网传输资 源的过程中占用的网络带宽资源，动态分配网络带宽资源，提高资源利用率。

图1是一种面向类型化资源的价值导向的处理优化系统的体系结构。

图2是一种面向类型化资源的价值导向的存储与处理一体化优化方法的流程图。

一种面向类型化资源的价值导向的存储与处理一体化优化方法，使用传感器网络 采集以数据(DataDIK)、信息(InformationDIK)和知识(KnowledgeDIK)等形式存在的资源，在 物联网传输网络种将这些资源传输到资源处理平台，通过数据、信息和知识等资源之间的 类型转换改变资源规模，解决了受网络带宽资源有限导致资源无法传输效率低、网络资源 利用率不高的问题。具体实施方式为：

步骤1）对应于图2中步骤001，获取物联网中传感器组采集到的数据、信息和知识类型 的资源实例集合RES；

步骤2）资源处理代价（Costpro）与资源规模和用户请求的资源量有关，资源存储代价与 资源规模有关，对应于图2中步骤002，根据公式1和公式2计算直接处理和存储资源集合RES 的代价：

(1)

(2)

其中CostPR取值包括{CostPRD, CostPRI, CostPRK}，分别表示处理单位数据资源、信 息资源和知识资源的原子代价，μ表示用户请求的资源量占原始资源规模的比重，STCost表 示存储单位资源的原子代价；

步骤3）对应于图2中步骤003，对RES中每个元素依次取TypeDIK中的值，004计算资源类 型转换代价（CostMT）：

(3)

其中表示进行类型转换的资源的规模占原始资源规模的比重，TCost表示单位资源类型转换的原子代价，取值包括{TCost_D-D, TCost_D-I, TCost_D-K, TCost_I-D, TCost_I-I, TCost_I-K, TCost_K-D, TCost_K-I, TCost_K-K}；

步骤4）对应于图2中步骤005，对每种情形，根据公式4计算资源类型转换后的资源规模 Amt’，更新资源规模集合，006计算类型转换后的处理代价和存储代价：

(4)

其中表示单位资源类型转换后规模的增量，取值包括∆Amt_D-D，∆Amt_D-I，∆Amt_D-K，∆Amt_I-D，∆Amt_I-I，∆Amt_I-K，∆Amt_K-D，∆Amt_K-I，∆Amt_K-K；

步骤5）对应于图2中步骤007，本发明定义对网络资源利用的限制模型的目标函数包含 带宽使用均衡度（UE_BW）和节点资源转发的等待时间(WTime)两个参数，其中带宽使用均衡 度为带宽空闲率（IRate_BW）的方差，带宽空闲率和带宽使用均衡度的计算方式如公式5和 6：

(5)

(6)

其中BWij表示从节点i到节点j的链路的带宽，Fij表示链路上的流量，l表示平均分组长 度；

步骤6）对应于图2中步骤008，在一个节点上资源转发的等待时间包括转发等待率 （WRate）和等待均衡度（WEqu），等待均衡度为资源转发等待率的方差，转发等待率和等待均 衡度可根据就公式7和8计算：

(7)

(8)

其中Ni表示第i个节点需转发的资源的平均分组个数，Hi表示节点i的缓冲区长度。009 本发明定义网络资源的优化目标函数为：

(9)

其中α和β分别表示带宽使用均衡度和等待均衡度的权重系数，可通过数据训练得出，F 的值越小，表示网络流量分布越均衡；

步骤7）对应于图2中步骤010，选出直接处理和存储资源和转换资源类型后再进行处理 和存储两种方式中满足带宽、传输缓存等网络资源限制的处理和存储方案；

步骤8）对应于图2中步骤011，根据公式10计算并比较直接传输资源和转换资源类型后 再进行处理等不同方案下的所需投入（Inves）：

(10)

其中表示单位资源传输代价所需单位投入，表示资源存储代价所需单位投入，表示资源元素类型转换所需单位投入；

步骤9）对应于图2中步骤012，根据公式11计算不同处理优化方案的效益比（Inve_ Cos）：

(11)

步骤10）对应于图2中步骤013和014，获取用户可接受的预投入范围和预期效益比（Inve_Cos₀）本发明定于用户的可接受预投入为UInve{UInve_down,UInve_up}；

步骤11）对应于图2中步骤015，在所需用户投入满足的方案中选择效益比较大，016并按照该方案对资源进行存储和处理。