预测未来技术知识流动的方法

本发明涉及大数据分析技术领域，具体地，涉及一种预测未来技术知识流动的方法。

技术知识流动(Technological Knowledge Flow，简称TKF)是指知识从一个技术领域到另一个技术领域的有向流动，反映了两个不同技术领域间的一种交互。在经济全球化的趋势下，许多高新技术企业面临着严峻的创新压力，为了保持竞争优势，它们必须把握技术发展趋势，与时俱进。在这方面，一种有效的方法是预测未来不同技术领域之间的流动，从而把握技术的发展趋势，建立有效的研究和发展战略。

TKF分析经常在大规模科学文献中进行，其中专利挖掘起着重要作用。在专利领域，每个专利经常引用已经发表的专利，并且在每个专利申请时，都会根据专利分类系统，分配到一个或多个技术分类代码。以目前最常用的联合专利分类体系(CPC)为例，每个分类编码都可以看作是一种技术领域，并且不同的技术可以通过两种方式连接，一种是CPC分类固有的层级结构，另一种是通过专利引用进行连接。因此，借助CPC分类体系和专利引用，我们可以构造每年的技术知识流动图并且预测未来的技术知识流动趋势。

本发明的目的是提供一种预测未来技术知识流动的方法，该方法能够高效且准确地实现对未来技术领域之间的交互关系以及发展趋势进行预测。

为了实现上述目的，本发明提供了一种预测未来技术知识流动的方法，所述方法包括：

步骤1、获取每一个时间段上的授权的专利及其所属的技术分类，以及每个专利的引用专利文献；

步骤2、将所述专利间的引用聚合成技术间的流动，构建每一年的技术知识流动TKF网络；

步骤3、将所述专利数据通过计算得到每一个时间段内技术领域在扩散能力和吸收能力上的初始特征向量；

步骤4、将上述每一个时间段上的技术的初始特征向量输入技术流动预测框架，得到下一个时间段上的技术扩散能力的特征向量与吸收能力的特征向量，并将不同技术的扩散能力与吸收能力进行匹配，得到最终的技术之间的流动趋势。

优选地，步骤3中的技术扩散能力初始特征向量d包括：

技术成长率，即过去几年一项技术的授权数量占该技术总授权数量的比例；

技术扩散量，即一项技术所包含的知识扩散到的其他技术领域的数量；

技术扩散率，即一项技术的扩散量占所有技术总扩散量的比例。

优选地，步骤3中的技术吸收能力的初始特征向量a包括：

技术成长率，即过去几年一项技术的授权数量占该技术总授权数量的比例；

技术吸收量，即一项技术吸收的知识来自其他技术领域的数量；

技术吸收率，即一项技术的吸收量占所有技术总吸收量的比例。

优选地，步骤4包括：

将每一个时间段上的技术的技术扩散能力初始特征向量d和技术吸收能力的初始特征向量a输入技术流动预测框架的高阶交互模块HOI，计算得到技术领域聚合周围高阶邻居之后的扩散能力特征向量do和吸收能力特征向量ao；

将特征向量do和ao输入层级传递模块，通过计算得到包含技术体系特有的层级结构信息的技术扩散能力和吸收能力特征向量；

将上述每一个时间段的技术扩散能力和吸收能力的特征向量输入技术流动追踪模块，得到下一个时间段内的技术领域的扩散能力和吸收能力的特征向量；

将所述的未来时间段上的技术的扩散能力和吸收能力进行匹配，得到两个不同技术领域之间的流动概率；

将得到的概率与真实值输入损失函数中，进行梯度更新。

优选地，步骤4中的高阶交互模块的计算公式为：

其中，和表示技术Ui第k层邻居的扩散和吸收嵌入表示，和分别表示技术Ui的流出和流入的邻居集合；在聚合K层的高阶邻居特征之后，得到更新后的技术扩散能力表示和吸收能力表示

其中，αk≥0表示第k层邻居的重要性，即第k层邻居对于技术Ui的影响。

优选地，步骤4中的层级传递模块包括：

向上收敛模块，用于将下层节点的信息聚合到上层节点，该模块采用注意力机制来自动学习下层节点的权重以表示不同下层节点的重要性，公式如下所示：

其中，wij表示下层节点j相对于上层节点i的权重，是转换矩阵，是偏移向量，|gi|是上层技术节点gi所包含的所有下层技术节点的数量，βij是标准化后的权重，是上层节点i的最终表示；

向下更新模块，用于将上层节点的信息更新到下层节点计算公式如下：

其中，是更新后的下层节点表示，是转换矩阵，是偏移向量，σ是激活函数。

优选地，在步骤4的技术流动追踪模块中，将双向长短时记忆模型BiLSTM用于动态特征的建模，具体公式如下：

将连续时间段T内的扩散特征d＝[d1，d2，...，dT]输入BiLSTM，

dt★＝ht

得到在T+1时间段上的扩散特征

根据上述技术方案，本发明首先提取连续时间段内各个技术领域的初始扩散特征和吸收特征，包括技术的成长率，技术的扩散量和吸收量以及技术的扩散率和吸收率；然后将初始扩散特征与吸收特征输入到预设的技术流动框架中，这些特征依次经过技术的高阶交互模块和层级传递模块，得到每个时间段内技术在扩散方面和吸收方面的特征向量，之后将各个时间段内技术的扩散能力向量和吸收能力向量输入技术流动追踪模块，得到每个技术领域在未来时间段上的扩散能力与吸收能力向量；最终通过将技术的扩散能力和吸收能力进行匹配，得到两个不同技术领域之间的流动概率。充分利用了现有的专利分类体系的层级结构性质，以及技术间的高阶流动，并利用图神经网络的方法，构造了基于专利引用的技术流动网络，并根据技术的动态性特征，预测未来的技术流动方向。本发明克服了现有的方法主要依靠专家经验，需要耗费大量人力的不足，以及无法充分利用技术流动的特点以及专利层级结构性质的缺点，可以高效准确的预测未来的技术流动方向。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是根据本发明提供的一种预测未来技术知识流动的方法的流程图；

图2是根据本发明提供的一种预测未来技术知识流动的方法的模型示意图。

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

参见图2，本发明提供一种预测未来技术知识流动的方法，包括：

步骤1、获取每一个时间段上的授权的专利及其所属的技术分类，以及每个专利的引用专利文献；

步骤2、将所述专利间的引用聚合成技术间的流动，构建每一年的技术知识流动TKF网络；

步骤3、将所述专利数据通过计算得到每一个时间段内技术领域在扩散能力和吸收能力上的初始特征向量；

步骤4、将上述每一个时间段上的技术的初始特征向量输入技术流动预测框架，得到下一个时间段上的技术扩散能力的特征向量与吸收能力的特征向量，并将不同技术的扩散能力与吸收能力进行匹配，得到最终的技术之间的流动趋势。

其中，步骤3中的技术扩散能力初始特征向量d包括：

技术成长率，即过去几年一项技术的授权数量占该技术总授权数量的比例；

技术扩散量，即一项技术所包含的知识扩散到的其他技术领域的数量；

技术扩散率，即一项技术的扩散量占所有技术总扩散量的比例。

步骤3中的技术吸收能力的初始特征向量a包括：

技术成长率，即过去几年一项技术的授权数量占该技术总授权数量的比例；

技术吸收量，即一项技术吸收的知识来自其他技术领域的数量；

技术吸收率，即一项技术的吸收量占所有技术总吸收量的比例。

具体的，步骤4包括：

将每一个时间段上的技术的技术扩散能力初始特征向量d和技术吸收能力的初始特征向量a输入技术流动预测框架的高阶交互模块HOI，计算得到技术领域聚合周围高阶邻居之后的扩散能力特征向量do和吸收能力特征向量ao；

将特征向量do和ao输入层级传递模块，通过计算得到包含技术体系特有的层级结构信息的技术扩散能力和吸收能力特征向量；

将上述每一个时间段的技术扩散能力和吸收能力的特征向量输入技术流动追踪模块，得到下一个时间段内的技术领域的扩散能力和吸收能力的特征向量；

将所述的未来时间段上的技术的扩散能力和吸收能力进行匹配，得到两个不同技术领域之间的流动概率；

将得到的概率与真实值输入损失函数中，进行梯度更新。

步骤4中的高阶交互模块的计算公式为：

其中，和表示技术Ui第k层邻居的扩散和吸收嵌入表示，和分别表示技术Ui的流出和流入的邻居集合；在聚合K层的高阶邻居特征之后，得到更新后的技术扩散能力表示和吸收能力表示

其中，αk≥0表示第k层邻居的重要性，即第k层邻居对于技术Ui的影响。

步骤4中的层级传递模块包括：

向上收敛模块，用于将下层节点的信息聚合到上层节点，该模块采用注意力机制来自动学习下层节点的权重以表示不同下层节点的重要性，公式如下所示：

其中，wij表示下层节点j相对于上层节点i的权重，是转换矩阵，是偏移向量，|gi|是上层技术节点gi所包含的所有下层技术节点的数量，βij是标准化后的权重，是上层节点i的最终表示；

向下更新模块，用于将上层节点的信息更新到下层节点计算公式如下：

其中，是更新后的下层节点表示，是转换矩阵，是偏移向量，σ是激活函数。

此外，在步骤4的技术流动追踪模块中，将双向长短时记忆模型BiLSTM用于动态特征的建模，具体公式如下：

将连续时间段T内的扩散特征d＝[d1，d2，...，dT]输入BiLSTM，

dt★＝ht

得到在T+1时间段上的扩散特征

具体的，如图1所示，在本发明的一种实施例中，依次进行：

S101：获取每一个时间段上的授权的专利及其所属的技术分类，以及每个专利的引用专利文献。

本发明实施例提供的方法中，依据美国专利商标局USPTO提供的专利数据以及联合专利分类体系CPC提供的技术分类，按照年份提取出每年的新增专利及其所属技术分类以及引用的其他专利。

S102：将所述专利间的引用聚合成技术间的流动，构建每一年的技术知识流动TKF网络。

本发明实施例提供的方法中，如果技术A包含的专利引用了技术B包含的专利n次，则认为可能存在一个从技术B到技术A的知识流动，其中n表示了流动的强度。显然，n越大，技术A和技术B之间的知识流动越强。并且，为了去除噪声影响以及限制技术流动网络的大小，对n进行阈值限制：只有当n＞N时，对应的知识流动才能作为技术知识流动网络的边。其中，N的值由具体实施过程中的具体需要进行设定，由技术A和技术B之间的知识流动强度需求决定具体值的大小。

S103：将所述专利数据通过计算得到每一个时间段内技术领域在扩散能力和吸收能力上的初始特征向量。

本发明实施例提供的方法中，扩散能力与吸收能力的初始特征向量分别包含了三个值，依次是技术成长率，技术扩散量，技术扩散率和技术成长率，技术吸收量，技术吸收率。令和分别表示技术Ui在时间t上的扩散特征和吸收特征，将和作为后续模块的输入。

S104：将上述每一个时间段上的技术的初始特征向量d和a输入技术流动预测框架的高阶交互模块HOI，计算得到技术领域聚合周围高阶邻居之后的扩散能力特征向量do和吸收能力特征向量ao。

本发明实施例提供的方法中，TKF网络图中的边可以表示为源节点扩散能力与目标节点吸收能力的相互作用，因此，采用交互式图神经网络的思想来更新技术的两个特征。具体来说，技术领域的扩散特征是通过聚合相邻技术领域的吸收特征来更新的，反之亦然。此处选择简单的加权和运算作为算子，同时考虑了效率和效果。聚合过程如下所示：

其中，和表示技术Ui第k层邻居的扩散和吸收嵌入表示，和分别表示技术Ui的流出和流入的邻居集合。在聚合K层的高阶邻居特征之后，得到更新后的技术扩散能力表示和吸收能力表示

其中，αk≥0表示第k层邻居的重要性，即第碾邻居对于技术Ui的影响。

S105：将上述特征向量输入层级传递模块，通过计算得到包含技术体系特有的层级结构信息的技术扩散能力和吸收能力特征向量。

本发明实施例提供的方法中，由于技术可以通过CPC体系的层级结构进行连接。因此，利用技术之间的层次关系可以生成更全面的技术表示，实现更精确的TKF预测。由于上面的类别与下面的类别具有包含关系，可以通过聚合下面类别的信息来表示上面的类别。另一方面，较高的类别信息也可以补充较低类别中不完整的信息，为此构建层级传递模块来描述上下类别之间的相互影响。层级传递模块由两部分组成，分别是向上传递模块和向下更新模块。在本实施例中，CPC的每一个Section都可以构成一个数据集，如图2所示，主要关注三个层次之间的层级结构，分别是subgroup，group和subsection。

向上传递模块旨在将信息从较低的层次聚合到较高的层次，即subgroup到group，group到subsection。此处，以从subgroup到group的向上传递过程为例，对于group层级节点的扩散特征，通过聚合它在subgroup层级上的子节点的扩散特征来表示。为了区分不同子节点的重要性，应用注意机制自动学习子节点的权重。用wij来表示subgroup层级的节点j到group层级的节点i的权重，可以被计算为：

其中，是转换矩阵，是偏移向量，|gi|是上层技术节点gi所包含的所有下层技术节点的数量，βij是标准化后的权重，是group层节点i的更新后的扩散特征表示。同样地，能够得到技术i在group层级上的吸收特征然后，通过从group层级到subsection层级的向上传递过程，得到技术i在subsection层级的扩散表征和吸收表征

在向下更新阶段，需要使用上层节点的信息更新下层节点，即subsection到group和group到subgroup。此处，以subsection层级到group层级的更新过程为例，为了更新group层级中节点的扩散表示，拼接当前节点的扩散特征以及它在subsection层级的父节点的扩散特征，然后采用非线性变换得到增强的扩散表示：

其中，是更新后的group层级的节点表示，是转换矩阵，是偏移向量，σ是激活函数。同样地，通过group层级到subgroup层级的信息更新，能够获得技术j在subgroup层级上的经过层级传递模块后更新的扩散特征和吸收特征

S106：将上述每一个时间段的技术扩散能力和吸收能力的特征向量输入技术流动追踪模块，得到下一个时间段内的技术领域的扩散能力和吸收能力的特征向量。

本申请实施例中，将双向长短时记忆模型BiLSTM用于动态特征的建模，将连续时间段T内的扩散特征d＝[d1，d2，...，dT]输入BiLSTM，具体公式如下：

dt★＝ht

得到在T+1时间段上的扩散特征

S107：将所述的未来时间段上的技术的扩散能力和吸收能力进行匹配，得到两个不同技术领域之间的流动概率。

本实施例中，将T+1时刻的扩散特征和吸收特征进行内积运算，公式为：最终可以得到T+1时间段，技术i流动到技术j的概率。

S108：将得到的概率与真实值输入损失函数中，进行梯度更新。

在本实施例中，由于全新的技术流动很难预测，它们以前从未出现过，因此仍然需要一个设计良好的目标函数来训练模型。为了在不降低精度的情况下更准确地预测新边，为每个时间窗口出现的边设计损失函数，其公式如下：

其中，代表了对全新的边进行预测的损失函数，代表了对所有出现的边进行预测的损失函数，是总损失函数，α代表了和在中所占的比重。

由此可见，本发明首先提取连续时间段内各个技术领域的初始扩散特征和吸收特征，包括技术的成长率，技术的扩散量和吸收量以及技术的扩散率和吸收率；然后将初始扩散特征与吸收特征输入到预设的技术流动框架中，这些特征依次经过技术的高阶交互模块和层级传递模块，得到每个时间段内技术在扩散方面和吸收方面的特征向量，之后将各个时间段内技术的扩散能力向量和吸收能力向量输入技术流动追踪模块，得到每个技术领域在未来时间段上的扩散能力与吸收能力向量；最终通过将技术的扩散能力和吸收能力进行匹配，得到两个不同技术领域之间的流动概率。充分利用了现有的专利分类体系的层级结构性质，以及技术间的高阶流动，并利用图神经网络的方法，构造了基于专利引用的技术流动网络，并根据技术的动态性特征，预测未来的技术流动方向。本发明克服了现有的方法主要依靠专家经验，需要耗费大量人力的不足，以及无法充分利用技术流动的特点以及专利层级结构性质的缺点，可以高效准确的预测未来的技术流动方向。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。