(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911061720.8
(22)申请日 2019.11.01
(71)申请人 智者四海（北京）技术有限公司
地址 100000 北京市海淀区学院路甲5号1
幢三层1#厂房3-011
(72)发明人 徐英杰 周源
(74)专利代理机构 北京超凡宏宇专利代理事务
所(特殊普通合伙) 11463
代理人 谢玲
(51)Int.Cl.
G06F 40/279(2020.01)
G06F 16/35(2019.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
法
(57)摘要
本发明实施例提供一种使用神经网络系统
识别短文本时效性的方法，涉及互联网技术领
域，用以解决现有技术中出现的识别文本时效性
不准确的问题。该方法包括：获取待识别短文本
以及待识别短文本所属的话题特征；将待识别短
文本的文本特征、与待识别短文本关联的时效性
特征输入至深层网络，将待识别短文本所属的话
题特征输入至浅层网络；以及输出待识别文本对
应的各时效类型的概率。权利要求书2页 说明书8页 附图4页CN 110826315 A 2020.02.21
C N 110826315
A
1.一种用于神经网络系统的训练方法，其特征在于，所述神经网络系统用于确定短文本的时效性并且包括深层网络和浅层网络，所述训练方法包括：
从短文本中获取训练集，所述训练集包括：短文本的文本特征、与所述短文本关联的时效性特征以及所述短文本所属的话题特征；
将所述短文本的文本特征、与所述短文本关联的时效性特征输入至深层网络训练深层网络的参数，将短文本所属的话题特征输入至浅层网络训练浅层网络的参数；以及当验证集中的损失值和调和均值满足设定条件时，停止训练，确定所述深层网络的参数和所述浅层网络的参数。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取M个短文本；以及
通过关键词替换将所述M个短文本扩展至N个短文本；所述N>M，且M和N为正整数。
3.根据权利要求1所述的方法，其特征在于，所述短文本包括第一问题文本，所述方法还包括：
判断所述第一问题文本中的词语是否存在于时效性相关的词语列表中；以及
若存在，则在所述词语的位置处插入至少一个所述词语，得到第二问题文本；
所述从短文本中获取训练集，包括：
对所述第二问题文本进行分词，得到所述第二问题文本的文本特征和时效性特征。
4.根据权利要求1所述的方法，其特征在于，所述短文本所属的话题特征是由问题发布者所标记的特征。
5.一种神经网络系统，所述神经网络系统由计算机实现，其特征在于，包括：
特征构建层，用于获取短文本的文本特征、与所述短文本关联的时效性特征以及所述短文本所属的话题特征；
学习层，所述学习层包括深层网络和浅层网络，所述深层网络用于接收所述短文本的文本特征、与所述短文本关联的时效性特征和用于产生深层特征，所述浅层网络用于接收所述短文本所属的话题特征和用于产生浅层特征；以及
分类层，用于根据所述深层特征和所述浅层特征得到各类时效性的概率。
6.根据权利要求5所述的神经网络系统，其特征在于，所述深层网络包括嵌入模型和双层transformer模型，所述浅层网络包括独热编码和线性模型。
7.一种使用神经网络系统识别短文本时效性的方法，其特征在于，所述神经网络系统包括深层网络和浅层网络，所述方法包括：
获取待识别短文本的文本特征、与所述待识别短文本关联的时效性特征以及所述待识别短文本所属的话题特征；
将所述待识别短文本的文本特征、与所述待识别短文本关联的时效性特征输入至所述深层网络，将所述待识别短文本所属的话题特征输入至所述浅层网络；以及输出所述待识别文本对应的各时效类型的概率。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据业务的需求设置阈值条件，将满足所述阈值条件的概率对应的时效性识别为短文本的时效性分类结果，所述时效性的类型包括长时效、短时效以及无时效。
9.一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计
算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4或7-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行如权利要求1-4或7-8任一项所述的方法。
使用神经网络系统识别短文本时效性的方法
技术领域
[0001]本发明涉及互联网技术领域，具体地，涉及一种使用神经网络系统识别短文本时效性的方法。
背景技术
[0002]随着互联网的发展和信息的不断暴增，在很多网络社区中如知乎、悟空问答、今日头条以及新闻社区，网络社区的问题路由每日分发量巨大，包括很多热点、时效性不同的问题。其中，时效性分为短时效性如一周、长时效性如一个月和无时效性。短时效的内容如果不能得到及时曝光也不能快速地消失，就会给用户很强地迟滞感，而长时效的有价值的问题如果太快地被埋没了也比较可惜，为了能更精准地路由进而提高问题的回答率、优化社区讨论氛围，问题路由需要进一步根据问题的时效设置时效性标签，传统的文本时效性识别分类方法，一般采用人工运营经验判断，或者通过规则抓取文本中的粗细粒度的时间词语进行分类，传统文本识别的方法没有针对性、耗时较长且泛化能力较差往往效果不理想，从而导致文本的时效性不准确。
发明内容
[0003]本发明的实施例提供一种使用神经网络系统识别短文本时效性的方法，用以解决现有技术中出现的识别文本时效性不准确的问题。
[0004]为达到上述目的，本发明的实施例采用如下技术方案：
[0005]本发明实施例的第一方面，提供一种用于神经网络系统的训练方法，所述神经网络系统用于确定短文本的时效性并且包括深层网络和浅层网络，所述训练方法包括：从短文本中获取训练集，所述训练集包括：短文本的文本特征、与所述短文本关联的时效性特征以及所述短文本所属的话题特征；将所述短文本的文本特征、与所述短文本关联的时效性特征输入至深层网络训练深层网络的参数，将短文本所属的话题特征输入至浅层网络训练浅层网络的参数；以及当验证集中的损失值和调和均值满足设定条件时，停止训练，确定所述深层网络的参数和所述浅层网络的参数。
[0006]在一个实施例中，所述方法还包括：获取M个短文本；以及通过关键词替换将所述M 个短文本扩展至N个短文本；所述N>M，且M和N为正整数。
[0007]在一个实施例中，所述短文本包括第一问题文本，所述方法还包括：判断所述第一问题文本中的词语是否存在于时效性相关的词语列表中；以及若存在，则在所述词语的位置处插入至少一个所述词语，得到第二问题文本；所述从短文本中获取训练集，包括：对所述第二问题文本进行分词，得到所述第二问题文本的文本特征和时效性特征。
[0008]在一个实施例中，所述短文本所属的话题特征是由问题发布者所标记的特征。[0009]本发明实施例的第二方面，提供一种神经网络系统，所述神经网络系统由计算机实现，包括：特征构建层，用于获
取短文本的文本特征、与所述短文本关联的时效性特征以及所述短文本所属的话题特征；学习层，所述学习层包括深层网络和浅层网络，所述深层网
络用于接收所述短文本的文本特征、与所述短文本关联的时效性特征和用于产生深层特征，所述浅层网络用于接收所述短文本所属的话题特征和用于产生浅层特征；以及分类层，用于根据所述深层特征和所述浅层特征得到各类时效性的概率。
[0010]在一个实施例中，所述深层网络包括嵌入模型和双层transformer模型，所述浅层网络包括独热编码和线性模型。
[0011]本发明实施例的第三方面，提供一种使用神经网络系统识别短文本时效性的方法，所述神经网络系统包括深层网络和浅层网络，所述方法包括：获取待识别短文本的文本特征、与所述待识别短文本关联的时效性特征以及所述待识别短文本所属的话题特征；将所述待识别短文本的文本特征、与所述待识别短文本关联的时效性特征输入至所述深层网络，将所述待识别短文本所属的话题特征输入至所述浅层网络；以及输出所述待识别文本的对应的各时效类型的概率。
[0012]在一个实施例中，所述方法还包括：根据业务的需求设置阈值条件，将满足所述阈值条件的概率对应的时效性识别为短文本的时效性分类结果，所述时效性的类型包括长时效、短时效以及无时效。
[0013]本发明实施例的第四方面，提供一种使用神经网络系统识别短文本时效性的装置，所述神经网络系统包括深层网络和浅层网络，所述装置包括：获取模块，被配置为用于获取待识别短文本的文本特征、与所述待识别短文本关联的时效性特征以及所述待识别短文本所属的话题特征；输入模块，被配置为用于将所述待识别短文本的文本特征、与所述待识别短文本关联的时效性特征输入至所述深层网络，将所述待识别短文本所属的话题特征输入至所述浅层网络；以及输出模块，被配置为用于输出所述待识别文本对应的各时效类型的概率。
[0014]在一个实施例中，所述装置还包括：识别模块，被配置为用于根据业务的需求设置阈值条件，将满足所述阈值条件的概率对应的时效性识别为短文本的时效性分类结果，所述时效性的类型包括长时效、短时效以及无时效。
[0015]本发明实施例的第五方面，提供一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面或第三方面所述的方法。
[0016]本发明实施例的第六方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行如第一方面或第三方面所述的方法。
[0017]相比于现有技术，本发明提供的使用神经网络系统识别短文本时效性的方法，首先，获取待识别短文本的文本特征、与待识别短文本关联的时效性特征以及待识别短文本所属的话题特征；其次，将待
识别短文本的文本特征、与待识别短文本关联的时效性特征输入至深层网络，将待识别短文本所属的话题特征输入至浅层网络；最后，输出待识别文本对应的各时效类型的概率。由于本方案中所使用的神经网络系统是通过将训练集中的短文本的文本特征、与短文本关联的时效性特征输入至深层网络训练深层网络的参数，以及将短文本所属的话题特征输入至浅层网络训练浅层网络的参数，从而确定神经网络系统，在获得多类特征的同时，充分考虑到问题与问题所属话题相结合、记忆特征之间的组合和高阶特征的产生，泛化能力强，从而使得利用该神经网络系统识别出的待识别短文本的时效性
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议