关于问答系统（QA）、对话系统（Chatbot）的学与思 AnyQ
广告伞制作AnyQ(ANswer Your Questions) 开源项⽬主要包含⾯向FAQ集合的问答系统框架、⽂本语义匹配⼯具SimNet。（检索式回答）
AnyQ系统框架主要由Question Analysis、Retrieval、Matching、Re-Rank等部分组成，框架中包含的功能均通过插件形式加⼊，如Analysis中的中⽂切词，Retrieval中的倒排索引、语义索引，Matching中的Jaccard特征、SimNet语义匹配特征，当前共开放了20+种插件。AnyQ系统的配置化、插件化设计有助于开发者快速构建、快速定制适⽤于特定业务场景的FAQ问答系统，加速迭代和升级。 AnyQ 的框架结构如下图：
单轮对话
单轮对话有三种形式：基于分析、基于检索、基于⽣成。
基于分析是⽐如⼀个单轮对话针对⼀个分类问题，或者是⼀个结构预测的问题，那么检索就是⼀个匹配问题，⽣成就是⼀个翻译的问题。这三种不同的⽅法它背后的区别就是这个有没有显式的语义表达。 基于分析的⽅法它是有显式的内部表达，基于检索和⽣成，就是部分有或者没有显性的这个内部的表⽰，这是这三个不同的⽅法的特点。
基于检索的⽅法在聊天机器⼈中⽤的多，⽽问答系统中也是如此，只是将对话局限在问答中。
还有基于⽣成的⽅法。在深度学习出来之前，这是有难度的，现在有深度学习基于⽣成对话的技术，其原理上是把问句，转化成内部表⽰，再把内部表⽰为答句。在⽣成器和分析器中⽤了⼤量的训练语料，基于神经⽹络来训练表⽰实现。
今⽇头条AI实验室主任李航：⾃然语⾔的现状和发展
在⼈机对话系统的应⽤过程中，⽤户可能会有多种意图，相应地会触发⼈机对话系统中的多个领域（domain） ，其中包括任务型垂直领域（如查询机票、酒店、公交车等）、知识型问答以及闲聊等。因⽽，⼈机对话系统的⼀个关键任务就是正确地将⽤户的输⼊分类到相应的领域（domain）中，从⽽返回正确的回复结果。
SMP2018中⽂⼈机对话技术评测（ECDT）
阿⾥⼩蜜算法体系
意图识别：识别语⾔的真实意图，将意图进⾏分类并进⾏意图属性抽取。意图决定了后续的领域识别流程，因此意图层是⼀个结合上下⽂数据模型与领域数据模型不断对意图进⾏明确和推理的过程，完成意图的补全、意图分类和意图转移⼯作。整个意图识别按照模型可组合以及进⾏单独的算法选型 通过对话管理系统的控制，⾯向不同的领域场景采⽤不同的领域技术：
QA Bot：通过知识图谱、传统IR以及DeepMatch的⽅法完成知识问答的匹配
Task Bot：⾯向多领域技术完成任务型对话构建与问答
Chat Bot：完成闲聊机器⼈的问答
Rec Bot：完成推荐机器⼈的问答体系构建
MC Bot：在⽂档⽆法结构化的场景下(例如淘宝或者商家的活动场景)，通过Machine Reading的⽅法来完成问答
阿⾥⼩蜜这⼀年，经历了哪些技术变迁？
机器阅读理解及问答技术
脱离⼈⼯提炼知识的过程，直接让机器在⾮结构化⽂本内容中进⾏阅读理解，并回答⽤户的问题，是⼀个⾥程碑式的进步。
基于知识库⾃动构建的机器阅读
⽤传统的⾃然语⾔处理⽅式完成基于机器阅读理解的问答，⼀般需要先在⽂本中进⾏实体和属性的解析，构建出结构化的知识图谱，并在知识图谱基础上进⾏问答。 主要涉及以下⼏个过程：
实体检测：识别⽂本中提及的实体，对实体进⾏分类。
实体链接：将检测出来的实体与知识库中现有实体进⾏匹配和链接。
属性填充：从⽂档中检测实体的各类预先定义好的属性，补充到知识库中。
知识检索：在知识库中根据实体和属性到最相关的答案作为回答。
显然，⽤传统的知识库构建⽅式来进⾏机器阅读，虽然其可控性和可解释性较好，但领域垂直特点较强，难以适应多变的领域场景，且技术上需要分别解决多个传统NLP中的难点，如命名实体识别、指代消解、新词发现、同义词归⼀等，⽽每个环节都可能引⼊误差，使得整体误差逐渐扩⼤。
基于End-to-end的机器阅读
Facebook的bAbI推理型问答数据集
Microsoft的MCTest选择题数据集
Facebook的CBT完形填空数据集
讯飞和哈⼯⼤的中⽂完形填空数据集
Stanford的SQuAD可变长答案数据集
1. Match-LSTM with Answer Pointer模型是较早登上SQuAD LeaderBoard的模型，作者提出了融合 match-lstm 和 pointer-
network 的机器阅读框架，后续也被多篇相关⼯作所借鉴。其中的Boundary Model由于只预测答案开始和结束位置，极⼤地缩⼩了搜索答案的空间，使得整个预测过程得到了简化。
模型主要包括三部分：
⽤LSTM分别对question和passage进⾏encoding；
⽤match-LSTM对question和passage进⾏match。这⾥将question当做premise，将passage当做hypothesis，⽤标准的word-by-word attention得到attention向量，然后对question的隐层输出进⾏加权，并将其跟passage的隐层输出进⾏拼接，得到⼀个新的向量，然后输⼊到LSTM；
利⽤pointer net从passage中选择tokens作为答案。包括Sequence Model和Boundary Model。其中Sequence Model是在passage中选择不连续的word作为answer；BoundaryModel只需要passage的起始位置和中⽌位置得到连续的words作为
answer。
直流电机编码器2. BiDAF模型最⼤的特点是在interaction层引⼊了双向注意⼒机制，计算Query2Context和Context2Query两种注意⼒，并基于注意
⼒计算query-aware的原⽂表⽰。
Character Embedding Layer使⽤char-CNN将word映射到固定维度的向量空间；
曼越橘Word Embedding Layer使⽤（pre-trained）word embedding将word映射到固定维度的向量空间；
Contextual Embedding Layer将上⾯的到的两个word vector拼接，然后输⼊LSTM中进⾏context embedding；
Attention Flow Layer将passage embedding和question embedding结合，使⽤Context-to-query Attention 和Query-to-contextAttention得到word-by-word attention;
Modeling Layer将上⼀层的输出作为bi-directional RNN的输⼊，得到Modeling结果M；
Output Layer使⽤M分类得到passage的起始位置，然后使⽤M输⼊bi-directional LSTM得到M2，再使⽤M2分类得到passage的中⽌位置作为answer。
3. FastQAExt最⼤的特点在于其较为轻量级的⽹络结构，在输⼊的embedding层加⼊了两个简单的统计特征：
双向玻璃⽂章中的词是否出现在问题中，是⼀个binary特征。efactor
基于“问题中的词如果在原⽂中很少出现，则对问题的回答影响更⼤”的原理，设计了⼀个weighted特征。
2个统计特征的引⼊相当于给模型提前提供了先验知识，这将加快模型的收敛速度，整体上，FastQAExt由以下三个部分组成：Embedding层：word 和char 两种embedding，且拼接上述的2种统计特征作为输⼊向量。
Encoding层：汇总原⽂和问题的总表⽰。
Answer层：计算问题对总表⽰，将query-aware原⽂表⽰和问题总表⽰共同输⼊两个前馈⽹络产⽣答案开始和结束位置概率。
4. r-net是⽬前在SQuAD LeaderBoard上排名领先的模型，r-net的特点是使⽤了双interaction层架构。
网络聊天系统Encoding层：使⽤word和char两种Embedding作为输⼊。
Question-Passage Matching层：负责捕捉原⽂和问题之间的交互信息。
Passage Self-Matching层：负责捕捉原⽂内部各词之间的交互信息。
Answer层：借鉴了match-lstm及pointer network的思路来预测答案的开始和结束位置，并在问题表⽰上⽤attention-pooling来⽣成pointer network的初始状态。
Rajpurkar et al. 2016. SQuAD: 100,000+ Questions for Machine Comprehensionof Text
Wang et al. 2016. Machine Comprehension Using Match-LSTM and Answer Pointer
Seo et al. 2016. Bidirectional Attention Flow for Machine Comprehension
Weissenborn et al. 2017. Making Neural QA as Simple as Possible but notSimpler
Wang et al. 2017. Gated Self-Matching Networks for Reading Comprehensionand Question Answering
深度学习要多深，才能读懂⼈话？｜阿⾥⼩蜜前沿探索
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议