对话模型就是你⼀句我⼀句，上下⽂相关，句⼦长度还不⼀样，也就是由⼀个序列转化成另⼀序列，经典的seq2seq模型可以相应⽤上去，较为成熟的应⽤有神经机器翻译，不仅得益于其丰富且较为正规的语料，还有其中的损失评价函数也较为适合翻译问题，其结果往往不错，⽽对话往往表达更为多样，不同⼈的回答往往相差九千九百⾥，语料质量往往⽐较差，且损失函数也没有很好地选择，Vinyals 在它的⽂章A Neural Conversational Model 中提到在与其他模型⽐较时，⽤了⼈的感觉标准去判断句⼦的好坏进⽽⽐较模型的优劣。相对于⼀些简单且在⼀定领域的对话其训练效果是可以的，⽐如简单的问答，哲学问题，讨论⼯作等。 前妻回来了txt下载基本的 seq2seq 序列模型是组合编码层（两三层LSTM）和解码层（两三层LSTM）
encoder 将输⼊（说话）编码成⼀个语义向量 c （其中LSTM模型是多对⼀的）
decoder 将 c 解码成输出（回答） （其中LSTM模型是多对⼀的）高浓除砂器
大马士革钢考虑句⼦前后关联性，还可以加⼊双向Bi-LSTM
考虑句⼦中（说话）某个成分在当前解码（回答）节点的重要性，引⼊注意⼒机制
现在最为标准的⼀套seq2seq， 就是带有注意⼒机制的。
福山沙纪
输⼊序列每次⼀个token输⼊， 输出序列每次⼀个token输出， 基于贪婪算法，每次选取最⾼概率的token输出，并与该token 预测下⼀个回答token，另⼀种不那么贪婪的算法称为beam search, beam size 为k, 也就是每次选取概率最⾼的前k个token输⼊，对每个token 都进⾏预测，再产⽣前k个token 输出， 现在就有 k*k 个token，类似树的查，计算出概率最⼤前k个 token 序列（两个token），最后就是得到概率最⼤的前k个token序列{回答长度}，最后选取第⼀个token序列？
队列队形变换
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议