收稿日期：２０２０ ０５ １１；修回日期：２０２０ ０７ ０９ 基金项目：国家自然科学基金资助项目（６１７７２２４９） 作者简介：沈学利（１９６９ ），男，江苏连云港人，教授，硕士，主要研究方向为信息安全、推荐系统（５２３４１９８５８＠ｑｑ．ｃｏｍ）；杜志伟（１９９５ ），男，山西临汾人，硕士研究生，主要研究方向为推荐系统． 沈学利ａ，杜志伟ｂ
（辽宁工程技术大学ａ．软件学院；ｂ．电子与信息工程学院，辽宁葫芦岛１２５１０５）
摘 要：针对现有的序列推荐算法仅利用短期顺序行为进行推荐，而没有充分考虑用户的长期偏好和项目之间 更深层次的联系等问题，提出一种融合自注意力机制与长短期偏好的序列推荐模型（
大学生录像后扶人
ｃｏｍｂｉｎｅｓｓｅｌｆ ａｔｔｅｎｔｉｏｎｗｉｔｈｌｏｎｇ ｔｅｒｍａｎｄｓｈｏｒｔ ｔｅｒｍｒｅｃｏｍｍｅｎｄａｔｉｏｎ，ＣＳＡＬＳＲ）。该模型首先建模用户和项目的潜在特征表示，将用户短期交
互序列中的项目成对编码为三向张量，然后经过自注意力机制模块并使用卷积神经网络（
ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ
，ＣＮＮ）从用户的顺序模式中提取项目间更深层次的联系。同时考虑用户的长期偏好，将相似用户的嵌入作为补充增强用户表征。在ＭｏｖｉｅＬｅｎｓ １Ｍ和Ｇｏｗａｌｌａ数据集上，实验结果表明提出的方法在准确率ｐｒｅｃｉｓｉｏｎ＠Ｎ、
召回率ｒ
ｅｃａｌｌ＠Ｎ、均值平均精度（ｍｅａｎａｖｅｒａｇｅｐｒｅｃｉｓｉｏｎ，ＭＡＰ）上优于其他方法。关键词：序列推荐；潜在空间；自注意力机制；成对编码；卷积神经网络中图分类号：ＴＰ３０１．６ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２１）０５ ０１６ １３７１ ０５ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０２０．０５．０１２１
Ｓｅｑｕｅｎｔｉａｌｒｅｃｏｍｍｅｎｄａｔｉｏｎｍｏｄｅｌｔｈａｔｃｏｍｂｉｎｅｓｓｅｌｆ ａｔｔｅｎｔｉｏｎ
ｍｅｃｈａｎｉｓｍｗｉｔｈｌｏｎｇ ｔｅｒｍａｎｄｓｈｏｒｔ ｔｅｒｍｐｒｅｆｅｒｅｎｃｅｓ
ＳｈｅｎＸｕｅｌｉａ，ＤｕＺｈｉｗｅｉ
ｂ
（ａ．ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ｂ．ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃ＆ＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，ＨｕｌｕｄａｏＬｉａｏｎｉｎｇ１２５１０５，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｔｈａｔｔｈｅｅｘｉｓｔｉｎｇｓｅｑｕｅｎｃｅｒｅｃｏｍｍｅｎｄａｔｉｏｎａｌｇｏｒｉｔｈｍｓｏｎｌｙｕｓｅｓｈｏｒｔ ｔｅｒｍｓｅｑｕｅｎｔｉａｌ
ｂｅｈａｖｉｏｒｓｔｏｍａｋｅｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ，ｂｕｔｆａｉｌｔｏｆｕｌｌｙｃｏｎｓｉｄｅｒｔｈｅｌｏｎｇ ｔｅｒｍｐｒｅｆｅｒｅｎｃｅｏｆｕｓｅｒｓａｎｄｔｈｅｄｅｅｐｅｒｒｅｌａｔｉｏｎｓｈｉｐｂｅ
ｔｗｅｅｎｉｔｅｍｓ
，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｓｅｑｕｅｎｔｉａｌｒｅｃｏｍｍｅｎｄａｔｉｏｎａｌｇｏｒｉｔｈｍＣＳＡＬＳＲｔｈａｔｉｔｉｎｔｅｇｒａｔｅｄｓｅｌｆ ａｔｔｅｎｔｉｏｎｍ
ｅｃｈａｎｉｓｍａｎｄｌｏｎｇ ｔｅｒｍａｎｄｓｈｏｒｔ ｔｅｒｍｐｒｅｆｅｒｅｎｃｅ．Ｔｈｉｓｍｏｄｅｌｅｍｂｅｄｄｅｄｔｈｅｕｓｅｒａｎｄｔｈｅｉｔｅｍｉｎｔｏｔｈｅｖｅｃｔｏｒｒｅｓｐｅｃｔｉｖｅｌｙ
，ａｎｄｒｅｇａｒ ｄｅｄｔｈｅｐａｉｒｗｉｓｅｅｎｃｏｄｉｎｇｏｆｔｈｅｉｔｅｍｉｎｓｈｏｒｔ ｔｅｒｍｉｎｔｅｒａｃｔｉｏｎｓｅｑｕｅｎｃｅａｓａｔｈｒｅｅ ｗａｙｔｅｎｓｏｒ．Ｔｈｅｎ
，ｉｔａｄｄｅｄｓｅｌｆ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｏｎｔｈｅｔｈｒｅｅ ｗａｙｔｅｎｓｏｒａｎｄｕｓｅｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｔｏｅｘｔｒａｃｔｔｈｅｄｅｅｐｅｒｃｏｎｎｅｃｔｉｏｎｂｅｔｗｅｅｎｉｔｅｍｓｆｒｏｍｔｈｅｏｒｄｅｒｐａｔｔｅｒｎｏｆｕｓｅｒｓ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｃｏｎｓｉｄｅｒｉｎｇｔｈｅｌｏｎｇ ｔｅｒｍｐｒｅｆｅｒｅｎｃｅｏｆｕｓｅｒｓ，ｉｔｔｏｏｋｔｈｅｅｍｂｅｄｄｉｎｇｏｆｓｉｍｉｌａｒｕｓｅｒｓａｓａｓｕｐｐｌｅｍｅｎｔｔｏｅｎｈａｎｃｅｔｈｅｕｓｅｒｒｅｐｒｅｓｅｎｔａｔｉｏｎ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｏｎＭｏｖｉｅＬｅｎｓ
１ＭａｎｄＧｏｗａｌｌａｄａｔａｓｅｔｓｉｓｓｕｐｅｒｉｏｒｔｏｏｔｈｅｒｍｅｔｈｏｄｓｉｎｐ
ｒｅｃｉｓｉｏｎ＠Ｎ，ｒｅｃａｌｌ＠ＮａｎｄＭＡＰ．Ｋｅｙｗｏｒｄｓ：ｓｅｑｕｅｎｔｉａｌｒｅｃｏｍｍｅｎｄａｔｉｏｎ；ｌａｔｅｎｔｓｐａｃｅ；ｓｅｌｆ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ；ｐａｉｒｗｉｓｅｅｎｃｏｄｉｎｇ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｓ
０ 引言
信息时代下的数据量快速膨胀，信息过载现象越来越严重。为了缓解信息过载带来的影响，研究人员提出了很多值得称赞的解决方案，其中最有效的处理方法就是推荐系统，即利用用户与项目的交互信息进行推荐。推荐系统可以分为一般推荐方法和序列推荐方法。
一般推荐方法，例如ｔｏｐ Ｎ推荐［１，２］，基于内容的推荐系统和协同过滤的推荐系统［
３］
，这些工作侧重于挖掘用户和项目之间的静态相关性，可以捕获用户的长期偏好与静态行为，但忽略了随时间形成的用户交互序列隐含着用户兴趣的衰减以及偏好的动态变化。例如，一些用户更喜欢听民谣类型的音乐而不是摇滚类型的。在这种情况下，用户在某一时间点的意图可能很容易被他或她的历史购物行为所淹没，从而导致不可靠的推荐。
江西 教育
序列推荐方法认为，在某一个时刻向用户推荐时一般是根据当前时刻之前用户的行为来进行决策的，可以将序列推荐问
题看做是在时间维度去学习一个模型策略以通过历史交互中
的物品来预测用户可能发生交互的物品［
４］
。基于序列的模型在短期内提供了对用户决策过程的理解，最具有代表的是文献［
５］，它将用户—商品的交互当做一种动态序列并且捕获当前和最近的用户偏好以便更加精确地推荐。序列推荐呈现用户的短期和动态行为，并在一定的时间表现出物品或者项之间的某种关系。例如，用户购买电脑后用户可能很快就会购买电脑配件，虽然根据用户的一般偏好并不会购买电脑配件，但在这种情况下，只考虑一般偏好的系统将失去推荐电脑配件的机会。因为购买电脑配件并不是用户的长期行为，而是购买电脑之后的短暂行为。因此，对短期行为和长期行为作出平衡就显得尤为重要，既要及时响应短期行为，又要保持长期行为的延续性。例如音乐推荐系统，用户长期的音乐喜好可能是一致的，但短期内可能对其他音乐类型产生短暂的兴趣。此时要求推荐系统既要针对这种短期变化作出及时响应，为用户推荐短期兴趣的相关物品，又也不能完全抛弃长期兴趣的推荐。
基于上述原因，本文提出一种新的解决方案，称为融合自注意力机制与长短期偏好的序列推荐模型（ＣＳＡＬＳＲ）。
第３８卷第５期２０２１年５月 计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．３８Ｎｏ．５
Ｍａｙ２０２１
１ 相关工作
神经网络模型在序列中的不同实体间（如用户、商品、交
互）构建和捕获复杂关系具有天然优势。循环神经网络（
ｒｅ ｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ，ＲＮＮ）与卷积神经网络（ｃｏｎｖｏｌｕｔｉｏｎａｌ
ｎｅｕｒａｌｎｅｔｗｏｒｋ，ＣＮＮ）是当前问题的热门选择［６，７］
。传统的循环神经网络给定了一个用户—商品交互的历史序列，通过给定的交互建立一个序列依赖关系，以此预测接下来可能的交互。除
了传统循环神经网络之外，基于长短期记忆网络（
ｌｏｎｇｓｈｏｒｔ ｔｅｒｍｍｅｍｏｒｙ，ＬＳＴＭ）［８］
和门循环控制单元（ｇａｔｅｄｒｅｃｕｒｒｅｎｔｕｎｉｔ，
ＧＲＵ）［９］
的循环神经网络也被用于在序列中捕获长期依赖关系。然而，循环神经网络并不适用于序列推荐系统，这是因为循环神经网络在以下三方面存在不足：
ａ）ＲＮＮ的超强假设，它假设在序列中任何邻近的交互一定是依赖的，因此它很容易生成错误的依赖关系；
ｂ）当忽略了交互的依赖关系，它就很容易只捕获点式的
依赖关系，如图１
（ａ），一些交互只会受到上一个交互的影响；ｃ）当交互序列较长时，模型的处理能力有限，训练成本也增加。
另外，
ＣＮＮ放宽了ＲＮＮ顺序项的超强假设，使模型具有更强的鲁棒性。同时，ＣＮＮ具有较强的局部信息提取能力以及不同区域间的关系，这些关系可以有效地捕获通常被其他模型忽略的联合级依赖关系，还可以并行处理，减少训练成本，因此，基于ＣＮＮ的序列推荐系统在一定程度上能弥补基于ＲＮＮ序列推荐系统的缺点。
在大多数现有的模型直接对有序项表示进行操作，从而受到序列单向链式结构的约束。这样的一个优点是能够保持局部动态的集中。例如，如图１（ｂ）所示，模型允许联合级推荐，
在序列Ｓｕ
中连续购买手机、
手机壳、耳机可能会导致购买手机膜，但是，上述结构的约束可能无法允许跳过行为。
针对现有序列推荐模型的不足，引入一个简单但有效的成对编码模块来实现不相邻项之间的交互，如图１（ｃ）所示。在
项目序列Ｓｕ
中，
模型允许跳过行为（例如，购买一辆自行车（Ｓｕｔ
－２）与手机相关产品的上下文环境不太相关）干扰交互项可
２ 序列推荐问题定义
顺序模式在构建推荐系统中起着重要的作用，在文献［６，
１０］的工作中考虑了序列推荐，预测用户在不久的将来可能与之交互的Ｎ项。该问题定义了一组用户ｕ＝｛ｕ１，ｕ２，…，ｕ｜ｕ｜｝以及一组项的集合ｉ＝｛ｉ１，ｉ２，…，ｉ｜ｉ｜
｝。每个用户ｕ都与项目ｉ中的一些项目组成的序列相关联ｓｕ＝（ｓｕ１，…，ｓｕ｜ｓｕ｜）其中ｓｕｉ∈Ｉ，ｓｕｔ的索引ｔ
表示项目交互发生在序列ｓｕ中的顺序。在给定所有用户的序列ｓｕ，通过考虑长期偏好和短期偏好，向每个用户推荐其未来可能交互的项目。
３ 整体框架
ＣＳＡＬＳＲ可以捕获用户的短期偏好与一般偏好。其中，一般偏好是通过用户与项目交互进行预测，而短期偏好是根据用户交互序列中项目与项目交互进行预测。模型由六个组件组
成：嵌入层、用户增强模块、成对编码、自注意力机制模块、卷积
层和预测层。如图２所示，
对于每个用户ｕ，提取每一组Ｌ个连续项作为输入。下一个Ｔ项作为用户序列Ｓｕ
的目标。
３ １ 嵌入层
模型的嵌入层，项目嵌入旨在通过从项目上的大量顺序行为中学习项目的相似性来为每一个项目生成统一表示。
序列推荐的先前工作是使用ｏ
ｎｅ ｈｏｔ编码来表示项目［１１］
。然而，对于大型推荐系统，ｏｎｅ ｈｏｔ编码可能花费无法承受的时间，并且由于高度稀疏性导致无法很好地优化。现在序列推荐
模型多采用在自然语言处理（ｎａｔｕｒａｌｌａｎｇｕａｇｅｐｒｏｃｅｓｓｉｎｇ，ＮＬＰ）研究中常用的字嵌入技术［１２］
来获得用户与项目的特征表示。
如图２第一部分所示，嵌入层将项目集合和用户集合嵌入
到两个矩阵ＥＩ∈ ｜Ｉ｜×ｄ和Ｅｕ∈ ｜ｕ｜×ｄ
，其中ｄ是潜在维数，｜Ｉ｜表示项目的总数，｜ｕ｜表示用户的总数。ｅｉ和ｅｕ分别表示ＥＩ、Ｅｕ中的第ｉ
行和第ｕ行，即分别表示第ｉ个项目和第ｕ个用户的特征向量表示。那么对于用户ｕ在时间步长ｔ处，通过以前
的Ｌ项（Ｓｕｔ－Ｌ，…，Ｓｕｔ－１）来预测将要交互的Ｔ项（Ｓｕｔ，…，Ｓｕ
ｔ
＋Ｔ）如式（１）所示。
（Ｓｕｔ－Ｌ，…，Ｓｕｔ－１）→（Ｓｕｔ，…，Ｓｕ
ｔ＋Ｔ－１
）（１）
３ ２ 短期偏好模块
３ ２ １ 成对编码
该模型采用了一种允许项目之间灵活的成对编码方法［１３］。具体来说，根据嵌入层的嵌入矩阵ＥＬ
传播与文化产业
（ｕ，ｔ）创建了一个三
向张量ＴＬ（ｕ，ｔ）∈ Ｌ×Ｌ×２ｄ
，其中第（ｉ，ｊ）向量是项目对（ｉ，ｊ）∶［ｅｉ；ｅｊ］的级联嵌入，其中ｉ，ｊ∈（Ｓｕｔ－Ｌ，…，Ｓｕｔ－１
）。与以前的方法［５］将卷积滤波器直接在输入矩阵ＥＬ
（ｕ，ｔ）上
工作不同的是，ＣＳＡＬＳＲ将卷积滤波器应用于由此产生的张量ＴＬ（ｕ，ｔ）
上，从而可以捕获复杂模式。另外，成对编码的张量在计算机视觉任务的标准ＣＮＮ模型中具有与图像特征映射相同的形状。因此，通过这种成对编码，可以在上下文中借用和很容易地适用类似ＣＮＮ的体系结构。３ ２ ２ 自注意力机制模块自注意力机制最先被应用在计算机视觉［１４］
。在卷积神经
网络中，卷积核的尺寸都是很有限的（基本上不会大于７
）
，每次卷积操作只能覆盖局部信息，对于距离较远的特征，就很难捕获到（也不是完全捕获不到，经过多层的卷积操作，卷积核覆盖的区域映射回原始特征图对应的感受野越大）。
针对卷积神经网络卷积操作只能覆盖局部信息，通过直接计算图像中任何两个像素之间的关系，自注意力机制可以一步获得图像的全局特征。自注意力机制已经应用在推荐系统中，文献［１５］通过在用户级和项目级分别使用自注意力机制，分别为组中的用户添加不同的注意力，继而得到组表示。
自注意力模块用于建模不同潜在表征对于用户推荐的重要性程度，即注意力不同。自注意力机制模块如图３所示。首
先将三向张量中的图像特征ｘ∈
Ｌ×Ｌ×２ｄ
转换为两个特征空间·２７３１·计算机应用研究第３８卷
ｆ、ｇ来计算注意力，ｆ（ｘ）＝ｗｆｘ，ｇ（ｘ）＝ｗｇ
ｘ。βｊ，ｉ＝ｅｘｐ（ｓｉ，ｊ）∑Ｎｉ＝１ｅｘｐ（ｓｉ，ｊ
），ｓｉ，ｊ＝ｆ（ｘｉ）Ｔｇ（ｘｊ
）（２）
其中：βｊ，ｉ表示模型在第ｊ个区域第ｉ个位置的关注程度。这里，Ｃ是通道数，Ｎ是来自三向张量ＴＬ
（ｕ，ｔ）
的特征位置数目。自
注意力模块的输出为ｏ＝（ｏ１，ｏ２，…，ｏｊ，…，ｏＮ）
。ｏｊ＝ｖ（∑Ｎ
ｉ＝１βｊ，ｉｈ（ｘｉ）），ｈ（ｘｉ）＝Ｗｈｘｉ，ｖ（ｘｉ）＝Ｗｖｘｉ
（３）
其中：ｗｇ
∈ Ｃ１×Ｃ，Ｗｆ∈ Ｃ１×Ｃ，Ｗｖ∈ Ｃ１×Ｃ是学习的权重矩阵，为１×１卷积。当Ｃ１的信道数减小为Ｃ／ｋ时，ｋ＝１，２，４，８。为了提高运算效率，本文在所有实验中选择ｋ＝８（即Ｃ１＝
Ｃ／８），此外，本文还将注意层的输出乘以一个比例参数，并将输入特征映射添加回来。因此，最后的输出是
ｙｉ＝ｒοｉ＋ｘｉ
（４）
其中：ｒ是一个可学习的标量，它被初始化为０。引入可学习的ｒ
可以使网络首先依赖于局部信息。
３ ２ ３ 二维卷积层
本文方法利用了ＣＮＮ在图像识别［１４］
中捕获局部特征
和自然语言处理［１６］
中的成功表现。在序列推荐中借用ＣＮＮ的思想，为了捕获项目交互之间的高阶信息，ＣＳＡＬＳＲ在上述
图像特征映射ＴＬ
（ｕ，ｔ）
，经过自注意力机制模块将新的特征图提供给２ＤＣＮＮ二维卷积神经网络。２ＤＣＮＮ结构设计如表１所示，其中ｄ是输入项嵌入的维度。使用１×１卷积核丰富特征表示，卷积核大小为３，随着网络的深入，聚合顺序特征并提取更复杂的关系。
表１ ２ＤＣＮＮ架构
每个卷积层之后是批正则化和修正线性单元ＲｅＬＵ（ｒｅｃｔｉ
ｆｉｅｄｌｉｎｅａｒｕｎｉｔ
）激活层。在这四个卷积层之后应用一个全连接的ｄｒｏｐｏｕｔ层，最终的序列特征向量ｖ（ｕ，ｔ）∈ ｄ
。３ ３ 一般偏好模块
先前的神经网络序列推荐模型［６］较为注重用户的短期行为，而对用户的一般偏好仅仅通过用户的嵌入表示，对于一般偏好来说，这样的建模方式对用户的偏好表示不够精确。因此，提出用户增强模块（ｕｓｅｒｅｎｈａｎｃｅｍｅｎｔｍｏｄｅｌ，ＵＥＭ）来建模用户的一般偏好。
ａ）搜索交互相同项目的用户，即志同道合的用户。这一步对于那些只给出很少项目评价的冷启动用户来说是非常有
用的。选择相似用户的过程如图４所示。假设Ｕ
ＥＭ的当前输入是用户ｕｓｅｒ和用户的交互序列Ｓｕ。对于序列（Ｓｕ
ｔ－Ｌ，…，Ｓｕｔ
－１）来说，针对序列中的每一个交互项（如项目ｉ），根据ｉ与所有用户交互的时间先后排序。在用户列表中到当前用户Ｕ３在整个顺序中的确切位置（
即时间步骤），寻在此时间步骤之前交互的一个用户，即用户Ｕ２。此时的用户Ｕ２就是用户
Ｕ３关于项目ｉ
的一个相似用户。同理可以到序列中每一个项目对应的相似用户。
ｂ）如图５所示，聚合用户Ｐｕ的相似用户嵌入｛ＰＳｕ１
，ＰＳ
ｕ２
，ＰＳｕ３
，ＰＳｕ４
｝，将Ｃｕ作为嵌入补充特性，合并到用户嵌入Ｐｕ
。假设用户ｕ当前的序列长为４，
则通过交互的四个项目｛Ｓｕ１，Ｓｕ２，Ｓｕ
３，Ｓｕ
４
｝分别到每个项目的相似用户，将相似用户嵌入与用户的嵌入合并表示为Ｐｕｃ，Ｐｕｃ
用来表示用户的长期偏好。ＵＥＭ使用类似注意力的结构来捕捉用户之间的动态关
联。注意力的权重计算如下：
ＺＳｕｉ＝ｅｘｐ（ＰＴ
ｕＰＳ
ｕｉ
）∑Ｋｋ＝１ｅｘｐ（ＰＴｕＰＳ
ｕｋ
）（５）
然后，合并这些用户的特征嵌入，得到补充特征嵌入Ｃｕ
如下：
Ｃｕ＝∑Ｋ
ｋ＝１
ＺＳｕｋ
·
ＰＳ
ｕｋ
（６）
最后，将用户嵌入和补充特征嵌入合并在一起，得到最终
用户ｕ的嵌入，定义如下：
Ｐｕｃ＝ｍｅｒｇｅ（ｐｕ，ｃｕ
）（７）
其中：ｍｅｒｇｅ（·）是将两个向量组合成一个向量的函数。在该模型中，ｍｅｒｇｅ（·）是一个简单的加权向量加法，即
ｍｅｒｇｅ（ｘ，ｙ）＝ｘ＋Ａｙ
（８）
其中：Ａ是一个加权参数，用来表示变量ｙ的重要性，即在本文中是互补特征Ｃｕ。３ ４ 预测层
为了捕获用户的一般偏好与顺序模式，ＣＳＡＬＳＲ将２ＤＣＮＮ层的输出序列向量ｖ（ｕ，ｔ）与长期偏好模块的输出Ｐｕｃ拼接，如式（９）所示。
ｙ（ｕ，ｔ）
＝Ｗｖ（ｕ，ｔ）Ｐ
ｕｃ＋ｂ（９）
其中：Ｗ∈ ｜Ｉ｜×２ｄ与ｂ∈ ｜Ｉ｜
分别是输出层的权矩阵和偏置项。
预测层如图２（ｄ）所示，将卷积层的输出投影到一个有｜Ｉ｜个节点的预测层，并应用ｓｉｇｍｏｉｄ函数式（１０）生成最终概率如
式（
１１）所示。σ（ｔ）＝１
１＋ｅ
－ｔ
（１０）σ（ｙ（ｕ，ｔ））∈ ｜
Ｉ｜
（１１）
４ 网络训练
本文采用了随机梯度下降（ＳＧＤ）的一种变体—自适应矩
阵估计（Ａｄａｍ），为了更快收敛，批次大小为１００。为了控制模型的复杂性，避免过拟合，本文使用了两种正则化方法：对所有
模型参数应用Ｌ２正则化和采用５０％丢弃率的ｄｒｏｐｏｕｔ［１７
］技术。采用二元交叉熵损失作为损失函数，如式（１２）所示。
－∑ｕ∑ｔ
（ｌｏｇ（σ（ｙ（ｕ，ｔ）Ｓｕｔ
）＋∑ｊ Ｓｕ
ｌｏｇ（１－σ（ｙ（ｕ，ｔ）
ｊ
）））（１２）
该模型的２ＤＣＮＮ层是由四个卷积层组成。其中用户和
物品的潜在维度Ｄ是从｛
１６，３２，６４｝中选择的，对于ＭｏｖｉｅＬｅｎｓ １Ｍ和Ｇｏｗａｌｌａ，本文分别使用５０和１００，序列长度Ｌ为５，同时
·３７３１·第５期沈学利，等：融合自注意力机制与长短期偏好的序列推荐模型
预测下一个Ｔ＝３项。学习率为０．００１，批次大小为５１２，负采
样率为３，ｄｒｏｐｏｕｔ率为０．５。所有实验在ＰｙＴｏｒｃｈ环境中实现。５ 实验
５ １ 数据集与评价标准
广告的种类
５ １ １ 数据集
本文使用ＭｏｖｉｅＬｅｎｓ １Ｍ和Ｇｏｗａｌｌａ两个公开数据集验证模型的性能，数据集的详细信息如表２所示。
表２ 数据集统计
Ｔａｂ．２ Ｓｔａｔｉｓｔｉｃｓｏｆｔｈｅｄａｔａｓｅｔｓ
数据集用户数物品数评分数每个用户
的评分数每个物品
的评分数ＭｏｖｉｅＬｅｎｓ １Ｍ６．０ｋ３．４ｋ１Ｍ１６５．５０２９４．１Ｇｏｗａｌｌａ
１３．１ｋ
１４．０ｋ
５３３ｋ
４０．７４
３８．１
ａ）ＭｏｖｉｅＬｅｎｓ １Ｍ。ＭｏｖｅＬｅｎｓ是一个广泛用于评估推荐系统算法的电影评级数据集，包含多个用户对多部电影的评级数
据。在实验中使用Ｍ
ｏｖｉｅＬｅｎｓ １Ｍ版本。ｂ）Ｇｏｗａｌｌａ。来自Ｇｏｗａｌｌａ网站的签到数据集，Ｇｏｗａｌｌａ是一个基于地理位置的社会交往网站，用于推荐系统。
预测用户是否会观看一部电影或者购买一件商品，有时候比会对电影和商品打多少分更有意义，因此对评分进行处理。
与以前的工作［６］
一样，
本文首先通过将数字评级转换为１来处理数据，并将其转换为隐式反馈（即用户与项目交互），使用时间戳来确定交互顺序，并分别丢弃ＭｏｖｉｅＬｅｎｓ １Ｍ和Ｇｏｗａｌｌａ中小于５个操作的用户和小于１５个操作的项。本文将８０％的数据集作为训练集，其余的２０％作为评估模型性能的测试集。
由于用户对这些项目的反馈很少，序列中包含的信息不足，会导致序列推荐效果不够理想，这类项目是另一项研究解决冷启动问题。５ １ ２ 评价标准
采用基于排名的评价指标衡量模型的ｔｏｐ Ｎ推荐表现［６］
，包括ｐｒｅｃｉｓｉｏｎ＠Ｎ、ｒｅｃａｌｌ＠Ｎ、均值平均精度（ｍｅａｎａｖｅｒａｇｅｐｒｅｃｉ
ｓｉｏｎ，ＭＡＰ），以上指标越大说明推荐性能越好。其中Ｒ＾１∶Ｎ是指用户预测列表中的前Ｎ项，Ｒ是指测试集。其中，Ｎ∈｛１，５，１０｝。ｐｒｅｃｉｓｉｏｎ＠Ｎ与ｒｅｃａｌｌ＠Ｎ定义如式（１３）（１４）所示。
ｐｒｅｃｉｓｉｏｎ＠Ｎ＝
｜Ｒ∩Ｒ＾１∶Ｎ｜
｜Ｎ｜（１３）ｒｅｃａｌｌ＠Ｎ＝
｜Ｒ∩Ｒ＾１∶Ｎ｜
｜Ｒ｜
（１４）
ＡＰ的定义如式（３）所示。
ＡＰ＝
∑｜Ｒ＾｜
Ｎ＝１
ｐｒｅｃｉｓｉｏｎ＠Ｎ×ｒｅｃａｌｌ＠Ｎ｜Ｒ＾｜
（１５）
其中：如果｜Ｒ＾｜中的Ｎ项为Ｒ，则ｒｅｃａｌｌ（Ｎ）＝１，则平均精度是
所有用户ＡＰ的平均值。５ ２ 推荐
在获得经过训练的神经网络后，为了在时间步骤ｔ上为用户ｕ提供推荐，本文采用ｕ的潜在嵌入矩阵ｅｕ并在三向张量
ＴＬ
（ｕ，ｔ）
上添加自注意力机制，将自注意力机制的特征图作为２ＤＣＮＮ的输入。将预测层概率ｙ
中概率值最高的Ｎ项作为推荐结果。其中，目标项Ｔ的数量是在模型训练期间使用的超参数，而Ｎ是模型训练后推荐的项目数。
５ ３ 实验结果分析
５ ３ １ 整体分析
将本文方法与以下模型进行比较：ａ）ＰＯＰ。根据项目在系统中的受欢迎程度对其进行排序，并向用户推荐最受欢迎的项目。该推荐方法已经被证明是可
行的，可与一些复杂的个性化算法相媲美［
１８］
。ｂ）ＢＰＲ［１９］
。该模型将贝叶斯个性化排名与矩阵分解（ＭＦ）模型相结合，分析用户及项目的潜在语义信息，并
以逐对排序方式训练推荐系统，完成推荐。
ｃ）ＦＰＭＣ［１０］
。该方法将矩阵分解机和马尔可夫链相结合，用于下一项建议。该方法既捕获了用户项的首选项，又捕获了用户的顺序行为。
ｄ）ＦＭＣ［１０］
。该模型是不包括用户个性化行为的因子化个
性化马尔可夫链（
ＦＰＭＣ）的简化版本。ｅ）ＧＲＵ４Ｒｅｃ。该模型是文献［７］提出的基于会议的推荐。该模型使用ＲＮＮ捕获顺序依赖项并进行预测。
ｆ）Ｃａｓｅｒ［６］
。它是一种基于ＣＮＮ的方法，通过将最近的行为建模为时间和潜在维度之间的图像，并使用垂直卷积与水平卷积来学习序列模式。
ｇ）ＣｏｓＲｅｃ［１３］
高压变压器。该模型利用二维ＣＮＮ捕捉序列推荐的高阶关系，将一系列项嵌入编码成对表示，并利用２ＤＣＮＮ提取顺序特征。
对于每一种方法，使用超参数的最优设置。这包括潜在维
度ｄ在｛５，１０，２０，３０，５０，１００｝中选择，学习率从｛１，１０－１
，…，１０－４｝中选择。对Ｃａｓｅｒ和ＧＲＵ４Ｒｅｃ，马尔可夫阶数Ｌ来自｛１，…，９｝。对于Ｃａｓｅｒ本身，水平过滤器的高度ｈ来自｛１，…，Ｌ｝，激
活函数
ａ和 ｃ来自｛ｓｉｇｍｏｉｄ，ｔａｎｈ，ＲｅＬＵ｝。对于每一高度ｈ，水平过滤器的数目是｛４，８，１６，３２，６４｝垂直过滤器的数目为｛１，２，４，８，１６｝。在表３中报告了每种方法在其最优超参数设置下的结果。
本文的模型和现有的模型在所有数据集上的性能对比如表３所示。
表３ 所有方法在两个数据集的性能比较
Ｔａｂ．３ Ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐａｒｉｓｏｎｏｆａｌｌｍｅｔｈｏｄｓｏｎｔｗｏｄａｔａｓｅｔｓ
ｄａｔａｓｅｔ
ｍｅｔｒｉｃＰＯＰＢＰＲＦＭＣＦＰＭＣＧＲＵ４ＲｅｃＣａｓｅｒＣｏｓＲｅｃＣＳＡＬＳＲＭｏｖｉｅＬｅｎｓ
１Ｍ
ＭＡＰ０．０６８７０．０９１３０．０９４９０．１０５３０．１４４００．１５０７０．１８８３０．１９０３ｐｒｅｃｉｓｉｏｎ＠１
０．１２８００．１４７８０．１７４８０．２０２２０．２５１５０．２５０２０．３３０８０．３３２０ｐｒｅｃｉｓｉｏｎ＠５０．１１１３０．１２８８０．１５０５０．１６５９０．２１４６０．２１７５０．２８３１０．２８４０ｐｒｅｃｉｓｉｏｎ＠１００．１０１１０．１１９３０．１３１７０．１４６００．１９１６０．１９９１０．２４９３０．２５３１ｒｅｃａｌｌ＠１０．００５００．００７００．０１０４０．０１１８０．０１５３０．０１４８０．０２０２０．０２５４ｒｅｃａｌｌ＠５０．０２１３０．０３１２０．０４３２０．０４６８０．０６２９０．
０６３２０．０８４３０．０８７５ｒｅｃａｌｌ＠１００．０３７５０．０５６００．０７２２０．０７７７０．１０９３０．１１２１０．１４３８０．１４８０Ｇｏｗａｌｌａ
ＭＡＰ０．０２２９０．０７６７０．０７１１０．０７６４０．０５８００．０９２８０．０９８００．１０２３ｐｒｅｃｉｓｉｏｎ＠１０．０５１７０．１６４００．１５３２０．１５５５０．１０５００．１９６１０．２１３５０．２２１０ｐｒｅｃｉｓｉｏｎ＠５
０．０３６２０．０９８３０．０８７６０．０９３６０．０７２１０．１１２９０．１１９００．１２２９ｐｒｅｃｉｓｉｏｎ＠１００．０２８１０．０７２６０．０６５７０．０６９８０．０７８２０．０５７１０．０８８４０．０９２０ｒｅｃａｌｌ＠１０．００６４０．０２５００．０２３４０．０２５６０．０１５５０．０３１００．０３３７０．０３５０ｒｅｃａｌｌ＠５０．０２５７０．０７４３０．０６４８０．０７２２０．０５２９０．０８４５０．０８９００．０９３０ｒｅｃａｌｌ＠１０
０．０４０２
０．１０７７
０．０９５０
０．１０５９
０．０８２６
０．１２２３
０．１３０５
０．１３６０
·４７３１·计算机应用研究第３８卷
分析得出如下结论：
ａ）在不同方法中，考虑顺序因素的推荐（如ＦＰＭＣ）通常优
于非序列推荐（如Ｂ
ＰＲ），这表明在推荐中考虑顺序信息的重要性。
ｂ）深度学习模型（Ｃａｓｅｒ／ＧＲＵ４Ｒｅｃ／ＣｏｓＲｅｃ／ＣＳＡＬＳＲ）的方
法通常优于传统序列推荐模型（
ＦＰＭＣ／ＦＭＣ）。原因是神经网络模型利用非线性方式对用户和物品进行建模，强大的特征提取能力可以捕获到序列中的复杂关系。这是传统序列推荐模型的局限性。同时，神经网络模型可以采用ｄｒｏｐｏｕｔ、Ｌ２正则化等技术手段来避免模型训练过程过拟合，增强模型的鲁棒性。
ｃ）Ｃａｓｅｒ／ＣｏｓＲｅｃ／ＣＳＡＬＳＲ优于ＦＭＣ／ＦＰＭＣ，因为ＦＰＭＣ模型仅仅对一阶马尔可夫链进行建模，而Ｃｏｓｒｅｃ／ＣＳＡＬＳＲ则捕捉到项目间的高阶关系，可以捕捉到复杂关系。同时允许跳过行为可以排除序列中干扰项的影响。
ｄ）ＣｏｓＲｅｃ／ＣＳＡＬＳＲ优于Ｃａｓｅｒ，因为Ｃａｓｅｒ仅仅在项目的
嵌入矩阵上建模，卷积滤波器直接在嵌入矩阵ＥＬ
（ｕ，ｔ）上工作，而ＣｏｓＲｅｃ／ＣＳＡＬＳＲ是将卷积滤波器应用于由此产生的张量ＴＬ（ｕ，ｔ）
上，从而可以捕获项目间的复杂关系。
ｅ）本文提出方法（ＣＳＡＬＳＲ）在这两个数据集中都有很大
的提升，这验证了提出模型的有效性。Ｃ
ＳＡＬＳＲ采用自注意力机制与用户增强模块以达到提高序列推荐效果的目的。
ｆ）ＣＳＡＬＳＲ优于ＣｏｓＲｅｃ，因为ＣｏｓＲｅｃ仅仅利用用户的潜在特征表示对用户的一般偏好，对用户的建模不够充分，而ＣＳＡＬＳＲ通过ＵＥＭ模块更好地表示用户的一般偏好。５ ３ ２ 潜在维度ｄ对ＭＡＰ的影响
在ＭｏｖｉｅＬｅｎｓ １Ｍ数据集上，保持其他最优超参数不变，选择不同潜在维度ｄ对ＭＡＰ的影响，如图６所示，一个更大的ｄ并不一定能带来更好的模型性能。当ｄ被正确地选择时，模型达到了最佳的性能，并且由于过度拟合，较大的ｄ会使模型效
果变差。Ｃ
ＳＡＬＳＲ通过使用相对较少的潜在维度超过最强的
基线性能。
５ ３ ３ 各组件的有效性分析
对于ＣＳＡＬＳＲ的组件（自注意力机制模块、用户增强模块），将所有超参数保持在最佳设置时，对总体性能进行调整。
不同组件在Ｍ
ｏｖｉｅＬｅｎｓ １Ｍ和Ｇｏｗａｌｌａ的结果如表３所示。对于ｘ∈｛
ｕ，ｓ，ｕｓ｝，ＣＳＡＬＳＲ ｘ表示启用组件ｘ的ＣＳＡＬＳＲ，ｕ表示用户增强模块；ｓ表示自注意力模块。当用户不启用ｕ时，利用用户的嵌入表示代替用户增强模块。
表４ ＣＳＡＬＳＲ组件的ＭＡＰＴａｂ．４ ＭＡＰｏｆＣＳＡＬＳＲｃｏｍｐｏｎｅｎｔｓ
ＣＳＡＬＳＲ组件ＭｏｖｉｅＬｅｎｓ １ＭＧｏｗａｌｌａＣＳＡＬＳＲ ０．１８８３０．０９８０ＣＳＡＬＳＲ ｕ０．１８９００．０９９６ＣＳＡＬＳＲ ｓ０．１８９６０．１０１０ＣＳＡＬＳＲ ｕｓ
０．１９０３
０．１０２３
从表中可以看出，当应用自注意力机制时，与不采用自注
意力相比，序列推荐的预测的性能得到改善。自注意力机制可以进行更精确的预测，从而验证了该模块的有效性。同时，应用用户增强模块可以看出提升模型的性能，验证了用户增强模
块可以更好地表示用户的长期偏好。当联合用户增强模块与
自注意力机制模块时可以得到最好的结果。５ ３ ４ 模型效率分析
在实际应用中，不仅要考虑模型的推荐性能，还要考虑推
荐效率。在Ｍ
ｏｖｉｅＬｅｎｓ １Ｍ与Ｇｏｗａｌｌａ两个数据集下分析模型训练所需的时间，整体训练时间采用迭代３
０次的结果，如表５所示。Ｃａｓｅｒ／ＣｏｓＲｅｃ／ＣＳＡＬＳＲ训练所需的时间相对于ＧＲＵ４Ｒｅｃ更少，这是由于基于ＣＮＮ的模型卷积并行处理的机制，极大地加快了训练效率。ＣｏｓＲｅｃ／ＣＳＡＬＳＲ相对于Ｃａｓｅｒ训
灵通英语第一册练时间更长，原因在于Ｃａｓｅｒ直接在嵌入矩阵ＥＬ
（ｕ，ｔ）上进行卷
积，而ＣｏｓＲｅｃ／ＣＳＡＬＳＲ是在由嵌入矩阵创建的三向张量ＴＬ
（ｕ，ｔ）
上进行卷积，能够提取项目间更深层次的关系，极大地提升了推荐效果，但同时影响了模型的训练效率。ＣＳＡＬＳＲ相对于ＣｏｓＲｅｃ增加了自注意力机制与用户增强模块，以较低的训练效率为代价进一步增加了推荐效果。
表５ 整体训练时间Ｔａｂ．５ Ｏｖｅｒａｌｌｔｒａｉｎｉｎｇｔｉｍｅ
／ｓ
６ 结束语
本文提出一种融合自注意力机制与长短期偏好的序列推
荐模型（ＣＳＡＬＳＲ），这是解决序列推荐问题的一种新方案，通过对最近的行为建模，并用卷积神经网络提取短期序列特征，同时考虑用户的一般偏好，两者相互结合更好地解决了序列推荐的问题。在两个现实生活数据集的实验表明，ＣＳＡＬＳＲ在序列推荐方面的性能优于最先进的方法，提高了序列推荐方法的性能。在今后的研究中考虑用户与项目的多属性信息，以及社交关系对推荐结果的影响。参考文献：
［１］ＰａｎＲｏｎｇ，ＺｈｏｕＹｕｎｈｏｎｇ，ＣａｏＢｉｎ．Ｏｎｅ ｃｌａｓｓｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇ
［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ８ｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤａｔａＭｉｎｉｎｇ．
Ｐｉｓｃａｔａｗａｙ
，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２００８：５０２ ５１１．［２］ＨｕＹｉｆａｎ，ＫｏｒｅｎＹ，ＶｏｌｉｎｓｋｙＣ．Ｃｏｌｌａｂｏｒａｔｉｖｅｆｉｌｔｅｒｉｎｇｆｏｒｉｍｐｌｉｃｉｔ
ｆｅｅｄｂａｃｋｄａｔａｓｅｔｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ８ｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＤａｔａＭｉｎｉｎｇ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２００８：２６３ ２７２．［３］孟祥武，刘树栋，张玉洁，等．社会化推荐系统研究［Ｊ］．软件学报，
２０１５，２６（６）：１３５６ １３７２．（ＭｅｎｇＸｉａｎｇｗｕ，ＬｉｕＳｈｕｄｏｎｇ，ＺｈａｎｇＹｕ ｊｉｅ，ｅｔａｌ．Ｒｅｓｅａｒｃｈｏｎｓｏｃｉａｌｒｅｃｏｍｍｅｎｄｅｒｓｙｓｔｅｍｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＳｏｆｔｗａｒｅ，２０１５，２６（６）：１３５６ １３７２．）［４］桂忠艳，张艳明，李巍巍．基于行为序列分析的学习资源推荐算法
研究［Ｊ］．计算机应用研究，２０２０，３７（７）：１９７９ １９８２．（ＧｕｉＺｈｏｎｇ
ｙａｎ，ＺｈａｎｇＹａｎｍｉｎｇ，ＬｉＷｅｉｗｅｉ．Ｒｅｓｅａｒｃｈｏｎｌｅａｒｎｉｎｇｒｅｓｏｕｒｃｅｒｅ ｃｏｍｍｅｎｄａｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｂｅｈａｖｉｏｒｓｅｑｕｅｎｃｅａｎａｌｙｓｉｓ［Ｊ］．Ａｐｐｌｉ ｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ，２０２０，３７（７）：１９７９ １９８２．）［５］ＣｈｅｎＸｕ，ＸｕＨｏｎｇｔｅｎｇ，ＺｈａｎｇＹｏｎｇｆｅｎｇ．Ｓｅｑｕｅｎｔｉａｌｒｅｃｏｍｍｅｎｄａ
ｔｉｏｎｗｉｔｈｕｓｅｒｍｅｍｏｒｙｎｅｔｗｏｒｋｓ
［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１１ｔｈＡＣＭＩｎｔｅｒｎａ ｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｅｂＳｅａｒｃｈａｎｄＤａｔａＭｉｎｉｎｇ．ＮｅｗＹｏｒｋ：ＡＣＭＰｒｅｓｓ，２０１８：１０８ １１６．［６］ＴａｎｇＪｉａｘｉ，ＷａｎｇＫｅ．Ｐｅｒｓｏｎａｌｉｚｅｄｔｏｐ Ｎｓｅｑｕｅｎｔｉａｌｒｅｃｏｍｍｅｎｄａｔｉｏｎ
ｖｉａｃｏｎｖｏｌｕｔｉｏｎａｌｓｅｑｕｅｎｃｅｅｍｂｅｄｄｉｎｇ
［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１１ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｅｂＳｅａｒｃｈａｎｄＤａｔａＭｉｎｉｎｇ．ＮｅｗＹｏｒｋ：ＡＣＭＰｒｅｓｓ，２０１８：５６５ ５７３．［７］ＨｉｄａｓｉＢ，ＫａｒａｔｚｏｇｌｏｕＡ，ＢａｌｔｒｕｎａｓＬ，ｅｔａｌ．Ｓｅｓｓｉｏｎ ｂａｓｅｄｒｅｃｏｍ
ｍｅｎｄａｔｉｏｎｓｗｉｔｈｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｓ［ＥＢ／ＯＬ］．（２０１６）［２０２０ ０６ ２１］．ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１５１１．０６９３９．［８］ＷｕＣｈａｏｙｕａｎ，ＡｈｍｅｄＡ，ＢｅｕｔｅｌＡ．Ｒｅｃｕｒｒｅｎｔｒｅｃｏｍｍｅｎｄｅｒｎｅｔ
ｗｏｒｋｓ［Ｃ］／／Ｐｒｏｃｏｆｔｈｅ１０ｔｈＡＣＭＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｅｂ
ＳｅａｒｃｈａｎｄＤａｔａＭｉｎｉｎｇ．ＮｅｗＹｏｒｋ
：ＡＣＭＰｒｅｓｓ，２０１７：４９５ ５０３．（下转第１３８０页）
·５７３１·第５期沈学利，等：融合自注意力机制与长短期偏好的序列推荐模型
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议