一种融合物品内在与外在特性的推荐方法

一种融合物品内在与外在特性的推荐方法

技术领域

本发明涉及机器学习领域，尤其是联合物品内在与外在特性的推荐方法。

背景技术

一个物品的功能特性(内在因素)和视觉信息(外在因素)不仅深刻影响着用户的消费行为，而且在不同领域其影响程度相差甚远。特别地，对于视觉非感知的物品领域(如办公用品)，用户更加关注物品的功能方面；而对于视觉感知的物品领域(如时尚衣服)，用户购买决策过程却迥然不同。比如，无论某物品的评分有多高，只要未看到该物品，相信多数用户是不会购买的。

另外，对于工业级推荐系统而言，由于海量的用户与物品的交互行为以及实时数据的生成，推荐方法的可扩展性日益成为推荐系统研究关注的重点问题。目前，多数方法依靠交替最小二乘法或随机梯度下降来优化相应的推荐模型。然而，标准的交替最小二乘法因矩阵求逆操作的存在，使其时间复杂度与特征向量的维度呈立方相关，这导致在大规模数据上难以被快速训练。随机梯度下降是一个更为泛化的优化器且对于在线学习是个合适的选择，但面临着收敛缓慢的问题。更为重要的是，基于随机梯度下降方法的精度高度敏感于学习速率和负样本的选取。

因此，亟需一种能够考虑不同领域中物品的不同特性对于用户购买决策影响的推荐模型和相应的快速优化算法来解决该问题。

发明内容

本发明针对在不同领域中物品的不同特性对于用户购买决策的影响有所不同，公开了一种融合物品内在与外在特性的推荐方法。

首先，提出一种内外兼并的概率矩阵分解模型，该模型同时考虑物品的内在和外在因素，以更细粒度的方式来捕获物品的不同特性对于用户偏好的影响。

其次，由于额外信息的融入，使得发明所公开的极富表达力的推荐方法在学习模型参数时，却面临着效率问题。为使得本发明所公开的模型能够满足实际环境的需求，本发明针对物品排序任务公开了一种快速交替最小二乘算法用于高效学习内外兼并的概率矩阵分解模型的参数。

最后，引入一种在线更新模型参数的策略使得本发明所公开的算法可适用于真实推荐环境。

附图说明

为了更清楚的说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图简单地介绍。

图1是本发明实施例的内外兼并的概率矩阵分解模型的图模型。

图2是本发明所公开的快速交替最小二乘法的详细优化步骤。

图3是本发明所公开的快速交替最小二乘法的在线学习优化步骤。

图4是本发明实施例提供的在推荐列表长度为10的情况下，物品精确度的比较图。

图5是本发明实施例提供的不同推荐列表长度下物品精确度的比较图。

具体实施

以下将结合具体实例及附图对本发明的技术方案进行清楚、完整地描述。图 1是本发明实施例的图模型，此处的实例与描述仅用于解释本发明，并不用于限定本发明。

1.定义：

本发明实施例从两个方面显示建模一个物品的属性：外在特性和内在特性。

定义1(外在特性)外在特性是物品属性的外在方面且由物品的制造商来决定。

在表达一副图像时，相比于低层手工特征(如SIFT、颜直方图等)，高层卷积神经网络特征更具判别力和表达力。因此，本发明使用高层卷积神经网络特征用于表示物品的外在特性。视觉特征由一个在一百二十万ImageNet数据集上进行预训练的深度卷积神经网络提取得到。特别地，本发明实施例使用一个含有 5个卷积层，3个最大池化层，3个全连接层以及1个softmax层组成的卷积网络来提取c＝4096维的视觉特征

定义2(内在特性)内在特性是物品属性的内在方面且由物品的固有功能来决定。

在办公用品领域，人们的购物篮中通常会选择一些功能互补的物品进行购买。而非推荐具有相同功能的其他品牌物品。鉴于此，本发明使用“经常一起购买”来编码物品的内在特性。直觉上，被人们经常一起购买的电子商务物品在功能应具有互补性。特别地，使用矩阵S表示n×n的内在特性矩阵。如果物品i和物品j之间存在功能互补性，那么Sij＝1，否则Sij＝0。

定义3(物品排序任务)给定用户集合U，物品集合I，用户-物品的交互矩阵R，外在特征矩阵F和内在特征矩阵S，本发明的目标是从未购买的物品中为每个用户u推荐一个可能感兴趣的top-N列表。

2.模型框架：

2.1建模物品的外在特性：

面向隐式反馈数据的矩阵分解模型基于用户-物品的交互矩阵R＝[Rui]m×n来建模用户的购买决策过程，其中m和n分别表示系统中用户和物品的数量。Rui是一个二值变量，Rui＝1表示用户u已经购买了物品i，否则Rui＝0。本发明实施例使用分别表示用户特征矩阵和物品特征矩阵，那么向量分别表示d维的用户u和物品i的特征向量。然后基于概率生成模型建模用户对于物品外在特性的喜好。矩阵中的每个元素Rui均基于高斯分布独立生成：

其中，N(x∣μ,σ-1)是均值为μ且精度为σ的高斯分布。为了缓解矩阵R中正负样本极度不平衡问题，本发明实施例在式(1)中引入一个与Rui相关的置信度函数且对于正负样本函数取值有所不同。为了简化模型的复杂度，本发明实施例使用的权重函数为：如果Rui＝1，则否则为了降低物品外在特征的维度，本发明实施例学习一个核矩阵用于将高维视觉特征向更低维的视觉风格空间E fi转换。对于每个物品i，本发明实施例基于òi～N(0,β-1I)生成偏置量，并设置物品的潜在特征向量为qi＝òi+E fi。值得注意的是，òi～N(0,β-1I)等价于qi～N(E fi,β-1I)。矩阵P,Q,E的先验分布均符合高斯分布，那么可得出下式：

上式中λp,λe,β用于控制3个高斯分布的精度，I是单位矩阵。本发明实施例使用Pr(P,Q,E,R,λp,λe,β)表示联合概率分布，使用Pr(R)表示边缘分布。据此，联合上述先验分布并根据贝叶斯推理规则，可以得出参数P,Q,E的后验分布为：

2.2建模物品的内在特性：

本发明实施例使用表示物品的特征矩阵，向量qi,zj表示物品特征向量。在电子商务系统中，物品之间的功能互补关系通常是有向的。例如，人们在购买完手机后推荐购买屏保是合乎情理的推荐，反向推荐不仅不能增加物品的销售数量而且会降低用户的体验。为了体现功能互补关系的非对称性，本发明实施例建模物品i与物品j之间的功能互补性使用qi zj而非qi qj。相似于式 (1)，可以得出S的条件概率分布为:

其中，α是一个平衡超参数用于控制用户决策时物品的内在特性所占的比例。相似于本发明实施例为Sij也引入一个置信度函数如果Sij＝1则否则与参数P,E做法一致，参数H,Z的先验分布也符合均值为 0的高斯分布：

上式中λq,λz是2个高斯先验分布的精度。据此，依据贝叶斯推理规则，参数Q,Z的后验分布可以计算得出：

2.3联合建模物品内在与外在特性：

上述内容已详细介绍如何分别建模物品的内在特性与外在特性。电子商务系统中，用户的消费行为通常受物品多方面属性的影响，且不同的物品领域中主导用户决策的因素具有显著差异性。鉴于此，本发明公开一种统一的概率模型，即内外兼并的概率矩阵分解，用于捕获物品的不同属性方面对于不同领域中用户决策的影响。给定一个交互数据(u,i)和一个功能互补关系数据(i,j)，图1展示了如何通过共享物品特征矩阵Q将物品的内在特性与外在特性统一在一个模型中。

基于图1，参数P,Q,Z,E的后验分布可由下式推理出：

相应地，在超参数α,β,γ,λp,λq,λz,λe固定的情形下，最大化逻辑后验分布其实等价于最小化如下目标函数：

3.模型求解：

在推荐系统中，交替最小二乘法和随机梯度下降算法已被广泛用于矩阵分解模型的优化。然而，由于交替最小二乘法算法中矩阵求逆操作的存在，其时间复杂度通常与特征向量维度d呈立方相关，这使得交替最小二乘法在求解式(11) 时面临着严重的效率问题。随机梯度下降作为更泛化的优化器，已被用于许多机器学习模型的优化，且对于在线学习而言是个非常合适的选择。但随机梯度下降需要较多的迭代次数方可收敛到满意结果，且其精度通常敏感于学习速率和负样本的选取。为此，本发明提出一种快速交替最小二乘法用于高效求解式(11)的优化问题。发明所公开的优化算法循环优化模型参数，其完整的更新序列为：

接下来详细介绍求解模型单个变量的闭合解。为了简化起见，此处使用L来表示式(11)中的目标函数。

首先，基于L可以得出puk的导数为：

其中，通过设置上述偏导数等于0可得出puk的闭合解为：

其中，即第k维不参与计算得到的预测值。从上式可以看出，主要的计算瓶颈位于缺失数据的重复计算(即)，迭代期间需基于所有负样本参与计算。鉴于此，首先关注的计算。

通过上述转化可以发现，需所有物品参与计算的项是完全独立于用户u的。因此，通过预先计算并缓存下来共享给所有用户，便可取得非常明显的加速。令Xq＝QQ，那么式(15)可以被改写为：

值得一提的是，计算上式的时间复杂度为相似地，可以采用缓存技术加速式(14)中分母的计算:

通过使用缓存Xq，结合式(16)和(17)可得出puk的最终更新规则为：

相似地，可以得出zjk的更新规则为:

其中，且表示缓存矩阵Xq中(k,v)位置的元素。

其次，基于L可得出qik的导数为：

在更新向量qi第k维元素时，通过式(11)直接计算qik会导致重复计算 yi＝E fi。显然，可以使用缓存技术定义Y＝FE进行加速计算。此时，令qik的导数等于0，可得出：

相似地，可以使用缓存技术加速上式中分子与分母的计算。因此，qik的更新规则为：

其中，表示缓存矩阵中(k,v)位置的元素，表示缓存矩阵中(k,v)位置的元素。

最后，为了更新参数etk，首先固定参数P,Q,Z并移除无关项，然后可基于L 获得etk的导数为：

其中，此处使用ft表示矩阵F的第t列，并使用Ft表示向量ft中非零元素的坐标集合。令是一个缓存向量且那么etk的最终更新规则为：

图2总结了优化本发明实施例中模型的详细步骤。

4.物品推荐：

在物品推荐阶段，对于给定用户，使用融合物品内在与外在特性的推荐方法计算所有物品的偏好评分，将物品根据偏好评分降序排序，然后向用户推荐排序列表中排名靠前的物品。

5.在线学习

在一个商业场景中，一个完整的推荐系统通常包括离线训练和在线个性化2 个步骤。一个特定的推荐方法首先基于用户的历史交互信息来离线训练相应的推荐模型，然后生成个性化排序列表并推荐给目标用户。从在线个性化角度来看，一个商业推荐系统中最重要的方面是新的交互数据产生时如何迅速刷新推荐结果。由于整个推荐模型实时重新训练是完全不现实的，一种可选择的方案是基于新产生的数据更新局部模型参数。为此，本发明公开了一种在线更新策略使得快速交替最小二乘算法能够适应实时数据的流入。

5.1在线更新机制：

假若一个新交互数据(u,i)产生，且表示离线训练得到的模型参数。本发明的策略是仅更新与预测相关的模型参数，即需注意的是，如果物品i是一个新物品，那么仅更新给定新交互数据(u,i)，并保证模型参数中与(u,i)无关参数不变，会得到显著变化。图3提供了在线学习快速交替最小二乘算法的详细过程。

5.2时间复杂度：

如果i是一个新物品，图3在线更新快速交替最小二乘算法的时间复杂度是否则为不难看出，在线学习的时间复杂度仅于用户u和物品i相关的交互数据相关，且完全独立于总的交互数量以及用户和物品的数量。因此，基于上述分析可以看出本发明的在线学习算法有能力满足于工业场景的需求。

图4是本发明实施例提供的在推荐列表长度为10的情况下，物品精确度的比较图。图5是本发明实施例提供的不同推荐列表长度下物品精确度的比较图，其中横坐标是物品推荐列表的长度，纵坐标是推荐精确度，其中IEPMF是本发明公开的融合物品内在与外在特性的推荐方法。由对比实验可知，本发明公开的推荐方法在两个推荐指标的衡量下，都达到了最好的性能。

本领域的技术人员容易理解本发明中的实施例。以上所述仅为本发明的基本实现的实例而已，并不用以限制本发明。