用Python开始机器学习9推荐算法之推荐矩阵

1、用 Python 开始机器学习（ 9 ：推荐算法之推荐矩阵）每个人都会有这样的经历：当你在电商网站购物时，你 会看到天猫给你弹出的“和你买了同样物品的人还买了XXX”的信息；当你在 SNS 社交网站闲逛时，也会看到弹出的“你 可能认识XXX “的信息；你在微博添加关注人时，也会看到“你 可能对 XXX 也感兴趣”；等等。 所有这一切，都是背后的推荐算法运作的结果。最经典的关 联规则算法是大名鼎鼎的 Apriori 算法，源自一个超市购物篮 的故事： 啤酒总是和尿布一起被购买。 有兴趣的可以去看看。 本章我们来学习一种最简单的推荐算法：推荐矩阵。虽然简 单，但是却被广泛应用着。1、推荐矩阵 为描

2、述方便，以下我们以“购物推荐”作为背景进行介绍。假 设你有个卖商品的网站，拥有每个用户购买每个物品的数据。 现在，某个用户 A 购买了商品 a ，如何向他推荐他最有可能 感兴趣的其他商品呢？为达到这个目的，通常有两种思路：1 :寻找与该用户（A）购买习惯最为相似的用户（B），认为 B购买的物品，A也最有可能感兴趣。这种情况适用于 A 已经购买过一些商品， 算法能够根据 A 已 经购买的物品作为特征，去匹配与A购买习惯最相近的用户。这种方式是以用户为中心的，推荐出来的商品 b 可能跟商品 a 风流马不相及， 因此更适合于类似 SNS 和微博这样的平台， 根据用户的已知兴趣集合来向其推荐其他具有相

3、同兴趣的 用户；2 :寻找与商品（a）最为相似的商品（b），认为A既然对a 感兴趣，也有可能对 b 感兴趣；这种情况是以商品为中心的，因此更适合购物推荐这样的场旦 景。而要计算两个向量“最相似”的程度，有很多方法，如 KNN 中用到的欧式距离，或者海明距离等。但是欧式距离并不适 用于本场合。比如用户 A 购买了 5 个商品 a， 5 个商品 b， 用户B购买了 5个商品a, 0个商品b，用户C购买了 10 个商品a，10个商品b，用距离来度量的结果必然是A与B更近。而实际上 A 跟 C 是极其相似的。 因此这里，我们介绍皮尔森相关系数 （Pearson correlation coeffici

4、ent） 。其定义如下:该系数定义的是两个向量的线性 相关程度，取值范围为 -1,+1， 0 表示线性无关，绝对值越 大线性相关程度越大，正 /负表示正 /负线性相关。 简单的给几个例子:1,2,3 ， 4,5,6 : 11,2,3 ，6,5,4 ： -11,2,3 ，1,2,4 ： 0.981,2,3 ，-1,-11,-111 ： -0.9因此，我们将构造一个矩阵来描述用户购买商品的情况，该 矩阵以用户为行、商品为列。要计算某个商品 a 最相似的商 品，我们通过计算商品 a 所在的列与其他的每一列的皮尔森 相关系数，找出最大的前 N 个推荐给用户即可。2、测试数据 数据为一份简单的购物清单，

5、每一行对应着用户 id 商品 id 这样的数据对。如下图所示： plain view plain copy1 1 3如第一行对应着用户 1 购买了商品 1，数量为 3 。可以认为 该数据是一个稀疏矩阵。该矩阵可视化出来结果如下：上图 中每一行代表一个用户，每一列代表一个商品，对应的颜色 不同表示购买的数量不同，深蓝色表示购买数为0。从图上很容易看出， 用户 0 与用户 1 同时购买了商品 0，1， 2，仅仅数量不一样；而商品 0 和商品 1 售出的情况一模一 样只被用户 0， 1，3，8 购买过，看上去就像是捆绑销 售的一般。3、代码与分析 python view plain copy # -

6、*- coding: utf-8 -*-from matplotlib import pyplot import scipy as spimport numpy as npfrom matplotlib import pylabfrom sklearn.datasets import load_filesfrom sklearn.cross_validation import train_test_splitfrom sklearn.metrics import precision_recall_curve, roc_curve, aucfrom sklearn.metrics import

7、classification_report import timefrom scipy import sparse start_time = time.time()data#计算向量 test 与 data 数据每一个向量的相关系数， 行为一个向量def calc_relation(testfor, data):return np.array(np.corrcoef(testfor, c)0,1for c in data)# luispedro 提供的加速函数def all_correlations(y, X):X = np.asanyarray(X, float) y = np.asanya

8、rray(y, float) xy = np.dot(X, y) y_ = y.mean() ys_ = y.std() x_ = X.mean(1) xs_ = X.std(1) n = float(len(y) ys_ += 1e-5 # Handle zeros in ys xs_ += 1e-5 # Handle zeros in x return (xy - x_ * y_ * n) / n / xs_ / ys_#数据读入data = np.loadtxt('1.txt')x_p = data:, :2 # 取前 2 列y_p = data:, 2 # 取前 2 列

9、x_p -= 1# 0 为起始索引y = (sparse.csc_matrix(data:,2, x_p.T).astype(float):, :.todense() nUser, nItem = y.shape#可视化矩阵 pyplot.imshow(y, interpolation='nearest') pyplot.xlabel(' 商品 ') pyplot.ylabel(' 用户 ') pyplot.xticks(range(nItem) pyplot.yticks(range(nUser) pyplot.show()#加载数据集，切分数

10、据集 80%训练， 20%测试x_p_train, x_p_test, y_p_train, y_p_test = train_test_split(data:,:2, data:,2, test_size =0.0)x = (sparse.csc_matrix(y_p_train,x_p_train.T).astype(float):, :.todense()Item_likeness = np.zeros(nItem, nItem)#训练 for i in range(nItem):Item_likenessi = calc_relation(x:,i.T, x.T)Item_likene

11、ssi,i = -1for t in range(Item_likeness.shape1):item = Item_likenesst.argsort()-3: print("Buy Item %d will buy item %d,%d,%d "%(t, item0, item1, item2)print("time spent:", time.time() - start_time)输出如下： Buy Item 0, recommond item 3,2,1Buy Item 1, recommond item 3,2,0Buy Item 2, recommond item 3,0,1Buy Item 3, recommond item 0,1,5Buy Item 4, recommond item 6,7,8Buy Item 5, recommond item 0,1,3Buy Item 6, recommond item 4,7,8Buy Item 7, recommond item 4,8,6Buy Item 8, recommond item 4,7,6 time spent: