基于大数据推荐引擎教程

行为建模、行为序列分析

文本挖掘长文本挖掘、短文本挖掘用户个体行为建模和预测基于个人历史行为的概率序列模型马尔可夫模型或最大熵模型基于网络结构的条件随机模型条件随机场模型基于主题模型的行为预测主题模型LDA和扩展模型DTM基于随机模型的用户群体行为建模、基于智能体的用户群体行为建模与预测用户浏览行为与用户浏览兴趣用户浏览行为与用户浏览兴趣用户的来源地区、来路域名和页面；用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数；注册用户和非注册用户，分析两者之间的浏览习惯；用户所使用的搜索引擎、关键词、关联关键词和站内关键字；用户选择什么样的入口形式（广告或者网站入口链接）更为有效；用户访问网站流程，用来分析页面结构设计是否合理；用户在页面上的网页热点图分布数据和网页覆盖图数据；用户在不同时段的访问量情况等：用户是否对于网站的字体颜色的喜好程度。算法评测AUC、F-measure、准确率、召回率标签画像模型算法分类与回归决策树、扑素贝叶斯向量支持向量机SVMsMLR（softmaxRegreesion）二元分类SvmWithSGDLogisticRegressionWithSGD、RF&GBDT、逻辑回归、线性回归聚类k-means、canopyEM(Expectation-Maximization）吉布斯（GibbsSampling）模糊聚类、狄利克雷线性模型SlopeOne图计算Pagerank时序模型BP、GA梯度下降GradientDescent特征提取转换TF-IDF推荐引擎模型算法模型常用算法基于物品推荐item—base

CF（冷启动、热启动）基于用户推荐user-base

CF（冷启动、热启动）基于协同过滤推荐Simarnk基于模型推荐RandomWalk、pLSA、SVD、SVD++基于关联规则推荐Apriori、AprioriTid、DHP、FP-tree基于知识推荐基于效用推荐混合的推荐机制加权的混合、切换的混合、分区的混合、分层的混合相似度算法K-neighborhoods、User-CF、Item-CF显性反馈ALS隐性反馈ALS情景感知推荐Context-Aware相似度推荐历史矩阵、共生矩阵、标识符矩阵Spark推荐引擎Mahout算法模型算法类算法名中文名分类算法LogisticRegression逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法NeuralNetwork神经网络RandomForests随机森林RestrictedBoltzmannMachines有限波尔兹曼机聚类算法CanopyClusteringCanopy聚类K-meansClusteringK均值算法FuzzyK-means模糊K均值ExpectationMaximizationEM聚类（期望最大化聚类）MeanShiftClustering均值漂移聚类HierarchicalClustering层次聚类DirichletProcessClustering狄里克雷过程聚类LatentDirichletAllocationLDA聚类SpectralClustering谱聚类关联规则挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回归LocallyWeightedLinearRegression局部加权线性回归降维/维约简SingularValueDecomposition奇异值分解PrincipalComponentsAnalysis主成分分析IndependentComponentAnalysis独立成分分析GaussianDiscriminativeAnalysis高斯判别分析进化算法并行化了Watchmaker框架

推荐/协同过滤Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）DistributedRecommendersItemCF向量相似度计算RowSimilarityJob计算列间相似度VectorDistanceJob计算向量间距离非Map-Reduce算法HiddenMarkovModels隐马尔科夫模型集合方法扩展Collections扩展了java的Collections类SPARK对算法模型支撑推荐引擎人口统计学的推荐内容的推荐三、协