2019年idea版大数据项目之推荐系统5电影设计

电影推荐系统设计讲师：武晟然项目框架数据源解析统计推荐模块离线推荐模块实时推荐模块基于内容的推荐模块主要内容项目框架大数据处理流程系统模块设计项目系统架构项目数据流图数据应用数据计算数据存储数据采集数据源日志数据关系数据图片视频KafkaSqoopFlumeScribeETL工具结构化数据半结构化数据非结构化数据HDFSMapReduce可视化EchartsD3HBaseCassandraGreenPlumOracleSparkFlinkStormMahout业务应用BI分析Tableau数据生命周期大数据处理流程我们的目标电影推荐网站实时推荐服务基于模型的推荐基于内容的推荐协同过滤的推荐离线推荐服务实时个性化推荐离线个性化推荐统计推荐相似性推荐评分标签检索离线统计服务内容检索服务系统模块设计离线在线近线项目系统架构log系统数据流图数据源解析电影信息用户评分信息电影标签信息movies.csvratings.csvtags.csv电影ID(MID)电影名称(NAME)电影描述(DESCRI)电影时长(TIMELONG)发行时间(ISSUE)拍摄时间(SHOOT)电影语言(LANGUAGE)电影类别(DIRECTOR)电影演员(ACTORS)电影导演(DIRECTOR)1ToyStory-81minutesMarch2020011995EnglishAdventure|Animation|…|FantasyTomHanks|…|JimJohnLasseter…………………………30ShanghaiTriad-108minutesDecember1220001995ChineseCrime|DramaGongLi|…|LiBao-TianZhangYimou电影信息用户ID(UID)电影ID(MID)电影评分(SCORE)评分时间(TIMESTAMP)67158164106511196367159023.51064245507…………671595251063502716用户评分信息用户ID(UID)电影ID(MID)电影标签(TAG)标签时间(TIMESTAMP)15339sandra'boring'bullock1138537770151955dentist1193435061…………15100365uganda1425876220电影标签信息主要数据模型统计推荐模块历史热门电影统计近期热门电影统计电影平均评分统计各类别Top10优质电影统计统计推荐模块SparkSession.readSparkSession.writemongo-spark-connector统计推荐模块历史热门电影统计统计所有历史数据中每个电影的评分数selectmid,count(mid)ascountfromratingsgroupbymid

RateMoreMoviesRateMoreMovies数据结构：mid，count近期热门电影统计统计每月的电影评分个数，就代表了电影近期的热门度selectmid,score,changeDate(timestamp)asyearmonthfromratings

ratingOfMonthselectmid,count(mid)ascount,yearmonthfromratingOfMonthgroupbyyearmonth,midorderbyyearmonthdesc,countdesc RateMoreRecentlyMovieschangDate：UDF函数，使用SimpleDateFormat对Date进行格式转化，转化格式为“yyyyMM”RateMoreRecentlyMovies数据结构：mid，count，yearmonth电影平均评分统计selectmid,avg(score)asavgfromratingsgroupbymid AverageMoviesAverageMovies数据结构：mid，avg各类别Top10评分电影统计selecta.mid,genres,if(isnull(b.avg),0,b.avg)scorefrommoviesaleftjoinaverageMoviesbona.mid=b.mid movieWithScorespark.sql("select*from(select"+"mid,"+"gen,"+"score,"+"row_number()over(partitionbygenorderbyscoredesc)rank"+"from"+"(selectmid,score,explode(splitGe(genres))genfrommovieWithScore)

genresMovies)rankGenresMovies"+"whererank<=10")splitGe：UDF函数，按照‘|’字符对字符串进行切分离线推荐模块用ALS算法训练隐语义模型计算用户推荐矩阵计算电影相似度矩阵离线推荐模块DataSet[MovieRating]SparkSession.readRDD[Rating(uid,mid,score)]mapvalmodel=ALS.train(trainData,rank,iterations,lambda)RMSE

均方根误差：均方误差的算术平方根，预测值与真实值之间的误差参数调整

可以通过均方根误差，来多次调整参数值，选择RMSE最小的一组参数值rank，iterations，lambdaALS推荐模型训练ALSuserRDD:RDD[Int]movieRDD:RDD[Int]userMovies:RDD[(uid,mid)]predictRating:RDD[Rating(uid,mid,predict)]userGroupRatings:RDD[(uid,Seq[Rating])]userRecs:RDD[(uid,Seq[(mid,score)])]笛卡尔积model.predict(userMovies)groupByKeysortBy(‘score’).take(20)SparkSession.write计算用户推荐矩阵movieFeatures:RDD[mid,DoubleMatrix]movieFeatures:RDD[mid,DoubleMatrix]movieSim:RDD[(mid,(mid,consinSim))]modelmoviesSimGroup:RDD[(mid,Seq(mid,consinSim))]笛卡尔积Filter(consinSim>0.6).groupByKductFeaturesMatrix（N，M）=Matrix（N，K）×

Matrix（K，M）

计算电影相似度矩阵

movieRecs:RDD[(uid,Seq[(mid,score)])]SparkSession.writespark-redis存储电影相似度矩阵实时推荐模块实时推荐架构实时推荐优先级计算基于模型的实时推荐模块log计算速度要快结果可以不是特别精确有预先设计好的推荐模型uid,mid,score,timestamp基于模型的实时推荐模块基本原理：用户最近一段时间的口味是相似的备选电影推荐优先级:A5.0B4.0C1.0D4.0X?Y?Z?用户最近k次评分备选电影Sim(A,X)Sim(B,X)Sim(C,X)X的推荐优先级分数为：？=(sim(A,X)*5+sim(B,X)*4+sim(C,X)*1)/3+lg2–lg1推荐优先级计算KRatings:Seq[(mid,score)]Movies【候选电影】:Seq[Int]计算分数：((sim(A,X)*5+sim(B,X)*4+sim(C,X))/3获取和K次评分的每个电影的相似度Score(X)+log2–log1和前面的实时结果合并更新加上偏移项uid,mid,score,timestampRedis电影相似度矩阵Redis用户最近K