耦合云环境多维情景的大数据知识服务推荐机制

1、 耦合云环境多维情景的大数据知识服务推荐机制 摘要：针对大数据知识服务的情景推荐问题，将情景信息引入个性化推荐过程，结合云计算技术提出一种耦合云环境情景的大数据知识服务推荐机制。实验表明，该方法获得了比传统推荐方法更低的mae值，可应用于大数据知识服务个性化推荐。关键词：云环境；多维情景；大数据知识服务；推荐机制大数据知识服务融合了云计算、海量数据、知识学习先进技术，成为信息服务智慧化、协作化和泛在化的新型服务模式1-2。但大数据时代的知识服务面临以下两个问题：一是信息量爆炸性增长与用户知识学习能力局限性之间的矛盾，二是信息极度丰富和用户感兴趣知识局限性之间的矛盾3。上述两个矛盾本质的核心科学

2、问题为大数据知识服务面临的个性化推荐问题4。引入情景信息可有效提高推荐系统的精准性，这是因为传统推荐在对时间或位置的情景推荐中误差较大，而基于情景信息的推荐机制则可有效提高大数据时代知识服务推荐的精准性问题5-6。此外，“云计算”这种划时代的技术提供了庞大的数据“云端”7-8，为提高海量数字资源推荐系统的挖掘深度和规模性、解决推荐系统的实时性和质量问题等提供了广阔的发展契机9。因此，本文在传统推荐中引入用户的情景信息，提出耦合云环境情景的大数据知识服务推荐机制，并采用云计算技术实现推荐方法的并行分布式处理，最后进行实验分析。1、传统的协同过滤推荐服务随着互联网的飞速发展，传统协同过滤推荐系统所

3、面向的用户数目剧增，基于用户兴趣挖掘的协同过滤推荐不仅需要计算海量用户间的相似度，同时还面临不断加入新用户的在线计算压力10-11。因此，更为常见的推荐模式为基于项目的协同过滤推荐。基于项目的协同过滤推荐可离线计算评分项目间的相似度，以此提高整个系统的响应能力。该方法的具体步骤如下：step1：建立用户user和项目item之间的推荐度评分矩阵。在建立评分矩阵前，采用预先设定好的加权方法计算用户user在浏览、停留、购买各个项目item时的推荐度进行评分，具体如表1所示。由于用户不可能体验了所有项目，因此矩阵中部分的评分为空。step2：按照推荐度评分矩阵中的已知数值大小，根据特定的相似度计算

4、方法如皮尔逊系数法来计算各个item之间的相似程度，由此构建各个item的最相似项目列表。step3：根据项目评分以及最相似项目列表评分信息，按照特定的规则进行评分预测。step4：将所有的评分项目预测值进行汇总，并按照数值大小进行排列，取数值最大的前n个项目(即top-n)作为推荐结果输出。2、耦合云环境多维情景的兴趣建模与推荐机制本节首先对大数据知识服务用户的情景兴趣进行描述，在此基础上建立用户评分的情景模型，基于用户情景间的相似程度进行个性化推荐。2.1 耦合情景的兴趣表示2.2 耦合多维情景的推荐机制大数据知识服务情景化推荐的核心为基于情景兴趣评分矩阵的协同过滤方法，即结合项目评分的情

5、景与评分矩阵选择具体的大数据知识服务推荐项目，其主要步骤如下：2.2.1 获取评分矩阵及评分情景信息建立基于情景兴趣评分矩阵的协同过滤模型首先要构建用户项目评分矩阵为rsmn，矩阵rsmn是用户user对项目item的评分，具体的形式化表达公式为：2.3 mapreduce化的云环境推荐mapreduce是一种并行分布式计算模型，已在处理海量数据领域得到了广泛的应用12。mapreduce主要的流程包括：step1：在使用mapreduce函数时先把输入文件分解为m个任务。step2：主控程序master负责程序的调度与监控，是全局的统治者。它找出空闲的worker节点分配m个map任务和r个

6、reduce任务需要分派到各计算节点。step3：将一个处理任务输入到一个map工作机，它首先预处理输入的数据，并且将分隔好的文件进行输入，处理后产生后的关键字key，传递给map函数。step4：map函数产生的中间结果会在周期时间片内将中间结果自动写到本地磁盘，并且需要结果的存储的定时传递给主机程序master，接着master负责把这些存储具体位置信息传送给reduce子任务的节点。step5：执行reduce子任务的节点从master得到任务后，调用远程程序从map工作机本地硬盘上读取缓冲的中间数据。step6：reduce工作机根据每个唯一中间关键字来遍历所有排序后的中间数据，并把关

7、键字和与之相关的中间结果值集合传递给用户定义的reduce函数，reduce函数将汇集各地的信息最终组合成一个输出文件。step7：当所有map和reduce任务完成的时候，master节点将r个reduce结果返回给用户程序，用户程序将这些结果进行整合。3、实验分析为验证推荐方法的有效性，本文在云环境下实现并行推荐，详见文献13。实验采用了包含评分时间情景信息的moviepilot数据集，它包含了用户在对电影进行评分时(评分值是为0-100间的整数)的时间情景信息，因此本节从moviepilot原始评分数据集中选取了部分测试集中的用户以及评分次数最多的用户来作为实验的测试集，具体包括2 32

8、0个用户对23 628部电影的1 628 955条评分记录。在采用moviepilot数据集进行对比实验时，首先将训练集和测试集中的时间戳按月份归类。由于用户对每部电影仅有一个评分，所以采用用户情景相似度代替基于用户的上下文相似度进行预过滤14，从训练集中选出与测试集数据所在月份相近的月份的所有评分记录作为预过滤后的数据集进行偏好预测。研究结果表明，在不同nearest neighbors数目的情况下，与传统情景上下文推荐算法相比，本文提出的面向云环境的大数据知识服务情景化推荐方法具有更低的mae误差值，获得了更高的推荐质量与推荐精度，符合大数据知识服务情景化推荐的较高要求。研究还进一步指出，

9、本文采用相似情景代替先前情景上下文进行推荐可在一定程度上进一步缓解由于稀疏数据导致的推荐精度不佳问题，因此在大数据环境下可充分利用与知识服务用户最为相似的情景来进行个性化推荐，符合大数据知识服务情景化推荐的要求。参考文献：1 孙卓.基于大数据构建图书馆知识服务引擎研究j.图书馆学研究,2013(18):48-512 秦晓珠,李晨晖,麦范金.大数据知识服务的内涵、典型特征及概念模型j.情报资料工作,2013,(2):18-223 房俊峰.面向云计算的大数据协同过滤推荐方法j.电子商务,2014(3)4 张兴旺,李晨晖,麦范金.变革中的大数据知识服务:面向大数据的信息移动推荐服务新模式j.图书与情

10、报,2013,(4):74-795 mallat m,rossi m,tuunainen k and et al.the impact ofuse context on mobile services acceptance:the case of mobileticketingj.information & management,2009,46(3):190-195.6 胡慕海,蔡淑琴,张宇,等.情境化信息推荐机制的研究j.情报学报.2011,30 (10):1053-10647 刘海鸥.协同创新驱动的云计算服务模式与战略j.中国科技论坛,2013,(10) :105-1118 张亚明.协同创

11、新驱动下的云计算行业服务框架j. 科技进步与对策, 2014(优先出版)9 刘海鸥. it时代的云经济j.企业管理, 2012,(2) :94-9610 li shiyong. a collaborative filtering recommendationmechanism for mobile commerce based on cloud computingj. journal of information and computational science,2011(12): 3883-3891.11 刘海鸥.云环境用户兴趣图谱的网络社区营销推荐机理j.情报杂志, 2013,(3):184-18812 张亚明.云计算研究综述基于技术与商业价值双重视角j.中国科技论坛, 2010,(8):126-13313 刘海鸥.面向大数据知识服务推