基于大数据的用户行为分析技术、个性化推送服务技术.doc

基于大数据的用户行为分析技术、个性化推送服务技术天津大学机械工程学院机械工程专业2013级硕士 摘要：本文介绍了大数据的背景，概念，特点，产生的来源，通过对用户行为的分析等，基于用户产生的大量的数据进行个性化的推送服务技术等。最后通过分析对大数据的应用前景和展望进行了分析。关键词：大数据 用户行为分析 个性化 展望1 大数据的产生背景从硅谷到北京，大数据的话题正在被传播。随着智能手机以及“可佩带”计算设备的出现，我们的行为、位置，甚至身体生理数据等每一点变化都成为了可被记录和分析的数据。如今，一个大规模生产、分享和应用数据的时代正在开启。我们所了解的大数据的真实价值如冰山一角，所以有待我们去挖掘。1.1 大数据概念大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。1.2 大数据的特点大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。1.3 大数据的产生来源 与传统数据的来源不同，大数据的来源不再仅仅局限于ERP、CRM等业务数据，还包括机器生成数据和社交数据。机器生成数据包括电话呼叫数据、各类服务器日志、传感器数据等，随着物联网的不断发展和传感器设备的普及，可获取的传感器数据变得越来越多。社交数据则指在Web 2.0网络中用户参与的微博、社交网络、用户反馈等数据。根据IDC的研究报告，人类社会的信息量每两年就会翻一番，2011年新产生和复制的数据总量达到1.8ZB（1.8万亿GB），其中75%的数据是个人产生的。人们日常生活中使用的网络、手机或其他电子设备，每天都在不停地产生大量新的数据，超出了以往系统所能分析的能力。然而大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。由于大数据的来源和类型多样，分析大数据时必须能同时处理结构化和半结构化，甚至是原始格式的数据。因此这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。云计算为我们打开大数据的宝藏提供了钥匙，突破了数据处理的瓶颈。因此基于大数据的用户行为分析技术、个性化推送服务技术的研究将翻开崭新的一页。2 用户行为分析与个性化推送服务技术大数据的一大应用是对用户行为进行分析和进行个性化推送服务，而分析的关键就在于搞清三个关键问题：什么是用户行为分析；为什么分析用户行为；如何分析用户行为。基于对用户行为的分析，再设计个性化的推送服务。什么是用户行为分析：用户行为分析就是根据用户历来的行为来分析用户的需求或即将要做的事情。一般我们分析用户行为离不开数据，这些数据可以来自于数据库也可以来自于用户操作日志。比如武汉播思的Hugetable系统就是一个很好的用户行为分析系统平台。为什么分析用户行为：探究用户的行为，并采用某些技术手段分析这些行为，最终提供给营销人员基于真实用户行为的参考数据。例如，通过对各资费档次用户使用特征的比较，获得高资费用户上网的特征，找到目标用户，通过业务引导、资费策略等方式使用户想高资费转移。再例如，通过对政企客户使用业务种类的特征分析，向大客户营销商务领航系列产品。如何分析用户行为：基于数据的用户个性化分析的核心思想就是事先根据用户的事件，分析出一些典型的行为，再通过采集用户的事件来匹配这些行为。由于行为的发生会再影响到用户的个性化的标签，标签匹配度会由于行为的不同有增有减，而不是一旦赋予终身不变，这符合人性变化的特点，经过一段时间的数据积累，我们将逐渐清楚用户各方面的特征。基于用户行为分析并进行个性化推送服务成功的案例已经有很多，例如亚马逊，谷歌，农夫山泉等等，下面以亚马逊为例具体解释基于大数据的用户行为分析技术和个性化推送服务所带来的不同结果。全球电子商务创始者亚马逊（A），它在利润并不丰厚的图书行业竞争中取胜的根本原因在于对数据的战略性认识和使用，通过传统门店无法比拟的互联网手段，空前地获取了极其丰富的用户行为信息，并且进行深度分析与挖掘。它利用了用户在网站上发生的所有行为，如搜索、浏览、打分、点评、加入购物车、取出购物车、加入期待列表、购买、使用减价券和退货等信息；甚至包括在第三方网站上的相关行为，如比价、看相关评测、参与讨论、社交媒体上的交流、与好友互动等信息，收集到了大量客户在购买前的行为信息，而不是像门店收集到的只是交易信息，如购买、退货、折扣、返券等和最终交易相关的信息。两者相比起来，前者可以更深度地反映出潜在客户的购买心理和购买意向。例如，客户A连续浏览了5款电视机，其中4款来自国内品牌S，1款来自国外品牌T；4款为LED技术，1款为LCD技术；5款的价格分别为4599元、5199 元、5499元、5999元、7999元；这些行为某种程度上反映了客户A对品牌认可度及倾向性，如偏向国产品牌、中等价位的LED电视。而客户B连续浏览了6款电视机，其中2款是国外品牌T，2款是另一国外品牌V，2款是国产品牌S；4款为LED技术，2款为LCD技术；6款的价格分别为5999元、7999元、8300元、9200元、9999元、11050元；类似地，这些行为某种程度上反映了客户B对品牌认可度及倾向性，如偏向进口品牌、高价位的LED电视等。亚马逊通过对这些行为信息的分析和理解，制定对客户的贴心服务及个性化推荐。例如：当客户浏览了多款电视机而没有做购买的行为时，在一定的周期内，把适合客户的品牌、价位和类型的另一款电视机促销的信息通过电子邮件主动发送给客户；再例如，当客户再一次回到网站，对电冰箱进行浏览行为时，可以在网页上给客户A推荐国产中等价位的冰箱，而对客户B推荐进口高档价位的商品。这样的个性化推荐服务往往会起到非常好的效果，不仅可以提高客户购买的意愿，缩短购买的路径和时间，通常还可以在比较恰当的时机捕获客户的最佳购买冲动，也降低了传统的营销方式对客户的无端骚扰，还能提高用户体验，是一个一举多得的好手段。纵观国内外成功的电商企业，对用户行为信息的分析和使用，无不在这个兵家必争之地做大量投入。他们对数据战略性的高度认识和使用，非常值得国内的电商学习和借鉴。3 大数据的应用前景大数据已经渗透到我们生活的方方面面。衣食住行几乎都可以用数据来体现。大数据可以帮助我们解决很多问题。例如：大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督；大数据帮助城市预防犯罪，例如，洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。大数据帮助城市实现智慧交通，提升紧急应急能力； 大数据帮助医疗机构建立患者的疾病风险跟踪机制，帮助医药企业提升药品的临床使用效果，帮助艾滋病研究机构为患者提供定制的药物；大数据帮助航空公司节省运营成本，帮助电信企业实现售后服务质量提升，帮助保险企业识别欺诈骗保行为，帮助快递公司监测分析运输车辆的故障险情以提前预警维修，帮助电力公司有效识别预警即将发生故障的设备；大数据帮助电商公司向用户推荐商品和服务，帮助旅游网站为旅游者提供心仪的旅游路线，帮助二手市场的买卖双方找到最合适的交易目标，帮助用户找到最合适的商品购买时期、商家和最优惠价格；大数据帮助企业提升营销的针对性，降低物流和库存的成本，减少投资的风险，以及帮助企业提升广告投放精准度；大数据帮助娱乐行业预测歌手，歌曲，电影，电视剧的受欢迎程度，并为投资者分析评估拍一部电影需要投入多少钱才最合适，否则就有可能收不回成本；大数据帮助社交网站提供更准确的好友推荐，为用户提供更精准的企业招聘信息，向用户推荐可能喜欢的游戏以及适合购买的商品。这样的实例不胜枚举，可见大数据对我们社会的改变以及它的价值所在。4 展望 （1）在大数据的背景下，用户行为分析的对象不再局限于人们的经济行为，而是逐步扩展到人们的信息行为、社会行为，甚至情感行为。在信息检索时，协同过滤理论可以基于相似用户的检索评分记录为用户提供个性化推荐；在分析社交网站数据时，社会网络分析模型及中心度、密度等概念有助于我们更好地刻画用户之间的社会联系，从中发现有价值的规律和知识。在信息扩散、大众情感行为分析中，更需要我们从用户心理、社会传播等多个学科寻找理论基础，建立适用于相应大数据集的行为理论分析模型。比如，通过建立个人的数据中心，将每个人的日常生活习惯，身体体征，社会网络，知识能力，爱好性情，疾病嗜好，情绪波动换言之就是记录人从出生那一刻起的每一分每一秒，将除了思维外的一切都储存下来，这些数据可以被充分的利用：医疗机构将实时的监测用户的身体健康状况；教育机构更有针对的制定用户喜欢的教育培训计划；服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务；社交网络能为你提供合适的交友对象，并为志同道合的人群组织各种聚会活动；政府能在用户的心理健康出现问题时有效的干预，防范自杀，刑事案件的发生；金融机构能帮助用户进行有效的理财管理，为用户的资金提供更有效的使用建议和规划；道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排等等。（2）利用信息资源整合将分散的资源集中起来，把无序的资源变为有序的资源，即把离散的数据整理成可以为用户服务的数据，使之方便用户查找信息，方便信息服务于用户。信息资源整合分为两种类型，第一种是同类数据的汇合，例如将多个高校BBS上的用户发帖信息汇集起来可以研究整体大学生的关注热点。第二种是异类数据的关联，例如在科技文献平台上，将用户检索日志和文献摘要、关键词信息整合起来。这些信息资源对数据的整合最终目的是通过对用户的行为分析来给用户一个最准确满意的答案，提高所提供信息的准确性，节省时间，提高效率。例如Google也希望当用户在搜索时，最好的体验是搜索结果值包含用户所需要的内容，而这并不需要用户给予Google太多的提示。（3）可视化是大数据的发展趋势。由于大数据多是表现宏观的变化趋势，因此更需要借助数据可视化的技术来表现行为分析的结果。借助用户可视化技术，用户可以更为直观地看到大数据所揭示的整体规律和发展趋势。（4）大数据的发展障碍，在于数据的“流动性”和“可获取性”。美国政府创建了D网站，为大数据敞开了大门；英国、印度也有“数据公开”运动。中国要赶上这样一场大数据变革，各界应该首先开始尝试公开数据、方式与方法。如同工业革命要开放物质交易、流通一样，开放、流通的数据是时代趋势的要求。（5）对于中国的国情具有很大的意义。庞大的人群和应用市场，复杂性高、充满变化，使得中国成为世界上最复杂的大数据国家。解决这种有大规模数据引发的问题，探索以大数据为基础的解决方案，是中国产业升级、效率提高的重要手段。数据挖掘不仅能够成为公司竞争力的来源，也将成为国家竞争力的一部分。联系到我国现代化所面临的种种