百度数据研究中心的大数据应用

BAIDUDATARESEARCHCENTER大数据应用与实践百度数据研究中心2014.09大数据概述百度数据研究中心数据解决方案大数据解决方案应用与实践议程大数据时代已经到来251550201035304020112010202035.2201220152009全球数据量单位：ZBIDC全球数据使用量预测根据国际数据资讯(IDC)公司监测，全球数据量大约每两年翻一番，预计到2020年，全球将拥有35ZB的数据量，并且85%以上的数据以非结构化或半结构化的形式存在。全球数据量增势明显60亿次时间范围：截至2013.12.31的统计。百度贴吧日均浏览量10亿，每天发帖3300万，是世界发行量最大的报纸《读卖新闻》日发行量的3.3倍。时间范围：截至2013.12.31的统计。百度知道2005年推出的百度知道，7年时间为中国网民解决了2.3亿个问题。如果1个人回答1个问题仅需要1分钟的时间，那么全部解答这些问题需要用4个世纪才能全部完成。时间范围：截至2013.12.31的统计。百度百科百度百科目前有620多万个词条，相当于《大英百科全书》词条数的60倍多。百度百科每日更新词条14万个，比最新版《辞海》的总词条数还要多1万条。相当于中国国家图书馆11年半的读者人数。时间范围：截至2013.12.31的统计。什么是大数据？大数据(bigdata)，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特征1数据体量巨大Volume指大数据巨大的数据量与数据完整性，通常指10TB（1TB=1024GB）规模以上的数据量。2数据种类繁多Variety不仅包括传统的关系数据类型，也包括以网页、视频、音频、e-mail、文档等形式存在的未加工的、半结构化的和非结构化的数据。3处理速度快Velocity数据更快地满足实时化需求，如开车时即能看到导航仪查询的最短路线，数据流动的速度快到难以用传统的系统去处理。4价值密度低Value隐藏在海量数据中的有用信息难以获取。以视频为例，连续的监控过程，可能有用的数据仅有一两秒。大数据处理流程和技术数据源数据源结构化数据半结构化数据非结构化数据RDBMSHTMLDocuments数据整合数据采集数据关联性数据实体数据聚合和数据修正数据清洗和去噪可信赖数据相关联数据存储集合数据采集数据处理与集成1大数据处理流程和技术数据分析数据源数据挖掘数理统计机器学习智能算法传统技术：数据源GFSMapReduceBigTable云计算技术：数据源决策支持信息预测商业智能分析应用：数据源数据可视化技术人机交互技术科研机构企业政府机构医院数据解释用户2大数据应用google流感趋势(GoogleFluTrends)利用搜索关键词预测禽流感的散布统计学家内特.西尔弗(NateSilver)利用大数据预测2012美国选举结果麻省理工学院利用手机定位数据和交通数据建立城市规划梅西百货的实时定价机制，根据需求和库存的情况，该公司基于SAS的系统对多达7300万种货品进行实时调价Tipp24AG针对欧洲博彩业构建的下注和预测平台，用KXEN软件来分析数十亿计的交易以及客户的特性，然后通过预测模型对特定用户进行动态的营销活动。大数据概述百度数据研究中心数据解决方案数据优势及体系架构三大标准化数据平台大数据解决方案应用与实践议程百度大数据优势百度做为亚洲最大的新媒体平台，聚合了海量的用户搜索大数据百度数据研究中心数据—实时·广泛·多维度依托百度大数据优势，以三大标准化数据平台为核心

百度数据研究中心打造大数据解放方案体系帮助人人都成为数据科学家的数据分享平台助力企业商业决策的一站式数据平台体现民主精神的全民榜单帮助人人都成为数据科学家的数据分享平台百度指数大众版任意关键词（如产品、品牌、行业、事件、人物等）在桌面/无线两端的搜索指数。如：“烟草”关注趋势如何？在不同设备上的关注度一样吗？基于语义挖掘技术，侧探任意关键词隐藏的关注焦点、消费欲望。如：“香烟”哪些相关信息最受关注？百度指数能告诉你……一站式呈现任意关键词最热门的相关新闻、微博、问题、帖子。如：我的活动在媒体上引起了多大反响？我的负面新闻主要来自于哪些媒体？任意关键词网民在年龄、性别、地域、兴趣的分布特点。如：“烟草”关注人群分布在什么地域？搜索百度、腾讯、阿里巴巴的网民有什么区别？趋势分析需求洞察舆情管家人群画像无线趋势，尽在掌握移动互联网革命，你准备好了吗？哪些趋势正在悄悄发生？

百度指数，趋势分析一为您解读趋势分析需求洞察舆情管家人群画像

案例一“高考”搜索指数显示，每年高考期间及高考分数公布期间搜索关注度达到峰值；但是2014年的峰值出现早于高考，并持续一段时间，这是由于2014年高考方案改革刺激了高考的关注需求。趋势分析需求洞察舆情管家人群画像数据来源：百度指数2011－2014趋势分析需求洞察舆情管家人群画像

案例二手机产品词搜索指数显示，6－8月，“小米4”关注度高过“iphone6”和“三星note4”，是否说明可以尝试换个国产手机？数据来源：百度指数2014.6－2014.8趋势分析需求洞察舆情管家人群画像

案例三“奔驰”、“宝马”、“奥迪”PC搜索指数显示，奔驰最落后；但在移动端，奔驰搜索指数高于宝马、奥迪，奔驰移动端推广明显领先一步。PC趋势移动趋势数据来源：百度指数2006－2014海量数据，全方位勾勒五亿网民搜索欲望搜索是网民需求最直接的表达我的网民有哪些需求，痛点在那里百度指数，需求图谱等你来解读趋势分析需求洞察舆情管家人群画像趋势分析需求洞察舆情管家人群画像

案例一“国家统计局”需求图谱显示，搜索“国家统计局”的网民最关注行业分类、统计公报、工资总额，其中，对于网购和香烟品牌的需求处于上升中。数据来源：百度指数2014.09趋势分析需求洞察舆情管家人群画像

案例二“国家统计局”热门搜索显示，其相关检索词集中在各中政府相关经济部门。数据来源：百度指数2014.9新闻、微博实时监测，让危机管理有迹可循还忙碌于收集各种新闻/微博/论坛热点吗还烦恼如何在浩瀚的信息洪流中找到最有价值的1%百度指数，舆情管家为你轻松搞定趋势分析需求洞察舆情管家人群画像趋势分析需求洞察舆情管家人群画像

案例一“国家统计局”媒体指数显示，最近7天“国家统计局”的报道在9月19日达到高峰。“中国统计开放日”成为期间媒体报道的焦点。在9月21日，“国家统计局拟用大数据预测房价走势”转载最多。数据来源：百度指数2014.8－2014.9趋势分析需求洞察舆情管家人群画像

案例二不同高校热点不同。新闻监测数据显示，2014年，“北京大学”最热门的新闻包括领导人到访、名人演讲，以及大学生村官等，话题集中在人物方面…数据来源：百度指数2014.1－2014.7趋势分析需求洞察舆情管家人群画像

案例二而“清华大学”最热门的新闻包括“自强计划”项目、孵化基地合作项目、国家金融研究院成立等，话题集中在项目方面。数据来源：百度指数2014.1－2014.7多维刻画网民特征，助您精准定位人群性别、年龄、地域、兴趣分布数据一目了然人群画像为你提供最权威的人群分析结果还敢说，你不懂消费者吗？趋势分析需求洞察舆情管家人群画像趋势分析需求洞察舆情管家人群画像

案例一地域分布显示，“国家统计局”关注人群以北上广等经济发达地区最多。趋势分析需求洞察舆情管家人群画像

案例二兴趣图谱显示，搜索“iphone”和搜索“美图手机”的用户，除都是影视Fans、手机发烧友和吃货达人之外，搜索“iphone”的网民更喜欢体育，而搜索“美图手机”的网民更喜欢综艺，可以指导更精准的营销活动。百度指数专业版行业情报挖掘平台，全程指导企业营销决策百度指数可助力客户更好地洞察消费者、了解竞品动态、制定媒体策略、评估投放效果、提升品牌影响力需求与困惑解决方案掌握细分市场发展动态了解竞争对手市场表现监测广告投放效果品牌厂商广告代理公司了解相关网民网络行为及生态制定合理、有效的媒体投放方案标准产品：百度指数专业版通过搜索数据形成数据监测产品，帮助客户解决市场定位分析、数字媒体辅助研究、营销效果监测等方面定制产品：百度数据研究中心定制服务通过专业数据研究团队，深入发掘搜索大数据，向客户提供个性化数据服务及整体互联网解决方案。模块功能配置详细功能旗舰版市场细分旗舰权限独有细分概况搜索趋势●细分搜索排行品牌排行●产品排行●飙升排行●细分搜索人群人群地域特征●人群属性特征●广告投放搜索特征●网站访问●人群兴趣●行业分析行业概况搜索趋势●行业搜索排行品牌排行●产品排行●飙升排行●行业搜索人群人群地域特征●人群属性特征●广告投放搜索特征●网站访问●人群兴趣●模块功能配置详细功能旗舰版产品分析旗舰权限独有产品概况搜索趋势●产品搜索竞争品牌内竞争分析●品牌外竞争分析●产品搜索人群人群地域特征●人群属性特征●广告投放搜索特征●网站访问●人群兴趣●我的任务旗舰权限独有我的任务提交任务●品牌分析品牌概况搜索趋势●品牌搜索排行产品排行●飙升排行●品牌细分市场细分●细分排行●品牌搜索竞争竞争分析●品牌搜索人群人群地域特征●人群属性特征●广告投放搜索特征●网站访问●人群兴趣●用户可查看、下载全部2011年至今所有时间，全国整体/分省/城市数据。百度指数专业版全部功能1.

统计维度更全，数据源更广，数据结果更准确、更系统指数专业版在数据源上整合百度全流量数据，利用切词、聚类和交叉分析等数据挖掘技术，将搜索关键词按照行业、品牌、产品这三大维度进行逐层细分聚类，分别挖掘出这3大类词集的搜索数据，可以更为准确和系统的反映某个行业、品牌或产品的发展动态。这是目前大众版指数只反映单个词的信息所无法做到的。2.

功能更丰富，更适合品牌广告主和市场研究人员使用在指数大众版已有的趋势分析和人群分析功能的基础上，指数专业版还新增了排行榜分析、竞争分析等模块，并结合不同营销阶段相应地加入了搜索词特征、人群兴趣点、网站访问及效果监测的功能。百度指数专业版与大众版的区别1.专业版统计维度更全，数据源更广，数据结果更准确、更系统指数大众版“三星galaxys5”关键词搜索指数（2014年5－7月）指数专业版“三星galaxys5”产品搜索指数（2014年5－7月）指数大众版搜索指数基于单个关键词精确匹配，并不包含完整的产品搜索信息指数专业版搜索指数基于词集，关键词按照行业、品牌、产品这三大维度进行逐层细分聚类，可以更为准确和系统的反映某个行业、品牌或产品的发展动态例如，产品“三星galaxys5”包括关键词：“三星s5”、“GALAXYS5”、“GALAXYS5”“GALAXYS5价格”、“三星s5开箱”、“三星s5广告”、“三星s5支持4g网络吗”等等细分市场人群特征自定义查询搜索趋势搜索特征竞争分析2.专业版功能更丰富，更适合品牌广告主和市场研究人员使用123456根据搜索指数了解品牌趋势，根据搜索排行定位品牌产品1根据行业特点灵活定制的细分市场，帮助客户聚焦分析国产手机搜索份额排行2除了排行榜，还有人群重合度为竞争分析作参考3人群属性，了解目标受众普遍特征4人群兴趣，挖掘网民内心多方面诉求4搜索词特征揭示网民关注点，搜索时间特征指导即时有效广告投放5网站访问刻画网民行为，为媒介采购提供数据支持按类别查看按具体网站查看5自定义查询打开词包的黑箱通过自定义查询查看单个query在指定期间内的指数，任务结果以excel表展现。6定制化报告满足企业个性化需求，提供精准数据洞察重新定义市场研究和广告投放流程受众洞察创意策划计划与购买媒介投放效果评估后续优化BeforeAfter受众洞察创意策划计划与购买媒介投放效果评估后续优化全人工实现，是高帅和白美的生意除“创意策划”外全部程序化实现，是系统的生意百度搜索风云榜以数据为基础，体现民主精神的全民榜单基于数亿网民的每日搜索行为数据，权威全面的关键词排行榜与分类热点媒体彰显百度大数据品牌，业界著名的“网络风向标”，充分体现“时代精神，百度知道”深入挖掘数据精确统计权威公正趣味展现时效性把握社会脉搏洞察时代精神全面细致的分类热搜娱乐视频人物小说游戏生活汽车科技金融关键词一站式解读简介新闻图片视频关联query论坛小时级更新其他最新最热事件百度搜索风云榜是什么风云榜：发现最新、最热的人、事、物风云榜：推荐好看、好玩、流行风云榜：看地域/人群差异风云榜今日高校排行榜2013联想年度智能电视主打品牌在其乐主播频道利用风云榜影视榜单为用户提供节目推荐风云榜就在你身边百度年度网络沸点，以百度搜索风云榜为基础数据数据，以及网页、知道、百科、贴吧、MP3等产品数据为基础而得出的年度网络综合盘点。央视《文化正午》2012盘点网络年度热词《收获2012》专题节目，引入风云榜热搜、影视、世说新词等榜单2013湖南卫视快乐男生总编室提出与风云榜合作，在风云榜建立快男榜单，在节目中给与品牌露出风云榜就在你身边合作媒体百度沸点

百度公益

中央电视台北京电视台

湖南卫视

江苏卫视胡润百富榜

福布斯杂志

南方周末联想电视……百度预言家：百度大数据预测2014考研11月8日至今由百度校园与百度商业分析部联手打造的首个百度大数据预测系列专题。热门媒体微博的关注与转发；甚至引起考研培训机构的关注与热门转发。专题日曝光量在100W+，PV10W/日项目时间：项目亮点：专题地址：/Ztpredict11月8日至今项目时间：风云榜就在你身边项目亮点：大数据概述百度数据研究中心数据解决方案大数据解决方案应用与实践产品创新：百度大数据与分析创新金融产品管理创新：数据整体方案实现当地旅游管理和发展决策咨询：大数据洞察行业情报，全程支持营销决策产业变革：大数据新闻实践议程百度大数据百度大数据与分析创新产品基金如何运用新型大数据与分析功能获取崭新的产品洞察力数据整体方案实现管理创新“百度风云榜”和“百度指数”助力地方旅游管理创新和发展产品创新管理创新决策咨询产业变革行业情报挖掘，全程支持营销决策百度指数专业版深度挖掘行业情报，全程指导企业营销决策大数据解放方案应用与实践百度大数据新闻实践百度数据如何实现新闻行业的数据挖掘和可视化金融和互联网行业基于大数据能力的进一步合作和融合前景更加广阔金融和互联网行业的融合具有天生相似点未来基于大数据能力，百度金融和传统金融深度融合信用信息用户洞察行业洞察模式创新产品/服务创新风险评估效率提升渠道组合优化个性化、精细化虚拟产品都是提供虚拟商品信息经济通过对信息的分析、掌控获取收益规模效应建立平台，获取规模优势注重效率持续优化效率，提升效益平台洞察创新运营营销产品创新百度大数据与分析创新金融产品百度携手业界领先的金融及第三方机构深化基于数据的合作，

共创金融·互联网行业融合的美好未来百度大数据资源和能力优势显著…大数据平台能力大数据引擎平台，承载开放云、数据工厂和百度大脑大数据资源每天超过60亿次搜索请求日处理数据近100PB数据，当于6,000个国家图书馆的信息量总和大数据挖掘、分析基于大数据挖掘机的大规模数据库的查询、挖掘百度大脑拥有大规模机器学习和深度学习领先技术…但需与金融及第三方机构深入合作百度大数据平台电信运营商公共服务政府机构专业金融机构模式升级产品创新营销渠道数据资源合作交换产品创新百度大数据与分析创新金融产品“百发指数”把金融和互联网的合作推升到了产品创新层面目前大部分的尝试仍局限在销售渠道和产品信息搜索层面合作基于互联网产品用户数据，进行精细化营销如客户获取、交叉销售如基于百度钱包和百度金融的“百度百发”基于信息聚合和数据搜索的金融产品信息平台如理财、贷款产品搜索、筛选平台“百发指数”把金融和互联网的合作推升到了产品创新层面百发指数创新性地融合百度金融大数据、结合相应量化分析模型，实现指数成分股选择，为投资者分析市场情绪、参与市场投资提供独特参照系创新点：真正的基于互联网和金融机构的双方优势，推出的互联网金融产品充分利用互联网公司现有大数据资源融合金融行业领先机构在金融产品开发领域的深厚积累结合百度领先的大数据挖掘分析能力渠道扩充垂直搜索产品创新百度大数据与分析创新金融产品

预警高峰期景点客流，

带来旅游管理创新百度通过对网民旅游搜索请求的大数据挖掘，2012年提前预测十一黄金周华山/鼓浪屿客流暴增“百度风云榜”和“百度指数”助力地方旅游发展和创新

携手山东旅游局打造定制榜单实现品牌推广管理创新数据整体方案实现当地旅游管理和发展行业情报挖掘平台，决策咨询全程支持微观层面：深刻挖掘指导差异化营销

宏观格局：百度指数洞察境内游五大发展趋势决策咨询大数据洞察行业情报，全程支持营销决策大数据下新闻实践——数据挖掘·维度分析·动态交互每季度事件性数据从哪里获取如何确定人群如何建构模型数据挖掘维度分析数据中成为新闻点的维度交互动态数据时效性和观众互动性

数据新闻的作用就在于从数据中发现故事，将某些数据与其他数据相结合，寻找出对公众、对社会有意义、有价值的新闻。数据挖掘是一种专门技术，经常采用统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等技术手段。实时热点盘点数据地图更新趋势变化行业变革百度大数据新闻实践数据挖掘的处理技术底层支持Hadoop关系型数据库内存型数据库分布式数据库ABCDE其他源行为数据属性数据属性数据趋势属性占比数据变化率其他数据数据平台数据分析平台实时分析工具数据查询风云榜指数指数专业版自定义任务分析数据接口数据处理数据应用列数据库BICHive指数专业版数据平台风云榜数据源（示意A-E）数据深度挖掘技术优化数据存储结构提高数据产品的稳定性和扩展性行业变革百度大数据新闻实践精准大数据来源百度体系用户数据时效热点★★★★Source:百度风云榜、百度指数、趋势变化★★Source:百度指数、百度风云榜关注人群属性★★★★Source:百度指数地域分布★★★Source:百度指数关联数据★★Source:百度指数行业变革百度大数据新闻实践数据挖掘的要素评估及挖掘维度共性多类事物观点上的共性地域共性人群共性时间共性态度共性冲突数据呈现地域人群差异地域关注的差异化冲突人群关注的差异化冲突全貌跨时段跨领域趋势全貌领域全貌关联体现出规律性正向关联反向关联群类关联数据挖掘下的新闻选题：央视“据说春节”行业变革百度大数据新闻实践百度指数在全年收视率制高点除夕夜登上《新闻联播》连续7天央视“据说春节”全天报道新闻素材项目亮点：1月30日至2月5日项目时间：行业变革百度大数据新闻实践数据挖掘下的新闻原因：“两会”数据新闻系列专题2014年两会百度指数专题页：/special/bjlh20