大数据解决方案V1044

北京荣之联

大数据解决方案目录大数据综综述荣之联企业大数数据平台台方案大数据平平台建设设方法汽车制造业业应用大大数据畅畅想案例大数据时代到来来IDC预测全球球的数据据使用量量到2020年会增长长44倍，达到到35.2ZB((1ZB==10亿TB)宽带、移移动网络络普及和和提速移动网络络和各种种智能终终端视频(医疗影像像、地理理信息、、监控录录像等)统计、分分析、预预测、实实时处理理传感器、、RFID阅读器、、导航终终端等非非传统IT设备社交网络络(Facebook,,Twitter,,微博等)数据处理理思维转转变少量的样样本数据据数据关系系力求明明确清晰晰探求难以以捉摸的的因果关关系要求数据据精确无无误全量数据据乐于接受受数据的的纷繁复复杂转而关注注事物的的关联关关系数据的精精确不是是那么重重要了•谷歌翻译译系统为为了训练练其系统统，收集其其能找到到的所有有翻译；；•谷歌收集集了上万万亿页的的语料库库，包括质量量参差不不齐的文文档；•上万亿的的语料库库，相当当于950亿句句英语；；•相对而言言，谷歌歌的翻译译质量还还是最好好的；•谷歌翻译译之所以以更好，，不是因为为它拥有有一个更更好的算算法机制制，而是增加加了各种种各样的的数据，包括有有错误的的数据；；•在谷歌的的翻译团团队中，，大多数工工程师并并不懂其其翻译出出来的语语言；数据处理理思维转转变传统数据据分析思思维大数据分分析思维维案例一•聘请了20多名名书评家家和编辑辑组成的的团队，，在网页上上创立“亚马逊逊的声音音”向客客户推荐荐新书，，写书评评；•通过客户户的购买买历史，，寻找客客户的相相似性，，对客户分分群进行行产品推推荐，推荐的总总是与以以往购买买的相似似或略有有区别；•通过大量量的数据据分析，，找出书书籍之间间的关联联关系，即“item-to-item”,时亚马逊逊发生了了天翻地地覆的变变化。•AMAZON销销售额的的三分之之一来自自于“item-to-item”的推荐荐系统。。•AMAZON最最终放弃弃了在线线书评，，书评团团队被解解散。案例二数据处理理思维转转变数据处理理思维转转变关联关系系，预测测的关键键。很多多时候，，知道““是什么么”就够够了，没没必要知知道“为为什么””。一旦我们们完成了了“关联联关系””分析，，我们就就可以继继续向更更深层次次研究因因果关系系，找出出背后的“为什么么”•沃尔玛：：请把蛋蛋挞和飓飓风用品品摆在一一起，请请把啤酒酒和尿片片摆在一一起；•某信用评评分公司司，利用用Facebook的的社交圈圈来预测测个人偿偿还债务务的可能能性；•对冲基金金通过分分析Twitter微微博的数数据文本本，作为为股市投投资的信信号；•某信用评评分公司司，利用用Facebook的的社交圈圈来预测测个人偿偿还债务务的可能能性；•对冲基金金通过分分析Twitter微微博的数数据文本本，作为为股市投投资的信信号；其它案例例大数据与与BI融合*大数据的的商业价价值大数据主要厂商商大型企业业和机构构在寻求求解决棘棘手的大大数据问问题时，，往往会会使用开开源软件件基础架架构Hadoop的服务。。由于Hadoop深受欢迎迎，许多多公司都都推出了了各自版版本的Hadoop，也有一一些公司司则围绕绕Hadoop提供解决决方案。。Hadoop的发行版版除了社社区的Apachehadoop外，cloudera，IBM，ORACLE等都提供供了自己己的商业业版本。。商业版版主要是是提供Hadoop专业的技技术支持持，这对对一些大大型企业业尤其重重要。ClouderaEMC。。。IBMOracle大数据生生态HIVEBigDataApplicationsPig!ZooKeeperSQLRAW非结构化化资料汇汇入SQL资料汇入分散式档档案系统统类SQL资料库系系统(非即时性性)分散式资资料库(即时性)并行计算算框架资料处理理语言数据挖掘掘程序库目录大数据综综述荣之联企企业大数数据平台台方案大数据平平台建设设方法汽车制造业业应用大大数据畅畅想案例企业大数数据平台台架构原原则*技术-按需频度度的数据据获取批量和实实时数据据采用不不同的技技术手段段和工具具，遵循循统一的的文件接接口标准准技术-多样化数据共共存跨同构/异构数据据库（物物理系统统），基基于文本本、数据据库的数数据抽取取和加载载数据-数据即服服务业务人员员通过逻逻辑数据据对象组组件访问问数据，，而不用用关心数数据的物物理存储储方式。。通过数据组织与与前端应应用功能能，使业务务人员可可以较容容易、较较快地定定位和了了解数据据的内容容。数据-数据质量量控制通过一系系列的技技术和业业务手段段实现数数据集成成平台数数据质量量控制，，主要体体现在数数据正确确性（技技术）、、完整性性、一致致性（业业务）、、有效性性。大数据平台整体架架构大数据处理流流程建立对非非结构化化数据进进行SQL语法查询询的支持持，实现现与结构构化数据据的集成成关联（（key）主分类关键词标签地名人名全国统一分类分词，倒排搜索共性、个性文本识别处理功能模块网页分类反向搜索关键词分析日志关联内容分词索引建立索引分析日志合并用户类别标签摘要结构化元信息网页信息分类数据获取语义分析数据解析

非结构化数数据数据获取结构化数数据数据集市市数据集市市EDW结构化元数据Hadoop建立非结结构化信信息的标标签、摘摘要、索索引、日日志、内内容等提取结构构化的元元数据信信息，如如类别、、标引、、摘要等等；实现现与结构构化数据据的整合合ODSSQL声誉度分分析品牌分析析服务质量量分析竞争产品品分析产品评价价市场动态态跟踪ETL网络爬虫虫大数据关键键技术大数据关键键技术-HadoopHadoop系统工作作原理大数据关关键技术术-网络数据据获取分布式网络爬虫虫分布式文文件系统统分布式存存储横向扩容容(Scale--out)架构分布式软软件架构构并行计算算框架大数据关关键技术术-两种平台台相互集集成大数据关关键技术术-数据应用功能数据查询询数据统计计信息检索数据分析析语义分析析数据挖掘经营管理理市场活动动市场口碑碑分销管理理决策支持持用户服务大数据关关键技术术-数据管控控目录大数据综综述荣之联企企业大数数据平台台方案大数据平平台建设设方法汽车制造业应应用大数数据畅想想案例传统数据据平台与与大数据据分布式式平台特特性差异异大数据分析析与传统统BI分析差异异结构化数数据数据规模模一般为为TB规模集中式，，为了分分析进行行大量数数据移动动，数据据向计算算靠近批处理为为主结构化/非结构化化混合分分析的能能力数据规模模从数十十TB到PB级别分布式，，计算向向数据靠靠近支持流式式分析事务关系型数数据库批处理数据仓库库分析集群化非结构化化流式多种数据据源分析(MapReduce)组织传统BI分析大数据分分析大数据处理理和管理理体系-多结构化化大数据实实施建议议第一阶段段：应用场景景驱动的大数据据开发第二阶段段：各业务系系统、各渠道系系统等配合大数数据改造优化第三阶段段：管理信息息体系下的大数数据平台建设第四阶段段（目标）：以大数据据驱动的的，实时的、、整体联联动的IT解决方案Thinkbig，startsmall.大处着眼眼,小处处着手。。大数据实施施方法论论大数据业业务战略略大数据建建设目标标大数据架架构设计计大数据实实施大数据运运维企业战略略目标业务目标标业务模式式大数据治治理目标标应用场景景服务模式式服务对象象大数据服务务定义大数据信息息模型大数据管理理定义技术选择择验证测试试容量规划划安装，配配置验收测试试系统上线线大数据服服务管理理服务性能能管理生命周期期管理资源调度度系统监控控大数据持持续改进进业务调整整服务改进进技术升级级架构优化化大数据的角角色和技技能目录大数据综综述荣之联企企业大数数据平台台方案大数据平平台建设设方法汽车制造造业应用用大数据据畅想案例汽车企业业IT的过去汽车企业业IT的将来业务挑战战产品研发发周期响响应长市场扩张张不够且且竞争激激烈客户忠诚诚度不高成本增长长且利润润率低业务趋势势提升客户户服务，，增加用用户粘度度提高生产率扩大市场场份额加强集团团管控降低成本本绿色经济新兴技术术云（Cloud）移动（Mobility）社交（Social）大数据（（BigData）一体化平平台客户体验验（CX）汽车制造造业大数数据能力力创新的的方向部分数据开放实时/近实时封闭延时报表/KPI“大”数据更深入大数据在在汽车制制造企业业的应用用企业级数数据行业数据据跨行业数数据企业传统统数据供应商数数据订单数据据维修记录录分销商数数据客户数据据资源数据据生产数据据产品数据据运营数据据打包价格格客户行为为传感器数数据最终客户户需求客户建议议和意见见竞争对手手情况业界预测测行业动态态政策法规规保险电子商务务交通天气气金融贷款款地理位置置热点事件件旅游市场场公共安全全文化体育育车饰周边边微博微信信共享的大大数据平平台深度分析析高敏捷性性高度可伸伸缩性实时市场宣传传和精准准营销提升客户户服务和和满意度度把握市场需求求和供应应掌握车辆辆状态和和质量提提升支持管理理决策和和集团管管控大数据在汽汽车制造造行业大大有作为为保证基础础信息质质量，保保证数据据揭示的的信息达达到最佳佳使用效效果产品创新供应优化精准营销服务提升深入洞察察客户所所想，所所需，所所感，所所在及所所得通过大数数据连接接客户和和产品加强客户户和产品品生命周周期管理理客户销售营销忠诚度服务驾驶习惯惯喜爱偏好好购买行为为品牌形象象市场定位位营销渠道道置换设计研发服务销售供应生产感知客户户行为，，实时精精准营销销与服务务目录大数据综综述荣之联企企业大数数据平台台方案大数据平平台建设设方法汽车制造造业应用用大数据据畅想案例典型案例例：新华华社新媒媒体数据据库项目目项目背景景客户收益益解决方案案基于大数数据与云云计算技技术体系系理念和和技术架架构基础础上，建建立一个个全新的的新媒体体数据库库，并实实现工作作素材库库、工作作库、应应用库和和知识库库的架构构格局。为全球一体体化多媒媒体采编编与数字字加工平平台，新新媒体多多元化加加工开发发与集成成服务平平台等一一系列关关键业务务系统提提供数据据存储、、全文检检索、数数据库及及其基础础应用服服务。全面提升升新媒体体数据库库的应用用服务能能力，达达到对外外服务商商业化的的标准。整合更多的社社会资源源，组建知识库群群，进而而形成决决策智库库，服务务于各级级政府决决策，提提升新华华社在政政府决策策中的影影响力根据用户的兴兴趣特点点和购买买行为，实现个性性化推荐荐，拓展展了具有有很大潜力的长长尾客户典型案例例：贵州州移动用用户互联联网行为为分析项项目项目背景景客户收益益解决方案案随着3G爆发性增增长和智智能手机机普及，，移动互互联网发发展一日日千里，，流量猛猛增大大大超前运运营商预预期，另另一方面面，无论论在移动动还是固固定网络络，语音音通信市市场目前前已经趋趋向饱和和，基于于语音通通信的增增值业务务已有明明显下降降的趋势势；随着着移动互互联网的的飞速发发展，语语音业务务的经营营必然被被流量增增值业务务的经营营所取代代。基于用户WAP上网行为为分析，，实现对对客户内内容偏好好、客户户网络行行为偏好好和互联联网标签签的筛选选，助力力于精细细化营销销开展。。基于互联网行行为分析析，洞悉悉客户需需求，将将客户细细分为娱娱乐、交交流、学学习、生生活、商商务、工工具六大大类，构构建移动动互联网网产品标标签库；；通过自自有互联联网业务务与网络络热点产产品进行行“渗透透率”、、“覆盖盖率”、、“活跃跃率”对对比分析析，构建建增值业业务产品品市场竞竞争评估估体系。。典型案例例：中国人人力资源源和社会会保障出出版集团团企业培培训平台台项目背景景客户收益益解决方案案当前，我我国正处处于贯彻彻落实““十二五五”规划划的关键键时期和和实施人人才强国国战略的的重要时时期，产产业布局局调整、、企业升升级换代代进入关关键阶段段，许多多地区和和行业存存在着技技能劳动动者供不不应求的的现象，，尤其是是在传统统产业和和高新技技术产业业领域，，技能劳劳动者特特别是高高技能人人才严重重短缺，，供需之之间的结结构性短短缺矛盾盾日益突突出。中国人力力资源和和社会保保障出版版集团将将坚持以以服务人人力资源源社会保保障事业业发展为为己任，，以培育育人才、、助力民民生为工工作主线线，逐步步打造成成为我国国人力资资源社会会保障信信息交汇汇平台、、职业教教育和职职业培训训教材研研发基地地、职业业安全和和劳动保保障知识识传播中中心。满足远程程教育培培训的需需求（满满足培训训和教学学两方面面的功能能需求）），针对对课件制制作、精精品课程程制作提提供良好好便捷的的设计制制作平台台。足集团未未来信息息化扩展展的需求求，应对对日益激激烈的信信息数字字化竞争争。典型案例例：中信银银行信用用卡中心心项目背景景客户收益益解决方案案中信银行行信用卡卡中心充充分利用用银行的的内部资资源，自自2007年发卡至至今，凭凭借强大大的安全全保障、、便捷的的还款方方式、优优质的客客户服务务以及持持续丰富富的刷卡卡优惠活活动，中中信平安安信用卡卡已从竞竞争日趋趋白热化化的国内内信用卡卡市场中中异军突突起。发卡量增增长迅速速：2008年发卡约约500万张，2010年增加了了一倍。。业务数据据增长迅迅速：随随着业务务的迅猛猛增长，，业务数数据规模模也线性性膨胀。。数据存储储、系统统维护、、数据有有效利用用都面临临巨大压压力。实时的商商业智能能可以结合合实时、、历史数数据进行行全局分分析,风险管理理部门现现在可以以每天评评估客户户的行为为，并决决定对客客户的信信用额度度在同一一天进行行调整；；原有内内部系统统、模型型整体性性能显著著提高秒级营销提供了统一的的客户视视图，更更有针对对的进行行营销。。2011年，中信信银行信信用卡中中心通过过其数据据库营销销平台进进行了1286个宣传活活动，每每个营销销活动配配置平均均时间从从2周缩短到到2-3天。EMCGreenPlumClouderaHadoopInformaticaPowerCenterIBMSPSS分布式架架构与关关系型数数据库的的结合，，实现结结构化与与非机构构化数据据的存储储与处理理多数据源源（30+）整合，，数据交交换平台台建设创建客户户统一视视图，客客户全方方位挖掘掘分析。。营销活动动管理的的闭环应应用典型案例例：迪信信通库存存优化项项目项目背景景客户收益益解决方案案提供了库库存优化化的解决决方案。。建立的销销量预测测模型，，实现了了对周期期采购的的合理指指导。实现了销销量预测测准确率率校验、、库存周周转效果果校验、、缺货校校验等功功能。迪信通是是国内市市场占有有率最高高的通讯讯连锁零零售企业业，库存存量偏高高、库存存周转率率低一直直是困扰扰企业的的难题。。迪信通库库存优化化项目是是通过大数据分析析和挖掘掘技术实现现手机销销量的准准确预测测，根据据预测结结果指导导采购人人员合理理采购，，从而达达到降低低库存量量，提高高库存周周转的目目的。通过库存存优化模模型，降降低了企企业的库库存量，，提高了了库存周周转率。。为企业的的采购提提供了科科学依据据，提升升了企业业的采购购管理、、库存管管理能力力。ClouderaHadoopSASBirt典型案例例：国金证证券营销销活动管管理平台台项目背景景客户收益益解决方案案国金证券券股份有有限公司司是中国国证券监监督管理理委员会会核准的的七家合合规试点点证券公公司之一一，公司司现有客客户超过过30万户，托托管的证证券市值值和保证证金超过过280亿元。随随着规模模的不管管扩大，，企业对对信息化化建设的的要求也也在不断断提高。。国金证券券希望满足业务创新新对营销活活动管理理的要求求，实现现智能化化的营销销决策支支持、多多步骤多多渠道的的活动流流程管理理、精细细化的客客户信息息管理、、高度自自动化的的系统执执行。在数据层层采集交交易系统统、CRM系统、HR系统、EBOSS系统、呼叫中中心系统统的数据据，建立立客户、、员工、、产品统统一视图图，为了了满足后后续业务务的扩展展，比如如实现融融资融券券、股指指期货、、资产管管理等相相关系统统数据的的采集和和对接。。营销活动动管理系系统的功功能包括括活动统统一视图图、营销销活动上上线前管管理、营营销活动动执行管管理、营营销活动动评估、、客户营营销活动动360度视图、、渠道系系统对接接等。自动对接接外围系系统，包包括互动动短信、、彩信平平台、EDM、电销、微信平平台、股股票终端端，进行对对客户的的接触。。业