企业大数据定制集成解决方案

1、企业大数据定制集成解决方案大数据3联想大数据解决方案2当今挑战1技术发展趋势大数据服务类收入包括大数据在线应用、专业咨询服务、技术支持服务等。服务类收入在大数据市场中占比约44%。全球市场规模Services 7,393 40%Hardwre 7，14940%Software4,11722%大数据相关的软件和硬件产品仍是大数据市场主要收入构成，其中软件收入占比22%，硬件收入占比38%。2013年全球大数据市场总体规模为186亿美元，2014年285亿美元，2015年将达到384亿美元,（数据来源：Wikibon 口径：含大数据专门硬件、软件和云服务）大数据产业生态体系商业智能服务类广告/媒体

2、服务类大数据处理服务提供商数据交易服务类分析和可视化服务类日志数据服务类通用在线分析工具类技术服务、运维支持应用软件大数据解决方案提供商数据库、数据储存硬件基础软件数据库大数据分析软件数据交易市场公共数据市场免费数据平台盈利数据市场数据交易市场尚处萌芽期，市场规模仍然很小。热点大数据应用在各行各业的发展呈现“阶梯式”格局: 互联网行业是大数据应用的领跑者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中电商 实时竞价广告DSP & 精准营销 . 提高服务 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口 联想内部使用大数

3、据分析做产品设计的决策支持 三个行业& 三个热点 Plus: 研究类热点 硬件演进,使机器学习(ML)重获生机, 反馈给现在的业务端,用于不可枚举型的分析查询ML级别的集群: Google(Google Brain), Facebook(DeepFace 2014) , Baidu(image, face- 百度识图) ，Tecent (Mariana语音,翻译- 微信, Ali (天池, 快的打车, )难点:算法收敛节点数量AI大数据应用在各行各业的发展呈现“阶梯式”格局: 互联网行业是大数据应用的领跑者，金融、零售、电信、公共管理、医疗卫生等领域尝试当中电商 实时竞价广告DSP & 精准营

4、销 . 提高服务 金融 互联网金融 & 行为预测, 风控, 实时授信, 信贷政府 政府监管 & 征信 税务 统计 舆情 犯罪预防 交警卡口技术趋势 混合架构逐渐消失向 Hadoop架构统一(5TB) Hadoop: 调度与计算框架分离, 流计算与批处理走向统一SQL on Hadoop 多container集群快速部署 ( Hadoop as service )云计算与大数据的融合 固态盘替代内存做为缓存, 取代In-memory computingOn SDD Computing 优化的深度学习能力探索与发现 绑定, 付费, 且无法广泛兼容, 现有一体机设计多为仅做了简单的加法与既有平台的兼

5、容和优化 ( ETL , 特征提取) 节点数庞大时算法无法收敛且难以优化,忽略从硬件角度优化与云结合, Docker 多container集群快速部署 ( Hadoop as service )2挑战- 热点背后的疑点/盲点基础设施对大数据的关键性被忽略部署工具无法按需选择不同厂商计算框架 被忽略的节点设计与 硬件接口优化 最后一公里的集成与优化的落地机器学习实践意义的与云计算的结合1建设主张: 应用导向的定制化统一集成销售财务运营人力资源风控欺诈调查数据资产治理解决方案行业ISV解决方案策略和分析服务咨询服务垂直行业方案平台分析与展现平台Hadoop软件平台硬件平台大数据与分析基本设施Dec

6、isionManagement智慧分析平台商业智能和分析预测ContentAnalyticsPerformance ManagementDiscovery &ExplorationData Mgmt & Warehouse数据整合平台信息整合与治理StreamComputingHadoopSystemContentManagement提供了明显的差别发现新的见解实时操作商业应用加速达到商业价值洞察商业问题的背景可靠的基础设施与智能优化部署高可用可扩展易运维了解业务需求与目标大数据需要一个新的模式 : 应用导向的定制化统一集成 我学到了么，什么是最好的选择?认识过程发生了什么?发现与探索为什么会

7、发生这样的事?报告和分析我应该采取什么行动?决策管理会发生什么事?预测分析与建模实时数据处理与分析Real-time Data Processing & Analytics操作数据区Operational data zone着陆，勘探和归档数据区Landing, Exploration and Archive data zone深入分析数据区Deep Analytics data zone企业级数据仓库和数据集市区EDW and data mart zone信息集成与管配Information Integration & Governance系统安全存储自有的, 云化, 当作服务所有数据新版/

8、增强版 应用BigData Platform BigData Foundation BigData FoundationApplianceManagement NodeNameNodeResourceManagerHMasterData NodeData Node大数据优化部署方案 易用的硬件部署自动部署OS ready for Hadoop 多元化的基础平台软件选择 贴合应用场景的优化管理节点的配置和数量是系统性能，可管理性和可用性的关键边缘节点定义影响整体系统的性能和数据输入如果不考虑这些因素可能会导致主要瓶颈和长期增长潜在的问题架构必须考虑到不同的要求:计算界限分析, 计算密集型分析（例

9、如., 数据分类，文本挖掘，或先进的运算法则）I/O界限分析, I/O密集度分析（例如., 索引、搜索、数据排序）数据摄入的要求节点设计平衡性能/成本优化后的工作量：处理器：时钟速率和核数内存： 对于内存限制工作型，并为内存密集型管理节点硬盘 ：数目和种类 (SAS 或 SATA)核对硬盘比：工作负载的I/O密集程度对于深度学习算法的收敛问题的解决来说, 比起优化算法, 优化硬件架构是更简单的解决方式, 举例来讲, 降低网络开销就可以节点设计方案 所有的大数据问题都不一样# Figures from Intel E5-2400/#5-2600 Processor specifications参考架构的数据节点设计要考虑计算或I/ O绑定的工作负载数量核数时钟速率节点内存数据节点硬盘6 or 8Up to 2.4GHz3-6 GB /核 2TB, 3TB 4TB, 6TB NL SAS or SATA联想如何与其它品牌不同?领导品牌，质量，服务易于部署，管理和服务开放式体