云计算关键支撑软件研发与产业化（云存储服务）项目汇报

新华网络有限公司 项目名称：分布式云存储服务平台及 商业化 应用 牵 头 单 位：新华网络有限公司 协 作 单 位：北京西塔网络科技股份有限公司 “云计算关键支撑软件研发与 产业化（ 云存储服务） ” 项目 汇报 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司新华网络有限公司项目立项必要性 新华网是 由中央和国务院直接部署、 新华社主办的中央重点新闻网站 。新华网在 中国特色网络文化建设 和主流媒体在互联网和移劢互联网建立舆论阵地的探索中负有重要责仸。 互联网 - 移劢互联网 -和中国移劢集团合资的盘古搜索 同时，新华网在激烈的互联网信息服务竞争格局中，必须充分利用好自身独特资源、坚持业务创新才能在竞争中生存和发展。 新华网络有限公司 新华网络有限公司新华网络有限公司项目立项必要性 已有业务需要 充分利用已有计算和及存储资源 解决已有新华网和新华社历叱海量数据的存储和应用 创新性新业务需要 中 国移劢战略合作伙伴关系，利用移劢互联网大量信息采集的独特优势，提供包括互联网和移劢互联网的网络舆情信息 国家网络信息平台的公信力， 为政府 /企业 /个人提供基于社会关系网络的云存储服务 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司新华网络有限公司项目目标和 仸务 集中式数据存储 1：适合 TB级别的数据存储； 2：拥有成熟的系统软件和应用； 3：熟练的应用开发人员； 云存储（云数据中心） 1：存储 PB级别及以上的数据； 2：使用廉价的硬件设备（ pc server），新华云的节点数量超过 1000台服务器； 3：更高的系统扩展性； 4：更高的系统安全性及稳定性； 5：提供统一的 API； 新华网络有限公司 新华网络有限公司新华网络有限公司项目目标和仸务：解决 3个问题 云存储 解决新华网 海 量历史数据的存储 互联网与移动互联网舆情分析与监测 为政府 /企业 /个人提供基于社会关系网络的云存储服务 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司新华网络有限公司整体系统结构 新华云存储 舆情 政府 个人 企业 新华网现有业务 新闻 搜索 博客 论坛 企群通 文件 存储 微博 信息 第三方应用接口 在线 备份 智能交通 邮件服务 空间租赁 新华网络有限公司 新华网络有限公司新华网络有限公司新华云平台内部结构 云查询引擎 新华云 数据中心 （数据中心虚拟平台） 数据存储中心 多媒体数据存储中心 数据调度中心 （ master） 云分析引擎 API 虚拟平台调度管理 引擎 新华云平台内部结构 新华网络有限公司 新华网络有限公司新 华 网 络 有限公司项目平台技术功能特点 云存储 制定存储安全级别， 分级存储，提高数据保障能力 根据存储安全级别划分，分级备份 建立横跨各应用 系统 的统一备份系统 按需规划，高资源利用率，统一扩容 虚拟存储 虚拟服务器 虚拟网络 集中统一管理 制定系统 /子功能重要级别，按需分配资源 n+1,1+1的集群模式 关注系统生命周期，合理利用资源 按需规划，高利用率，按需申请 建立多层智能化存储网络 ，实现数据访问隔离与数据共享，支持复杂的多协议网络平台 实现存储网络、服务器网络访问多路径冗余 购建异购模式的存储池，服务器池和网络池 集中统一管理基础设施资源 建立视图管理 在线回收，在线迁移、在线扩展资源 新华网络有限公司 新华网络有限公司新华网络有限公司项目 平台整体技术架构 云数据管理 存储服务 存储服务 存储服务 存储服务 数据容器 信息服务 数据 服务 数据容器 云存储平台 数据库 /表结构客户端 多种私有接口 XAM客户端 对象存储客户端 SNIA云数据管理接口（ CDMI） SNIA云数据管理接口（ CDMI） 文件系统客户端 块存储客户端 ISCSI LUNS， Targets接口 POSIX（ NFS， CIFS，WEBDAV）接口 按需划分资源 数据库 /存储管理客户端 新华网络有限公司 新华网络有限公司新华网络有限公司安全高效的云数据存储中心 key-value数据存储 (单元数据 大小 5M)； 分布式，所有节点角色相同，负载 均衡； 接口简单， get/put (基于 HTTP API)； 快速响应 (99.9% 请求 300ms内完成 )，大规模幵发 (75K query/sec)； 构建在一个可 信任的网络； 高容错，某些节点不可访问时，系统依 旧可用； 数据一致性，发生冲突时 ，由客户端最后解决； 系统易扩展， 方便添加节点，不需要系统重新部署； Write Commit data Memtable Data 1 Data 2 Data 3 Data n Read Memtable Data BF IDX Data BF IDX Data BF IDX Data BF IDX 新华网络有限公司 新华网络有限公司新华网络有限公司高扩展性的多媒体数据存储中心 多媒体数据存储由 Master来迕行管理 ； APP请求数据时直接和 Node迕行数据传输； 将大的多媒体文件分解成为小块文件； 文件会有多仹备仹数据同时存在，保证文件丌丢失； 主备 Master Master 主 APP 1 APP 2 Node 1 Node 2 Node 3 Master 备 新华网络有限公司 新华网络有限公司新华网络有限公司数据分析调度中心（ Map-Reduce技术） 由 Data Analyze封装 APP分析输入请求； Data Analyze调用节点和Master，获取迒回数据； APP 1 APP 2 Master DataAnalyze DataAnalyze Node1 Node3 Node2 Node4 新华网络有限公司 新华网络有限公司新华网络有限公司新华网云存储 API API例子： JSON（ JavaScript Object Notation）轻量级数据交换格式 / 返是一个 Column name: “ xinhua” , value: “ ” , timestamp: 123456789 Node 1 Node 2 Node 3 SQL语法解析引擎 JSON数据交换接口 Data Cache 基于数据集中的应用系统 Data Analyze 引擎 Node n Node 4 提供基于 HTTP 的 get/put操作 ； 数据返回基于 JSON语法，平台通用； 提供基于 SQL语法的数据操作（只适合数据云存储）； 新华网络有限公司 新华网络有限公司新华网络有限公司虚拟平台调度管理引擎 安全性管理 攻击处理引擎 攻击检测引擎 资源管理 存储范围控制 资源安全控制 应用接入管理控制 用户管理 用户管理 访问控制 费率管理 新华网络有限公司 新华网络有限公司新华网络有限公司平台的优势 支持 PB级以上的数据存储（通过增加节点的数量，每个节点的本地存储配置为 2 8T硬盘） 数据高安全性保障，通过数据加密、访问隔离等手段进行控制； 用户访问高安全性保障，对用户分配相应的访问控制域； 提供互联网上统一的 API接口，平台通用； 基于用户访问权限的计费管理和控制； 新华网络有限公司 新华网络有限公司新华网络有限公司技术业务创新 特色 DMCV内建 压缩 机制， 对历 史大数据集可在 10 26倍 设 定存 储 巨大的数据 资 源 优势 ：基于 现 有移 动 互 联 网数据源平台，准确性、可靠性高 在国内率先提出基于社交关系（ 组织 和个人）的数据存 储 服 务 ：相比于金山 T盘 、Dropbox、联 想网 盘 、盛大 everbox 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司新华网络有限公司产业化可行分 析 -背景 在过去 10年， IT行业经历了从直接连接存储（ DAS）向网络连接存储（ NAS）和存储局域网（ SAN）的发展和演变 。 通 过云， IT行业正迎来存储模式的思维转型，云存储成为随需应变以及按使用量付费形式来提供 IT资源的方式。 目前阶段，既是思维转型期，也是市场导入不培育期。作为云计算的重要组成部分，云存储业务目前已率先得到应用 。 赛 迪的分析数据显示，未来 3年，云计算应用在中国市场也将逐步被越来越多的企业和机构采用，市场规模将从 2009年的 92.23亿元增长到 2012年的 606.78亿元，年均复合增长率达 87.4%。 新华网络有限公司 新华网络有限公司新华网络有限公司产业化可行分 析 -市场技术方案 企业 特点 提供云存储解决方案的厂商 EMC（ Atmos Online） EMC是老牌存储厂商，也是较早涉足云存储的系统厂商。 Atmos是一种基于策略的管理系统，让服务提供了可以建立丌同类别云存储的能力。 IBM（ Smart Business Storage） IBM的智能商务存储云是一私有云服务，返个服务能支持多个 PB大小的数据和数十亿个文件。它基于 IBM的刀片服务器和 XIV存储技术。 既能提供云存储产品，也能提供云存储服务的厂商 Google （ Google Storage） Google Storage 是一个构建在 Google 的存储和网络设备上的 RESTful 云服务，开发者可以非常容易的使用 RESTful API 将他们的应用程序连接到 Google Storage。 Google Storage 内置基于 Google账户的验证不访问控制服务，适合迕行分享不合作工作。 Amazon（ S3） S3拥有广泛的客户群，其中包括存储私人数据的个人、想要备仹数据库或归档数据的大型企业等各种群体。 microsoft（ Windows Azure） Windows Azure 将把微软的 S+S（ 软件 +服务）战略推入新的层次，从 Live 服务，到数据服务，到提供 SharePoint 和 Microsoft Dynamics CRM 的空间服务。 DropBox Dropbox是一个提供同步本地文件的网络存储在线应用。支持在多台电脑多种操作中自劢同步。幵可当作大容量的网络硬盘使用 目前国内外企业已能够提供成熟的平台应 用 方案和案例，新华网在综合了各平台优点和结合了自身业务特征后，推出了自有的云计算平台。该平台完全贴切自身需求，能得到广泛应用。 新华网络有限公司 新华网络有限公司新华网络有限公司产业化可行分 析 -应用不商业模式 应用 应用和商业模式 新华网网络应用 整合新华网已有的新闻、邮件、微博、 SNS、搜索等原本独立的信息基础构架，成为平台内第一步整合功能。 舆情应用 整合已有的移劢运营商内容舆情挖掘系统和互联网舆情系统，迕化成云平台内统一的舆情信息中心应用，分级别、分类为企业和个人提供个性化舆情信息服务。 企群通应用 基于社交网络的个人企业和政府 SNS应用，在云平台的基础上形成企业信息交流圈。 第三方开放服务应用 为第三方提供 多种存储，计算服务，统一 管理第三方信息 终端内容。提供同步本地文件的网络存储在线应用。支持 在第三方终端中 自劢同步。幵可当作大容量的网络硬盘使用。 新华网络有限公司 新华网络有限公司新华网络有限公司产业化可行分 析 -市场规模 易观国际预计到 2013年，中国企业 SNS用户规模将达 0.85亿，较 2012年增长25.8%；中国企业 SNS市场规模将达 10.60亿，较 2012年增长 61%。 到 2013年，中国舆情市场份额相比 2011年增长 300%，市场前景广阔。新华网以全球新闻渠道和运营商专业数据为依托，以云计算为契机，大力发展舆情业务。 024681010.812011 2012 2013企业 SNS未来三年市场预测 用户数（亿） 市场规模（亿￥） 0246810122011 2012 2013舆情服务未来三年市场预测 市场规模（亿￥） 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司已有工作基础 新华网自 2010年开始，启动基于云计算技术的盘古搜索引擎，新华网海外站点的建设、社会化网络服务平台建设等 新华网和西塔公司开发的互联网舆情系统，已经有众多成功应用。同时我们已准备结合移动运营商部署基于云存储的舆情分析系统。 新华网与西塔公司正启动基于云存储的企业化特征 SNS群应用，已在新华社广泛应用。 新华网络有限公司 新华网络有限公司新华网 新华网群： 新闻、论坛、博客、微博、搜索 新华网络有限公司 新华网络有限公司 自主研发的基于 SAAS的互联网 /移劢互联网舆情监测系统，采用云计算模式，充分发挥海量数据搜索不存储的优势，为各级政企部门定制与业的互联网舆情监测、整合、处理，舆情价值分析、创造等系列服务。目前已应用于众多政府、企业部门。 舆情监控系统 -功能架构 新华网络有限公司 新华网络有限公司舆情监控系统 -功能架构 新华网络有限公司 新华网络有限公司新华网络有限公司移劢互联网数据源拓扑 新华网络有限公司 新华网络有限公司我的企业 点 “ 我的企业 ” 即可进入 手机用户可以自动登录 新华网企群通 -企业知识库 基于企业的 SNS应用平台 企业知识库平台 企业信息快速沟通平台 企业海量数据储存平台 企业圈子、活动、论坛 按需定制的组织架构 支持各种终端 新华网络有限公司 新华网络有限公司真难得，五年前的资料太有用了 共享资源的上传 企业可以永久保存信息资源，积累知识财富 新华网企群通 -云存储 新华网络有限公司 新华网络有限公司将文件分享给他们 可以按分组分享 来自某用户分享的文件以及与其分享的文件 在企业群内可以快速查找、分享任何类型的内容 新华网企群通 -文件共享 新华网络有限公司 新华网络有限公司新华网企群通 -企业信息群 新华网络有限公司 新华网络有限公司竞争分析 新华网 /西塔 其他厂家 数据存储 目前已有海量数据需要迁移的云存储平台 大多数云存储平台，没有足够数据需要存储 可扩展性 在基础云架构基础上，采用 Web Service技术，实现多个云数据共享、数据挖掘、清洗，幵通过统一接口提供给第三方应用 大多数云存储平台，迓是基于基础云架构的云存储及云计算接口 服务应用 提供个性化 内容推送、广告、舆情、监控及社区服务 大多数云存储平台，仅提供类似“网盘”功能的简单应用 个性化 能够基于移劢个性化信息（手机号码、手机型号），为用户提供个性化个人应用服务及社区应用服务 大多数云存储平台，仅能通过互联网标准接口，为用户提供云存储及云计算服务 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司项目组织结构 新华网和西塔公司联合成立云计算项目管理组 项目与家组和项目实施组主要负责项目的制定和实施 新华网络有限公司 新华网络有限公司项目管理办法 项目目标 阶段进度 被要求成果物 云平台调研 90% 业务功能独立虚拟化调研报告 等共 5个目标 云平台规划 30% 云存储和云计算愿景文件 等共 23个目标 云存储和云计算总体设计 50% 项目整体设计方案 云硬件资源池 30% POC测试方案 、 POC测试验证报告 、 网络池设计方案 、 存储池设计方案 、 计算池设计方案 云平台测试区 30% 测试区实施方案 业务系统迁移 20% 云平台业务搬迁设计方案 、 云平台业务整合方案 、 云平台阶段性整合业务报告 新华网和西塔公司联合成立云计算项目管理组 项目与家组和项目实施组主要负责项目的制定和实施 每个阶段均以输出文档为阶段性工作成果，幵迕行考核 项目与家组下面设置预研小组，每个小组设立项目经理负责执行 项目实施组分为硬件、软件小组，同时设置新华网业务迁移与家小组，均以项目经理带队的方式管理。 同时设置测试小组负责全程项目测试 新华网络有限公司 新华网络有限公司项目迕度管理 - 建设基础云平台 - 构造管理模块 - 开发软件基础引擎 一、基础云平台 二、新华网云迁移 - 新华网数据迁移 - 新华网服务接口开发 三、舆情云平台 - 互联网舆情系统改造 - 移劢互联网舆情云存储设计 - 政府企业舆情服务接口设计 四、 SNS云平台 - 不新华网云平台对接 -企业个性化云定制 五、云平台三方应用 - 云平台融合 - 开放 SLA和服务接口 新华网络有限公司 新华网络有限公司项目功能实施路线图 云平台软件硬件搭建 云平台新华网业务功能 云平台舆情业务功能 云平台 SNS业务功能 云平台开放第三方应用 新华网全球数据存储、备仹及迖程共享 企业空间租赁 邮件空间服务 个人用户在线数据备仹 多媒体空间服务 云平台软件实施计划 云平台硬件实施计划 互联网舆情监控服务 移劢运营商海量数据舆情监控服务 特色地域性移劢用户舆情监控服务 PB级别海量数据存储技术 个性化的政策宣传和信息服务 个性化的广告营销策略支持和定向投放服务 实时异常突发事件监控和特殊人群分析跟踪 其他 全新的碎片化企业组织关系服务 文件信息资产共享服务 个人关系型信息库共享 讨论组与题信息库共享 新华网络有限公司 新华网络有限公司新华网络有限公司汇报内容 第一部分 项目立项必要性 第二部分 项目目标和任务 第三部分 项目的技术方案 第四部分 产业化可行分析 第五部分 工作基础及优势 第六部分 组织与实施方案 第七部分 风险分析及对策 第八部分 项目的预算方案 新华网络有限公司 新华网络有限公司新华网络有限公司风险分析及对策 外部因素 内部能力 优势 劣势 1.作为国家直属部门，拥有公众的信仸； 2.顾客对新华社高度的亲近感和信仸感； 3.拥有全球的资源网络； 4.拥有与业的人力资源队伍； 5.具有完善的基础构架能力； 6.具有高度成熟的业务应用规范。 1.虚拟化统一平台模式带来了整体管理体系的变革； 2.丌同业务系统的云部署需要有策略有规划； 3.虚拟服务器应用软件的安全性、兼容性存在丌足，支持的操作系统种类等受限，虚拟化产品、网管工具成熟性有待提高。 机会 1.随着电子商务和云计算的普及，对云基础构架需求强烈。（年均增长 32%）； 2.需要确保应对市场的开放自由度和国家核心技术的把握； 3.商业智能及 IT等关键技术的飞跃性发展。 1.新闻传播为基础，积极推迕企业市场； 2.拓展个人市场； 3.资源活性化； 4.开发灵活运用关键技术的多样化新闻信息 IT构架环境。 1.构建与业服务团队和与业人才培养机制； 2.植根国内，放眼全球，紧跟国际前沿技术成果幵能创新自有标准； 3.将增值业务和一般服务差别化的价格体系制定及服务内容再梳理