大数据生态系统建设构想

1、大数据生态系统建设构想目录背景生态全景图3个生态圈7个平台5个角色技术架构建设周期成功案例总结生态介绍3生态全景图以农业品电商数据为核心的泛生态系统农民原产地农产品消费者交易平台追溯平台物流平台数据平台授信平台开放平台P2P平台厂商厂商厂商金融机构金融机构政府生态圈介绍5交易生态系统完成农产品的在线交易，线下运输及产品原产地溯源由交易平台（B2C交易平台），追溯平台，物流平台和数据平台组成农民（代理公司），消费者，物流提供商与平台运营方参与金融生态系统围绕交易生态系统积累数据，完成农民金融信贷及消费者理才组成的资金循环功能由数据平台，授信平台及P2P平台组成农民（代理公司），消费者，金融机构参

2、与开放生态向社会企业开放交易系统接口及积累数据，发挥社会力量，更好的服务于交易生态参与方向政府不同部门提供在线交易信息，辅助政府进行决策支持由数据平台，开放平台组成政府及软件开发商参与平台介绍6平台介绍7交易平台功能：完成农产品B2C电子商务交易流程闭环，包含从供应商入驻，商品上架直到消费者完成购买支付及售后服务全流程。角色：农民（代理公司），消费者，平台运营方参考：贵州电子商务云: 平台介绍8物流平台功能：完成B2C交易平台所产生的订单配送及产品仓储服务功能。商家自主选择仓储及配送服务商，消费者可在平台上查询物流跟踪状态。角色：农民（代理公司），消费者，平台运营方参考：阿里巴巴物流平台 ht

3、tp:/ /平台介绍13开放平台功能：通过将交易生态系统中的应用接口以及数据进行开放，为政府提供决策辅助支持，并引入应用开发企业，借助开放服务进行二次开发，为交易生态圈提供更好的应用角色：应用开发企业，政府部门，平台运营方参考：京东开放平台 https:/角色介绍14角色介绍15农民（代理公司）生产农产品，并通过B2C交易平台进行在线交易通过授信平台，从金融机构中获取信用贷款，重新投入农产品生产中通过数据平台，分析预测未来农产品种植方向与预期收入消费者通过B2C交易平台购买农产品通过追溯平台服务，保证食品安全绿色环保的可视化通过P2P平台，对于农民信贷产品进行投资，以获取利息收益金融机构通过授

4、信平台，为农民提供信用贷款将农民信用贷款打成资产包，并拆解成P2P项目，提供给P2P平台角色介绍16软件开发商通过开放平台开放的数据及应用接口，开发更丰富的应用，提供给交易平台参与方使用地方政府通过开放平台开放的数据进行决策的辅助支持与市场监管平台运营方维护各个平台的日常运作各平台可有不同的运营方技术架构17技术架构18IaaS平台虚拟化云平台自动化运维分布式存储PaaS平台分布式服务框架分布式消息分布式缓存分布式数据库SaaS平台交易平台授信平台物流平台P2P平台追溯平台开放平台数据平台技术架构 云平台19IDC / IT硬件基础设施（服务器、存储、网络）OS（Linux)对象存储K/V存储

5、分布式文件系统块存储小文件KVMLXCXEN云主机弹性集群安全分布式数据库自动监控自动部署日志分析业务流分布式服务框架（SOA）分布式缓存大数据云搜索云计费管理统一通讯云存储Storm流式计算框架移动推送Hadoop计算框架数据同步主机镜像存储数据库集群配置管理自动审批API运维接口运维平台Spark 计算框架消息ZooKeeper云盘PaaSIaaSIP库云测试大数据服务数据服务移动服务数据存储层云主机层开发平台服务文件存储数据订阅访问层网络接入安全平台SaaS移动接口O2O营销云交易云运营云金融云掌上商城零售电子商务其他行业政务云电信云技术架构 大数据平台20分析工具列族数据库HDFS 分

6、布式文件系统云存储Hive数据仓库YARN处理框架数据层Storm内存流式计算框架Hadoop离线计算框架Spark 并行计算框架计算层业务引擎基础设施数据引擎引擎层Oracle点击流日志其他数据接口MySQLSQL Server抽取层分布式数据库数据推送权限管理任务管理关系型数据库数据展现Flume & Sqoop序列化配置管理文件其他分布式文件系统ETL清洗外部数据接口代理管理数据管理HA管理技术架构 开放平台21 电商系统基础数据开放定制化的数据挖掘分析服务卖家企业第三方基础数据电商API第三方APIAPI聚合数据营销系统供应链物流系统服务系统大数据存储&分析系统资源云服务（计算、存储、

7、网络、数据库、数据处理）金融系统交易系统API服务平台数据开放平台软件开发商ISV电商appERPCRM电商app卖家企业信息化系统第三方网站API数据数据买家服务市场SaaS应用交易市场电商app技术架构 电商交易平台22前端应用后台管理商城管理商品管理订单管理促销管理会员管理售后管理CRMERPOA 扩展部署WEB商城前台库存管理运营分析开放API移动APP服务中心微店商品中心订单中心用户中心网络安全防攻击价格中心结算中心支付中心库存中心完整的网上购物体验、多渠道的订单接入和扭转。强大的业务运营管理能力、数据分析能力。管理基础资源弹性部署智能备份安全监控基础云服务信息安全管理应用系统数据保

8、密接口信息安全系统操作审计促销中心电商咨询培训服务电商战略辅导运营咨询指导电商业务培训增值服务物流服务建设周期23建设周期24第一期：基础交易平台建设完成技术支撑平台的建设，包含IaaS平台及PaaS平台的建设完成最初的交易平台建设实现B2C在线交易开展，并同步搭建平台运营团队时间周期：3个月第二期：交易生态圈建设完成物流平台及追溯平台的建设完整完成交易生态圈的建设，并同步建设流程，搭建运营团队完成数据平台的建设，并初步开始积累交易相关数据时间周期：5个月建设周期25第三期：数据生态建设（授信生态+开放生态）基于数据累计，完成金融平台中授信平台的建设，及开放平台的建设初步实现农民信用贷款流程的

9、打通，并开始向企业及政府提供数据开放服务时间周期：4个月第四期：互联网金融生态建设（P2P平台）通过金融机构累计的向农民发放信用贷款，行程资产包，最终转化成为投资项目，提供给P2P平台，消费者可以通过对于项目的投资进行理才。时间周期：3个月成功案例26贵州电商云-背景第一个以政府主导的利用互联网技术构建的电商平台；引导贵州省传统优势企业和中小微企业依托贵州电子商务云开展业务。整合资源，向省外平台用户开放，实现聚集贵州省优势产业和企业、整合全产业链，促进贵州省经济转型、产业升级，优化贵州省人才结构；业务状况：省内的零售电商业务刚起步，业务形态不固定，业务应用系统会经常发生变化；整个电商平台并发量

10、高，数据量大，平台为全省的企业和个人提供B2B和B2C的业务；通过电商平台，整合省内资源产业链对外省的企业和用户进行业务输出，平台需要一定的应用架构标准和数据传输交换的标准；用户希望贵州电商云平台与贵州政府其他信息化平台打通，进行数据交换；贵州电商云-构建场景租用的阿里云IAAS平台的云主机阿里云 IAAS服务框架Eon-SF云消息Eon-MQ缓存Eon-IM由易用云的三款中间件产品构建的电商交易营销分析物流供应链2.0版本由易用云研发完成软件应用服务架构IT基础设施和软件环境电商交易、物流等应用系统及网站互联网省内用户省外用户分布式数据库Eon-DB国家试点项目，由河北省商务厅负责建设，构建

11、一个基于互联网云计算、分布式架构的云数据中心机房，为省内的政务、电商、公共服务等业务提供基础架构的支撑。该项目也是河北省电子商务发展3年推进计划中的重点项目。河北商务云数据中心-背景用户需求：需要一个符合行业标准的，符合发展方向的IAAS云计算基础设施管理平台；项目一期，IAAS部署在60个标准机柜的x86服务器和网络设备上，预计虚拟云主机的数量为5000以上；项目二期，需要部署100个以上标准机柜的设备，并逐步部署到500个机柜；能够提高硬件基础设施的利用率（50-60%），节省能源消耗，降低成本；不同的部门和用户使用云数据中心的基础设施，希望通过计费的方式提供服务；云主机能有高可用HA的功

12、能，能够提供多点的集群和容灾的服务；整个基础设施环境易于维护，提供人性化的运维；河北商务云-架构场景易用云IAAS平台 + 分布式存储：易用云IAAS基于行业最主流的OpenStack IAAS架构标准进行深度优化研发的。我们自主研发的分布式存储软件产品，整个环境不使用光纤共享存储，而且性能比FC SAN还要好，只使用x86服务器；30秒内云主机上线，用户各种应用场景可以封装成镜像，由镜像发布为云主机，可自动化成批成批的发布云主机；云主机具有高可用的功能，资源池自动实现负载均衡集群；通过用户的测试，把设备的资源利用率提高到55% 。根据角色和权限对提供的服务进行资源使用计量的服务计费；云主机和硬件设备的自动化监控，设定阀值告警，900台X86服务器100台网络交换Eon-IAAS基础设施云管理平台商务系统、政务系统、公众云服务系统十万平米数据中心项目一期，60个标准机架分布式存储Eon-SS案例：河北省商务云（IaaS云平台）首页：控制台：计费页：云主机：