电商云平台-技术方案

1、电商云平台 技术方案1目录1 业务架构2 应用架构3 数据架构4 技术架构5 技术选型2业务架构-业务支撑体系和邦集团电商平台，是以“化工、皮革、能源、房地产”为主线，面向个人及企业客户提供商品在线交易的网上商城。参考电商的典型业务场景，平台业务的运营需要以下几类业务能力支撑。购买引流访问客服支付配送进的来带的走留得住业务能力支撑目标场景业务能力全景图总控平台基础数据管理数据挖掘决策分析业务监控供应链管理财务管理销售服务市场营销客户服务品牌传播促销活动营销管理普通客户服务差异化客户服务仓储服务配送服务仓储配送整合服务采购服务商品销售服务销售招商入驻结算3业务架构-业务建设阶段遵循互联网业务发展

2、规律，为了利于积累用户、建立互信，平台拟按“引流-自营-集市”三个阶段逐级演进，逐步做强、做大。并根据运营需要，分两期进行平台建设支撑，逐步加大投入：四大板块运营演进过程一阶段二阶段图例：客户服务市场营销供应链管理化工板块销售服务行业资讯仓储物流业内互动交流皮革板块行业信息业内互动交流增值服务能源板块财务管理房地产板块商品交易金融贷款管理咨询商品交易全网营销电子报关自营商户合作：广泛引入其它化工、皮革相关企业合作伙伴良性循环：为卖家和卖家提供多样服务，形成“行业生态圈”多元探索：探索互联网集市多元盈利模式，实现共赢集市引流在线销售：引入集团核心竞争力产品实现B2B2C+O2O模式差异服务：适当

3、引入收费类服务保持黏性：利用互联网营销方式，不断扩大用户数量免费入住：与合作供应商、经销商、仓储、物流企业建立良性合作4目录1 业务架构3 数据架构2 应用架构4 技术架构5 技术选型5应用架构-基于用户业务行为的三侧划分 平台系统用户主要包括客户、商户、运营执行的人员、管理人员四种类型，为清楚划分用户界面和更好的满足不同类用户的关注点，将电子商城分为客户侧、运营侧、管理三侧；应用功能及架构设计以此为基础展开。用户类别关注点业务行为客户平台知名度；价廉物美的商品，各类促销活动；差异化、个性化的需求；平台和商家的产品、服务质量和效率；用户体验。选购商品并支付；参加秒杀、团购、等促销活动；跟踪订单

4、的配送状态；评价商品、服务、物流等；提出退货、纠纷等；管理自己的信息。商户用户数量、活跃程度；商品陈列、店铺管理应用的完整性、易用性；平台营销策略、营销活动。运营执行者管理者对外部用户服务支撑的应用；针对营销、交易、仓储、物流、结算管理的应用；针对交易违约行为的监控。经营数据统计分析能力；关键事件预警、记录、应急处理；系统对业务拓展的支撑能力；系统扩展性。陈列商品和管理店铺；履行订单；参加平台方组织的促销活动；自发开展促销活动。组织或进行促销、营销活动；监控订单、履行订单（自营）；仓储配送管理（自营）；客户、商户服务，纠纷处理。平台运营分析；产品运营分析；运营决策。客户侧面向客户群体的业务应用

5、集合，支撑客户注册、自主管理信息、购物、物流跟踪等。运营侧面向平台业务运营者的业务应用集合，支撑商品、店铺、订单、仓储物流及促销管理等。管理侧面向管理者的业务应用集合，支撑用户活动和运营数据的统计分析。以客户体验为根本出发点以订单管理为中心以分析为手段6应用架构-客户侧设计原则随身的：任何时间、任何地点安全的：账户、数据、管理、交易、追溯、防抵赖友好的：尊重、友好、帮助、服务高效的：减少操作、免操作经济的：无费用、较少费用、不花其他费用注重第一印象:商城首页发现和注重细节:购物车、订单、支付个性化:最近购买、猜你喜欢让客户心情愉悦:卡通形象、亲切用语及时反馈:进度条、等待动画、客服恰当的推荐:

6、打折活动、最新优惠安全感和信任度:加密传输、正品保证体验测试:体验调查、客户合作测试站在客户角度看待问题。客户体验是一个完整的过程。发现需求而不是创造需求。决定不做什么，往往比决定做什么更重要。要迎合客户，而不是改变客户。关注绝大多数客户，快速上线，不断改善。把客户当傻瓜，不要让客户思考和选择。不要给客户不想要的东西。12345678以客户体验为中心是目前最科学的以客户为中心的衡量量化管理方法论，站在用户的视角考虑问题并进行应用设计的指导。7应用架构-运营侧设计原则订单中心订单识别订单拆分及路由订单取消退换货退款异常订单处理营销团购秒杀竞拍降价促销抽奖试用体验配送配送需求配送分配分拣跟踪交货商

7、品中心商品分类商品属性商品详情商品图片商品品牌商品价格商户管理商户注册商户结算商户详情商户合同客户中心投诉纠纷咨询建议维权知识库管理售后服务仓储仓库管理库存查询库存预警补货库存分配拣配支付外部支付内部支付现金支付会员管理会员注册会员积分我的订单会员营销 运营侧应用功能以订单为中心设计。.会员等级8应用架构-管理侧应用功能按照平台和产品运营目标而设计以管理信息化为中心、以运营目标为中心设计数据分析挖掘通过对数据的分析和挖掘，找出客户、商户行为的时间、操作等规律和关联因素；发现存在的风险和薄弱环节，为运营决策提供必要的支撑。客户行为数据交易数据配送数据商品数据库存数据交易分析促销方式成功率走势商品

8、品类投诉根据各品类交易量的时间分布，分析时间规律。根据促销方式成功率走势，了解商城用户的喜好。根据各品类投诉率，确定需要重点管控商户类别。应用架构设计原则9应用架构-应用划分原则业务边界和流程聚合原则对于本身较独立，与其它业务间边界清晰的业务，其所需功能可以聚合为独立应用。非功能性需求原则将并发量、性能、安全、大数据处理等有不同要求的应用进行独立划分，避免影响其他的应用或其他应用被影响。应用松耦合原则对于基础应用采用松耦合的原则，划分为独立应用。在基于客户侧、运营侧、管理侧三侧基础之上，运用业务边界和流程聚合原则、应用松耦合原则、主数据集中服务化原则、非功能性需求原则对功能进行应用的组合与划分

9、。主数据集中服务化原则对于服务于主数据和需要实时更新的热点数据的功能，组合为独立的公共应用服务。团购秒杀订单中心购物车收银台会员中心商户管理10应用架构-总图(Levle1)从客户侧、运营侧、管理侧三侧出发，对电子商城应用功能进行归类划分情况及信息流向如下图所示：团购体验中心定向优惠拍卖中心限时抢购用户社区网站收银台会员中心个人商城网站企业商城网站批发中心移动和社交应用抽奖商城联盟购物车营销管理会员管理结算管理订单调度中心仓储管理品类及商品管理商铺管理库存和价格中心商户管理配送管理客户服务管理订单管理批发中心管理合同管理业务运营分析商业智能物流配送整合管理广告管理运营侧客户侧管理侧供应商管理与

10、协同供应链管理用户访问如订单、支付、会员、商户等信息接入相对应的业务运营支撑交易数据、运营统计、访问日志等数据信息个性化推荐、供应商管理等业务决策秒杀积分兑换采购管理销售管理商城管理呼叫中心客户忠诚度和关系管理个性化推荐11应用架构-应用组件划分原则业务完整原则考虑组件对独立业务支撑的完整性，组件内部功能之间耦合度高。组件被撤离之后，不影响其他业务。非功能性需求原则从并发量、性能、安全等非功能性角度出发，考虑组件的划分。公共应用原则针对一些内部耦合度高、外部耦合度低，又形成公共应用的功能，划分成为公共应用组件。在应用功能拆分的基础上，从业务完整性、非功能性需求、公共应用三个原则出发，对业务应用

11、组件进行拆分。独立业务组件秒杀团购公共业务组件商品搜索商品展示服务类组件订单服务用户服务公共系统组件搜索即时通讯业务层服务层12业务应用组件图-组件分类列表根据应用组件拆分原则，拆分结果如下图所示：个人商城网站企业商城网站用户社区秒杀团购定向优惠降价竞购拍卖代金劵限时抢购品牌专区定制销售旗舰店商城联盟商铺展示商品搜索商品比价抽奖活动展示收银台订单管理订单调度中心积分兑换售后跟踪物流跟踪配送调度仓储管理运单管理配送单管理站内信投诉试用体验退货申请商品展示社区管理仲裁在线咨询在线咨询管理投诉管理费用结算管理产品运营分析平台运营分析商铺管理商品管理会员管理品类管理商户管理价格管理举报营销管理广告管理

12、退货管理知识库管理问卷调查管理搜索工作流即时通讯呼叫中心短信邮件通知报表用户服务组件订单服务组件商品服务组件商户服务组件活动服务组件支付服务组件配送服务组件商城服务组件维权品类展示生成订单机器人客服商城联盟管理库存管理独立业务组件 服务类组件 公共系统组件 公共业务组件 13目录1 业务架构2 应用架构3 数据架构4 技术架构5 技术选型数据架构-数据架构设计原则14 海量数据处理 数据一致性 结构化数据【重要度、热度、非关键数据、并发读写、数据量】。 非结构化数据【类型、应用场景】。 数据分类处理 结构化数据按重要度不同集中存放。 非结构化数据分布式存放。 结构化数据统一数据访问。 非结构化

13、数据接口访问，与应用无关。数据设计原则关键数据强一致性，数据集中存储；非关键数据最终一致，数据分布存储。分阶段处理，从离线、准实时向实时处理渐进。按结构化，非结构化分为主要类别进行处理；每个主要类别数据按照数据量、访问特征，更新频率等有针对性进行处理。数据设计思路数据分类设计数据存储设计数据访问设计数据架构 -数据分类15客户侧运营侧结构化事务数据主数据基础数据非结构化模板文件商品图片举报图片商铺装修模板管理侧订单数据活动数据专场数据仓储数据商品数据订单数据会员数据商户数据商品视频投诉图片会员图片商品详情图片知识库数据客服数据活动审核物流数据分析内容分析字段分析规则分析类别购物车数据信息审核属

14、性分配权限分配订单调度招商数据折扣管理数据广告数据价格管理数据预警管理数据商户管理数据支付数据商品评论数据商城联盟数据试用体验数据会员注册数据维权数据投诉建议数据举报数据爬虫数据社交媒体数据用户社区数据退货数据积分数据规则数据店铺数据供应商数据订单属性工作量数据活动分析数据交易分析数据会员分析数据效果分析数据盈亏分析数据举报分析数据作业量数据投票分析数据退款分析数据日志分析数据转换率数据安全数据SEO优化数据流量分析数据性能分析数据用户行为数据配送行为数据积分分析数据礼品分析数据仓库数据站点数据预订数据费率数据条码数据调度数据发票数据承运商数据批发中心数据品类数据会员属性商户属性商品属性店铺属

15、性咨询信息数据上下架数据咨询分类数据监控数据发货数据补货数据通知数据运单数据资格审核商品库存数据售后服务数据对帐数据报损数据身份认证数据 电子商城系统数据按客户侧、运营侧和管理侧横向分类，结构化和非结构化纵向分类。 数据架构-分库分表原则（1/2）16为应对高并发的业务场景，平台数据库将做垂直分库、水平分库，其中垂直分库的原则以应用作为主要依据，水平分库的原则以负载压力、关键性及模块独立性作为主要依据；对数据量大的表，还需要做分表分区处理。 应用特性客户侧备注会员中心个人商城企业商城批发中心用户社区网站团购秒杀拍卖定向优惠限时抢购降价竞购抽奖试用体验代金券负载压力数据量一般一般大一般一般小小小

16、小小小小小小大：大于500万行一般：10-500万小：小于10万响应速度极快极快极快极快快极快极快极快快极快极快极快快快极快：3秒以内快：3-6秒普通：6-9秒访问频率一般高高一般一般高高高高高高高高高关键性重要性高高高普通普通普通普通普通普通普通普通普通普通普通高：影响交易类数据普通：不影响交易类数据安全性高高高高高高高高高高高高高高高:影响交易类数据普通:不影响交易类数据独立性集成关系会员中心、店铺与商品管理、团购、秒杀、定向优惠、限时抢购、降价竞购、抽奖、试用体验、代金券、订单管理会员中心、店铺与商品管理、团购、秒杀、定向优惠、限时抢购、降价竞购、抽奖、试用体验、代金券、订单管理会员中心

17、、店铺与商品管理、订单管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理会员中心、订单管理、商铺与商品管理客户服务、商户、订单、库存、综合分析数据架构-分库分表原则（2/2）17 应用特性运营侧管理侧备注订单管理店铺及商品管理基础运营管理营销管理仓储管理仓储管理手持客户端配送管理物流配送综合管理会员及商户管理业务运营分析负载压力数据量大大普通普通大小小小小大大：大于500万行一般：10-500万小：小于1

18、0万响应速度极快极快快快快快快快快快极快：3秒以内快：3-6秒普通：6-9秒访问频率高高普通普通普通普通普通普通低低关键性重要性高高高普通高普通高普通高高高：影响交易类数据普通：不影响交易类数据安全性高高高普通高普通普通普通高高高:影响交易类数据普通:不影响交易类数据独立性集成关系会员中心、店铺与商品管理会员中心会员中心、店铺与商品管理、会员与商户管理订单管理、会员中心、店铺与商品管理订单管理、会员中心、店铺与商品管理、仓储管理订单管理、仓储管理、会员中心、店铺与商品管理配送管理、会员中心、订单管理、店铺与商品管理会员中心会员中心、营销管理、订单管理、店铺与商品管理、基础运营管理数据架构-结构

19、化数据（1/2）18 电子商城系统结构化数据的特性和数据量估算，供分库分表参考。序号主题域数据类型表单（实体）特性描述存储数据库估算（行）关系型重要性安全性数据量增长响应速度访问频率1用户关键数据会员信息关系型高高快普通高保存平台会员基本信息关系型数据库18万2关键数据会员黑名单关系型高高慢普通低保存会员黑名单关系型数据库18003非关键数据会员积分非关系型高高快普通普通保存会员积分分布式NoSQL数据库180万4关键数据后台管理人员信息关系型高高慢普通普通保存后台运营管理人员信息关系型数据库1005订单关键数据订单信息关系型高高快快高保存订单信息关系型数据库150万6关键数据子订单信息关系型

20、高高快快高保存子订单信息关系型数据库300万7关键数据订单流水信息关系型高高快普通低保存订单流水记录关系型数据库3000万8非关键数据订单评论非关系型普通普通快普通高用户对订单的评论分布式NoSQL数据库150万9商品关键数据商品信息关系型高普通普通快高保存商品信息关系型数据库5万10关键数据商品详情描述关系型高普通普通快高保存商品详情的描述关系型数据库5万11关键数据商品图片关系型普通普通快快高保存商品图片的链接地址关系型数据库5万12关键数据商品属性关系型高普通普通快高保存商品属性关系型数据库15万13关键数据商品库存关系型普通普通慢快高记录商品库存信息关系型数据库5万14关键数据商品分类

21、关系型普通普通慢快高保存商品分类信息关系型数据库5万15关键数据商品品牌关系型普通普通慢快高保存商品品牌信息关系型数据库500016非关键数据商品评论非关系型普通普通快普通高记录用户对商品的评论分布式NoSQL数据库100万17商户关键数据商户信息关系型高高普通普通普通保存商户信息关系型数据库300018关键数据商户类型关系型普通普通慢普通普通保存商户类型信息关系型数据库19关键数据商户等级关系型普通普通慢普通普通保存商户等级信息关系型数据库20关键数据商户经营范围关系型普通普通普通普通低保存商户经营范围信息关系型数据库300021关键数据协议签订记录关系型高高普通普通低保存用户签订的协议信息

22、关系型数据库300022关键数据商户支付方式关系型高普通慢普通普通保存商户的支付方式信息关系型数据库23关键数据商户黑名单关系型高高慢普通低保存商户黑名单关系型数据库数据架构-结构化数据（2/2）19 电子商城系统结构化数据的特性和数据量估算，供分库分表参考。序号主题域数据类型表单（实体）特性描述存储数据库第一阶段增长估算（行）关系化重要性安全性数据量增长响应速度访问频率24支付关键数据订单支付流水关系型高高快普通低记录订单支付的流水信息关系型数据库750万25关键数据支付设置关系型高高慢普通低保存订单支付的设置关系型数据库26活动关键数据活动信息关系型普通普通普通快高保存活动信息关系型数据库

23、100027关键数据活动类型关系型普通普通慢快高保存活动类型信息关系型数据库28非关键数据活动投诉非关系型普通普通普通普通低保存用户对活动的投诉信息分布式NoSQL数据库29非关键数据活动举报非关系型普通普通普通普通低保存用户对活动的举报信息分布式NoSQL数据库30非关键数据活动评论非关系型普通普通快普通高保存用户对活动的评论信息分布式NoSQL数据库10万31商铺关键数据商铺信息关系型高普通普通快普通保存商铺信息关系型数据库300032关键数据商铺类型关系型普通普通慢普通普通保存商铺类型信息关系型数据库5033关键数据装修模板关系型普通普通慢普通低保存商铺的装修模板信息关系型数据库2034

24、关键数据页面模板关系型普通普通慢普通低保存页面模板信息关系型数据库2035非关键数据店铺评论非关系型普通普通快普通高保存用户对店铺的评论信息分布式NoSQL数据库2万36商城关键数据商户费率关系型高高慢普通高保存商户费率信息关系型数据库3万37关键数据平台基准费率关系型高普通慢普通高保存电商平台基准费率信息关系型数据库300038配送关键数据快递公司关系型普通普通慢普通普通保存快递公司信息关系型数据库5039关键数据运费模板关系型普通普通慢普通普通保存运费模板信息关系型数据库5040关键数据区域信息关系型高普通慢普通普通保存配送区域信息关系型数据库300041统一认证授权关键数据统一认证授权数

25、据关系型高高慢普通高用于统一认证授权数据库，冷备统一认证授权数据库20万数据架构-非结构化数据20序号大类文件类型用途主题关联实体-创建关联实体-被使用第一阶段存储估算（G）存储策略1商品类商品图片用于商品展示图片产品商品属性商品500商品数量约为5万左右；电子商每个商品含原图和5张缩略图,保存原图，限制不大于10M，缩略图大小按平均100K计算；（借签善融目前商品总数约40万估算）商品详情图片用于商详情内容展示产品商品详情商品详情200商品数量约为5万左右；不存原图，压缩图片大小按平均100K计算；2商品视频用于商品介绍产品商品属性商品800商品数量约为5万左右；平均一个商品含1个视频，视频

26、大小不超过20M；34会员类会员图片用于会员头像或其它认证电子件人员会员属性会员资料300会员数为18万左右；会员头像不保存原图，生成2张缩略图，平均大小为10K；认证电子件保存原图，按每个会员平均1张，每张不超过2M计算；（参考电子商城系统可研增长估算）5商铺类商铺图片用于店铺装修模板及商家店铺市场商铺属性店铺装修60约20个模板；商户自已上传5张图片，每个装修模板自带50张，平均每张估计为20k；6其它投诉图片用于投诉证据活动投诉内容投诉内容7举报图片用于举报证据活动举报内容举报内容 非结构化数据的存储策略。数据架构-数据的分布与存储21非结构化数据结构化数据 电子商城系统数据在各个不同数

27、据库的分布及存储。电子商城系统基础数据会员数据会员属性订单数据订单属性商户数据商品数据商品品类数据商品属性商户类型数据事务数据非结构化数据第三方支付事务数据支付数据通知数据退款数据店铺装修模板会员图片商品视频商品图片商品详情图片举报图片投诉图片积分兑换数据商铺装修数据库存数据活动关联数据补货数据价格数据商品上下架数据商户费率数据礼品兑换数据维权数据退货数据支付数据订单退款数据通知数据商品关联数据子订单数据订单关联数据试用体验数据配送关联数据分布式文件系统优惠券使用数据发票关联数据前置会员库前置订单库前置商品库商户品牌数据核心数据库内存数据库分析内容数据分析规则数据分析字段数据分析类别数据用户行

28、为数据交易分析数据流量分析数据活动分析数据积分分析数据退款分析数据盈亏分析数据库存分析数据前置库基础数据规则数据活动数据仓库属性供应商数据前置数据库数据审核数据权限分配数据客服数据配送数据广告数据核心数据库日志数据商品评论数据投诉数据举报数据盘点数据订单评论数据店铺评论数据分布式NoSQL数据库活动评论数据会员黑名单数据个人配送地址数据个人发票数据订单流水数据订单优惠信息数据订单导出数据订单退款流水数据订单退换货流水数据订单运费模板数据赠品关联数据商户等级数据商铺数据商户支付方式数据商户黑名单数据商品草稿箱数据预警数据折扣管理数据运单数据招商数据监控数据对帐数据仓储数据爬虫数据会员分析数据投票

29、分析数据礼品分析数据优惠券分析数据转换率分析数据图示：22目录1 业务架构2 应用架构3 数据架构4 技术架构5 技术选型技术架构-技术架构设计原则23 结合互联网架构CAP理论及BASE原则，借鉴主流互联网门户和电商平台的成熟经验，形成技术架构设计原则。适度创新高可用性响应速度优先分布式设计高安全性面向服务的设计在技术选型和技术架构设计上优先保证系统724小时运行。采用空间换时间的思想，通过CDN、缓存等技术提升系统响应速度。采用云计算技术构建分布式系统支撑海量用户。按照业务需求对应用进行垂直拆分和水平拆分，实现从集中式系统到分布式系统的演进。在遵从长征教育科技公司技术设计基本要求的前提下，

30、适度引入应用业界成熟的技术。在技术选择、数据设计、数据传递等设计过程中重点关注安全性。24技术架构 -分层结构24网络接入层展现层应用层服务层数据层基础设施运维保障体系安全保障体系引用主流互联网门户和电商调研结果和设计原则，结合电商业务的特点，将整体技术架构分为“6+2”模式。分别为网络接入层、展现层、应用层、服务层、数据层、基础设施6个层次和运维体系、安全保障体系主要体现电商大数据量的特点，按照数据的分类、读取性能、计算要求进行不同存储技术的划分，并且通过引入分布式技术着重降低关系型数据库的压力，在最大程度保障数据可靠性的前提下降低数据库压力。承载电商系统的基础设施，包括网络、服务器、存储等

31、，通过虚拟化、计算加速等技术提高硬件负载能力。应用层与传统企业应用类似，负责业务逻辑的处理。在互联网架构下，应用层通过引入应用无状态、搜索引擎、分布式缓存等技术，进一步扩大负载的横向分担能力和业务变化快速响应能力，尽可能减少单点故障。将企业级应用大量同步信息传递,根据业务特性进行异步化处理。通过消息路由和消息调度机制的理构建，改善在高并发情况下各系统组件间同步通信可能导致的堵塞，提高系统负载能力。负责连接广域网与内部网络，是分流商城访问压力的第一层保障，负责网络加速，负载均衡、一级缓存和流量控制。负责对网络接入层分发的压力进行第二层分担，通过Web服务负载均衡、静态化、动静结合的方式分流对应用

32、层直接访问的压力，该层是体现电商与传统企业应用差别特点之一。技术架构-总体解决方案(1/7)25运营侧管理侧客户侧运维保障体系安全保障体系电商应用需要提高网络负载能力和利用率；需合理对传递内容进行合理分发；考虑高峰值极端情况的风险规避。能够对压力进行合理的分担；对安全要求较高。对安全要求较高。电商应用注重用户体验；对页面响应速度要求极高。注重业务表现的准确性；电商对应用的高可用性要求极高；应用的发展能够适应业务快速调整；应用的负载能力能够根据压力自由伸缩，无单点故障关注业务的标准化和规范化；业务逻辑的严密性要求较高。事件处理快速、高效，事件交互并行化；各功模块彼此独立，能够单独运行、更新、卸载

33、，避免单点关联影响。注重分析与统计的友好表达形式。关注业务的标准化和规划范；业务逻辑的严密性要求较高。信息传递一致性要求高；事件发起后需同步获得响应结果；.信息传递受一定的安全策略限制。信息传递一致性要求高；事件发起后需同步获得响应结果；信息传递受一定的安全策略限制。数据海量化，存储的数据种类多样；数据查询与写入的并发压力巨大；核心交易数据对数据可靠性要求高。数据一致性要求高；数据可靠性要求高。数据完整性要求高；数据的分析计算能力要求极高。对I/O吞吐能力要求高，能够承担大并发的写入与读取。负载能力能够根据压力变化进行自由伸缩。负载能力能够根据压力变化进行自由伸缩。对并行计算能力要求较高。网络

34、接入层展现层应用层服务层数据层基础设施+技术架构-网络接入层解决方案(2/7)26运营侧客户侧运营侧电商应用需要提高网络负载能力和利用率；需合理对传递内容进行合理分发；考虑高峰值极端情况的风险规避。能够对压力进行合理的分担；对安全要求较高。对安全要求较高；访问来源广泛，保证安全和访问速度增强用户体验；吸取电商经验，在秒杀、抢购期间下使用流量控制手段进行限制。访问来源单一，网络环境可控性高，对传输数据包进行防护即可；运营量随业务增长增加，运营效率对用户购物体验尤为重要。访问来源单一，网络环境可控性高，对传输数据包进行防护即可；所涉及管理部门较多，统计数据显示响应及时性要求较高。应用需求需求分析技

35、术手段硬负载均衡：通过硬件对访问请求进行分发，如F5就是常见的硬负载均衡。SSL加速：用硬件对HTTPS协议加密数据包进行安全处理的技术手段。硬负载均衡：通过硬件对访问请求进行分发，如F5就是常见的硬负载均衡。SSL加速：用硬件对HTTPS协议加密数据包进行安全处理的技术手段。管理侧CDN网络加速：在接入层最前端用硬件按照一定规则分发访问请求，以达到访问速度最优的目的。多层负载均衡：使用硬负载均衡、软负载均衡相结合的方式，在接入层实现多层次请求分发。SSL加速：用硬件对HTTPS协议加密数据包进行安全加速处理的手段。流量控制：在流量达到预设值时，通过硬件将新的访问请求进行转发或者阻断。技术架构

36、-展现层解决方案(3/7)27运营侧客户侧运营侧不同商铺、不同时间段页面个性化需求差异很大，页面更新频率较高访问速度关乎用户体验以功能性需求为主，页面个性需求不多，页面与功能有关，变更较少。数据实时性要求较高，要求有较高的页面响应速度。以功能性需求为主，页面个性需求不多，页面与功能有关，变更较少。数据实时性要求不高，页面响应速度要求不高。应用需求需求分析静态化处理：利用Web服务器自带功能实现对静态页面缓存动静分离：在接收访问请求时，根据在Web服务器上预先设定规则，对动态请求和静态请求分发到指定的服务器上，目的在于分担应用层服务器压力。Web集群：使用传统集群技术，通过负载均衡分担访问Web

37、服务器压力，提高响应速度。技术手段Web集群：使用传统集群技术，通过负载均衡分担访问Web服务器压力，提高响应速度。管理侧电商应用注重用户体验对页面响应速度要求极高。注重业务表现的准确性注重分析与统计的友好表达形式技术架构-应用层解决方案(4/7)28运营侧客户侧运营侧需随时应对应用失效；提供商铺可控的业务调整流程；有极高的访问响应速度；商品信息等需进行缓存提高性能；需随时应对应用失效；提供可控的运营管理流程；在自营阶段商品信息等需进行缓存提高性能；需提供可控的管理流程；统计所使用的元数据需要进行缓存提高性能。应用需求需求分析应用无状态：指应用服务器间共享会话状态，达到会话状态与应用服务器无关

38、目的。搜索引擎：通过关键字进行信息检索分布式缓存：属于分布式计算一种，无单点故障、可扩展的缓存技术。模板技术：将页面制作与程序开发分离，按照约定变量填充页面内容。应用集群：使用传统集群技术，通过负载均衡分担访问应用服务器压力，提高响应速度。技术手段管理侧电商对应用的高可用性要求极高应用的发展能够适应业务的快速调整应用的负载能力能够根据压力自由伸缩，无单点故障关注业务的标准化和规范化业务逻辑的严密性要求较高。关注业务的标准化和规划范业务逻辑的严密性要求较高。应用无状态：指应用服务器间共享会话状态，达到会话状态与应用服务器无关目的。搜索引擎：通过关键字进行信息检索。分布式缓存：属于分布式计算一种，

39、无单点故障、可扩展的缓存技术。应用集群：使用传统集群技术，通过负载均衡分担访问应用服务器压力，提高响应速度。分布式缓存：属于分布式计算一种，无单点故障、可扩展的缓存技术。应用集群：使用传统集群技术，通过负载均衡分担访问应用服务器压力，提高响应速度。技术架构-服务层解决方案(5/7)29运营侧客户侧运营侧在订单交易、抢购、秒杀等交易系统负载大，业务交互频繁，业务覆盖面广。随访问量增加，系统负载随时调整业务覆盖面涵盖广，整个商城都在业务范围内。随时应对突发事件处理，必要时需要进行程序升级。 监管商城运营、运作情况。随时应对管理决策变化，带来分析程序维度调整需求。应用需求需求分析统一认证：一个商城一

40、套认证体系。服务框架：应用层请求分发给响应的服务组件，是一个软负载均衡。通用数据访问组件：实现多数据源，多数据库支持等，封装特有数据操作方法，消除不同数据库、不同语法的差异。组件化开发：将各业务功能模块化，使各个模块之间可以单独开发，单独测试，互相不影响。技术手段管理侧统一认证：一个商城一套认证体系。组件化开发：将各业务功能模块化，使各个模块之间可以单独开发，单独测试，互相不影响。事件处理快速、高效，事件交互并行化。各功模块彼此独立，能够单独运行、更新、卸载，避免单点关联影响信息传递一致性要求高。事件发起后，需要同步获得响应结果。信息传递受一定的安全策略限制。信息传递一致性要求高。事件发起后，

41、需要同步获得响应结果。信息传递受一定的安全策略限制。统一认证:一个商城一套认证体系。组件化开发:将各业务功能模块化，使各个模块之间可以单独开发，单独测试，互相不影响。技术架构-数据层解决方案(6/7)30运营侧 客户侧运营侧存放结构化、非结构化数据，如商品信息、图片等。海量数据需要负载高、易横向、纵向扩展数据库、存储支持。数据倾向持久化存储方式。访问数据量与客户侧数据量相关，随之增长 。商城运营数据为分析基础，对数据清洗、转换、集成、加载的准确度、性能保证。体现数据分析计算能力。应用需求需求分析分布式文件系统：属于分布式计算一种，无单点故障、可扩展的文件管理系统。分布式关系数据库：指放置在核心

42、数据库前端的数据库，采取技术手段处理，按业务、按功能存放数据，定期将数据向核心数据库进行归集，同时定期从核心数据库上进行数据同步。集中式关系数据库：指商城的核心数据库，存放商城运营所有数据。海量数据存储：可横向扩展存储，支持海量数据。技术手段管理侧数据海量化，存储的数据种类多样。数据查询与写入的并发压力巨大。核心交易数据对数据可靠性要求高。数据一致性要求高。数据可靠性要求高。数据完整性要求高。数据的分析计算能力要求极高。分布式文件系统：属于分布式计算一种，无单点故障、可扩展的文件管理系统。集中式关系数据库：指商城的核心数据库，存放商城运营所有数据。集中式关系数据库：指商城的核心数据库，存放商城

43、运营所有数据。大数据存储与分析：定期抽取。集中式关系数据库中的数据作为统计分析源数据，所有的分析统计基于该数据源进行。内存数据库：主要用于数据分析计算，将所有的需计算数据都放置到内存中，磁盘I/O瓶颈大大降低，计算速度大幅提升。技术架构-基础设施层解决方案(7/7)31运营侧客户侧运营侧系统负载高。数据传输量大。硬件资源可进行灵活分配。系统负载高。硬件资源可进行灵活分配。系统负载高。硬件资源可进行灵活分配。应用需求需求分析高速网络：指除保证网络带宽的基础上，加上高速网卡的配合实现千兆、万兆网络，在网络传输层实现高速数据传输。SSD加速：使用固态硬盘在存储之前做高速缓存。虚拟化：当前主流技术，将

44、物理硬件转化为逻辑硬件，常用的主机虚拟化、网络虚拟化、存储虚拟化。技术手段管理侧SSD加速：使用固态硬盘在存储之前做高速缓存。虚拟化：当前主流技术，将物理硬件转化为逻辑硬件，常用的主机虚拟化、网络虚拟化、存储虚拟化。SSD加速：使用固态硬盘在存储之前做高速缓存。虚拟化：当前主流技术，将物理硬件转化为逻辑硬件，常用的主机虚拟化、网络虚拟化、存储虚拟化。对I/O吞吐能力要求高，能够承担大并发的写入与读取。负载能力能够根据压力变化进行自由伸缩。负载能力能够根据压力变化进行自由伸缩。对并行计算能力要求较高。技术架构 -技术概览32网络接入层展现层应用层服务层数据层基础设施管理侧客户侧运营侧公司已成熟应

45、用技术，一期建设采用互联网已成熟应用，一期建设采用结合业务拓展规划，二期建设采用内容分发网络（CDN）多层负载均衡SSL加速硬负载均衡SSL加速硬负载均衡SSL加速流量控制页面局部静态化动静分离Web容器集群Web容器集群会话无状态分布式缓存会话无状态分布式缓存分布式缓存服务框架服务集群服务集群服务集群分布式文件系统分布式关系数据库分布式文件系统集中式关系型数据库集中式关系型数据库运维体系高速网络SSD加速虚拟化虚拟化大数据存储与分析内存数据库SSD加速通用数据访问组件模板技术业务规则引擎混合式关系数据库安全保障应用服务器集群应用服务器集群应用服务器集群可视化技术Web容器集群搜索引擎搜索引擎

46、搜索引擎SSD加速虚拟化技术架构-技术架构 -总体架构33技术架构要素网络接入层：通过CDN缓存页面；展现层：采用动态分离、页面静态化提升页面访问速度；应用层：采用应用无状态实现服务层：服务化、SOA架构数据层：采用分布式数据处理技术提升并发以及海量数据处理能力；基础设施层：以x86服务器为主，通过虚拟化进行动态资源扩展技术架构-网络接入层网络接入层能够实现多种方式包括： internet CDN IPSec VPN SSL VPN WLAN 3G采用众多关键技术： CDN技术应用 链路负载均衡技术应用 硬件负载均衡技术 软件负载均衡技术 安全防御与过滤技术 流量控制技术展现技术特点34技术架

47、构-SSL加速SSL加速交换机应用服务器应用服务器访问用户访问用户HTTPS访问HTTPS访问SSL加速卡35-网络接入层 SSL(加密套接字协议层)是一种应用极为广泛的WEB信息安全传送协议。由于SSL运用加密算法和密码，其加密/解密过程需大量占用服务器的CPU资源，使CPU利用率接近100%，从而大大降低服务器性能。在网络用户大增的情况下，网络性能将急剧降低。 电商系统在客户侧、运营侧和管理侧提供商户和工作人员的HTTPS的接入，必然采用SSL加密认证方式，迫切需要通过技术手段缓解上述问题。SSL加速技术：将加密数据推送到专有设备进行高速解密后再回传到常规网络，完成常规数据互动。具体实现方

48、法有： SSL VPN 网络系统 SSL 加速卡(置于服务器端PCI插槽上) 交换机SSL加速模块技术架构-展现层由于页面请求压力各有差异，客户侧、运营侧、管理侧采取不同的展现技术客户侧面向页面请求压力大，采用动静分离技术，使web服务器只处理静态页面，提升其承载能力。动态内容采用局部静态化方式处理模版技术，协助实现静态化，并可结合布局样式方式快速定制电商门户样式，而且商户通过上传模版压缩包，定制其商铺展现展现技术特点36技术架构-展现层 -静态化 为了降低应用层压力，通过动静分离和静态化技术手段在展示层对每次请求进行识别，将动态请求、静态请求进行引导，对目标页面内容无更新的请求使用静态页面响

49、应，对目标页面内容有更新的静态页面通过模板技术生成静态页面后响应，对动态请求仍然由应用服务器进行处理。37应用客户侧运营侧管理侧请求响应请求响应请求响应展现层应用层Web服务反向代理Rewrite模块静态页面静态请求静态页面页面缓存页面片段缓存模板技术应用动态请求页面有更新动静分离请求分发基于正则表达式解析器开发的重写引擎，按照Web管理定义规则重写请求访问地址。Rewrite模块有些类型的动态请求先直接从页面缓存中查找，查不到在请求应用应用里面，页面里某项部分相对不变的部分使用页面片段缓存技术 页面（片段）缓存技术架构-应用层采用J2EE架构实现应用逻辑。采用n层结构：前端采用MVC模式实现

50、；业务逻辑采用spring框架；数据持久层采用DAO技术，例如ibatis，hibernateJ2EE架构应用无状态，缓解了应用session同步压力，并可实现大规模部署无状态化场景：用户session、购物车、验证码等状态数据存于分布式缓存服务。本地浏览器将唯一标识保存在cookie中，访问请求发送给任意服务器，通过分布式缓存获取状态信息，组合动态内容。应用无状态化38技术架构-应用层 -应用无状态(1/2)应用节点1应用节点2Session复制应用节点1应用节点2分布式缓存传统模式互联网模式采用集中式session管理完成对用户信息、购物车、订单状态、付款状态保存，各应用节点均为无状态连接

51、，无论故障排除或横向扩展均不影响已建立的会话状态。互联网模式 使用集群来解决客户端的状态信息的保存，但集群节点间session通信会随节点增多而开销增大。当从集群中移除故障节点，将影响部分用户的正常使用，横向扩展的session复制也增加了横向扩展难度。传统模式39应用会话1应用节点1应用节点2应用节点3应用节点4应用节点5会话2分布式缓存用户信息购物车交易状态用户状态购物车交易状态技术架构-应用层 -应用无状态(2/2)40前端业务在进行过程中，客户端会与应用节点间会根据会话请求建立相应会话，本身应用节点是无状态的，应用节点间的会话状态相互共享。会话请求应用节点在会话初次建立时，将会话状态发

52、送到分布式缓存中储存。储存会话状态应用节点在自身节点上未能通过会话句柄找到对应的会话状态时，会从分布式缓存中通过句柄获取相应会话。获取会话状态展示层会话1用户信息购物车交易状态应用层应用节点1数据层分布式缓存会话状态1会话状态2会话状态N会话请求会话请求储存会话状态获取会话状态应用节点2应用节点3应用节点N会话2用户信息购物车交易状态会话N用户信息购物车交易状态客户侧技术架构-应用层 -模板技术41 在电子商城系统的客户侧、运营侧部分功能，凡涉及商户对商铺维护频繁，个性化需求较多的业务，通过定制代码开发的方式难易满足商户需求，也会带来不可估量的开发工作量。采用客户侧商铺信息通过模板技术生成静态

53、页面策略，不仅满足商铺灵活多变的个性化需求，也是现在电商行业中惯用做法。Web服务器应用服务器分布式缓存Velocity模板静态页面Web服务器应用服务器应用服务器应用服务器动态请求生成静态页整页缓存模板技术请求响应静态资源展示层服务层应用层页面模板技术架构-服务层 -服务框架42服务化，实现系统解耦，服务之间相互独立，可快速响应互联网需求。服务可分基础服务以及业务服务。服务化服务框架实现服务上线下线管理，服务注册，服务版本管理等；服务提供者通过服务集成注册服务，由服务调用者进行服务订购，由“服务集成”定时推送服务列表;。不同于企业服务总线ESB同步服务采用点对点的方式，不经过服务框架，直接调

54、用，异步服务由消息队列方式实现。服务集成框架搜索引擎，可对平台信息进行检索，从而缓解了关系数据库查询产品压力。统一授权，可对账户进行统一管理，实现平台各个子系统之间。基础服务应用服务消费者服务消费者服务消费者应用节点1应用节点1应用节点1服务注册中心消息总线消息队列调度处理服务框架基础服务搜索引擎统一授权业务服务业务服务业务服务业务服务同步调用服务列表同步异步调用消费着订阅技术架构-服务层 -搜索引擎采用先进的中文分词技术，切分词精度和效率高中文切分词搜索引擎能够准确地捕捉到用户所输入语句的真正意图，准确地向用户返回最符合其需求的搜索结果语义搜索 将基于数据库的搜索演变为基于网页的搜索，搜索的

55、内容通过搜索引擎事先索引，返回用户的为静态网页资源，大大降低应用服务器和数据库的压力。商品查询定时调度索引生成数据抓取分布式文件系统查询请求集中式关系数据库查询检索服务返回结果索引文件查询请求检索结果索引调度命令原始数据原始数据原始数据43技术架构-服务层 -统一认证对比项票据方式反向代理压力情况只做第一次登录验证，后续均通过客户端加密传递认证信息，负载等同UV，压力相对较小。登录期间需要监控各个接入系统的响应，所有登录与跳转均需全程控制，负载与PV量等同，压力极大。负载能力负载能力取决于承载硬件与应用服务器的负载能力，可提供数据库和LDAP两种方式的认证负载能力取决与反向代理软件性能，通常基

56、于反向代理软件绑定的LDAP扩展能力横向扩展基于应用服务器的横向扩展主流基于反向代理认证软件均支持集群扩展，但认证信息的集中管理，会导致一旦某个节点失效，通过该节点认证的用户需要重新认证。安全性用户认证信息传递与保持均通过自定义加密，安全性取决于加密算法本身。认证信息传递和保存的安全性取决于反向代理软件自身的安全机制应用特点接入应用必须以预先协定的票据协议作为认证基础反向代理特点为与具体应用实现无关，无需接入应用进行改造，应用案例主流门户网站如新浪、搜狐等，主流电商平台如淘宝商城、京东商城均采用票据方式主要用于企业级认证，代表的为Novell Access ManagerIBM Tivoli等

57、结合互联网应用的特点，统一认证方式采用票据方式。44技术架构-数据层45缓存用户session、验证码应用会话无状态实现的关键节点支持分布式，屏蔽了单点故障，可水平横向扩展内存以及计算容量分布式缓存用于保存网站图片、搜索索引文件等非结构化数据使用分布式文件系统可以水平横向扩展文件容量以及处理能力分布式文件系统实现海量数据的存储、分析以及实时查询统一保存日志以及监控信息等数据。保存评论、商品扩展属性非交易数据。保存核心数据库的归档信息提供日志、监控信息实时以及准实时查询，提供商品扩展属性、评论非交易数据实时查询。保存了核心数据库历史归档性息，为大数据分析提供数据支撑归档数据通过配套的“ETL工具

58、”从核心数据按规则导入分布式Nosql数据库前置数据库分为三个中心：订单中心、商品中心、会员中心，其中订单中心与商品中心按照商户分库，会员中心按照会员分库，客户侧涉及同一中心操作在前置数据库处理。核心数据库保存了全量，客户侧涉及跨中心操作以及运营侧、管理侧操作在核心数据库中处理。核心数据库改动需要同步到前置数据库，而前置服务库改动将通过“数据同步服务”规集到核心数据库。混合型关系数据库技术架构-数据层 -分布式文件系统46 在电子商城系统中，分布式文件系统用于对非结构数据，如：图片、视频、搜索索引文件等的存储，使访问文件更加容易，提升文件读取容错率，确保电子商城系统运行性能。客户侧商品信息促销

59、活动商品检索分布式文件系统图片视频索引文件搜索引擎静态化组件运营侧商品检索商品信息应用层服务层数据层文件数量多 平均每个商品有20个图片； 文件小 平均每个文件大小在700K； 每个原始图片将生成8张左右缩略图，平均缩略图大小为10K；数据吞吐量大 日均流量的90%为图片；电商非结构化文件特点无单点故障，可横向扩展实时在线动态扩容，可通过增加磁盘、节点和机柜等多种灵活的方式实时对存储容量扩展，扩容期间服务不中断；随着节点的增加，吞吐量和读写带宽随之线性增长；分布式文件系统特点技术架构-基础设施47互联网CDNWEB层应用层数据层万兆骨干网管理侧运营侧开发区测试区运维区客户侧交易数据库集中存储磁

60、盘阵列SSD加速搜索引擎SSD加速WEB服务器虚拟化应用服务器虚拟化应用服务器虚拟化应用服务器虚拟化分布式文件虚拟化CDNCDN应用服务器虚拟化技术架构-基础设施 -虚拟化48平台系统可采用虚拟化技术构建如下资源池：WEB层服务器应用层服务器物理机与虚拟化部署规划：平台各种应用系统、存储和网络皆可采用虚拟化部署。具体虚拟化和物理化比例根据实际需要进行部署。企业/个人商城WEB层WEB虚拟机池负载均衡企业/个人商城WEB服务器企业/个人商城APP层APP虚拟机池负载均衡企业/个人商城APP服务器.物理架构-硬件设计策略49WEB层、应用层采用云计算技术，可动态调配资源、横向扩展。数据层考虑数据的