开放平台产品技术发展csdn

淘宝开放平台技术和产品演进放翁（文初）2012.8.28淘宝开放平台技术和产品演进萌芽（07年底）雏形（08年）产品化（09年）平台化（10年）市场化（11年）垂直化（12年）淘宝开放平台技术和产品演进萌芽（2007）业务： SAAS概念开始普及

卖家类服务草莽成长（页面获取数据的方式）产品：

内部开始试点SAAS平台，希望通过构建组件化平台，让isv依赖于平台搭建应用服务于卖家。萌芽（2007）萌芽（2007）技术：

服务化：OSGI，SCA，Webservice，ESB，SOA

解决手段：SCA结合Spring方式来实现bundle内部spring简单组合，bundle外部通过SCA规范和Webservice实现接口互通。

延展内容：服务安全，服务管理

带来的痛苦：

服务化看似很美好，但对于内部来说用框架限制太重，性能，调试，维护，协作效率都会受到限制。

服务粒度控制成为最大的设计障碍，太细增加服务管理成本，太粗会降低服务复用性。（应用和业务模块边界的界定）

关注于工具，平台，语言等表象层面的东西，忽略了市场对业务的需求，以及开发者真实的业务诉求（易用，商业化等）

雏形（2008）业务：

部分卖家应用开始转型到阿里软件开放平台，服务市场有了简单雏形，淘宝业务开放走出了第一步。产品：

阿里软件创建了阿里系第一个开放平台，业务对接阿里软件自有服务（旺旺，简单的企业管理流程），淘宝的服务。08年底，淘宝服务开放30个，日均服务调用量2000w。

开放平台基础设施开始构建：服务网关，应用授权中心，开发者中心，简易的服务市场。雏形（2008）雏形（2008）技术： OAuth0.x的借鉴，自有授权流程的设计（步骤接近于OAuth2，客户端模式考虑不多）

服务mashup的关注：数据层（Gdata，json等），语言层面YQL，Yahoopipe（rss）

数据分析：Hadoop的尝试，每日文件离线计算

集中式缓存实践：memcached的引入和自有客户端的开发。（客户端容灾，软负载均衡，NIO等）

产品化（2009）业务：

卖家应用开始正式转战淘宝开放平台，服务市场有了明确定位（淘宝的卖家和买家），市场逐步有了。产品：

淘宝开放平台，淘宝箱（卖家服务市场前身）。09年底，淘宝服务开放100个，日均服务调用量4000w。产品化（2009）产品化（2009）技术：

流量控制，规则多样化。（集中式缓存）

服务隔离：（尝试使用jetty和tomcat，失败告终），尝试使用LVS支持软路由控制服务分流。

利用mysql做一些在线及时分析，满足一些简单的统计告警需求。（hadoop做离线统计）

自有日志分析框架版本雏形出现，解决MR编写维护成本，支持在线配置修改方式满足统计需求。（Hive的工作类似）

优化web容器数据流解析部分。（解析原始二进制数据流，穿插业务控制内容到数据解析过程中，实现lazyparser，按需解析）

平台化（2010）业务：

淘宝正式对外宣布开放，赢在淘宝等运营活动激活了大量的卖家应用（管理，营销），买家类应用逐步出现，顺应sns化，大量的游戏应用首先占有了买家市场。产品：

淘宝开放平台（服务生命周期管理，数据透明化）。10年底，淘宝服务开放304个，日均服务调用量8亿。

平台化（2010）平台化（2010）技术：

流式数据分析单机到集群构建（反向任务索取替代正向任务分配，支持多数据来源分析，MS协作基础通信层建立），每半小时分析一次结果，分析规则动态配置

服务隔离：初步引入Jetty，开始封装支持Comet的容器，实现web请求处理异步化 API定义有schema描述，服务半自动接入，文档，sdk可自动生成。

对服务路由应用实行管道化结构重构，支持业务灵活降级和灰度发布测试，也为异步化web服务提供更细粒度的资源分配控制。

数据访问控制层优化（富客户端：bloomfilter，多级缓存，访问降级控制）

市场化（2011）业务：

卖家市场趋于成熟，sns热潮退去，站内买家应用部分开放，无线市场刚刚起步，淘宝客市场飞速发展。产品：

淘宝开放平台（多样化服务：ATS，TQL，Streamingapi，访问控制多样化）。11年底，淘宝服务开放798个，日均服务调用量19亿。（淘宝客占了一半）

市场化（2011）市场化（2011）技术：

流式数据分析进入第一阶段成熟期（单机性能调优，多核充分利用（计算换存储），磁盘换内存，数据压缩，任务分拆（shuffle），经历着hadoop经历着的事情，保留着最初的设计基础），每3分钟分析一次结果，分析规则动态配置，用于告警和业务分析

利用PipeComet框架在jetty上层做了封装，支持Streamingapi（实现消息外送的基本原型），服务异步处理隔离，保证了平台的稳定性。（不再受制于后端业务的稳定性） TQL为无线等对连接消耗敏感的开发者提供了技术基础。ATS为大数据异步处理提供了技术支持。 OAuth2的引入，对客户端模式的支持，尝试简化服务访问开发成本。

垂直化（2012）业务：

淘系服务市场开始成长出来：无线，站内买家，站外买家（网站集成），淘宝客，卖家市场，垂直业务线（机彩票，二手，p4p，营销等）。产品：

网站集成（JSsdk），iossdk，应用安全控制等级多样化，应用监控系统，数据同步组件，聚石塔。11年底，淘宝服务开放798个，日均服务调用量25亿。垂直化（2012）垂直化（2012）技术：

流式数据分析进入第二阶段，1.5分钟迭代计算一次，支持master根据业务横向扩展，支持输入输出的多样化。（hdfs，文件系统，http数据流等）

借鉴FB的jssdk，构建了top的sdk设计思路（非常轻量化），促成了对于买家服务调用的安全控制技术手段落地，并便于网站集成

服务将访问控制粒度细化到了字段级别，针对不同安全级别的应用在访问范围和授权时长上都有差异化对待。

应用监控成为应用身份经验积累和服务质量考核的重要指标。

数据同步组件帮助开发者省掉Streamingapi的客户端实现，最大化的减轻用户集成长连接带来的管理成本，保证了同步数据的稳定性。

无线卖家产品安全和市场化开始逐步控制起来，无线端控制能力增强。店铺淘宝基础业务卖家买家淘客垂直业务网游SNS画报店铺数据物流宝分销用户交易评价产品/商品类目旺旺绩效营销酒店淘花直通车收藏夹E链通聚划算机票会员管理图片空间二手交易支付流水关联推荐购物车天猫精选彩票淘女郎物流开放数据子账号开放平台服务现状卖家后台无线应用卖家前台网站接入站内买家垂直业务开放平台用户商品交易营销物流p4p淘客开放平台和应用市场开放经历的感悟业务：1.开放平台从一个垂直部门到一个横向部门。（快速建立与长期发展）2.开放单点驱动到市场机制建立。（卖家线切入，垂直线兴起）3.不同BU的开放支持方式不同。（BC差别，反向SNS支持）4.市场需要运营，内部服务也需要运营。（开放部门的效果追踪和规则制定，UV客单价）开放经历的感悟技术：1.透明化永远是平台的第一需求。（稳定性，优化基础）2.足够的业务嗅觉，用技术来创新。（数据推送）3.安全、业务、用户体验的平衡。（细节控制）4.找到企业基因来差异化设计平台。（安全设计）5.技术无