云服务 SaaS应用平台搭建方案

探码科技SaaS基础应用平台搭建方案云计算、大数据带来的数字化转型赋予了经济发展新的动力。面对激烈的市场竞争，企业运用新一代信息技术提高品牌价值，打造云端一体化管理，已经成为获得市场成功的关键。随着云计算的普及和应用，使得IaaS(基础架构即服务)和PaaS(平台即服务)得以通用，用户可以轻松访问服务器、存储器和网络等计算资源，可以在云环境中开发、管理和交付应用。同时，企业信息化管理软件的发展经历了定制化、通用化的阶段，SaaS（SoftwareasaService软件即服务）模式的出现，给“企业上云”带来新的契机。为满足企业数字化智能化的需求，助力产业数字化升级，探码围绕品牌、市场、技术、案例，透视SaaS商业模式，前瞻未来发展趋势，分享创新逻辑、探讨企业数字化转型新路径。基础应用平台，是构建业务生态的底层技术架构，是支撑平台商业应用的地基。所以，构架一个可扩展、伸缩性强、易于维护的基础应用平台，是项目成功的基础。这里讲到的基础应用平台，包括IaaS和PaaS和SaaS三个层级。IaaS基础架构即服务(IaaS)是一种云计算服务产品，供应商会支持用户访问服务器、存储器和网络等计算资源。组织可以在服务提供商的基础架构中使用自己的平台和应用。主要功能用户按需支付IaaS，无需购买整套硬件。可根据处理和存储需求扩展基础架构。节省企业购买和维护硬件的成本。由于数据存储于云端，不会出现单点故障。支持管理任务虚拟化，腾出时间处理其他事务。下面以Ucloud为例，构建一套基础云平台系统需要用到产品服务器、数据库存储服务器、DNS/Mem缓存服务器、大数据平台服务器。资源id业务组数量价格CPU内存硬盘uhost-dhpwokk8s-prod296011024MB系统盘:40GBuhost-4ngl5vk8s-prod4212024096MB系统盘:80GBuhost-d3hubadb4260024096MB系统盘:20GB;数据盘:200GBuhost-y0houedns184011024MB系统盘:20GB;云硬盘:10GBuhost-joybolmem196012048MB系统盘:20GB;数据盘:100GBuhost-venyiqrds2760024096MB系统盘:20GB;数据盘:100GB;云硬盘:100GB通过以上基本费用为：87800元，这是服务器架构最小配置单元，可以支撑>5000IP同时在线；随着业务的不断增加，数据和网络带宽可以进行横向和纵向扩展，费用跟着涨上去。PaaS平台即服务(PaaS)是一款云计算服务产品，向用户提供云环境，用户可在其中开发、管理和交付应用。除存储器和其他计算资源以外，用户能够使用预构建工具套件，开发、定制和测试自己的应用。主要功能PaaS提供平台和工具，用于在相同的环境中测试、开发和托管应用。使组织能够将精力集中于开发，无需担心底层基础架构。提供商管理安全性、操作系统、服务器软件和备份。促进密切协作，即使团队远程工作也毫不影响。我们在PaaS领域具备先进的技术方案，包括K8s大数据微服务、分布式数据库系统、ETL数据处理等，这些都为系统构建基础平台打下坚实基础。下面分开讲解PaaS里几个重要部分。K8s微服务架构在PaaS端重点实现服务和软件的架构设计，我们采用K8s微服务模式，架构如下：Kubernetes各个组件的角色可以归为三类即Master、Minion、Etcd，Master主要是kube-apiserver、kube-scheduler、kube-controller-manager，Minion主要是kubelet和kube-proxy。Rancher为了融合k8s的管控功能，又在Master中添加了kuberctrld、ingress-controller、kubernetes-agent三个服务来打通Rancher和K8s，同时每个node上都会依赖Rancher提供的Rancher-DNS、Rancher-metadata、Rancher-net这些基础设施服务。分布式数据库分布式数据库是总平台云存储中的另一个核心模块，实现结构化信息的存储与检索功能。云存储的分布式数据库具有如下特性：分布式数据库架构1、海量数据处理框架为了解决海量数据的存储与查询检索的效率问题，数据分布式存储及它的并行处理保证了每天几千万甚至上亿条记录存储、查询检索高效率，为海量数据的高效应用提供了坚实可靠的保障。2、标准数据库接口方式提供服务分布数数据库提供标准的SQL接口，应用系统可以方便快捷的接入数据库。结构化查询语言(StructuredQueryLanguage)简称SQL，结构化查询语言是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。是最重要的关系数据库操作语言，并且它的影响已经超出数据库领域，得到其他领域的重视和采用，如人工智能领域的数据检索，第四代软件开发工具中嵌入SQL的语言等。采用这种标准SQL接口，方便系统接入、易于扩展。3、快速的数据插入效率使用数据库存储数据时，使用分型树索引，支持快速的带索引入库，使得对数据库应用方式的考虑大大简化。带索引插入速度大于8000条/秒。由于它的分布式并行特性，在用其他方式存储数据时，由其存储效率是单机的数倍。4、优越的查询性能利用高效分布式并行查询，每个查询被分割成若干个小的查询任务到各个数据节点上同时进行查询，能大大加快查询速度，提高查询效率。5、支持多种数据源采用一种数据适配的方式访问数据。对于数据的存储可以有不同的方式，仅需增加一种数据适配器即可。这种方式易于扩展，方便各种数据存储方式的兼容。比如，应用系统有几种数据源，数据库、solr、文件等，仅需做相应的配置即可将该数据源接入到系统中，轻松实现该数据源的存储及查询检索。对于未预制的数据源仅需开发此数据源的一种适配器即可轻松接入。6、支持全文检索扩展对非结构化数据存储与检索的功能，支持对文本字段的快速检索。对文本字段内容的查询使用solr搜索引擎进行查询，然后将搜索结果提交到数据库返回查询结果；即保证了对结构化数据查询检索的高效，又兼容了对非结构化数据(文本)检索需求。7、安全可靠外部访问通过一个群集管理访问，任何一个节点故障都不会影响系统的正常使用。在数据存储层可以采用数据冗余、备份技术保证数据的安全、完整、可靠。以上的系统特征使得OPAQ系统更加健壮，更加安全可靠。8、良好的扩展性由于分布式数据库内部节点的对等，可以很方便的对系统迁移扩容，只需将节点完全复制，数据做相应的迁移即可。ETL工具技术方案ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）。Kettle是一款国外开源的ETL工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 Kettle作为一款开源的ETL工具，可以安装在window或linux环境下，并提供window下客户端软件进行操作和管理工作。 Kettle支持多样化的数据源，包括文本文件，EXCEL、XML、ACCESS文件，可以通过ODBC和JDBC接口访问所有关系型数据库。 根据软硬件环境的情况，利用管理工具对ETL工具进行管理时，响应时间可以达到秒级。 在软硬件环境保障基础上，ELT工具的可用性可以达到99.9%以上。 Kettle在管理ETL工作时，作业的一致性，完整性，准确率可以达到99%以上。 Kettle的监控和管理工具可以发现作业的异常情况，以便及时进行处理，保障业务不中断。有了IaaS和PaaS基础以后，基于底层平台搭建技术模型，所有的软件应用开发都会在这个技术平台上运行，一套优秀的技术选型是节约开发成本、提高开发效率、适应敏捷开发思想、拥抱未来技术趋势的必备。后端技术选型考虑PC端和移动端的兼容，同时考虑和第三方平台的集成（如微信），也不排除开发独立的APP应用，系统后台采用Nodejs/Java/RubyonRails服务框架，通过集成现代先进的Web前端开发框架Bootstrap/Webpack，达到多终端适配的目的。采用Warden和Doorkeeper身份验证机制，Redis、Memcached实现数据缓存，ElasticSearch搜索引擎。下面单独讲解相关技术能力。1、Node.jsNode.js是一个基于ChromeV8引擎的JavaScript运行环境。Node.js使用了一个事件驱动、非阻塞式I/O的模型，使其轻量又高效。Node.js的包管理器npm，是全球最大的开源库生态系统。其特点为：1.它是一个Javascript运行环境2.依赖于ChromeV8引擎进行代码解释3.事件驱动4.非阻塞I/O5.轻量、可伸缩，适于实时数据交互应用6.单进程，单线程同时Node.js提供RESTfulAPI的Web服务，接收几个参数解析它们，组合一个响应，并返回一个响应给用户。这是适合Node的理想情况，因为您可以构建它来处理数万条连接。它仍然不需要大量逻辑；它本质上只是从某个数据库中查找一些值并将它们组成一个响应。由于响应是少量文本，入站请求也是少量的文本，因此流量不高，一台机器甚至也可以处理最繁忙的公司的API需求。Node.js2、RubyonRailsRubyonRails正在令整个Web开发领域受到震憾。Rails是用Ruby编写的一款完整的、开放源代码的Web框架，目的是使用更简单而且更少的代码编写实际使用的应用程序。Ruby是一门免费的、简单的、直观的、可扩展的、可移植的、解释的脚本语言，用于快速而简单的面向对象编程。作为一个完整的框架，这意味着Rails中的所有的层都是为协同工作而构造的，所以您不必自己再重复，可以完全只使用一门单一的语言。在Rails中，所有内容（从模板到控制流再到业务逻辑）都是用Ruby编写的。Rails支持基于配置文件和注释的反射（reflection）和运行时扩展。Rails是一个严格MVC模型架构的Web框架，首先需要理解的是它的模型/视图/控制器（model/view/controller，MVC）架构。3、ElasticSearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。TM-ElasticsearchService是基于开源的Elasticsearch的基础进行封装，植入探码科技在工业、制造业、金融业等行业模型算法构建的高可用、可伸缩的云端托管服务。ES既有国内优秀云计算服务商在计算、存储、安全等领域的技术优势和资源优势并且保持了Elasticsearch本身的兼容与开放能够为客户提供稳定、弹性可扩展的服务。TM-Elasticsearch丰富的集群管理功能，帮助客户免去软硬件部署调试工作聚焦业务本身。同时探码ES适用于海量数据存储搜索、实时日志分析等场景，如网站搜索导航、企业级搜索、服务日志异常监控、点击流分析等。ES架构前端技术选型结合目前新兴的技术开发趋势和多终端适配情况，我们采用Vuejs、jQuery、AngularJS作为前段交互驱动，采用Bootstrap4、Element-ui，TMDashing,D3.js作为前段展示框架。1、BootstrapBootstrap是最受欢迎的HTML、CSS和JS框架，用于开发响应式布局、移动设备优先的WEB项目。简洁、直观、强悍的前端开发框架，让web开发更迅速、简单。Bootstrap让前端开发更快速、简单。所有开发者都能快速上手、所有设备都可以适配、所有项目都适用。虽然可以直接使用Bootstrap提供的CSS样式表，不要忘记Bootstrap的源码是基于最流行的CSS预处理脚本-Less和Sass开发的。你可以采用预编译的CSS文件快速开发，也可以从源码定制自己需要的样式。一个框架、多种设备你的网站和应用能在Bootstrap的帮助下通过同一份代码快速、有效适配手机、平板、PC设备，这一切都是CSS媒体查询（MediaQuery）的功劳。特性齐全Bootstrap提供了全面、美观的文档。你能在这里找到关于HTML元素、HTML和CSS组件、jQuery插件方面的所有详细文档。Bootstrap多终端适配CSS框架2、ReactReact是一个JavaScript框架，用于构建“可预期的”和“声明式的”Web用户界面，它已经使Facebook更快地开发Web应用。React推荐以组件的方式去重新思考UI构成，将UI上每一个功能相对独立的模块定义成组件，然后将小的组件通过组合或者嵌套的方式构成大的组件，最终完成整体UI的构建。例如，Facebook的整站都采用了React来开发，整个页面就是一个大的组件，其中包含了嵌套的大量其它组件。React是基础框架,提供了一套基础设计实现理念。React.js是在React理念的指导下产生的专门用来开发网页的web前端框架。与React同时出现和发展，React的相关概念都在React.js文档中。ReactNative是用来开发移动端app的。只不过是用了React.js那套模式，而底层是对NativeCode的封装及调用。3、Vue.jsVue.js是一套构建用户界面的渐进式框架。与其他重量级框架不同的是，Vue采用自底向上增量开发的设计。Vue的核心库只关注视图层，它不仅易于上手，还便于与第三方库或既有项目整合。另一方面，当与单文件组件和Vue生态系统支持的库结合使用时，Vue也完全能够为复杂的单页应用程序提供驱动。公共账户系统据我们在互联网行业多年积累下来的经验，参考了其它同行的成功经验整合了先进的思想，我们开发了一套功能完善而且又灵活方便的安全管理系统，使开发人员从权限管理重复劳动的负担中解放出来，专心致力于应用程序的功能上的开发。用户角色管理系统详见/。系统主要解决的问题：单点登录登录一次即可立即访问您的所有应用。多因素身份验证通过增加的身份验证级别防止身份攻击。生命周期管理自动化人们进入，跨越和离开组织的方式。通用目录集中管理组织中的每个用户，应用，设备和API。API访问管理使用我们强大的策略框架授予对API的安全访问权限。安全策略企业信息管理系统是一个大型的分布式数据资源管理系统，它包括信息量巨大以及不同程度的信息敏感度，各种有访问需求的用户，使得其安全管理非常复杂。基于角色的系统安全控制模型是目前国际上流行的先进的安全管理控制方法。我们的安全管理系统也根据自身的需要有选择性的吸收其部分思想。其特点是通过分配和取消角色来完成用户权限的授予和取消，并且提供了角色分配规则和操作检查规则。安全管理人员根据需要定义各种角色，并设置合适的访问权限，而用户根据其责任和资历再被指派为不同的角色。这样，整个访问控制过程就分成两个部分，即访问权限与角色相关联，角色再与用户关联，从而实现了用户与访问权限的逻辑分离，如下图所示，角色可以看成是一个表达访问控控制策略的语义结构，它可以表示承担特定工作的资格。角色定义基于角色的访问控制方法的思想就是把对用户的授权分成两部份，用角色来充当用户行驶权限的中介。这样，用户与角色之间以及角色与权限之间就形成了两个多对多的关系。系统提供角色定义工具允许用户根据自己的需要（职权、职位以及分担的权利和责任）定义相应的角色。角色之间有相应继承的关系，当一个角色r1继承另一个角色r2时，r1就自动拥有了r2的访问权限(表示r1->r2)。角色继承关系自然的反映了一个组织内部权利和责任的关系，为方便权限管理提供了帮助。角色继承关系提供了对已有角色的扩充和分类的手段，使定义新的角色可以在已有角色的基础上进行，扩充就是通过增加父角色的权限去定义子角色，分类通过不同子角色继承同一父角色来体现。另外还允许多继承，即一个角色继承多个父角色，多继承体现对角色的综合能力。权限配置角色是一组访问权限的集合，一个用户可以是很多角色的成员，一个角色也可以有很多个权限，而一个权限也可以重复配置于多个角色。权限配置工作是组织角色的权限的工作步骤之一，只有角色具有相应的权限后用户委派才能具有实际意义。分析层开发数据分析层是一个比较具有挑战性的地方，我们可以采用通用的大数据构件来完成部分工作，同时需要结合现实场景的业务需求，对数据进行可用性分析；同时，还需要设计一种逻辑，能够松耦合的对接应用层。所以在分析层设计方法上，我们参考了工业4.0APP生态系统设计、IBM/腾讯云等大型PaaS系统设计，实现一种可视化设计、查看，组件化封装，模型超市化理念整合的思路，完成分析层的结构设计，功能架构参考下图：本架构将对采集、分析的数据进行统一、标准的规范。产品边缘存储的数据分为两类，一类是实时数据库，一类是历史数据库。实时数据库可以按照“数据类型——采集对象——数据分类”的结构进行规范，分析数据可以根据“算法大类——算法小类——算法编号”的结果进行规范。基于数据的统一规范，可以为各模块之间提供统一的接口，也可以为上层管理系统，包括应用系统系统和第三方提供标准的数据接口。数据层提供的人才库、简历库、项目库等，都会通过分析层进行加工处理，算法模型预处理，然后形成数据标准推给接口层。接口层开发接口层采用统一的RESTful统一资源接口架构，RESTful架构遵循统一接口原则，统一接口包含了一组受限的预定义的操作，不论什么样的资源，都是通过使用相同的接口进行资源的访问。接口使用标准的HTTP方法如GET，PUT和POST，并遵循这些方法的语义。如果按照HTTP方法的语义来暴露资源，那么接口将会拥有安全性和幂等性的特性，例如GET和HEAD请求都是安全的，无论请求多少次，都不会改变服务器状态。而GET、HEAD、PUT和DELETE请求都是幂等的，无论对资源操作多少次，结果总是一样的，后面的请求并不会产生比第一次更多的影响。同时探码采用Grape来作为接口层技术，Grape是Ruby的类似RESTful的API框架。它通过提供简单的DSL来轻松开发RESTfulAPI，旨在运行Rack或补充现有的Web应用程序框架（如Rails和Sinatra）。它内置了对常见约定的支持，包括多种格式，子域/前缀限制，内容协商，版本控制等等。TM-Grafana数据超市

使用TM-Grafana实现数据集成，Grafana是一款采用go语言编写的开源应用，主要用于大规模指标数据的可视化展现。有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，支持Graphite、InfluxDB、Prometheus和OpenTSDB、MySQL数据源。模型超市同时，在接口层设定一套标准的模型接入方式，可以方便的将不同的算法模型植入到平台中。解决数据输入输出的问题，为了方便理解，以下举例如何植入【SMEST成长性评价数学模型】算法进行说明。SMEST成长性评价数学模型成长性评价模型从多个维度出发对企业进行评价，需要上百项字段输入，通过算法计算，得到结果。目标函数

maxf约束条件Pr通过目标函数，我们推断出必要的输入条件，下面举例U1类输入要素：第一步：构建要素判断矩阵，并根据要素重要性进行专家赋值，形成各要素相对重要性列表(U21,U22,U23,U24,U5,U26,U27)=(1,5,7,3,9)项目与重要性赋值U21U22U23U24U25U26U271357398U2111.00000.33330.20000.14290.33330.11110.1250U2233.00001.00000.60000.42861.00000.33330.3750第二步：利用重要性列表各行，计算权数WU210.00000.2387/WU220.09640.7160WU233.44471.1933WU2792.46701.9092权数小计8.5915根据输入要素，判断结果条件，得到需求字段，如：序号一级指标二级指标8盈利能力U2最近一期资产总额U219最近一期负责总额U2210最近一期所有者权益总额U2311最近一期营业收入U2437经营成长U5近三年资产总额U5138近三年负责总额U5239近三年所有者权益总额U53最后，我们发现只要获得对应的输入字段，系统自动算出结果，我们将评价模型的评价逻辑、评价规则、评价要素存储在系统中。评价过程在系统内完成，评价输出决策结果，供进一步审核。SaaS服务IaaS和PaaS都是面向开发的底层技术，是承载一个项目的地基，建立在这个地基之上的是SaaS服务，SaaS服务层实现用户交互界面、业务逻辑和商业模式。通过互联网和分布式数据库技术，为各租户统一安装一套系统，各租户的数据被严格区隔开，并利用平台化技术实现每个租户的个性化需求。SaaS架构的逻辑图如下图所示：SaaS架构图什么是SaaSSaaS即SoftwareasaService软件即服务，也就是说，软件通过提供服务、租用、订阅的方式为客户提供服务，而非售卖软件产品本身。软件平台方拥有软件的知识产权，负责软件的运营和维护，负责软件的在线升级和安全保障；客户则通过软件授权使用，不需要购买，也不需要雇佣技术人员进行安装部署。SaaS模式渐渐成为现代软件开发的新趋势。SaaS软件的使用角色主要有平台方和软件使用方，有的情况还增加终端客户的参与。我们把平台方称为S（Software），软件使用方称为B（Business），终端客户成为C（Customer），则SaaS平台可以衍生出以下两种商业模式： S2C：平台对客户 S2B2C：平台对企业对客户*这里讲的S2B、S2B2C，是针对开发模式的思路理念，有区别于电商行业的S2B/B2B/B2C概念，以及阿里巴巴曾鸣提出的S2B概念。SaaS架构S2C模式软件平台方开放技术能力给C端用户使用，这类服务叫做S2C模式，S2C模式的应用案例如各大云计算平台（阿里云、腾讯云、UCloud等），工具软件如石墨、易企秀等，电商如京东等，S2C模式的特点：1.S作为平台方，为C端用户定制软件工具，有别于B2C的一点就是S具有平台属性，可扩展能力，和强大的生态整合属性。2.平台S端定制整个商业规则，负责软件的升级维护和发展方向改变，拥有软件的所有知识产权，C端用户具有使用权。3.C端产生的数据为C所有，但是在S平台上协同；S为C端数据提供必要的安全、隐私以及政策等保障。S2B2C模式平台S为B端赋能，B端企业再去服务C端用户，这种模式称为S2B2C模式，平台端不仅要为B端开发管理工具，同时也为C端提供应用界面；平台与B端共同为C端服务。这类模式的应用案例有如具有分销功能的微商系统，具有会员/加盟/连锁管理体系的新商业。这个模式的特点：1.平台S端是整个软件的开发者、商业规则制定者和产品的运营维护者。2.B端用户充当中介/代理/经销商的角色，在S制定的规则下运行。3.C端用户既能感受到B的存在，也能感受到S的存在。*另外，S2B2C模式还可以继续衍生出S2B2B2C模式，以及S2B2*2C模式，关键看中间管理层级的多少。SaaS技术架构SaaS平台开发理念：基于一个平台构建生态逻辑，保持一致性。统一用户认证、支付、日志管理等通用功能。应用只关心自己的功能部分，应用之间尽可能解耦。SaaS软件的技术架构如下，其中SSO为单点登录中心，负责用户账户管理、权限认证、应用授权等；CC（CustomerCenter）为用户控制中心，为整个平台的控制枢纽，应用的管理、按照、Plan计划等都在这里完成；应用超市部分为一个个独立的APP，以一种独立的方式运行在SaaS系统里。SSO为单点登录中心：负责用户账户管理、权限认证、应用授权等；CC（CustomerCenter）用户控制中心：为整个平台的控制枢纽，应用的管理、按照、Plan计划等都在这里完成；分为前台和后台两部分组成；应用超市：为APP集合，每个APP以一种独立的方式运行在SaaS系统里其他第三方平台：为本系统开发API接入的应用平台，本系统通过开发API为其他第三方平台赋能。本系统的整体流程结构如下图所示：SaaS系统涉及到的用户角色有：开发人员、系统管理员、运营人员、产品使用者和客户几类。他们各自使用软件的流程如下:如上图所示，用户可以通过不同的入口登录平台，平台通过判断用户的不同角色和权限，跳转到不同的管理中心，每个角色分工明确。每个角色使用系统的流程在下面分别介绍。开发者开发一个APP应用的流程如下：我们会根据业务需要，构建一个通用版本的APP模板，取名叫Our-Basic-Rails，这个通