一直在学习-00armARM物联网协同创新中心

第一 物联网协同创新中心规划背 项目概 项目建设背景概 产业技术研创园概 ARM公司概 物联网协同创新中心建设必要性分 促进园区企业快速成 推动园区创新发 规划原则及依 规划原 建设原 依据和标 第二 需求分 业务需 建设需 第三 总体架 第四 建设内 感知 网络 平台 基于容器 平 基于虚拟化 平 PaaS基础能力平 大数据能力平 物联网能力平 运维平 应用 展示 第一章物联网协同创新中心规划背项目项目建设背景概或者一个区域。现如今，物联网产业的发展处在一个的黄的价值，约占全球经济1/10，并与城市管理、生产制造、家庭事务、汽车驾驶、能源环保、物流、消费结算、个人健康等重要领域结合，形成数个千亿级规模以上的细分市场。随着技网成为不少国家抢占发展制高点的选择，各大科技巨头也开始在2017年9月举行的世界物联网博览会上，江苏省书记李千亿级的企业；而物联网将实现千亿量的连接，这一个极而出；也有人，将会是具有强大创新力的互联网巨头而大家就会想到BAT，就会想到、杭州、。当然，产业大突索、多年的积累，必定有适宜的生态第三，物联网的大规模应用必定和新一轮科技与产业相伴随，使跨界融为产业发展的一大趋势。物联网作为新一代信息和巨大的发展空间。可以说，物联网引领智能生产新，创造智慧生活新空间，催准医疗、精准养老等事业，促进安保事业和式。一方面，物联网对可以提高生产力，并对生产方式产生深刻而导致生产力和生产方式的。力于支持设计、智能制造、物联网、云计算、大数据、AI/AR等领域企业创业创新。ARM司与研创园携手合作，打造一个面向产业技术研创园概产业技术研创园位于国家级新区——江北新区。2015年6月洲街道构成，总面积2451平方千米，占市域面积的37%，是华东区的综合门户，连接中西部的重要区域。江战在机遇。6年2月，确定江北新区纳入服务贸易创新发展试点，2016年3江北新区管委会批准，在高新区内设立于高新技术产业开发区，位于江北新区滨江区域，规划面积创新中心和具有国际竞争力的现金创造业。周边已建成的过江通道围绕研创园构建了化的交通网络，实现研创园与主城无缝对接；研创园到高铁南站仅需20分钟，到禄口国际机场仅需40分钟。在建的长江五桥连通研创园与河西CBD，规ARM公司概而它也将是物联网时代的IP者。ARM占据了移动终端IP核99%的市场份额，其产品被广泛的应用于智能、电视机、汽ARM公司在物联网领域有着全面布局和深厚积累：1）ARM的Cortex-M+NanoStack、NanoRouter、ARMMbed物联网设备平台，提供了所有关键组件，通过ARM的mbed操作系统、mbed设备服务器以及mbed社区生态ARM与IBM合作推出一款物联网“入门套件”，以此来简化ARM投资3.5亿收购英国Apical，致力于解决时代，海量的物联网连接需要低成本、低功耗的和模组。而多年来一直专注于低费用、低功耗、高性能研发的在这方面具备别人无可替代的优势和通讯模组构成的信息和控制设备，是人工智能提供数与紧密结合，与技术深入融合，确保整个物联网系统可靠，数据。促进园区企业快速业、宜资、宜居”的发展环境，打造“之城、创新之城、之属于前沿高科技领域，大、附加值高、轻资产、流动性大、覆盖沿技术，找准创新方接产业资源，提供实证环境，降低创新成推动园区创新发数据等技术的园区综合管理系统可以高效和管理各板块进规划原园区、ARM工程、设计单位、建设单位相互配合，在组织、的规划中，遵循以下方针：要围绕园区产业布局部署创新链，围绕创新链完善链，瞄准推动园区企业向价值链中高端跃升，从而为园区发展提供有力支建设原ARM物联网协同创新中心，采用ARM作为整个EBC的智能设备控制；采用ARM物联网体系架构构建整个EBC的系统架构；采用ARMEBC的成功经验进行体验设计。同时遵照如下联网协同创新中心，确保项目的可和可实施。依据和标《信息通信行业发展规划物联网分册》（2016-2020年《江北新区产业技术研创园管理与ARMLIMITED执行协议》。第二章需求分业务万众创新”的，为物联网产业的发展提供人才和创意支持；更术对接平台，依托ARM全球生态系统，为企业共同建设智慧城市、智慧工业、智慧家居等物联网产业做出示例，为后续打造一批重的可成型方案，加速江北新区物联网建设，把江北新区打造成种要素在这里充分碰撞和交流，汇聚业界的前沿技术方案和开提供更好更优质的平台，促进新兴产业的蓬勃发展以及传通过以上需求分析，物联网协同创新中心得出以下业务求为研创园企业提业：研创园入驻企业大多为高新、技术企业，企业创新需求旺盛，对产业资建设在我国的性新兴产业中，物联网产业具有资源消耗少、环与产业相伴随，使跨界融为产业发展的一大趋势，物联网推动产业结构性调整，增强我国自我创新能力、提升社会和公江北新区作为中国国家级新区，发展定位是国家级产业升级、新型城镇化和开放合作示范新区，在整个国家和区域产业知、有体验的未来世界物联网的体验中心，构建更加开放、协同、共享的产业生态系统，进一步完善物联网共性技术、、技术标准与检测认证、推广展示等四大类公共，健全资源共享、风、储能系统等进行接入和管理，配合部署的传感器、高协同创新中心建设平面布局如下图所示往。其中通过市民“一家”的视角来展示现代城市的一个智慧串联家的一天。第二层为公务管理展示区，展现智慧楼宇和智慧城市4同创新中心参观流第三章总体架物联网协同创新中展示应用平台网络感知温度传声音传NB-连接与通信管居住社街边小火车餐居家养堵车现交通事故事故物联网协同创新中展示应用平台网络感知温度传声音传NB-连接与通信管居住社街边小火车餐居家养堵车现交通事故事故预城市绿接待大各类传感器设手持设技术共实证体运维管网络服服主机服负载均衡服数据库服集群管理服中间件服设备管理平智慧楼宇控制智慧城市控制沉浸式体验中生态建企业孵数据分析平应用开发平处理平信息服协议管5EBC体架 和、RFID、头、GPS、温湿度等传感NB-IoT、Lora、GPRS/3G/4G等，负责实现感知层与应用层的信息平台层：平台层包括、PAAS和物联网能力服务三个子系统，层是PAAS、物联网能力服务和应用部署提供基础IT资源。层采用部署在ARM服务器集群和X86服务器集群之上的容器云管理集群。PAAS层提供基础能力为物联网能力层与SaaS应用提供基础服务，如负载均衡、集群服务、协议管理等，以部分：连接与通信服务：支MQTT、HTTPs、COAP等协议对设应用开发服务：提供定制开发服务，让希望数据的企业或用户轻松拥有自己的云平台与IoT应用，保证IoT应用应用开发时间比传统时间大量缩短至10倍以上；处理服务：对头进行AI分析处理，提供应用层：应用层则包括实证体验中心的十一个实证体验场展示层：EBC平台展示层基于应用层的十一验式场景，建立沉浸式体验中心，通过展示大屏、APP、 全息投影、眼3D等方式展示整个物联网带来的体验。同时通过智第四章建设内感知感知层是物联网的，是信息的关键部分。感知层位于感知层包括和识读器、RFID和、头信息，与结构中皮肤和五官的作用类似。对人类而言，是使用五官和皮肤，通过视觉、味觉、嗅肤，用于识别外界物体和信息。感知层解决的是人类世界和物牙、红外等短距离传输技术传递数据。感知层所需要的包器、头、GPS、 部分组成。该层的技术包括射频技术、新兴传感技术、无线网络组网技术、现场总线控制技术（FCS）等，涉及的产品包括传感器、电子、传感器节点、无线路由器、无线网关等。一些感知层常见的如下RFID：RFID的全称为RadioFrequencyIdentification，来为物联网中的各物品建立唯一的标示。间通过通信网络组成传感器网络，共同协作来感知和环境或物体的准确信息。而无线传感器网络（WirelessSensorNetwork，简称WSN，则是目前发展迅速，应用最广的传感器网络。人的神经中枢系统，负责将感知层获取的可靠地传输到的固网和移动通信网GPRS/2G/3G/4G等。而由于物联网的网络层承担着巨大的数据量，并且更高的WiFi和WiFi、蓝牙、Zigbee等等。网络层组网示意图如图66网络层组网示意图智慧中继主要技术参数如下主控DCCONNECTIDLESleep3mARS-232：DB9RS-485：2SMA尺寸82x85.5x--5%～95RH√ATATTCP√√Socket2本项目中物联网设备的处理ARM供的技术为主，而本项目中采用以LoRa技术为主的网络接入技术。端（可内置LoRa模块、网关（或称、Server和应用服务四网络服务器经由安全的TCP/IP无论是有线或无线连接到多个网关;消除了重复的消息;决定哪个网关应结束节点消息作出管理具有自适应数据速率（ADR）方案来最大化网络能力和延伸端节点的电池端节点的数据速率。应用服务器收集并从端节点分析数据并确定端节点行动LoRa的智能终端主要包括无线模LoRa网关基于LPWAN远距离无线通讯模块，具有低功耗、高灵敏度、等特点，支持LORAWAN标准协议，串口数据透传双向通讯，具a）支持超远距离传输：最高可达无遮挡15公国家LORA网络可互操作。在智慧中继中集成LORALoRa网关也称为LoRa，低功耗广域网的关键节点设备，支持LORA端定位、测速，可以实现多频点、多信道的同时接收，支持4G全网通通信。LoRa网络管理包含功能如下Lora议中有ClassA/B/C终端设备，这三类设备设备激活认支持设备认证激活，设备激活后，终端会如下信息：设备地址(DevAddr)，应用ID(AppEUI)，网络会话密钥(NwkSKey)，应用设备管理全面支持ClassA、ClassB、Class-C类设备，支持带应答的上下行数据处理。支持ABP和OTAA两种加网方式。在ABP方式中，AS提供给LoRaServer一个node-session。在OTAALoRaServer调用将接收到join-request给AS，如果准许的话，它会发join-accept节点。支持速率自适平台基于容器的平底层物理/虚拟基础设施：底层计算、网络和资源，包括虚拟机混合组成，容器支持机和虚拟机的混合基础设施。务器由或硬件负载均衡设备进行负载均衡并提供单一入镜像仓库：云平台使用Harbor镜像仓库，镜像仓库采节进行。应用服务：云平台可以使用Gitlab作为应用服务服务器，应用服务服务器HelmCharts格式的应用模板，云系统：云平台使用Prometheus系统，系统在容统，系统使用Grafana进行信息的展示。日志系统：云平台内置基fluentd的日志收集客户端，支持将日志发送到ElasticSearch、Kafka、Splunk、rsyslog 容器技术的鼻祖是互联网巨头，使用容器技术的初衷是为了使运行在同一机器上的不同作业能够实现性能，业向「互联网+」的利器。Docker是当前最受关注的容器技术之一，它是由Docker一个可移植的容器中，然后发布到任何流行的Linux服务器上运行，这就是Docker「Buildonce,Runanywhere在Linux参与的一项中，Docker是开源历史上发展最快的项目。根据研究机构Forrester公司的一项发现，31%的开发者表示他们已经在过去的一年里使用过Docker或容的是，Docker公司的服务和技术支持副在2015年全球Docker，并正在往生产系统迁移【图】Docker的架构概览（来源：Docker特性一：容器了应用交付模式。Docker创始人Solomon可移植性。总之，广大开发可以使用容器进行封装、交付和运LXC容器，可以在任何地方运行。系统内核共享的方式，共套托管操作系统。这意味着，Docker术，最大的法宝就是它标准化了云的交付件。过去，应用的存在形式是一个大而全的整体，而在容器的世界里，应用是根业务逻辑切分成不同的模块，然后封装成容器的形式存【图】容器——应用的标准交这是一个IT方法论的，它将应用生产和运维的方式标准化和模块化，而标准化和模块化往往意味着高效。无论是在交付之前的研发过程，还是交付之后的运维管理过程，标准化容器技术开启了应用的工业4.0时代。器给应用交付带来的要体现在两个方面：交付前的快速交付交付新能力——持续交付和持在「互联网+」的趋势下，的一个最大的就是如何实现联网化的最重要的指标。然而，传统的开发模式已经成为企业产品迭代速度的瓶颈。传统开发模式中，开发、测试、运维被分割成独立的阶段，每个阶段分别交付不同的内容，开发交付代码、测试交付测试包，运维部署运行环境，在这样的协作方式下，迭代达到了极限，已经「互联网+」趋势对无法进行管理，存在安全隐患。来了全新的思路。Docker容器技术了云的交付件，无论是开发、测试、还是运维都交付容器镜像，并且都基于镜像仓库进行协作。交付前开发需要完成迭代和移交镜像和镜像构建的过架构新能力——云+微服务架在「烟囱式」IT架构向混合云架构的过程中，有两个关键变；另一方面，计算资源由计算资源向分布式架构转变。Docker代表的容器技术的出现，为烟囱IT构提供了堪称完美的解决方案。首先，Docker为微服务架构的实现注入了新的。微服务架构本身非常多样化，切分完成后，每个模块都可以由不同的团队来，也可以用不同的编程语言来编写，这会加大系统运维的难度。但是Docker容器将这些模块封装成的容器镜像，这使得平台的自动化运维变得简单。同时，式系统的部署和运维，为计算资源由过去资源向分布式架构转运维新能力——高效用的又一个重大课题。互联网IT运维的观点是——任何一个IT系统都有可能是不可靠的，因此，运维的关键就变成如何从分布式系统的管理 集群编排调度框后贡献给CloudNativeComputingFoundation的开源容器集群管署、可拓展、应用容器可运营的平台。Kubernetes常结合docker容器工具工作，并且整合多个运行着docker容器的主机集群。Kubernetes的历史舵员”或者“”）由JoeBeda,BrendanBurns和Craig展和设计受到的B 许多主要贡献者来自B 布了v1.0版本。随着Kubernetesv1.0版本的发布，和Linux合作成立CloudNativeComputingFoundationKubernetes定义了一套堆积木，这些堆积木提供部署、维护和扩展应用的机制。构Kubernetes这些组件KubernetesKubernetes延展性在很大程度上是KubernetesAPI供Pods（豆荚Kubernetes中的基本调度单位叫“pod”。它增加了更的抽象来容纳各种组件。一pod一个或者多个容器组成，这些容器能够部署在同一台物理主机上面，并能够共享资源。Kubernetes集群的每一个pod被指定了唯一的IP地址，用户程序可以通过相应的端无地连接各个pod。pod能够定义一个卷（volume，比如一个本地磁盘或者一个网络磁盘，然后把它暴露给pod的容器。用户可以通KubernetesAPI动管理pod，和选择Kubernetes可以让客户端（用户或者组件）把被称之为标签的键值对依附在系统的任何API对象上，比pods“nodes”。相应地，”选择器”是针对的查询，这些end“,“back-end“,)和release_track(“canary“,“production后所back-endcanary“节的操作都可以使用如下所示的选择器：tier=back-endAND控制集群状态变成所需的集群状态。一种控制器叫”控制器“，通过运行指定数目的跨集群的pod副本来进行和扩展操作。如果底层的节点失败了，它还能处理和创建用于替换的pod。其他的控制器是Kubernetes系统的一部分，包括一个运行在所有机器（或者所有机器的一些子集）但恰好一个pod上的”DaemonSet“控制器，以及一个运行pod直到结束的”Job“控制器（比如，作为批作业的一部分。控制器所管理的那一系列pod由定义在控制器里的部分选择器决定。服一个Kubernetes务是一系列工作在一pod，比如多层应个集群内（比如，的pod会被分到一个服务中，来自前端，（比如，为客户端前端的pod。架【图】Kubernetes架那些管理单个节点和那些控制平面（controlplane）的部分。Kubernetes控制平面Kubernetesmaster要是在不同系统之间负责管理工作负载和指导通信的控制单元。Kubernetes的控制平面由不同的组件组行在由多个master支持的高可用集群中。Kubernetes据器。它能够可靠地集群的配置数据和展现整个集群在某一时间点的状态。其他的组件监视着这个器的变化情况以便更APIAPIServer一个关键组件，它HTTP议JSON端能够在各个worker节点上配置工作负载和容器。源。为了达到这个目的，scheduler须知道可用资源的情况和在Controllercontrollermanager是Kubernetes控制器（比DaemonSet控制器、控制器）所运行的进程。这些控制器跟Kubernetes（Node（（runtime（Docker）以及下面所提到的组件，用来和通信以便让这些容器进行网Kubelet责每个节点的运行状态，也就是说确保节点中的所有护容器（组织成pods。Kubelet监视一个pod的状态，如果没有看到想要的状态，那么这个pod被重新部署到同一个节点上。节点的状态依赖于每几秒所发送给master的心跳信息。当master侦测到一个节点失败了，复制控制（ReplicationController）就会知道这个状态改变了，然后会在另一个正常的节点上启动相应的pod。Kube-点中容器的CPU、内存和网络使用情况）的者。容器与虚拟【图】虚拟机与容器其它系统完全不做任何修改就可以在虚拟机中运行。操作系统行的。完全虚拟化VMM以完整模拟硬件的方式提供全部接口(同时还必须模拟指令的执行过程)。植到虚拟环境中，支持多GuestOS。完全虚拟化的缺点就是虚拟机的GuestOS系统性能会受到影响，而且往往比原有的系统性能下。完全虚拟化虽然能够更容易地支持商业版本的操作容器(coniainer)是虚拟化操作系统环境的。在容器下只有一个底层操作系统内核，容器为进程组之间提供增强的性，这同的系统视图，它可以在本地CPU运行指令，避免了完全虚和系统调用替换的复杂性。唯一的根文件系个安全共享的系统可执行程序和库文件集时候甚至可以几秒钟内重启。IBM曾经在2014年进行了进行了详细的Docker容器和KVM对比测试并将研究结果在计算机科学杂志。根据IBM的给出的数据来看，以Docker为代表的容器技术在计算、、网络等各方面的性能都优于以KVM为代表的虚拟随着DockerKubernetes的发展，容器及相关编排调度技台大多已提供容器Kubernetes持或托管的Kubernetes其中包AWS、Azure、GCP、IBMBlueMix、阿里云、腾讯云、松迁移，也就是所谓的便携性图：目前支持Kubernetes的部分公有云、私有云平为云的一部分，60%的用户计划将容器技术用于本地和云端图：DockerCon2016户平台如AzureStack、OpenStack等创建的虚拟机，也支持纳管公有云平台如阿里云、AWS、Azure等的虚拟机进行的集群创建和管的能力，能够调用公有云平台API，自动创建容器集群并加入平台纳管。单套容器云平台可以管理本地私有云的容器集群和公有云集群，实现混合云的容器集群管理。用户可以根据需要将应用载部署在私有云集群或者公有云集群图：混合云容器集群基于虚拟化 平计算虚计算虚拟化基KVM，同时提供虚拟服务器和容器服务器来应已成为学术界的主流VMMKVM的虚拟化得到硬件厂商的支（如InVT技术或者AMDV技术是基于硬件的完全虚拟化，因此性能一举超过其他的虚拟化技术，经过调优之后的KVM更是将这资源供应性能是确保云服务质量的重要指标，需要在5-10秒成1个虚拟服务器的创建，而创建100台虚拟服务器只需数分钟。推迟甚至免除拷贝数据的技术。内核此时并不整个进程地址空数据才会被，从而使各个进程拥有各自的拷贝。也就是说，资源的只有在需要写入的时候才进行，在此之前，只是以只读方基于云计算架构，可以提供的方案满足不同的企业应用需求，包括性能块、性能快、容量块以及对象提供廉价、可靠的系统。总体架构如下图到硬件的性能。的总体解决方案不依赖于传统SAN架构的磁盘阵列，完全通过服务器内置SSD、SAS以及SATA硬盘构建出不同的服务。并且通过现代计算机技术，做到了将普通SAS盘的速度提高到SSD盘的水平，并且计划下一步将SSD盘的性能进行极大的提升。从而降低传统硬件在IT投入中的。分布式块云平台资源模块目前主要针对块设备（硬盘。将所有的硬盘构成一个全局的块系统，称之为GlobalBlockSystem，由它为云平台上的用户提供服务。可靠性和性能靠整体系统的设计，不再依赖昂贵的柜。这样的技术带来的I/O显著提升，可以满足并发用户激增时对写I/O性能的严格要求，并节省了投资。的系统可以支持两种类型的硬盘：性能型硬盘（I/O性能为36MB/s用于对容量要求较高的应用，例如文档等离线业务。运行中的主机上，为主机提供持久化的、块级，并可以随时解VSAN和通过SDS（定义）技术，可以快速地搭建专属的基于iSCSIVirtualSAN服务。首先需要创建一个Virtual端登录这些目标即可使用。过搭建基于iSCSI议的VirtualSAN服务，用户可以在你的应用系统之间共享数据。可用于构建OracleRAC等底SAN协议支持的应用；NAS是基于标准NFSSamba（CIFS）网络协议实现数据的传输，通过创NAS器，可以在多个主机客户端以及不同作系统间进行数据共享，并为您提供权限组和账号配置功能，便于对主机客户端进行控制和管理配置。网络虚网络虚拟化以方式完整再现了物理网络。虚拟网络不仅护等。网络虚拟化将逻辑网络连接设备和服务（逻辑端换机、路由器、、负载平衡器和等）提供给已连接的工作SDN技术，实现网络控制平面和转发平面的分离，由此提供更友网络。前者是一个由的全局网络，后者是基于VXLAN协议由VPC网络内，可以自定IP地址范围、创建子网，并在子的，以满足对安全的100%追求。 隧道服务和控制，涵盖了常用的网络配置与管理工作。当用户里，例如：Web服务器和DB服务器因为要求的不同而被分配一个私有网络可以连接254个子网（Vxnet，且最多可以容60,000台虚拟主机。通过分布式路由器和虚拟直连技术，QingCloud高可用。VPC网络也可以实现和公网Internet的高效互通，任意一台VPC网络管理的主机都可以直接绑EIP；同时，负载均衡器也可以直接连接VPC网络内的主机。在VPC网络里，管理路由器只负责 转发流量。VPC网络内的主机可以绑定自己的EIP；设置专属的防火墙，这些IP、与管理路由器之间没有隶属关系。自一个云主机可以加入多个自络，每个自络对应云主机从操作系统角度可以看到系统有4个网卡，eth0对应到受络，eth1~3对应到3个自络smn1,smn3和smn2。手工可以修改自络的网络配置。网络功能虚拟衡、虚拟功能。虚拟负载均衡器可以将来自多个EIP地址的流量分发到多台主机上，并支持自动检测并不可用的主机，从而提高业务的整你的服务能力，而且这些操作不会影响业务的正常。负载衡器支持HTTP/HTTPS/TCP三种模式，并支持，可以同时，提供的虚拟来保护网络的。虚拟采用的是分布式技术，就是利用每个计算节点物理主机的户提供了一个缺省，也可以自建的。不同的云服务器可以被设置不同的策略。实时副本的工作，为保证整个平台的性能，建议企业云平台的下，无需复杂的配置，无论是工程实施，还是后期，工作量都资源，需要提供的运维管理门户BOSS，对整个资源池进行集资源集中管展现物理和逻辑的资源关系视 第二层：HyperNode节第三层：该HyperNode下的虚拟主机和硬盘资 第二层：机第三层：物理服务硬路由负载均衡负载均衡转发策公备数据库管IP用户集中管列出所有的云平台用户，包括邮箱、角色、余额、创建间高级持续性（APT）检测系高级持续性（APT)检测系统可以实现已知，变种和未知的检测，实现安全总览。安全总览如下图所示。高级持续性（APT)检测系统功能如下整机状态查询，包括CPUCPU利用率数值在0-100之间，是此时刻使用的内存占总体的百分比。可实时展示沙箱中CPU使用情况，方便实时监测沙箱中的CPU使用情况，以免出现因为CPU使用而引起的性能问题。内存利用率数值0-100间，是此时刻使用的内存占总体的百便帮助用户实时监测沙箱中的使用情况。警告查询，包含类型、等级、文件类型统计和已知/变种/未知TOP5。PaaS基础能力平负载均衡、中间件、消息等平台，进一步形成集群管理、协议管理，最终完成对物联网能力、SaaSPaaS基础能力支撑。PaaS基础能力实现架构如下图所示：数据库Cassandra数据库ApacheCassandra是一个开源，分布式和分散式/分布式系ApacheCassandra弹性可扩展性-Cassandra是高度可扩展的;它允许添加的硬件以适应的客户和的数据根据要求。始终基于架构-Cassandra没有单点故障，它可以连续用于不快速线性性能-Cassandra是线性可扩展性的，即它为你增加灵活的数据-Cassandra适应所有可能的数据格式，便捷的数据分发-Cassandra通过在多个云平台之间数（ACID快速CassandraMySQL数据库司开发，目前属Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用。MySQL所使用的SQL语言是用于数据库的最常用标准化语言。MySQL采用了双政策，分为社区版和商业版，由点，一般中小型的开发都选择MySQL作为数据库。系统特性使用C和C++编写，并使用了多种编译器进试，保证支持AIX、FreeBSD、HP-UX、Linux、MacOS、NovellNetware、OpenBSD、OS/2Wrap、Solaris、Windows等多种操Python、Javrl、PHP、Eiffel、Ruby,.NET和Tcl等。支持多线程，充分CPU资源优化的SQL境中，也能够作为一个库而嵌入到其他的中。文的Shift_JIS等都可以用作数据表名和数据列名。提供TCP/IP、ODBCJDBC等多种数据库连接途径库支持多种引擎m）使用标准的SQL数据语言形式。MySQLPHP有很好的支持，PHP是目前最流行的开发语言来开发自己的MySQL系统。Redis数据库Redis是一个key-value系统。和Memcached类似，它支持的value类型相对，包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)hash（哈希类型。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同内存中。区别的redis会周期性的把更新的数据写入磁盘或者把修Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类key/value的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等客户Redis可执行单层树。存盘可以有意无意的对数据进行写操作。负载均衡服Nginx作为负载均衡服务器：Nginx既可以在直接支持Rails和PHP程序对行服务，也可以支持作为HTTP服务器对行服务。Nginx采用C进行编写，不论是系统资源开销还是CPU使用效率都比Perlbal要好很多。特点：b）无缓存的反向加速，简单的负载均衡和容错。c）d）模块化的结构。包括gzip,byteranges,chunkedresponses,以及SSI-filter等filter。如果由FastCG或其它服务器处理单页中存在的多个SSI，则这项处理可以并行运行，而不需要相互等待。Nginx代码完全用C语言从头写成，已经移植到许多体系结构和操作系统，包括：Linux、FreeBSD、Solaris、MacOSX、AIX以 Windows。Nginx有自己的函数库，并且除了zlib、果不需要或者考虑到潜在的，可以不使用这些第库。HAProxy是一个使用C语言编写的及开放源代码，提供高可用性、负载均衡，以及基于TCP和HTTP的应用程序代HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全单安全的整合进您当前的架构中，同时可以保护你的web服务器不被到网络上。大的并发连接数。多进程或多线程模型受内存系统调度器限型因为在有更好的资源和时间管理的用户空间(User-Space)实现所使每个CPU时间片(Cycle)做的工作。K8S一组具有相同功能的容器应用提供一个的地址，并且将请Web容器服务Jetty是一个开源的servlet容器，它为基于Javaweb容器，例如JSP和servlet提供运行环境。Jetty是使用Java语言编写的，它的API以一组JAR包的形式发布。开发可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行（stand-alone）的Java应用提供网络和web连接。Jetty特点：Jetty设计的基本原则，易用性主要体现在以下几个XMLAPIJetty进行配置；默认配置可以满足大部分的需求；将Jetty嵌入到应用程序当中只需要非常少的代码；AjaxWeb2.0的应用程序中，每个连就使得担心整个程序会因为单个组件陷入瓶颈而影响整个程序的性能。但是有了Jetty：易嵌入性，Jetty设计之初就是作为一个优秀的组件来设计的，这也就意味着Jetty可以非常容易的嵌入到应用程序当中而不需要程序为了使用Jetty做修改。从某种程度上，你也可以把Jetty理解为一个的Web服务器。Tomcat是Apache（ApacheSoftwareFoundation）的Jakarta项目中的一个项目，由Apache、Sun和其他一些公司及个人共同开发而成。由于有了Sun的参与和支持，的Servlet和JSP规范总是Tomcat中得到体现，Tomcat5支持最Servlet2.4JSP2.0规范。Tomcat技术先进、性能稳定，而且免费，因而深受Java者的喜爱并得到了部分开发商的认可，成为目前比较流行的Web应用服务器。Tomcat服务器是一个免费的开放源代码Web应用服务器，属于轻量级应用服务器，在中小型系统和并发用户不是很多的场合下被普遍使用，是开发和调JSP程序的首选。对于一个初学者来说，可以这样认为，当在一台机器上配置Apache服务器，可利用它响应HTML（标准通用标记语言下的一个应用）页面的立运行的，所以当你运tomcat时，它实际上作为一个Apache当配置正确时，ApacheHTML页面服务Tomcat实际上运行JSPServlet。另外，TomcatIISWeb服务器一样，具有处理HTML页面的功能，另外它还是一个Servlet和JSP容器，独立的Servlet容器是Tomcat的默认模式是一个基于J2EE的开放源代码的应用服务器。JBoss代码遵循LGPL，可以在任何商业应用中免费使用。JBoss是一个管理EJB的容器和服务器，支持EJB1.1、EJB2.0EJB3的规范。但Jetty绑定使用。JBoss安装便捷：解压后，只需配置一些环境变量即可。d）文件到部署路径下即可自动加载；如果有改动，也会自动f）用户可以直接实施J2EE-EAR，而不是以前分别实施EJB-g）Jboss支持集群。NettyJBOSS提供的一java开源框架。Netty提供异步也就是说，Netty是一个基于NIO的客户、服务器端编程框架，使用Netty可以确保你快速和简单的开发出一个网络应用，例网络应用的编程开发过程，例如，TCP和UDP的socket服务开发“快速”和“简单”并不用产生性或性能上的问题。Netty是一个吸收了多种协议的实现经验，这些协议包括FTP,SMTP,HTTP，功的找到了式，在保证易于开发的同时还保证了其应用的性中间件MQTT（MessageQueuing 输）是IBM开发的一个即时通讯协议，有可能成为物联网的重要组接起来，被用来当做传感器和制动器（比如通过让房屋联要的几项特性对负载内容的消息传输；c）使TCP/IP提供网络连接；据，丢失一次读记录无所谓，因为后还会有第二次发送。e）小型传输，开销很小（固定长度的头部是2字节协议交换最小化，以降低网络流量LastWillTestament特性通知有关各方客户端异常用程序的数据）来通信，而无需连接来它们。消息传递指用彼此来通信，直接调用通常是用于诸如过程调用的技术。排系统。他遵循MozillaPublicLicense开源协议。RabbitMQ是流行的开源消息队列系统，用erlang语言RabbitMQ是AMQP（高级消息队列协议）的标准实现集群管理服集群是在一组计算机上运行相同的并虚拟成一台主机系统均衡+Session集中村采访的方式，实现应用集群即服务。协议管主要实现HTTPSMQTT消息的物联网协议管理，每个物联网的基础协议有12345设备数据操作-发送设备keeplive6789SensorAPreset大数据能力平布式计算、分布式和挖掘分析技术，其架构图如下：ApacheHadoopMapReduce、YARN、HDFS等服ApacheSpark的Sparkstreaming、SparkSQL、DataFrameApacheHiveSQL语法读、写和管理分布式大规模数据集的SQLonHadoop数据仓库功能 yticsPlatformnApacheKylin的企业级SparkStandaloneSparkonYARN两种模为了方便用户提交PythonSparkAnaconda版的Python2.7.13和Python3.6.1。用户可以选择PythonSpark应用的运行环境，支持在Python2和Python3之间进行切换为了方便用户开发PythonSpark别在Anaconda版的Python2和Python3内提供了Anaconda版的数据科学包numpy,scikit-learn,scipy,Pandas,NLTKandMatplotlibSparkFairSchudeler，并支持spark应用内调度模式在FIFO和FAIR切换支持用户自定义Hadoop用户及其能够哪些和这hostsYARN调度CapacityScheduler和FairScheduler，并支持在CapacityScheduler和FairScheduler之间进行切换配置参数增加到近60个，定务更方针对HDFS、YARN和Spark服务级别的告警、健康Hadoop,SparkHiveQingStor集SparkMR所有节点的hosts文件Client节点（为了使用上述全部功能，建议Client节避免了去写MapReduce，减少开发的学习成本的元数据管理，可与impala/spark实时性要求不高的场合；为Hive的执行延迟比较高用户的行为数kafka提供了系统之间的消息通信，对于生产者而言，只关费的（kafka相当于消息的者。kafka是一个开源的消息发布和订阅系统，主要用于以下场据的丢失都会影响生成的结果，kafka提供了一个复杂度为高吞吐量：keepbigdatainmind，kafka采用普通的硬件支支持多种语言：java、.net、php、ruby、pythonELK5.0Elasticsearch、Kibana版本为5.5.1，Logstas本为5.4.3Elasticsearch提供了更强大的分词功能支持，集成了IKysis中文分词插件，并为该插件提供了结巴分词的词库和IK自带的搜狗词库，同时还支持用户上传自定义词Elasticsearch与对象集成。Elasticsearch集成了S3Repository插件，可通过标准S3接口与对象集成，以便生成snapshot并将其到到Q中，并可以在必要Logstash集成了对象的logstashinput/ouput插件。用户可以很方便地从对象通过Logstash-input-qingstor插件输入数Elasticsearch或者通Logstash-output-KibanaNginxElasticsearch节点失效时的故障方便用户通过浏览器使用Elasticsearch集群关键指标一键集群安装部1.2.1版本集成 ysis-pinyin插编程简单：开发只需要关注应用逻辑，而且跟类似，Storm提供的编程原语也很简版本升级到1.1.1，相比较之前的版本，Storm开始对StreamingSQL有了支持，加强了与Kafka、HDFS、OpenTSDB、Druid等大数据组件的集成，参阅支持横向与纵向伸缩提供StormUI高可用vip,更加方便的和管Storm物联网能力平设备网关配置与主要是指IoTgateway连接配置、连接管理与状态。IoT设备网关的连接d）设备网关SDK的下发；e）设备网关安全生成；f）设备网关的平台端认g）设备网关连接状态在平台端的与统计服务网关配置与台端网关，基于实现，集成至少MQTTBroker与HTTPS作为网络通信的中转站，负责将云平台内网和设备网隔离开，使外部无法直接云平台服务器，保障内网服务器的安全，一定程度上减少安全的。处理，这样可以提前过滤掉错误包和数据包，同时对协议进行设备SDK只需建立与网关服务器的连接云平台，备连接，设备连接管理，设备信号展示。其中设备的连接管理设备、Token生成设备的接入认证设备的连接状态查看与设备连接的断开与禁用、连接的reset等Topic协议数据协商等进行基于Topic的管理，包括添加、删除、更新MQTT相关的topic。MQTTtopic发布自身的状态，管理设备令；预定设备状态消息：对设备状态进行基于Topic设备、认证与设备：完成设备在云平台端的认证，一旦设备完成，特定的读写等权限，保障物联网应用的安全设备管

SDK是安装在物联网设备端的一个包，主要实现设备端与上报，云平台通过SDK完成对设备的管理功能：设备的与认证设备安全与Token的集成设备的保持管理、设备配置管理、设备状态管理、设备表、设备下线设备管理，包括如下管理功能设备重启可基于基本的设备管理实现功能sensor进行操作管理：sensor的解除Topic管理，主要是从Topic设备配置管理配置与属性管理包括配置等完成对设备状态属性的10备周期管报告进度和状态-后端在一组设备上运行设备数字设备状态与呈现设备位置（以地图呈现；常，及时出发ruleengine。状态报告示例流程如设备（sensor设备下线管分为两种场景i）网关设备的下线，对应的网关设备下面的所有sensor还ii）所有设备接入终端设备通过，确保接入的设备，同时在传输链通过增强的加密协议，确保数据传输过程中安全管理：服务器生成，实现设备的快速签发 不同用户租户的设备管理，不同设备针对topic的权限json字符串进行设备权限管理，比如设备有什么样的权限，具备publishorsub，是否允许获取、控制设备等；PKIPKI即公共密钥体系。它利用公共密钥算法的特点，建立一套、管理和使用的体系，来支持和完成网络系统中的认证、信息加密、保证数据完整性和抗抵赖性。PKI体系建设如下图5PKI系建操作，为设备间断性的连接能力保有持久的状态。设备存放的设备数字影像是一个JSON文档，其中包含标记。后端可从中和写入数据的JSON文档的某个部分。标记对设备应用不可见。所需属性只能由解决方案后端设置，可由设备应用。此主要应用场景网络不稳定时对设备的，因为会设备状态，备是否，只需发送指令，指令按时间戳保存在设备，当设备时获取指令，并根据时间戳决定是否需要执行。实现的主要功能配置信息，进行批量的管理，分为批量设备配置与批量设备更新批量任务管理批量设备批量任务定批量命令配批量位置上批量处理时，对批量处理的结果进行保存，并生成日志踪同时制定处理失败时的处理流重新执行的周期基于流程引擎，可以完成设备活动的调象可以是设备，也可以是的云服务。再比如基于的行为，自动出发装置等；消息路M2M快速实现M2M场景。动一个多步骤过程，用于固件、应用固件，最后重新连接到IoT中心服务。在整个多步骤过程中，设备使用报告属性设备管理

7基于swagger进行封装实现，将设备管理的每一项功能都封装成为API。如下图所示。应用开发平15应用开发平台架构本次应用开发平台主要针对与IoT应用中的APP开发，其中可APP通过云端配置，为每个应用一键生成跨平台专属10种数据类型，简单配置即可完美实现APP“云与端”的数据连通可根据数据表设计自动生成RESTFulAPI，最大程度减少服务器端开发工作APP界面开发，其中可实现：IoTAPP开发的常用组件，包括 ，地图等相应的物联网APP开发能力服1）结构化分析：即是对进行帧、超帧、镜头、场景、故事人物识别：通过人脸识别出中出现的人物，基于深度学习框架MXNET，多级卷积神经网络Multi-taskCascadedConvolutionalNeuralNetworks（N）实现，具备识别准确率高，速度快、资源动作识别：ActivityReco