智慧城市人工智能开放平台建设方案

智慧城市人工智能开放平台建设方案架构设计总体架构设计人工智能平台系统底层基于人工智能和大数据平台构建,在x86服务器之上提供数据的采集、存储、计算、算法模型和前端展现等功能。人工智能平台和IoT提供人体识别、行为识别、倾倒行为分析等算法的建模和训练能力；人工智能平台边缘平台则处理街道、小区大门等前端摄像头设备数据的实时接入和监管,并提供模型部署、规则设计等功能。基于平台,提供倾倒行为识别系统,并开放数据传输接口,用于倾倒行为信息等样本信息的导入和导出。系统架构涉及到的组件由底向上详细信息如下:容器操作系统云平台系统是为大数据应用量身订做的云操作系统,基于Docker和Kubernetes开发。支持一键部署,基于优先级的抢占式资源调度和细粒度资源分配,让大数据应用轻松拥抱云服务。未来企业对于构建统一的企业大数据平台来驱动各种业务具有强烈需求,统一的企业大数据平台需要提供以下功能：资源弹性共享—提高资源利用率灵活部署:支持灵活部署大数据应用和其他常规应用资源调度:具备自动扩容和自动修复功能服务发现:具备集中式的仓库隔离性—保障服务质量和安全性数据隔离:包括数据源、访问模式等计算隔离:隔离CPU、内存、网络、磁盘IO等容器操作系统满足了以上企业大数据平台的需要,支持对TDH的一键式部署、扩容、缩容,同时也允许其他服务和大数据服务共享集群,从而提高资源的使用率。容器操作系统创新的抢占式资源调度模型能在保障实时业务的同时,提高集群空闲时的资源占用,让批量作业和实时业务在互不干扰的情况下分时共享计算资源。另外,在容器操作系统上运行的平台还引入微服务的架构,显著地降低了用户部署环境对稳定性的影响,提高了部署的可用性,并且能让用户在不停机的前提下,享受到将来更新版本的升级以及修复。资源管理调度系统YARNYARN（YetAnotherResourceNegotiator）是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离,主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分（计算、内存、带宽等）精心安排给基础NodeManager（YARN的每节点代理）。ResourceManager还与ApplicationMaster一起分配资源,与NodeManager一起启动和监视它们的基础应用程序。在此上下文中,ApplicationMaster承担了以前的TaskTracker的一些角色,ResourceManager承担了JobTracker的角色。ApplicationMaster管理一个在YARN内运行的应用程序的每个实例。ApplicationMaster负责协调来自ResourceManager的资源,并通过NodeManager监视容器的执行和资源使用（CPU、内存等的资源分配）。从YARN角度讲,ApplicationMaster是用户代码,因此存在潜在的安全问题。YARN假设ApplicationMaster存在错误或者甚至是恶意的,因此将它们当作无特权的代码对待。NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务,从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1通过插槽管理Map和Reduce任务的执行,而NodeManager管理抽象容器,这些容器代表着可供一个特定应用程序使用的针对每个节点的资源。YARN继续使用HDFS层。它的主要NameNode用于元数据服务,而DataNode用于分散在一个集群中的复制存储服务。集群的计算资源管理YARN支持同时对CPU和内存资源的管理能力,YARN和分布式存储系统部署在同一个物理集群中,达到分布式计算中数据优先本地化计算的目的,避免计算过程中数据需要全部从网络获取。通过YARN管理集群计算资源,当任意应用启动时,提交应用的Client向YARN的ResourceManager申请资源,ResourceManager为该应用寻找合适的服务器,从NodeManager获取一定的内存和CPU封装为一个Container,并在这个容器中启动ApplicationMaster,部署该应用的核心代码等。然后ResourceManager再为该应用从所有的NodeManager中获取所需的资源,分装成多个Container供该应用计算使用。当应用需要停止时,YARN销毁该应用占用的资源,并且回收,供后续的应用使用。通过以上方式,YARN为每个应用分配一定的CPU和内存,在集群资源允许的情况下使得每个应用都能得到足够的资源运行。但是YARN只能做到CPU和内存的计算资源管理和隔离,没有做到网络和磁盘IO的隔离。资源占用模式TDH平台在一个Inceptor/Spark计算集群内部同样能实现计算资源在不同资源池（Pool）的共享与隔离,通过公平调度算法保证高优先级的Pool优先拿到闲置资源,同时每个Pool具有指定的资源保有量,避免高负载批处理业务占用全部计算资源。同时,这种机制也能支持服务类的业务长期占用一定量的资源。资源的分配和回收在Yarn上,可以非常方便的动态创建和销毁Spark或者Map/Reduce集群。对于用户提交的MapReduce以及Spark作业以及Inceptor集群,需要提交到其有权限的队列中,向Yarn申请资源,当用户当集群中节点上有足够的资源满足作业中task的要求并且没有达到该用户资源使用上线时,Yarn中将这部分CPU和内存资源封装成container,提供给task运行；如果剩余的资源量不足以满足计算所申请的资源,则任务需要排队。作业任务运行完成后动态销毁,释放占用的CPU与内存资源。因此,对于平台分析应用,可以充分使用Yarn的特性,实现分析集群的按需创建与销毁,从而帮助实现资源、计算能力的统一调度和规划。资源配额在Yarn中通过FairScheduler管理调度策略,支持定义用户最低获取资源,以及最高获取资源,用户提交任务时所占用的最低资源不低于分配给用户的最低资源,在空余资源的情况下,最高资源能够达到分配给用户的最高资源。在其他任务需要资源时,根据优先级决定资源分配情况,如果优先级不够,支持抢占式调度,能够将低优先级作业占用的多余资源释放出来。分布式文件系统HDFSHDFS（Hadoop分布式文件系统）是运行在通用硬件上的分布式文件系统,本平台采用基于HDFS2.7.3的大数据存储和在线服务系,兼容现有Hadoop2.0稳定版本,支持文件数据、流数据、互联网数据的分布式存储于计算,同时支持ErasureCode以及HDFS文件加密。HDFS提供了一个高度容错性和高吞吐量的海量数据存储解决方案。HDFS已经在各种大型在线服务和大型存储系统中得到广泛应用,已经成为海量数据存储的事实标准。HDFS通过一个高效的分布式算法,将数据的访问和存储分布在大量服务器之中,在可靠地多备份存储的同时还能将访问分布在集群中的各个服务器之上,是传统存储构架的一个颠覆性的发展。NameNode管理元数据,包括文件目录树,文件->块映射,块->数据服务器映射表等；DataNode负责存储数据、以及响应数据读写请求；客户端与NameNode交互进行文件创建/删除/寻址等操作,之后直接与DataNodes交互进行文件I/O。采用NamenodeHA方案保证HDFS的高可靠性,始终有一个Namenode做热备,防止单点故障问题。采用QJM的方式实现HA,文件系统元数据存储在高可靠的由JournalNode组成的集群上。同时当数据量太大导致单个Namenode达到处理瓶颈时,提供HDFSFederation功能,不同的NameService（由Namenode组成）处理挂载在HDFS上不同目录下的文件。HDFS通过副本机制保证数据的存储安全与高可靠,默认如上图所示配置为3副本,的每个数据块分布在不同机架的一组服务器之上,在用户访问时,HDFS将会计算使用网络最近的和访问量最小的服务器给用户提供访问。由于数据块的每个复制拷贝都能提供给用户访问,而不是仅从数据源读取,HDFS对于单数据块的访问性能将是传统存储方案的数倍。HDFS支持文件的创建、删除、读取与追加,对于一个较大的文件,HDFS将文件的不同部分存放于不同服务器之上。在访问大型文件时,系统可以并行从服务器阵列中的多个服务器并行读入,增加了大文件读入的访问带宽。通过以上实现,HDFS通过分布式计算的算法,将数据访问均摊到服务器阵列中的每个服务器的多个数据拷贝之上,单个硬盘或服务器的吞吐量限制都可以数倍甚至数百倍的突破,提供了极高的数据吞吐量。HDFS将文件的数据块分配信息存放在NameNode服务器之上,文件数据块的信息分布地存放在DataNode服务器上。当整个系统容量需要扩充时,只需要增加DataNode的数量,系统会自动地实时将新的服务器匹配进整体阵列之中。之后,文件的分布算法会将数据块搬迁到新的DataNode之中,不需任何系统当机维护或人工干预。通过以上实现,HDFS可以做到在不停止服务的情况下实时地加入新的服务器作为分布式文件系统的容量升级,不需要人工干预文件的重新分布。HDFS文件系统假设系统故障（服务器、网络、存储故障等）是常态,而不是异常。因此通过多方面保证数据的可靠性。数据在写入时被复制多份,并且可以通过用户自定义的复制策略分布到物理位置不同的服务器上；数据在读写时将自动进行数据的校验,一旦发现数据校验错误将重新进行复制。分布式服务框架ZooKeeperTDH平台通过Zookeeper进行协调服务。Zookeeper是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。Zookeeper作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,但是Zookeeper并不是用来专门存储数据的,它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达到基于数据的集群管理。Zoopkeeper提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型。ZooKeeper允许各分布式进程通过一个共享的命名空间相互联系,该命名空间类似于一个标准的层次型的文件系统：由若干注册了的数据节点构成（用Zookeeper的术语叫znode）,这些节点类似于文件和目录。典型的文件系统是基于存储设备的,文传统的文件系统主要用于存储功能,然而ZooKepper的数据是保存在内存中的。也就是说,可以获得高吞吐和低延迟。ZooKeeper的实现非常重视高性能、高可靠,以及严格的有序访问。高性能保证了ZooKeeper可以用于大型的分布式系统,高可靠保证了ZooKeeper不会发生单点故障,严格的顺序访问保证了客户端可以获得复杂的同步操作原语。人工智能平台提供一站式的图形化机器学习平台。使用人工智能平台可以完成包括数据预览、数据预处理、特征工程、建模、模型评估以及模型部署等整个数据分析流程。对于大多数企业用户,要通过自己的力量从无到有打造人工智能平台的代价是巨大的,需要有技术实力强大的大数据团队和AI团队作为基础。而人工智能平台打通了大数据平台和人工智能平台,业务分析师和数据分析师可以通过自动建模以及内置的行业模板轻松构建对应AI模型,从而提升业务价值。完整的数据挖掘流程:对于一款实用的数据挖掘工具来说是必要的。然而,市面上的工具大多数都不具备这个能力。机器学习产品不仅能够胜任完整的数据挖掘流程,在流程的每个步骤都能提供足够丰富和方便的算子,供用户灵活实用。丰富的机器学习算法:包含200+分布式算法支持、流式机器学习支持、自定义算子支持与标准模型导入导出。强大的企业级特性:包括完整的多租户能力支持,对于计算资源、数据资源等到细粒度隔离与共享；支持模型协作与功能功能；集成了LDAP、Kerberos等常见的权限认证手段；支持工作流与定时调度；结合容器技术对于大型集群进行高效的管理和调度。完善的深度学习支持:包括网络结构图形化拖拽、深度学习框架整合、分布式GPU优化、深广结合与经典网络结构支持。人工智能平台边缘服务边缘计算模块主要用于物联网边缘端和云端之间的交互以及边缘计算等。支持各类智慧物联网场景的部署,分为云端和边缘端两部分。边缘端可以接入和管理海量时序与多媒体设备,制定智能规则,智能函数,实现边缘计算和告警,并支持设备和告警数据上传云端。云端可进行边缘端管理,AI模型管理,智能规则管理以及函数管理。人工智能平台边缘服务分为云,边,端三部分。设备端的传感器,执行器和多媒体设备通过网关接入边缘端,使用边缘端的设备管理,规则管理,边缘计算和存储等功能。边缘端的设备数据和结果数据又可以发送到云端,使用云端的边缘端管理,模型管理和规则函数管理等功能,如下图所示。监控运维服务ManagerManager是负责配置、管理和运维TDH集群的图形工具。用户只需通过几个手动步骤,就可以在x86服务器上或基于Docker的云端平台上部署一个TDH集群。Manager的运维模块提供告警、健康检测、监控和度量这四项服务。用户可以轻松的浏览各服务的状态,并且在告警出现时采取恰当的措施以处理应对。此外,Manager还提供了一些便捷的运维功能,例如,磁盘管理、软件升级和服务迁移等。Manager提供应用市场,作为升级与下载应用的入口,提升产品安装与运维的便捷性。Manager以容器操作系统为部署工具,容器操作系统（ContainerOperatingSystem）云平台系统是为大数据应用量身订做的云操作系统,基于Docker和Kubernetes开发,通过容器操作系统部署,简化了安装、运维的过程,简化了升级的过程,支持滚动升级。Manager满足服务标准化,减少了Manager与各组件的耦合,简化组件与Manager整合的流程。安全与资源管理服务Guardian大数据平台通过安全通信协议和角色权限管理功能,在软件层面提供通信安全和数据安全的双重保障,有效的对来自外部和非信任角色的数据访问进行控制和安全管理,实现数据平台4A级统一安全管理解决方案。4A包括认证Authentication、账号Account、授权Authorization、审计Audit,即将身份认证、授权、审计和账号。通过LDAP管理用户账号,Kerberos作为用户身份认证IdentityStore,同时大数据平台配合LDAP实现角色访问权限控制（RoleBasedAccessControl）,最后所有的安全访问审计都会记录在数据平台的日志中。大数据平台中各个组件都支持安全管理,包括Zookeeper,HDFS,YARN,Kafka,Hyperbase,Inceptor以及Slipstream。TDH集群中存在三套认证机制:（1）集群中各个服务器本地的操作系统自带的认证,用于管理用户和集群服务对服务器的访问；（2）提供集群服务与用户认证的KRB5LDAP系统,用于管理集群服务之间的访问以及用户对服务的访问；（3）Manager的认证,用于管理用户对Manager的访问。这三套机制本身互相独立,而且各服务器操作系统的认证也互相独立,对集群的管理和使用带来了很大不便:管理员需要分别维护各个服务器中的信息、KRB5LDAP中的信息以及Manager中的信息,三套信息的任何不一致都可能导致用户无法访问集群,甚至服务无法正常运行；为了能够访问一个安全模式下的集群,用户需要多套账户/密码信息,用于通过各套认证机制的认证。TDH中的Guardian服务将提供这三套机制的统一管理,帮助管理员轻松地保证三套信息的一致性,并且让用户可以通过同一套用户名/密码登录集群中服务器、登录Manager以及访问集群服务（Inceptor、Slipstream、Discover、Hyperbase等）,做到大数据平台的单点登录。TDH提供用户管理组件Guardian对平台账户进行统一管理,能够实现账号的创建、删除及同步等账户管理生命周期所包含的功能。Guardian可以添加删除用户,能够区分用户的权限为管理权限（MANAGER）或普通平台用户（KRB5LDAP——Kerberos+LDAP）,同时还能将用户分配给不同的用户组（部门）。只有添加到Guardian的用户才能登陆访问平台,并且根据账户权限访问相应的功能。汇集库数据同步到TDH之后,不同的数据需要进行权限控制,可以授权给不同用户访问各自的数据表。角色管理功能可实现对创建、读取和编辑数据等权限的管理,为了满足公司内部多级组织架构之间对数据的共享和私密性要求,每个用户可同时拥有一个或者多个角色,这取决于系统的配置。Guardian支持使用LDAP协议做用户访问控制,支持Kerberos协议用作底层访问控制,从而保证数据的安全性和隔离性。Guardian支持一整套基于SQL的数据库/表的权限控制,管理员可以设置用户对表的查询,修改,删除等权限,并包含一整套的角色设定,可以通过角色组的设置来便捷的实现用户权限控制。此外,Guardian支持RowLevelSecurity,对表的数据进行精确的行级权限控制。在多租户的场景下,可以保证不同租户只能看到表中自身有权限的数据,而不会看到属于其他租户的数据,从而有精确的数据隔离。大数据平台能提供数据表列级数据权限控制与行级过滤,对其中表进行列级别权限控制,包括读权限、写权限、执行权限、创建表权限以及管理员权限。同时可以再Inceptor中创建Hyperbase的映射表,Inceptor可通过SQL配置安全策略对数据库、视图以及表级别进行权限控制,包括新建、查询、插入、删除、更新等各种权限设置。Inceptor通过结合LDAP对用户进行安全认证,用户通过JDBC接口连接到Inceptor时,通过安全验证确定用户身份后才能访问集群。连接到集群后,只能操作自己权限数据库内的权限表。大数据平台通过Hyperbase表实现列权限控制并通过Inceptor中视图权限控制实现行级过滤。审计是对用户的登录、赋权、访问等操作进行记录和审查,发现异常操作可以告警和溯源。将用户所有的操作日志和系统日志集中记录管理和分析,不仅可以对用户行为进行监控,并且可以通过集中的审计数据进行数据挖掘,以便于事后的安全事故责任的认定。TDH大数据平台中,各个服务组件的操作日志都会集中收集,并可以通过Manager统一运维管理平台导出。审计包括操作审计、赋权审计、审计告警和权限管理。日志中主要统计以下信息：权限的赋予及收回、资源的使用情况、用户登录及操作行为、系统配置修改和告警信息。多租户的特点主要包括以下几点:统一集群不同的业务部门,会根据各自部门的业务需求,要求创建多个计算集群。例如,分析集群、报表集群、批处理集群、流处理集群等等。TDH提供在统一的HDFS和YARN集群上,创建多个可共存的计算引擎。从而,避免创建隔离的多个集群,减少数据拷贝或者远程访问,提高效率,也可降低维护成本。动态部署根据业务需要,动态地创建和销毁集群,实现灵活集群部署。此种动态部署集群的方式,能够最大程度提高整个集群的资源利用率,适合对非7x24不间断业务动态部署。资源隔离通过YARN的资源隔离和配额管理,可以避免在多个应用使用同一个Map/Reduce集群时出现的计算资源争抢现象,保证每项业务都能顺利完成。YARN支持对计算资源和内存资源的管理能力,避免占用内存资源多的Spark或Map/Reduce集群之间争抢内存资源。资源共享在申请资源配额后,如果当前用户的资源紧张或受限,可以动态调配其他用户的闲置资源加入,当其他用户使用时再归还。人工智能平台边端架构设计人工智能平台边缘服务利用人工智能平台的存储、计算、模型加工和模型上线能力,实现传统设备的智能化改造。通过定义产品功能模型接入不同协议、不同数据格式的设备,提供安全可靠、低延时、低成本、易扩展、高可靠的边缘计算服务。同时云端可以连通所有边缘节点,管理边缘节点的服务。人工智能平台边缘服务可提供稳定高效的边缘计算服务,能满足不同边缘场景的需求。人工智能平台边缘服务由边缘服务Node(边缘端)以及边缘服务Hub(云端)两部分组成,解决了物与物、物与人、物与AI、物与云的连接,其核心功能点如下：设备接入支持Modbus、OPC-UA.MQTT等设备通信协议,并提供接口支持对接第三方私有协议。对于流媒体设备可通过ONVIF标准协议接入平台,无需摄像头产商提供SDK。云端定义产品类型和功能模型,边缘端接入设备并管理。规则引擎拖拽可视化组件,设计统一的数据流转规则,灵活定义数据处理、数据存储和数据转发。对于时序数据,平台提供了时间窗口函数、聚合函数等常用算子,帮助用户快速搭建时序数据处理流程；对于流媒体数据,平台提供了流媒体数据特有的编解码器、分流器、复合器,帮助用户快速从各种流媒体源解析数据。函数计算在规则引擎中,除了可以调用丰富的预定义组件外,还可以通过调用无服务函数对数据进行复杂的加工。智能推理在规则引擎中,我们还提供人工智能服务组件用来与人工智能算法对接,完成更智能化的数据处理逻辑。规则应用基于可视化的规则定义,建立规则实例,将实体设备、AI模型与规则相互映射即可实现对多设备的数据流转定义,让业务人员只面向设备而不用编程。断网续传断网情况下,能够独立运行,不影响实时数据处理。网络恢复后边缘数据与云端数据可续传和同步。数据可视化用户可以自定义仪表盘,即可以接入设备的原始实时数据,也可以接入规则计算后输出的数据。实现对设备数据的长期监控。云边一体用户可通过云端对于边缘端的应用、函数、规则和模型进行版本管理,灰度升级等操作,降低边缘端的运维成本。在云端提供边缘端的统一视角,可以查看所有注册的边缘节点及状态,并且将云端上架的应用、模型、函数、规则分发至边缘端,实现一次开发多次部署的功能。人工智能平台边缘服务的基本使用流程如下图:（1）产品的创建和管理是在云端,而设备的创建和管理在边缘端,边缘端设备将自动继承在云端定义好的产品数据模型。（2）通过拖拽可视化算子的交互方式进行数据流转规则的定义,云端定义好的通用规则可分发至不同的边缘端,以降低在不同边缘端的重复运维成本。于此同时,不同的边缘端用户也可处于自身特定的场景需求在边缘端自定义规则。（3）创建规则实例,将具体的设备或者模型映射到某一数据规则,然后再启动该实例即可。（4）规则实例启动成功之后,若对应的规则输出中定义了消息通知的算子,那么对应的消息内容即会实时地推送至消息通知模块,以便用户不错过任何重要的消息。用户可以自行定义仪表盘,将可读写的设备加入仪表盘,通过图表动态展示设备的输出数据,如空调温度等。（5）无服务函数和AI模型作为高级的逻辑加工规则,可以帮助用户解决复杂的数据处理需求。设备接入管理人工智能平台边缘服务的设备接入首先要进行产品创建,产品相当于某一类设备的集合,该类设备具有相同的功能,用户可以根据产品批量管理对应设备。创建产品可以在某个边缘端也可以在云端统一创建,边缘端将自动继承在云端定义好的产品数据模型。支持协议新建产品时需要定义产品Id,产品名称,以及支持的协议和描述。这里的协议是指工业领域常用的通讯协议,是工业电子设备之间常用的连接方式。人工智能平台边缘服务支持接入的常见协议包括Modbus-RTU、Modbus-TCP、MQTT、OPCUA.RTSP等标准协议。产品新建完成,点击名称可进入产品详情页面,显示有产品详细信息、功能定义和Topic列表三个子页面。产品详情页面可以编辑修改产品名称和描述,进行新建功能等操作。功能定义产品功能定义也可称为定义产品的数据模型,将实际产品抽象成由属性、事件、服务所组成的数据模型,便于云端管理和数据交互。产品创建完成后,您可以为它定义数据模型,产品下的设备将自动继承数据模型内容。基于设备的不同,某些设备基于用途和触发事件的多样性,可以同时定义多个功能,即可以拥有多种数据模型。设备接入产品即设备类型定义好之后,即可按照产品的类型接入不同的设备。设备接入只能通过边缘端进行管理。在人工智能平台边缘服务Node管理界面设备管理菜单新建设备即可实现设备接入。人工智能平台边缘服务支持时序设备和多媒体设备的新增、查看和删除等管理。新建设备时可以选择之前定义好的产品类型即可绑定相应的数据模型。设备管理设备创建成功后,设备即会自动上线,不同类型的设备拥有不同的内容参数管理。时序设备除了查看设备信息外,还可以通过设备管理进行设备属性、事件管理、服务调用的查阅。而多媒体设备除了可以查看设备信息,服务调用外,还可以直接在设备视频流页面查看视频的直播和录播。规则定义当设备接入之后,人工智能平台边缘服务需要定义数据从输入到输出的流转规则,即规则定义。规则定义既可以在云端创建好分发到不同的边缘端,也可以直接在边缘端创建。规则支持导入导出,支持克隆等操作。规则按照设备类型的不同可以进行时序规则定义和多媒体规则定义；按照来源不同,由于自身特定的场景需求在边缘端自定义的规则称为本地规则,而由云端直接定义好并自动推送的通用规则称为公共规则。公共规则可以通过克隆至本地,配置好规则实例后在本边缘端进行边缘计算。可视化拖拽定义人工智能平台边缘服务数据流转规则定义与基础平台建模操作类似,均支持可视化的算子拖拽方式操作。点击规则名称即可进入算子编排页面,用户可以根据实际的业务场景,选择相应的算子并填写相关参数定义数据的流转规则。人工智能平台边缘服务根据设备的不同,内置有丰富的规则算子支持规则定义。云端规则管理的功能包括时序规则和多媒体规则的创建、删除、克隆。云端定义好的数据规则会作为公共规则自动分发至对应的边缘端,减少边缘端的重复的规则定义工作。时序规则算子时序规则用以构建一个数据管道以处理接入边缘平台的各种结构化数据,主要包括实时设备数据以及其他规则应用实例所输出的中间结果等。每个时序规则由若干个时序规则算子与算子之间的数据流转关系构成.目前边缘平台可用的时序算子主要分为输入、过滤、数值计算、连接、智能函数、服务调用与输出共7种类型。多媒体规则算子多媒体规则主要用于处理多媒体数据,主要包括摄像头rtsp视频流,本地视频文件等,在规则中可以检测视频中的目标,并渲染出目标等。部分算子需要绑定设备,模型等。按照绑定类型分为device,device-setting,service,没有绑定需求的算子绑定类型定义为"\"。每个多媒体规则由若干个多媒体算子构成。目前多媒体算子分为目标、编/解码、智能函数、复用/解复用、连接、数据源、AI模型、图像变化、智能检测9种类型。规则的理论连接顺序为数据源→复用/解复用→编解码→（连接,图像变化,AI模型,智能检测,智能函数）→目标。注意：这只是理论连接,用于理解多媒体规则,实际上与其不同,比如某些解码组件包括了解复用功能,可以直接将数据源与编/解码相连。规则实例规则定义创建的数据规则只是指定了数据流转的步骤和计算规则,实际上还没有任何真实的数据,需要将具体的设备或者设备数据来源绑定到定义好的数据规则,形成一个规则实例。除了设备,具体的模型也需要在规则实例中绑定。绑定好设备和模型之后,启动规则实例,对应的边缘端即开始按规则进行数据计算。一个设备或者模型可以绑定多个规则实例。规则实例也称之为规则映射,即将具体的设备实体或者AI模型和上述的数据流转规则绑定。同样,规则映射也分为时序规则实例映射与多媒体规则实例映射。规则实例的映射操作是在边缘端实现。人工智能平台基础云端管理设计人工智能平台边缘服务智能物联云端提供了边缘端的统一视角,可以查看所有注册的边缘节点及状态,并且将云端上架的应用、模型、函数、规则分发至边缘端,实现一次开发多次部署的功能。边缘端的管理为了在云端方便得查阅管理边缘端,支持对所有注册的边缘端进行分组,并可查看每个边缘节点所拥有的设备、模型、函数、应用等信息。每个边缘节点都可以单独的查看系统状态、详情和移动群组。函数管理广义上人工智能平台边缘服务函数管理分为两个部分:云端的函数管理和边缘端的函数管理。用户可以在云端创建函数、进行函数测试、编辑函数生成不同的函数版本,同时可以将在云端定义好的通用函数发布至不同的边缘端,以降低在不同边缘端的重复运维成本。于此同时,不同的边缘端用户也可处于自身特定的场景需求在边缘端自定义函数。用户可以在边缘端看见云端发布至边缘端的函数,用户只需将这部分函数克隆至边缘端本地即可在边缘本地的规则定义中使用。当然,用户也可以基于特定的边缘使用场景,在边缘本地创建自己的函数。边缘端的函数管理可分为本地函数管理和云端函数管理。本地函数管理的功能包括创建函数、函数测试、编辑函数生成不同的版本、删除函数等。公共函数管理是指将边缘服务Hub发布至本边缘节点的函数进行管理,包括克隆函数至本地、删除函数等。点击新建函数,选择语言与协议模式,即可输入函数代码,执行测试、保存或发布一个新版本。模型管理广义上人工智能平台边缘服务模型管理分为两个部分:云端模型管理和边缘端的模型管理。云端可以添加模型服务,一个模型可以有多个不同的版本,不同的模型版本可以分发至不同的边缘端,边缘端模型管理可以查看、测试并应用模型。在云端边缘服务Hub选择模型管理菜单,点击新建模型,填写容器化的模型服务镜像地址完成模型服务的新增。边缘服务Hub中的模型版本,无需手动管理,平台会定时从镜像地址拉取新的镜像版本,并根据镜像版本进行版本升级。模型部署如果想要将模型的某个版本部署至指定边缘端,选择想要部署的模型,或者直接进入版本详细页面选择项要部署的模型版本,点击部署。模型的部署可选择安装、升级两种。首次部署该版本的模型称为安装,已有早于当前版本的模型存在于边缘端,进行版本更新的部署过程称为升级。模型、模型版本均可删除,模型删除即代表该模型下所有的版本将一同删除。部署成功之后对应的模型版本就会在边缘端的模型管理界面可见,边缘端的模型管理列表界面可查看云端已发布至本边缘端的模型。用户查看模型的基本信息并进行测试。模型测试在边缘端在模型列表中点击详情按钮,出现一个弹框,可见模型的请求方式等基本信息。切换至模型测试页签或直接点击测试,填写输入内容,输出结果进行模型测试。应用管理与模型管理十分相似,广义上人工智能平台边缘服务应用管理分为两个部分:云端的应用管理和边缘端的应用管理。云端可以添加应用服务,一个应用可以有多个不同的版本,不同的应用版本可以分发至不同的边缘端,边缘端的应用管理可以查看、测试并应用。云端的应用管理功能主要包括对应用服务进行增删改查和发布应用至边缘端。在云端边缘服务Hub选择应用管理菜单,点击新建应用,填写容器市场的应用服务镜像地址完成应用服务的新增。边缘服务Hub中的应用服务版本,无需手动管理,平台会定时从镜像地址拉取新的镜像版本,并根据镜像版本进行版本升级。应用部署如果想要将应用的某个版本部署至指定边缘端,选择想要部署的应用,进入版本详细页面选择项要部署的版本,点击部署。应用、应用版本均可删除,应用删除即代表该应用下所有的版本将一同删除。部署成功之后对应的应用版本就会在边缘端的应用管理界面可见,边缘端的应用管理列表界面可查看云端已发布至本边缘端的应用。用户查看应用的基本信息并进行测试。边缘端的应用管理列表界面可查看云端已发布至本边缘端的应用。消息通知消息通知模块用来专门显示规则定义中用户所定义的消息通知内容。该模块的功能旨在方便用户不错过任何重要的设备通知内容。消息的来源在规则定义界面事先定义好了数据流转规则,并已拖入一个消息通知组件,组件的参数设置示例如下:跪着实例绑定了具体的设备或者模型,启动对应规则实例时,且当有数据满足所定义的规则时,就会触发生成一条新的消息,对应的消息通知模块会出现小点提示,点击后可见具体的消息通知列表内容。列表中消息内容对应于规则定义-消息通知组件参数中的消息,查看详细消息通知为json格式的数据。消息的查询在云端可以查看到所有边缘端的消息和告警,边缘端可以查看到自己所管理的边缘组的消息和告警。用户可以针对时间、消息的重要程度两个维度对所有输出的消息进行筛选。可以根据消息的时间范围,消息的重要程度等进行筛选。规则的分发云端定义好的规则,会自动分发至注册好的边缘端,在所有对应的边缘端规则定义页面,云端规则tab下可查看,克隆对应的规则至本地规则即可在边缘端使用该规则,具体详情参见规则定义章节。模型的分发云端模型管理创建的模型,会自动部署至模型指定的边缘组,具体详情参见模型管理章节。函数的分发云端定义好的通用函数发布至不同的边缘端,以降低在不同边缘端的重复运维成本消息的来源,具体详情参见函数管理章节。应用的分发云端可以添加应用服务,一个应用可以有多个不同的版本,不同的应用版本可以分发至不同的边缘端,具体详情参见应用管理章节。消息通知查询云端可查看和筛选所有边缘节点的消息通知,详情参见消息通知章节。云端存储能力云端存储支持时序设备的数据与操作记录的全量存储与查询,同时支持多媒体设备的视频与即时图像的存储与查看。云端计算能力云端支持多种时序传感器数据的实时采集、计算与通知,还支持多媒体设备视频流的识别、分析与通知。仪表盘仪表盘可用于设备数据的可视化展示,用户可以根据特定场景自己定义仪表盘所展示的数据来源和展示样式,用于设备数据的长期监控。一个仪表盘可添加多个不同的面板。用户可以基于自己的场景创建多个不同的面板来展示不同的设备原始数据或者规则转换后的数据输出。当数据来源为多媒体设备、多媒体规则实例时,展示的数据默认为视频,毋需选择数据展示样式,当数据来源为时序设备、时序规则实例时,可选数据展示的样式,目前版本可选的样式有柱状图、折线图和表格。人工智能平台核心模块设计项目与实验人工智能平台平台建模以项目为最大单位进行管理。用户在正式使用产品的各个功能模块之前,需要首先创建项目,然后在项目内进行更深层次的操作。项目初次注册登录时,用户所看到的项目首页状态如下:用户需要首先新建项目才可以进入项目列表管理页面,点击“新建项目”按钮,填写内容可以新建立一个项目,每个项目在创建的时候必须为其分配资源池。填写好项目名称和分配的资源池之后,即成功创建一个项目,页面会自动跳转到项目列表页面。项目详情页项目详情界面是对整个项目数据的汇总,项目内容包含实验、数据集、特征、代码、模型、运行历史、API服务、工作流的数据。用户可直接点击项目进入该界面。点击图中红色框内各个卡片,您即可进入各个模块界面首页。项目导入导出项目列表页面,项目支持单个导出和批量导出。点击单个项目卡片上对应的导出按钮,自动下载zip文件；勾选需要导出的多个项目,点击批量导出下载多个项目。项目导入导出包中包含实验、数据集、特征、代码、模型以及工作流等模块内容。项目中API服务部署模块不支持被导出,用户可以直接使用API服务的导出功能。项目列表页面,同时支持单个项目的本地zip文件导入。选择导入的zip文件,填写名称、描述、资源池等信息。如果是之前批量导出的zip项目文件需要解压之后分别进行导入。项目协作人工智能平台平台除了支持项目导入导出、删除功能外,同时支持项目协作功能,允许多人或多个项目组共同编辑同一项目。项目的拥有者可以在项目列表界面添加、取消要协作的组。用户可将个人创建的项目添加协作组,同时支持他人创建的项目协作给本人。其中他人协作给用户的项目,无删除、导出等权限,用户本人可选择退出协作组取消项目协作。带有绿色协作标签的为本人创建的项目进行协作；带有蓝色协作标签的为他人创建的项目添加本人协作。进入协作项目的任意实验,编辑前需点击右上角按钮,进入编辑状态;编辑完成后需再次点击右上角按钮,其他协作人员才能编辑此实验。项目角色管理人工智能平台平台的用户支持在个人中心自定义添加、解散自己的团队。在用户自己组建的团队中,该用户作为团队管理员存在,可以自定义添加、删除团队成员,同时还可以解散团队。被加入团队的成员无法解散和更改团队成员权限,但是可以退出组。 所有团队成员都可以把自己的项目发起协作,当项目所有人退出团队时自动取消自己项目的协作。项目参与人的管理有团队管理员进行管理。实验项目创建完成之后,在即将可视化建模之前,用户需要进行最重要的一步:创建实验。可以选择有四种方式新建实验:新建一个空白实验、从其他项目导入、从本地文件导入、选择分享文件导入。实验建模页面实验的界面主要分为6大功能区,包括:算子区域、流程区域、参数设置区域、帮助区域、实验导航区域、项目导航区域。每个区域都有各自的功能体现,如下图所示。1.算子区域粉红框1号区域为算子区域。平台将智能化建模所用的算法封装成单个算子,包含特征提取、数据清洗、数据预处理、机器学习、深度学习、自然语言处理等等种类。数据挖掘建模整个流程所需要的数据操作模块都在此集成。2.流程区域绿色框2号区域为流程区域。资源库和算子区域中的模块都可以根据需要直接鼠标拖入流程框,进行连接形成实验流程进行运算。3.参数设置区域橙黄色3号区域为参数设置区域。流程框左键点击任一算子,参数区域就是显示该算子所需的所有参数。数据集的参数显示,有列名、角色、类型展示；性能算子的参数设置,可以选择recall、precision、fmeasure、accuracy等性能评估方法。4.帮助区域蓝色4号区域为帮助区域。会对流程框中选中的算子或画布进行解释。内容包括算子解释、参数等。5.项目导航区域黄色5号区域为项目导航区域。单个项目包含实验、数据集、代码、模型等多个模块,用户可以点击该区域icon切换至其他相应功能模块。6.实验导航区域红色6号区域为实验导航区域。该区域主要包含进行实验建模的一系列执行操作,包括：前进/后退、运行、保存/另存为/导出、新建/打开文件、部署、分享、查看历史等。同时包含快速返回实验列表页面入口。实验导入导出实验创建完成,用户可以导出所创建的实验。导出的实验流程包含数据集、模型、代码模块内容,特征工程不包含在内。实验支持批量导出不支持文件夹导出实验支持json和zip文件的导入实验导入后执行实验时,可能会出现"找不到xx"错误。需要自行替换相应的算子在对json导入的实验进行导出时,如果包含外部资源,可能会出现"找不到xx"错误单个导出实验导入:选择单个实验导出的zip文件,并填写实验位置、实验名称以及实验描述批量导出实验导入：对于批量导出的实验,要先进行解压,再对解压后得到的每个zip文件进行导入实验共享团队协作以项目为最小维度,即不支持项目下的单个实验进行协作,而是同一项目下的所有实验同时允许多人操作。但是平台支持单个实验乃至模型的共享。如上图可见,支持实验和模型的批量分享,不支持文件夹的分享。实验样例模板为方便用户快速上手如何通过人工智能平台进行人工智能建模,人工智能平台平台内置有丰富的实验样例。用户可以直接打开实验样例进行执行,但实验样例不支持用户做其他编辑,若用户想要编辑,可以将该实验样例另存为个人实验,进行调试。这些样例不但包括人工智能平台基础平台所有算子以及算法的使用,还内置了多样化的行业场景建模模板。尤其是对于初次建模,用户可以通过选择某个实验样例打开进行操作练习以尽快上手,或者参考已有的实验与算法样例进行业务建模。数据导入导出数据导入人工智能平台支持多种数据源接入,支持传统关系型数据库、MPP数据库、HDFS（TXT、ORC.Parquet等数据格式）、Hive、HBase、ElasticSearch、本地文件（CSV、JSON等数据格式）等多种数据存储方式接入。支持CDH、HDP、华为大数据平台等分布式数据存储的数据接入。数据导出平台支持通过导入导出算子,把中间结果或者最终结果数据写入MySQL、DB2.Oracle、SQLServer、CDH、Hive、Inceptor、HDFS等数据库或文件系统,还支持写入elasticsearch,同时支持把结果数据写入数据源等。样例数据为方便用户进行测试使用,人工智能平台内置有大量不同类型的数据集样例,用户可以在实验中直接调用样例数据进行建模。数据预览与探索人工智能平台能够对原始数据进行基本的数据特征分析,探索数据的结构与规律,为后面的数据预处理与建模提供支持。用户也可以使用数据预览界面,直接预览原始数据的结构。在预览界面中,用户可以限制加载的行数以缩短数据载入时间。数据质量分析人工智能平台数据探索模块提供数据质量分析工具,检查数据是否存在脏数据,提供数据缺失值、异常值、一致性和重复数据的检测方法,以及查看结构化数据某特征列的分布情况,支持对离散与连续类型数据的分布分析。数据可视化统计分析用户可以对样本进行采样预览。系统会自动识别样本总量,通过自定义选择采样方法,可以直接预览目标数据的采样。自定义采样方法有随机、前n条数据和不采样等方式。针对目标数据集需要重点关注对比的数据列,可以进行多种图形化的数据探索。选择重点关注的数据列,进行更加精细的数据探索与关联关系分析。现支持包括20多种图形可视化分析。用户还可以对样本进行统计分析。选择要关注的可进行统计分析的数据列（可以是多列）,进行分析,可以得到每列的图形化数据分布,还可以得到有效值、缺失值、最少（最小）值、1/4四分位数、中位数、3/4四分位数、最多（最大）值、平均值、标准差、峰态、偏态等统计分析指标。数据特征分析提供数据特征统计工具,能够对数据集进行分布分析、对比分析、统计量分析和相关分析,为数据建模人员提供基本的特征描述,包括一元变量特征统计（均值、方差、最大值、最小值、分位数、类型数等）、二元变量特征统计（皮尔森卡方、自由度等）。定义好的特征提取方式还可以进行分类保存,以便提取其他数据集特征时直接调用,还支持特征集的导入导出。复杂特征分析同时,为方便用户更灵活的操作,平台还提供交互式分析和探索的编程环境,包括Jupyter等R/Python/Scala编程环境,用于复杂特征分析。数据预处理在对数据进行分析挖掘之前,有很重要的一步就是数据预处理,也可称为数据预准备,对于一个复杂的数据挖掘流程,可能用户80%以上的操作都在进行数据预处理。数据预处理包括数据的合并、抽样、转换等操作,人工智能平台提供丰富的预处理功能算子,可以根据实际场景对数据进行预处理。人工智能平台提供了多达50余种算子,包括但不限于数据清洗、数据规约、数据转换等。同时支持交互式预处理界面,用户可以用类似excel表形式对数据进行处理,简化数据预处理操作。数据清洗功能提供对原始数据的无效异常数据的过滤,缺失数据的补齐,比如平均值、最大值、最小值、中位数等,并将预定义清洗模式统一应用在大数据与人工智能平台的全量数据上。机器学习引擎提供数据清洗能力,包括对原始数据的无效、异常数据的过滤,缺失数据的补齐。并将预定义清洗模式统一应用在大数据与人工智能平台的全量数据上。数据集成功能支持包括数据库、文本、大数据与人工智能平台在内各个数据源的数据集成,通过数据实体、属性对齐等方式构造统一的数据视图。用户可以方便地使用图形化界面选取对应数据源的连接驱动。机器学习引擎提供了数据集成的展示区域,通过数据实体、属性对齐等方式构造统一的数据视图,方便使用人员的查询和调用。数据变换功能提供数据属性转换、新属性生成在内的处理能力。为机器学习任务和算法的需要提供有效的样本输入。例如可以通过定义的数据标记模板为监督学习提供标记过的数据样本。数据规约功能提供基本数据属性的归一化工具,为机器学习任务和算法的需要提供高质量的样本输入。其中归一化工具提供包括min-max归一化、标准归一化、max-abs归一化等能力。自动化规则自动化数据整理是指通过机器学习方法来实现数据自动化预处理,支持数据预处理自动化,包括自动填充数据、自动清理数据、自动数据转换以及自动数据归一等。预处理样例为方便用户快速上手人工智能平台预处理算子的用法,人工智能平台平台内置有预处理操作算子样例及常用模板。特征工程特征是机器学习流程中的关键步骤,用户可通过配置规则对数据进行处理和筛选。人工智能平台提供特征工程支持,支持常见的特征工程流程,包括特征变换、特征重要性评估、特征选择、特征生成等,包括且不限于归一化、标准化、离散化、one-hot编码等。人工智能平台支持特征工程自动化,包括自动特征变换、自动特征生成以及自动特征选择等。数据质量分析提供对数据特征的统计工具,能够在数据集合进行分布分析,对比分析,统计量分析和相关分析,为数据建模人员提供基本的特征描述。数据分析工具支持交互式分析和探索的编程环境,包括RStudio、Zeppelin等R或者Python编程环境,用于复杂的数据特征分析。支持IPythonNotebook交互式数据分析。数据特征分析机器学习引擎能够对原始数据进行数据特征分析,探索数据的结构与规律,为后面的数据预处理与建模提供支持。特征工程流程机器学习引擎提供特征工程支持,支持常见的特征工程流程,包括特征变换、特征重要性评估、特征选择、特征生成等,包括且不限于归一化、标准化、离散化、one-hot编码等。支持特征工程自动化,包括自动特征变换、自动特征生成以及自动特征选择等。自动化特征工程人工智能平台支持特征工程自动化,包括自动特征变换、自动特征生成以及自动特征选择等。在对特征进行自动化特征工程以后,自动建模算子能够更有效的基于并行GridSearch的参数选择,包括在给定命中率和覆盖率的要求下搜索参数输出结果,基于贝叶斯优化的模型和参数选择,基于前沿强化和迁移学习的自动建模,能够在给定度量准则的情况下高效搜索出较好的模型及参数。特征提取算子系统内置特征提取算子,通过特征提取算子,用户可以直接对数据集的每列分别进行特征提取。定义好的特征提取方式还可以进行分类模板保存,以便提取其他数据集特征时直接调用,还支持特征集的导入导出。算法选择高性能的分布式算法。用户可以选择单机和分布式算法,包括常见的分类、回归、聚类、推荐、时序、统计等机器学习算法,也包括多种经典的神经网络,以及NLP和图像相关领域的算法。基础算法支持人工智能平台机器学习引擎支持的常见机器学习算法包括但不限于:支持优化算法ParallelSGD以及FTRL支持基于XGBoost的分类和回归支持保序回归支持生存回归支持Apriori关联规则算法支持时序预测算法、包括EWMA.ARIMA.AR、ARCH人工智能平台平台支持的分类算法包含逻辑回归、支持向量机SVM、朴素贝叶斯、决策树分类、随机森林分类、梯度提升树分类、KNN分类、多层感知机分类、Boost分类、基于XGBoost的分类等分类算法。人工智能平台平台支持的回归算法包含线性回归、广义线性回归、决策树回归、随机森林回归、梯度提升树回归、基于XGBoost的回归、保序回归、生存回归等回归算法。人工智能平台平台支持的聚类算法包含KMeans、Dbscan、二分KMeans、GMM等聚类算法。人工智能平台平台支持的关联规则算法包含FP-Growth、PrefixSpan、Aprioi等关联规则算法。人工智能平台平台支持的推荐算法包含ALS、FM因子分解机、ItemCF、UserCF等推荐算法。人工智能平台平台支持的时序分析算法包含自回归AR、差分自回归移动平均过程ARIMA.ARX、EWMA.GARCH等时序分析算法。人工智能平台平台支持简单投票、简单平均等集成学习功能。人工智能平台平台支持的统计算法不但包括属性统计、相关性矩阵等的基本信息统计外,还支持单变量方差分析、皮尔逊卡方检验、F检验与T检验等假设检验统计方式。特征权重计算人工智能平台在提取特征工程时支持对特征权重的计算。支持的计算方法包括WOE、GINI、INFO、PCA等。流处理算法支持人工智能平台平台提供多种流处理相关算子。支持读取kafka,流写入文件,流写入kafka,滑动窗口,流写入数据库,流写入redis等。预处理算法支持预处理算法支持但不限于:支持单变量和多变量的统计算法,用于分析数据分布和数据特性支持乔列斯基矩阵分解支持DCT离散余弦变换支持FactorMachine分布式算法支持LOF异常检测分布式算法支持LDA生成文本主题支持主成分分析（PCA）和奇异值分解（SVD）支持SMOTE算法支持ChiMerge支持WoE/IV表操作算法支持人工智能平台平台提供丰富的表处理相关算子。支持count,交集,join链接,排序,select,差集等图嵌入算法支持人工智能平台平台提供LINE与NINE图嵌入算子。验证与评估算法支持人工智能平台平台提供丰富的验证与评估算子。支持分类,二分类,回归,聚类,交叉验证,网格搜索等。图计算算法支持人工智能平台平台提供丰富的图计算算子。支持星状网络,节点网络排名,强连通子图,LPA社区聚类等。深度学习算法支持人工智能平台机器学习引擎支持的深度学习算法,包括但不限于:卷积神经网络、循环神经网络、GAN对抗神经网络、递归神经网络、增强学习、去燥自编码器、多层感知器、深广模型等。,支持GPU可配置,包含多种神经层（Dense层、池化层、输入层、输出层、卷积层、RNN层、LSTM层等）。自然语言处理算法支持与知识图谱应用人工智能平台机器学习引擎支持自然语言处理模型,包括但不限于:新词发现、分词、词频TF逆文档频率IDF主题模型LDAPLSAWord2vecGensim命名实体识别词库构建词性标注关键词抽取自动摘要情感分析句子相似度文档相似度图像处理的支持人工智能平台通过构建CNN卷积神经网络对图像进行分类以及目标的监测。并且在人工智能平台的图形化界面中,能够灵活的编辑CNN中卷积层,池化层或全链接层的网络结构,从而实现图片的读取、图像展示、图像训练和图片存储等图像处理功能。强化学习算法支持支持值迭代、策略迭代、DQN、Q-Learning、蒙特卡洛算法、SARSA.DDPG、A3C.A2C、PPO等。自定义算法支持人工智能平台提供自定义算法能力,除了人工智能平台预先定义的数据预处理,机器学习,深度学习,自然语言处理等之外,人工智能平台还支持用户自定义算子script编辑以及Notebook代码运行的功能。第三方Python库与图形化算子支持人工智能平台支持集成主流的机器学习包,其中包含Python、Anaconda、SparkMLlib、XGboost等,支持深度学习的图形化拖拉拽算子。实用工具算子为方便更好的进行拖拽建模,人工智能平台还提供众多使用工具算子:例如,有些模型构建较为复杂,可以通过子流程的自定义封装和命名,使得建模过程结构更清晰。行业算法模板对于初次建模,用户可能对人工智能平台内置算法的用法不太熟悉,甚至对如何通过建模实现业务需求场景也无从下手。人工智能平台平台内置有丰富的实验样例。这些样例不但包括人工智能平台基础平台所有算子以及算法的使用,还内置了多样化的行业场景建模模板。模型训练高效的训练方式和多种模型评估手段。人工智能平台提供了多种底层运行平台,通过Kubernetes+Docker的模式进行资源管控空和调度。对于训练好的模型,用户可以通过多种指标和模型展示方式进行评估,从而得到最优模型。训练过程与监控支持可以拖拉拽快速构建模型训练任务,构建的模型训练任务可以实时启动、监控和停止,也可以监控对应的训练日志；同时可以根据任务的状态对资源进行动态调度。团队管理人工智能平台支持用户创建自己的团队,方便共同协作编辑同一个项目或实验。通过个人中心可以进入团队管理模块,“团队管理”模块主要为项目协作功能做辅助,当发起项目协作之前,需要先创建好将要协作的团队,加入相应的团队成员。创建者支持解散团队群组,成员支持退出群组。资源管控与共享功能基于现有的物理资源,对资源进行容器化的动态调度与封装,并基于对应资源容器进行模型的训练。针对训练任务,对现有物理资源进行容器的动态构建申请与释放,提供模型训练的物理设施。平台底层通过优化Kubernetes资源管理框架实现了基于Docker容器对CPU、内存、硬盘和网络更好的隔离。容器的隔离目前是由Linux内核提供的六项隔离,包括主机名与域名的隔离,信号量、消息队列和共享内存的隔离,进程编号的隔离,网络设备、网络栈、端口的隔离,挂载点（文件系统）的隔离,用户和用户组的隔离。这些隔离保证了不同容器的运行环境是基本不受影响的,比如挂载点的隔离,就保证了一个容器中的进程不能随意访问另外一个容器中的文件。支持资源池共享,便于用户共享资源。管理员可以指定成员进行资源共享,将资源利用最大化。复杂任务依赖多任务之间可以图形化构建依赖关系,支持构成比较复杂的模型训练任务以及数据分析任务。支持多任务排队；支持多任务并发。自动化模型选择与调参功能自动建模就是通过系统提供的算子来自动地进行数据探索、数据预处理、特征工程、算法选择以及参数调优等工作。通过自动建模,用户可以得出初始精度较高的模型,进行下一步的建模迭代。为了进一步的帮助用户提升体验,人工智能平台还提供一种推荐式建模的方式。用户通过推荐式建模可以选择下一步可能需要的算子,从而来降低建模的门槛。模型评估数据集分类功能人工智能平台支持主流的模型评估方法,包括但不限于:支持按比例随机分配训练与测试集,支持交叉检验。分类评估功能支持主流模型评估方法,包括较差检验等,对于二分类,支持输出包括TP/TN/FP/FN的数目表格；对于多分类,支持输出混淆矩阵；支持包括KS、Lift、AUC.ROC.Precision、WeightedRecall、Recall、FMeasure等。评估指标功能评估指标包括但不限于:KS、Lift、R2.MSE、MAE、PearsonCoefficient、AUC.ROC.Precision、WeightedRecall、Recall、FMeasure等。评估算子模板人工智能平台平台所有内置的算子都有使用帮助文档说明来指导用户该算子的具体用法,包括评估算子。除此之外,人工智能平台还内置了所有算子包括评估类算子的实验样例,用户可以参考样例的操作很容易的学会如何使用对应的评估算子。模型管理人工智能平台拥有强大的模型发布和管理功能。用户可以选择满意的模型进行发布,既可以将模型通过PMML格式导出,也可以将模型进行公开和私人共享；训练好的模型可以版本化管理,每个版本都可以查看其概述、结果和参数重要性。模型版本管理人工智能平台平台在模型管理页面支持对模型的版本管理,模型导出与分享,模型详情查看及效果的跟踪。模型组合功能人工智能平台平台支持bagging、voting、stacking组合模型,如:简单平均和简单投票等。模型共享协作平台支持模型协作,多人协作模型开发模式,支持算子、流程的共享,多人之间可以团队协作。模型模板功能平台支持模型管理,包括内置行业模板、自定义模型模板。在的大数据和人工智能平台中,内置大量行业模板,例如担保链分析、用户画像、风险图谱、Missile营销推荐、用户流失预警、商圈聚类分析、客户精分、实施推荐、垃圾短信检测、实时人流密度估计等。使得用户可以基于平台快速地基于自身业务需求构建解决方案。深度学习模型管理人工智能平台在支持普通模型的管理外,还支持负责的深度学习模型的导入导出,可视化查看等管理。数据市场数据市场没有“项目”概念,是跨项目进行管理,打破原来以表为中心的数据管理方式,以实体为中心,存储特征加工的结果,作为共有资产,供建模人员使用；数据市场（DataMart）支持创建多个实体如“客户”、“企业”、“政府”、“车辆”等,其数据结构通常被描述为星型结构或雪花型结构,主要是由一个事实表和多个维表组成。数据市场中的数据来自于数据集,通过创建不同实体来满足业务需求。实体建模实体建模是把分散的多张表,以业务形态进行组织的一种方式,能够把散落在不同存储中的多张数据源表,及其之间的关系能够进行统一管理和数据同步。在实体这个统一的模型层上进行提取、整合、分析、规则引擎等。指标指标是数值,指标来源于业务数据,尽可能全面地描述对象的基础属性,这些基础属性值是短期内不会发生较大改变,如消费金额、教育支出等。所有的指标名称只允许在数据市场完成。标签标签是枚举值,标签可以抽象描述,如属性（性别标签值男、女,年龄标签值少年、青年、中年、老年）,行为（消费、交易、存储等）。也是可以对实体之间的关系进行描述,如交易、转账等。所有的指标名称只允许在数据市场完成。模型市场基于模型训练结果,通过图形界面构建相应的应用服务,并通过容器化的方式打包与运行。无论应用如何部署、部署在何处,你无需担心依赖问题。部署数据科学的应用的一个难点就是搞清楚机器上复杂的依赖关系（numpy、scipy、pandas、scikit-learn和statsmodels等）,通过将这些应用容器化,你可以在不管依赖关系、部署机器上的操作系统类型以及现有包/库版本的情况下,利用一行命令轻易完成部署。模型部署模型的应用需要部署到相关业务应用中去,人工智能平台通过Kubernetes/Docker技术来将AI模型“服务化”,让用户可以真正地将创建好的AI模型应用起来。人工智能平台提供多个模型“API部署”入口,大大方便用户随时部署。每个入口部署效果完全相同。模型上架如上文所述,模型上架用于将模型打包成Docker镜像,方便后续对模型镜像资产化,并且提高将同一个模型部署到不同线上环境的效率。人工智能平台模型上架支持三种模型来源:实验流程、Notebook代码文件、自定义镜像三种部署模式。模型上线模型上线用于将模型镜像部署成K8SService并提供RESTAPI供用户调用来实现模型预测功能。目前人工智能平台支持三种模型上线方式:新部署、滚动更新、灰度升级。上线服务测试人工智能平台提供对已经上线的模型服务进行API测试。在模型市场线上服务列表中,选择连接状态为连接成功的服务,点击“测试”进入测试页面。API服务资源管理与扩展用户可以在不管依赖关系、部署机器上的操作系统类型以及现有包/库版本的情况下,利用API服务轻易完成上架与上线。通过图形界面构建相应的模型应用流程之后,平台通过容器化的方式打包与运行。其他系统只需要调用相应RESTAPI,既可使用模型进行实时预测。服务监控人工智能平台平台自带监控后台,可以精确统计API的调用情况和结果统计。通过线上服务监控,可以看到当前导入平台的API列表,同时可以查看API包括服务内容、运行状态、实例详情、资源设置等具体的详细情况。需要审批的项目还可以通过右上角我的申请查看我发起的每个申请的当前状态和详细信息。API服务使用API服务上线后,可通过RESTAPI调用,传入参数并获得预测值。可视化展示图形化数据导入功能人工智能平台建模的过程中需要导入外部数据来做辅助进行,对于外部数据,人工智能平台提供了一个优秀的导入数据接口,包含但不限于以下几种数据导入方式:支持从本地导入CSV文件:CSV文件为数据挖掘常用的数据源文件格式,人工智能平台可以通过直接解析本地上传的文件,存储在分布式文件系统中去。支持传统数据挖掘软件导出的数据集文件格式:在有传统的数据挖掘产品做迁移的过程中,往往面临着传统数据挖掘产品的数据迁移工作,如sas7bdat格式文件（SAS文件格式）,人工智能平台提供通用的文件上传接口,以满足数据上传的需求。支持浏览存于HDFS路径下的CSV文件：在HDFS分布式文件系统中,由于很多数据文件是以CSV格式存储的,故人工智能平台提供了解析HDFS上CSV格式的数据,方便数据源的的快速连接。图形化数据导出功能人工智能平台支持一键操作直接导出数据集、表到用户本地。找到人工智能平台数据集,选择要下载的数据集,直接点击导出,可直接导出到本地指定路径。图形化数据预览功能人工智能平台支持数据表信息预览。人工智能平台支持数据统计信息图形化展示,缺失值、数据类型展示等。图形化数据预处理功能在算子区域可以选择各种数据预处理操作,支持UDF/UDTF方式的自定义算子,SQL编写窗口等,包括采样、字符串索引、过滤样本等等。如筛选出play值为“yes”并且temperature大于80的数据样本。支持SQL编写窗口来预处理。图形化建模算法支持人工智能平台支持近百种图形化算法,对算法均支持相关的参数和预处理的选择,对有随机性的模型支持种子设定,全部通过图形化操作。图形化推荐式建模支持人工智能平台在建模的过程中,每一步的操作都可以通过图形化的自动推荐进行下一步的建模操作,这样能够大大方便数据分析师的建模工作。/图形化模型评估支持对机器学习的泛化性能进行评估,不仅需要有效可行的实验估计方法,还需要有衡量模型泛化能力的评价标准,这就是性能度量。简而言之,就是评估模型的好坏。常用的性能度量有错误率与精度,查准率、查全率与F1,ROC与AUC,代价敏感错误率与代价曲线等等。支持通过图形、表格的方式对模型评估展示。图形化数据展示功能支持针对数据的饼状图、柱状图、热力图、雷达图等展示方式。图形化模型结果展示功能当模型训练好后对模型进行评估时,可以选择包括混淆矩阵、ROC.KS、Lift、P-S曲线等多种展示标准进行图表展示,展示结果同时显示数据表与图表。应用成熟的模型对数据源进行预测,预测结果支持饼状图、柱状图、热力图、雷达图等展示方式。图形界面方式多租户管理用户可以使用图形化界面来配置多租户的用户、组的权限。管理员用户可以新建、编辑用户的信息。管理员用户可以编辑管理组的信息。同时,管理员用户也可以编辑、维护角色的信息。同时用户可以按需创建,按需销毁计算集群,