数据中心建设方案(简版)

1、数字环卫智能管理系统企业数据中心系统平台技术方案建议书.1数字环卫智能管理系统数字环卫智能管理系统第I章总体建设方案1.1总体建设思路统一 门户应用层ETL平台rrSGB iSfifeg图、数据中心构建思路图按照对数据中心的理解，完整的数据中心应该具备IT基础设施（主机、存储、网络）、 企业级ETC平台、数据存储中心、数据共享服务、应用层、统一门户、数据管控平台。.151.2 功能框架统一门户应用层数据共享服务存储与计算中心企业级ETL平台应用发布经分应用流48应用ESOP领；VGOP应用叵E互联网管控座上分析自有业务分析串道运立客向标签百浣量扰路地图区位价值汨案自a丽一1 U" 1

2、文件API消巨数据开放共克服务平台区衽均街域名分配鉴仅杏理'接入音律|除atf |SQL位找及路由负载均衡数据服务组件服务药源管理硼 有 权限 卸创建 身 下喊 V y分布式非关 系数据库统一数据模型服务逅维服务日志统一平台首控统一数据处理加工分布式文件分布式计比关系数居库非实时数据处理IT基础设施层图、功能框架系统功能框架分为企业级公立平台、存储与计算中心、服务层、应用层、统一门户、 统一平台管控。企业级£72平台：负责企业数据中心数据采集、加工、汇总、分发的过程，完成企业级数据标准化、集中 化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：非实时数据处理和实时数

3、据处理，提供数据抽取、数据转换、数据加载、数据汇总、数据分发、数据挖掘等能力。存储与计算中心：建立统一的数据中心数据模型，以及统一的数据存储与计算，具体提供关系数据库、分 布式非关系数据库、分布式文件、分布式计算，实现统一的数据存储与计算。数据共享服务:通过数据服务标准化开放访问，帮助企业rr建设中，应用和数据分离，引入更多的应 用开发商，促进应用的百花齐放和应用的专业性；基于标准化接口，实现对标签、客户视图、 指标等数据查询幺力封装，实现与周边系统实时互动，体现数据价值，减少数据冗余，保 证数据安全，保证数据的一致性。应用层：应用层的应用使用服务层提供的各种数据服务。本期应用层包括:经分应用

4、、流量运营、 ESOP应用、芍0。应用、指标库、流量运营战略地图、掌上分析、自助业务分析、区域 洞察、渠道运营、自助分析、客户标签库、实时营销、£7方互联网管控策略。统一门户：提供统一域名分配、负载均衡、鉴权管理、统一管控平台接入、应用注册、应用发布、 应用访问数据信息等功能，同时提供数据中心被应用访问的频次，被应用访问的数据范围, 提供数据资产的评估，为应用上下线和数据开放提供依据。统一平台管控：而向开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据资产管控、开 发管理、监控管理、调度管理、系统管理、安全管理。1.3 技术架构D82RotWMQ计算存卷脏尧Tomcatin

5、ceptwj R 1Hadocp我«««赳a=融|斛户孙知1告企彝载揖图、技术架构系统技术架构分为数据采集、计算存储服务、数据共享服务、平台管控。采用yiadooy 云技术，可以满足计算能力线性扩展、多租户能力、数据汇总能力:批处理场景采取adooy 的：M吵饮e£ce、Mve或者乡a*来完成；流式数据处理，采用软ex计算引擎实 现。数据采集：采用了位me计算框架，实现文件和消息采集与解析：采用流式爬虫、中文分词、图片 识别技术，实现互联网网页信息实时采集：采用了7T文件方式实现对数据文件的采集：采 用Socket消息方式实现对消息数据的采集；采用sqo

6、oy方式实现将数据库数据装载到 池开文件系统。计算存储服务：采用Xadoop中ND丁S文件系统提供统一的大数据数据存储，满足全量数据留存； 基于1/圆力提供跨平台的资源管理，满足资源的统一调度与管理；采用笳而少实现非实 时实现海量数据的批处理，主要处理OQS层-层->1）1"层->ST层的数据 处理：视业务数据情况部分层->ST层的数据处理采用的圆N计算框架实现：采用 Tsyer和ra66itmq支撑流数据处理与复杂事件处理：利旧1）32提供ST层数据的存储 与计算，支持高并发的指标级数据共享。数据共享：数据开放共享采用基于无仃P协议REST风格的勺。八4匆完成同步

7、处理与基于消 息队列（加2）完成异步处理，实现类so且面向服务的架构体系。支持04比提供一个 安全的、开放而又简易的授权协议。数据共享服务部署在集群环境中以应对高并发的访问请 求，并实现集群的负载均衡。统一平台管控：采用Java EE技术，通过为rrc模式（的。疵/Yiew CoiitroCCer,是模型一视图 一控制器）把业务逻辑、数据、界而显示分离的方法组织代码，将业务逻辑聚集到一个部件 里面，在改进和个性化定制界而及用户交互的同时，不需要重新编写业务逻辑。1.4 数据流图W4Api指标类API计算与存储层HDFS （全星数据留存）如c信令（实时）数据通过SoMet消息适配模块接入至功e计

8、算引擎进行实时处 理，向应用提供事件服务，支撑实时营销应用：后期如信令、£'庄信令也提供 实时数据，可满足基于G九信令、£7£信令的实时处理。除勿c信令（实时）数据外，信令、勿c信令、自有业务订购与使用行为等数据通 过非实时£!£方式装载到yiadooy的丸D于S文件系统，实现全量数据留存；由X" 承担主库的职能，实现海量数据的批处理，承载OQS->m伏D->QX，->ST各层数据处理， 其中。）4层部分数据提供给Spark,由SparE完成数据处理工作。对外数据服务可以由不同种类的月以来完成：人 针对诸如客

9、户统一视图、客户标签库的数据探索查询服务：将数据加载到 Syar的HDD中，通过月必将数据共享出去；2、针对诸如客户标签信息查询、客户详单查询类的数据查询服务（特点是通 过一个Key来查询数据）:将数据加载到XGase中，通过477将数据共享出去：3、针对诸如指标数据查询、火7厂数据查询服务（特点是高并发、多维度的 数据查询）：将数据加载到Qg数据库（利旧）中，通过幺力将数据共享出去；4、针对多租户的数据共享服务，详见5.3章节：第2章企业£72数据处理平台2.1功能框架企MkETL平台数据批处理实时数据处理统一调度管理统一数据处理加工根据数据中心的建设需求，企业级的TTL平台实现统

10、一的数据采集、转换、加载、 处理以及统一调度、管控等功能。这里的en:指的是广义的£71,具备以下的特点：统一数据获取接入，支持方域数据、3"域数据、0域数据或其他外部数 据统一接入数据中心平台。支持结构化和非结构化数据采集、加工；对非结构化数据要实现从非结构 化到结构化的处理过程。支持数据采集、转换、加载等关键，.数据处理过程，实现企业数据的标 准。从周期上，支持批量的数据采集，实时的数据采集满足数据中心数据加工，处理以及对外提供数据分发、同步支持全过程的数据稽核。包括事前、事中、事后的稽核方式。以及灵活的 稽核规则管理，算法管理全过程的可视化开发配置管理。通过可视化的开

11、发配置，测试和部署上线。全过程元数据管理。重点要实现事前的元数据管理。管理的内容包括：支 持数据模型、数据流程、转换规则、数据关系和转换映射规则。企业级的£72平台产品Q幺CT可以很好支持上述的关键功能特点。第3章数据存储层3总体概述服务层用户期期aWtAPIi*ffiASSAn计算与存储层HDFS （全星数据留存）Me信令（实时）数据通过Socket消息适配模块接入至Tsyer计算引擎进行实时处 理，向应用提供事件4口服务，支撑实时营销应用：后期如G九信令、CJT信令也提供 实时数据，可满足基于072信令、£7方信令的实时处理。除勿c信令（实时）数据外，G九信令、&quo

12、t;c信令、自有业务订购与使用行为等数据通 过非实时T7L方式装载到yiadooy的"D于S文件系统，实现全量数据留存；由X" 承担主库的职能，实现海量数据的批处理，承载OQS->Q1伏D->Q"/->ST各层数据处理， 其中。）仅层部分数据提供给Syar由Spark完成数据处理工作。3.2存储规划HiveXBasecC2OQS层3+1月3+1月-Tfm 层6+1月-o一层12+1 月-ST层36月-36月客户标签/视图3月12+1 月-指标3+1月-永久33模型设计数据模型设计按照层次，主题的数据模型设计的思路。系统根据模型设计会自动转成&qu

13、ot;上存储。层次、主题映射到相应的目录。逻辑模型到gdQQR物理模型转换层次.主题表名_YYYYXWadI设计人员在削模型时按照传统设计思翳，如下口I 系统在建表时目的因为在用班叫上的物理存储 I-口 HadoopData>层次,主题_表名匕dm7a匕层次一。主题4 :dr_gs»_yyyyw«ldJ： partion(aireaoodeswh/taskicZO 140101cdr_g3»_001002001cdr_ggm_0。1OO2UO2 cdr_gsjn_001002001cdr_gsin_001002002涉及到模型的操作在gaopp上做相应的自动

14、转换。a k e 克 n k m nmtrndrop UWeG)蜜收摘安：打我.CTwcejrrM* Sew SnMe"vwpa.ti«_ _，T8S；(Mr inotifPTOOUCLWG)联O 卜H9I日 MVaAM.INSERT INTO IF一。Q M冷做一步匕一我,gue*eQ -ItrMtWWWfre<««e IM*。竺2"9蜂_""_62 ew_r»r*_co«p_c<«jMJ»r?4*yrtn*r»e tx«e10 dw xbcomp c

15、«n dt(7) c。白 mwsr)Ri*wCfHie uue <r»o<cw 8mp c«u at<)B*RTEONED8Y(PT_T*IE3TR* PT.OTY 8TR»*>5)QmHaMQsiawsz. ' '.* . dw Como c«ll dt : . ;：'，/.】G)喂n天累moa入灯以8由才xinsert «v«fVHte uw* aw cemp c«n_dtk却mn XW 中日力力日 却JU)裁累人火对会分：S££"”

16、在0*2小9块z«r>wpartlon(areaoode=xg/taskid=20140101 cdr_gsm_001002001cdjgs叱001002002 partxonareaocxie=xg/ ta2kid=20140101) cdr_gsjn_001002001cdr_gsin_00100200234模型规范化管理3.4.1分层规范依据数据仓库建模理论，结合实际经验，数据计算平台承载数据模型分为四层： OQS、DW, Q州和S7；即接口层、存储层、汇总层、应用层。模型分层说明：接口层：OQS模型的数据结构与业务系统接口文件结构保持一致，接口层的数 据在数据计算平台进

17、行暂存。存储层：即明细数据层，是数据计算核心层数据模型之一，用于存放由清洗、 转换层来的数据或者接口层直接来的数据，其设计目标是为后续的汇总数据层和信 息子层提供数据基础。汇总层：即轻度汇总数据层，也是数据计算核心层数据模型之一，该层实现对 主题内的数据做轻量汇总。设计目标是为应用层提供足够灵活、方便的基础数据， 并保证从该层获取数据是性能最优。应用层：在汇总数据层之上，数据按照应用需求做数据聚合，生成相关应用所 需数据的数据层。应用数据层是面向应用的，但是也不是每个应用都在应用数据层 对应一个表，对应用要在数据应用层中进行整合。3.4.2表命名规范o勿G标准化组织建议，采用5分段的命名规范：

18、如下层次模式名.前缀一编号.主体名_后壤L层次模式名12 3结号 4 主体名、JS9K名时表层dvtw?ImpN/A原表名.序号N/A蓼数等公用区dvpubtdN/A与BOSSfB同HZASTdvapprpt Ifact lkpi|*B,N/A砺自行敬DWdvctrt-cN/A沿用汇息层命名DWDdnidFN/ACDSdvifctil if噩与BOSS属同苞度旧期3.13字段命名规范建立字段的命名规范，并固化为类型，指导模型设计字段命名。当有变更, 可以做到跨平台的统一建模。数曙项龙辐手段名物理字自名xx_flag次教XX次教xx.num拳数义义生教xx numxx ent时长XX日寸长xx

19、durayy fq*整用XX要xx, fee3.4.4模型版本管理测谎变更模型设计能据表结构以元据为中心进行版本管盘同时在程序中逑表不允许aeamable方式. 必须调用平台捏供的硅表函数，以确保恚结构描述信息、定义信息和实际生产环节 能够保持一致第4章数据开放服务层4建设目标通过数据服务标准化开放访问，帮助企业NT建设中，应用和数据分离, 引入更多的应用开发商，促进应用的百花齐放和应用的专业性。基于标准化接口，实现对标签、客户视图、指标等数据查询幺力封装, 实现与周边系统实时互动，体现数据价值，减少数据冗余，保证数据安全，保证数 据的一致性。对于详单级数据，支持通过文件或授权的方式共享给周边

20、系统。通过统一的技术平台框架，制定企业数据标准体系规范，基础数据采集处 理，加工汇总，可以引入多家厂商或多租户进行标准化开发。要实现上述目标，需要解决的关键问题：1）需要什么样平台功能？2）开放的对象。给谁开放？3）开放什么内容。包含两部分，基础数据的集成开发的开放和应用访问层数 据开放。4）开放的安全保障机制5）如何保证开放对象开发提交的结果的规范化、质量。6）开放平台运营的组织结构和流程制度。4.2概述要满足建设目标的要求，数据服务开放的整个功能框架如下：开放对象冢0户开放国画回匣已开放形式开放平台 安全管理 运行机制开放内容宽耳次U管w文件API故据开放共引眸平台ffeB路由氏谶 雌安全

21、官理故里际生组件数据眠S管理日询里V.HIVg&S-SPARK（ODSQWDQV那产数据（客户视图产品视处理能力开放）图.皿）HBASE-客户标签查询）DB23间）4.2.1开放对象示例说明如下开放对象说明使用形式相关数据多租户通过授权的机制，给租户开放 通过sq，查询数据能力，租户可以 在此基础上汇总加工自己私有的 数据SQ£, 进行数据处 理在保障数据安全性、 数据可控性的前提下，将 Hi"仓库的OQS、 DW. Q）仅各层的开 放授权给数据处理开放 给租户。ES0fp,VQOT通过文件接口将数据分发给 对端系统，满足其数据分析需求文件客户视图，汇总模型等手机经

22、分通过在线同步幺口调用的方式获取数据开放ATI指标类数据实时营销客户端通过事件注册的方式 监听服务接口，当服务满足触发条消息服冬信令位置信息等件是主动通知监听客户端4.22开放共享方式共享方式说明应用场景示例文件接口数据中心将数据主动导出文件，发送给数据需求方1、6oss的互动接口2、即席查询临时周期性生成数据开放通过幺力查询获取结果数据，即查即用，不落地。按查询数据对象粒度分为三类:1） ST表查询】、通过对发布的数据模型发起£SQ£进行查询获取数据2）指标类查询2、如手机经分查询指标,原来是通过接口表导入数据，可以通过幺口来查询数据3）单用户清单信息查询数据分发将数据中

23、心的数据分发到目标数据库。需求方提出申请审批通过后，系 统通过分发平台定期将数据分发到目标库定期数据同步。如将用户行为汇总数据定期同步到经营分析系统即席查询业务分析人员通过封装好的数据模型和提供在线即席查询分析：具，进行查询分析获取数据临时统计，临时取数消息服务通过消息传递数据。适合于系统之间的实时协助，如用户事 件信息。需求方作为消息的消贽者,同时传 递消息事件和内容44多租户管理 4.3概述采用多租户的思路，将数据能力和数据平价数据处理能力按需、可控的进行开放，在保 障数据安全性、数据可控性的前提下，通过标准化封装的数据操作，可视化开发工具开放给 业务运营部门，由其自行进行数据操作开发.使

24、用企业级数据中心提供统一开发平台来实现多租户数据开发，其功能结构如下图:统一开发系统管理员开发团队成员开发团队管理运行监控团队登记asss-统权限分SB日常管理开发配置数据处理过程道著的囹S磔若同题管理技术架构权限资源控制资源分配管理运雄监控DB2 二二 Hadoop系统包括两部分：开发管控和技术平台。通过这两部分互相配合实现系统开发能力的开 放。这种模式下需要解决的关犍问题包括如下：如何进行资源控制，数据权限管理，跨系统 之间的数据交互，自动调度运行，元数据管理。4.3.2角色功能系统管理员：对开发团队进行管理，数据权限和系统资源的分配、审批。心设置开发团队使用资源和账号2、对开发团队提出的

25、数据权限申请进行审批授权3、表的敏感级别和敏感字段。不同团队对同一数据安全级别可以不一样4、对开发团队上线进行审批。检查性能，开发规范的满足情况，调度申请周期是否合数字环卫智能管理系统5、对开发团队数据导出安全进行审计租户开发：使用统一的技术架构和开发工具，在可以使用的数据的基础，加工出私有数 据】、查看详细的数据结构2、新申请数据权限，如果需要新的数据，可以进行申请，由管理员审批后就可以使用3、数据加工开发，进行数据汇总、关联查询，数据导出等类型数据数据加工开发4、临时上线、正式上线。5、对其所开发的程序数据运行情况监控。4.3.3统一开发平台技术详解4.3.3J租户用户管理租户与系统用户映

26、射通过映射开发管理平台帐号及执行平台帐号，以租户的方式实现用户及用户组管理，以 达到资源管控及数据权限控制的目的。如下图，在管控平台进行开发团队的管理和对应账号的设置，在数据平台完成对租户的 资源、权限进行控制。每个开发团队根据需要指定其在Radooy或关系数据库上的执行账号。在数据平台上 实现账号的权限、资源的控制。在查询或运行某个数据处理任务时，用其对应的账号进行执行。从而实现对开发团队开 发运行的任务资源、权限的控制。在管理平台新建租户的账号或数据权限变更时，管理平台根据配置参数，实时调用OCDC的相关4力自动进行授权、修改、创建账号。4.33.2系统计算资源分配控制在管控平台统一对租户

27、进行计算资源的分配，分配完的参数部署到AnA"或关系数 据库，实现控制。实现资源控制，包括两部分：RiA少上的资源分配和关系数据库的资源分配（Q32）。adooy计算资源控制要实现计算资源的控制，丘A"需要OCXad。呼3.2以上,安装安全组件（se"ry） 计算资源控制原理资源池跟系统的账号相关。一个系统账号只能属于一个资源池，支持采用资源 池方式对系统用户进行CPU，内存的运行控制。资源池控制参数：独占资源：最小分配的资源。系统确保此用户有最小的资源。共享资源：系统空闲时可以使用的最大资源其中单位：虚拟的夕九核和内存单位。如何设置租户的资源参数，是一个需要不断

28、根据运行情况进行优化的过程。Mgs-品A Awsr-0C4ClOOOtnb. 10»cofdsSOOOtnb, SO/cores400500眇SOOOOOmb70000口nbs300mb Ivcores10D0mb lOxzofes7003。光aooocwb45000注：Syark同fiacCooy的资源管理1）2资源控制要实现2的资源控制，要求：1）2 9.5版本。目前函2的版本已经满足，需要开 通的生效参数。在1）2 9.5版本推出了工作负载管理“江加（参考附录，不用额外收费1但只能限制 数量。控制参数如下：参数名说明min分配给某个服务类的最小资源百分比。缺省值为。softma

29、x在有冲突的情况下（这里可以理解为资源紧张时），服务类可获 得的最少资源比例。在没有冲突的情况下，服务类可获得的资源可以超过该值设定的比例。缺省值1OOfiarc&nax在没有冲突的情况下，服务类可获得的最大资源比例。缺省值为1OO433.3系统存储资源分配为必少存储资源控制，每个租户独立一个文件跟目录，设置文件目录大小；函2的存储资源控制，对每个租户独立一个表空间，设置表空间大小：说明：弁“而少存储控制采用的是操作系统的目录大小的控制。缺陷是无法高度自动共 享可用空间。即一个目录大小分配出去之后，意味其就占有了这个空间。因此一般做法是由 小到大慢慢分配空间。44数据权限分配与控制在开

30、发管理平台进行对数据权限的分配。根据分配的结果在数据平台进行授权、回收等 操作。数据权限的控制包括：表级权限控制和字段级的权限控制：表级权限分配:系统根据分配的结果，产生授权或权限回收的脚本到函2, FiacCooy进行执行完成权限控制。注：在管理平台分配的是逻辑模板表，数据平台控制的是实际的表。因此有一个模块专 门按模板表的权限规则转换为物理表的授权脚本执行。字段级权限分配:在表级授权的基础上,对表的字段的权限进行授权分配。 由于目前462,少不能直接实现对字段级的权限控制。所以我们采用两种 方式实现这个功能：方式】：建立视图，过滤掉没有权限的字段，然后将视图授权给相关账号。实现字 段级的权

31、限控制。方式2：通过应用级的控制。通过开发人员编写的语句解析，分析其查询中所 用到的字段，如果字段超出权限范附，则给出提示，不允许执行。资源控制手段列表：控制项目此2fiadooy表级权限通过此2的权限管理,通过脚本实现数据权限的分配通过Eer60rs的权限管理，通过脚木实现数据权限的分配字段级权限通过视图通过视图资源-CTV通过w6n进行设置通过1/幺比M资源池进行控制资源内存无法实现通过V幺比V资源池进行控制资源存储每个租户独立一个表空间，设置表空间大小每个租户独立一个文件跟目录，设置文件目录大小系统文件目录每个租户在数据主机上建立文件目录，存放源代码，可执行程序每个租户在数据主机上建立

32、文件目录，存放源代码，可执行 程序4后a.5租户的数据开发过程露查看数据字典开发人员可以查看到所有的数据字典。查看内容包括数据表名，中文名称，描述信息，存储位置、数据结构。通过调用基础平台的元数据实现数据字典查看。2.开发界面通过开发平台配置数据处理流程，可支持库内与库外、云平台与关系数据库的混搭数据处理，示例如下：n |L J匚：- KT/IT -"最'遢）鹭I 19ods_cdrsql 处理汇总dv/_cdr数据分发db2:dw_cdr_yyyymmdd上述的处理流程实现：在6c而少上对。4_c6通过sqG脚本汇总再通过数据分发到 底2上的小v_c由zyyvymm疝表上。

33、开发人员需要对输出表 痴上力设置表结构，sqf处理汇总处编写sq,脚本。在一个处理的任务流程中，汽点包括数据节点，数据函数方点拼接起来的一个处理流程。.19数字环卫智能管理系统其中数据处理函数节点包括：SqC tcC java. she£数据分发，数据加载，数据导 出，即创建表，删除表等。3.测试在界面上可以立即执行某个直点或整个处理流程，执行过程和日志信息会实时输出到前 分界面进行查看。如下示意图:4.上线开发人员在界面上直接提交上线。包括临时上线和正式上线两种。临时上线需要开发人 员填写生效的开始日期，结束日期，调度周期。正式上线，系统管理管理员会进行审批。审批的项目包括：程序名

34、称，表名是否规范, 字段名称和中文信息是否完整。在上线时，系统会自动将程序代码、数据结构从开发环境的配置信息部署到生产环境下。5.运行程序上线后，调度平台就会根据程序数据依赖关系自动进行调度。如果是临时上线的只有调度运行在有效期内的程序才会被调度执行。程序开发人员可以 申请延长有效期或申请固定上线。44.3.6调度执行多租户调度使用平台提供的统一调度功能，实现过程如下:Hadoop加行径I I 卧运.优丽5言 .五扇运一：fe蜡日也，调度运行依据输入表关系，根据数据关系实现正确调度依赖运行。对租户的临时程序调度时，只 会调度在有效期的程序才会调度。2 . S"脚本执行开发人员开发好的

35、SQ£脚本，可以到多个数据平台上运行，系统需要进行正确选择投 入到相应的数据平台运行。a）开发人员可以指定行点运行的数据库，如下图将喇6名：1我陪T卜仝B叱©外组定文囱效、 nt arry/deXchar 3f 6乐罗锣台仲：人效摄岸8aiserfet:select userarrusecnnams Tom rrd.metalser切 系统会对开发人员的编写的sq7进行解析，获取其依赖的输入表和输出表。再跟元数据进行对比自动选择相应数据库。选择策略如下:所有输入表都在同一个库则选择那个库输入表分布在两个库系统给出错误提示。建议其采用数据同步再进行开发。如果涉及到的表涉及到两

36、个库都存在如果有关联表，则跟着关联表同个库，否则优先选择大数据平台。3 .跨数据平台命令的运行比如：如何实现在AnA"平台执行汇总数据，导入到监2,在进行汇总。Server端在读取这个一个处理任务时，将命令发送汇总命令给ftacCooy 沟c72t执行, 然后在发送命令给fiacCooy Agent进行分发到“私，然后在发送命令给准2 agent进行 数据处理。.25第信应用开发与部署5应用开发流程应用层的所有业务应用具备与底层数据松耦合特性，通过接口层提供的各种数据接口， 向业务人员或第三方厂商提供开放幺灯服务。根据不同的应用场景，通过对相应的总以 进行选择和组合，从而快速生成所需

37、要的业务应用，以满足对应用的快速开发、部署、上线 的能力。对于应用的开发可通过两种方式进行实现：心数据中心平台内应用开发:通过数据中心提供的应用开发平台直接进行应 用开发，开发平台提供高效的可视化开发界面，包括对各类4匆可以追根溯源， 展现详细477元数据信息等。同时对应用设出、应用开发、应用测试、应用上线、 应用下线进行全流程、全生命周期的开发管控。此类开发场景主要适用于不具备硬 件资源的用户（如业务部门开发人员）进行应用开发。2、数据中心平台外应用开发：通过Xtty协议数据服务接口，直接调用数 据中心服务层中的各类幺力服务，通过开发编写相应的计算过程形成对应的业务 应用。此类开发场景主要适

38、用于具备硬件资源（如第三方厂商）的用户进行应用开发。1、开发管建平台2.测试所关妥的蛤入表是否 油百灰区使用在生产环境上进行侬时上线窗的申演畋抠权阳的申泡化上技审毗任的任务下就史再回收tSS评估优化开发部署时间弼后,会自就回&分 配抢分析人员的袭双阳及与书 空司,并备份临时典本R于应用于礴我咨区开发.N数解了必须 屋展过解次仅可以使用的奈就在上峻刷花这经 内将运行白湖纲.5.2应用部署建议本期从外部系统接入8类数据源，所有清单数据在企业数据中心进行基础汇总，提供数据、存储和幺口接口服务能力，供14类应用调用。畲ODS用户洋单I MC信令莒钟"I瞟I用户律用户信息参数侬DW/D

39、WD客户信息GlSifcSHDFS目有立资 使用信且详单鲂一视图HBASE消息RDB标签库应用：所有标签数据计算、存储在数据中心，标签结果数据在和施入S工分别存储一份数据，九八江上存储的数据通过Syavk的发QQ对外提供“根据标签查用 户群”以力，丸RXSE上存储的数据对外提供“根据号码查标签信息” ATL指标库：所有指标计算、存储在数据中心，结果数据存储在火通过“欠3查询” 4口对外提供服务。掌上经分应用支撑：掌上经分需要的欠为由经分提供，改为由数据中心“火3查i旬” 幺以提供。实时营销支撑：将勿C位置信令事件集成到数据中心，由数据中心提供消息事件给实 时营销平台。£7£

40、互联网管控策略（。）、自有业务分析平台、区域价值洞察：对于这些规划中的 系统，建议采用多租户的方式，在企业数据中心完成数据处理和存储都在数据中心，应用通 过调用4匆获取数据。经分系统一经接口、如JS接口、财务报表、TSOT, "GO，、战略地图、渠道运营平 分、所需的数据源，统一由数据中心将QMg、Q1"层数据分发文件给各系统，由应用系 统自行进行数据加工及展现。经分其他应用（除去一经接口、勿JS接口、财务报表）：数据处理和存储都在数据中心， ST层数据保存在既20数字环卫智能管理系统第6章统一门户6.1概述企业数据中心统一门户的建设是为了降低系统使用人员访问数据中心的难度

41、，提高系统 的易用性，并且实现数据中心的资源有机整合和统筹管理。数据开放服务门户：对于数据开放服务提供开发者门户，含有数据服务授 权申请、开发者帮助文档、服务注册、创建、注销等。2 .管控平台门户：对整个数据中心管控平台使用者门户，系统管理、运维调 度、质量监控等。3 .应用使用门户：对于应用使用者的门户，支持多租户应用、第三方应用的 集成统一呈现。6.2门户功能框架统一门户功能框架如下图所示门户功能框架包括门户接入、门户功能两部分；通过功能适配到角色工作台形成不同的角色视图。门户接入：主要负责企业数据中心用户访问渠道的接入管理；接入应用的 日志管理、负载均衡与访问授权。门户功能：包括角色工作

42、台、认证管理、权限管理、用户管理、流程审批、 数据开发、应用开发、数据授权、运维监控、多租户管理等界而。第漳管控平台7概述数据生产平台数据处理执行引孽数据稽核与评估日志、指标.性能采集在先调度数据管理体系一 -数据采BODSDWDDW统门 户7.2元数据管理7.2.1 功能框架元数据管理是需要将各系统的信息、设计工具信息、生产平台信息，进行收集管理，统 一管理。提供一个视图，以帮助使用人员了解系统的数据分布、数据关系、业务规则、指标 口径等。元数据包括：系统类元数据、技术类元数、管理类元数据。总体功能框架图| 兀l C | 刈*析*口用用快品布“保总坦针对数据中心的要求，元数据管理需要具备的关

43、键的特性如下：I)要求提供标准化的应用开发工具，满足在不同平价上的开发需求2)】。%的£立开发、数据模型开发、应用开发能基于开发工具实现3) 95%以上的元数据能自动采集、解析与管理，元数据的范闱包括但不局限于数据结构、数据词典、字段维度、程序映射逻辑、数据生命周期等4) 多租户的统一元数据管理722基于元数据的应用开发工具提供统一的应用开发工具，完成高效应用的开发，并可以自动完成应用元数据的采集。提供诸如数据展示包括报表工具，仪表盘分析等工具如心支持常见的各种报表样式卡片式报表QlttTHattaJfJT 一二二二二二二二二-三三二一二三三 HTJ.HJJT二-二 二二二二二二三二

44、二交叉式报表.272、支持常见各种分析图，同时支持图表组合分析数字环卫智能管理系统3、支持各种数据源方式支持oracfe,等常见的关系型数据库支持纱，gbase等myy数据库支持R芍s, dBase等大数据平分提供数据支持weGservice获取数据7.2.3基于元数据的数据开发工具采用元数据驱动设计理念，去规划元数据对象的创建、运行、评估、维护各环 节节。屏蔽大数据平台差异性，统一模型设计、统一程序开发，将元数据融入到开发各个环 节，利于管理。数据模型设计支持IDE数据模型设计，同时支持模型设计工具j?owey Msign、Erwi九批量导入 功能。提供数据周期、数据表级字段级铭感设置、字段

45、口径定义。数据流程设计设计程序输入表和输出表的元数据信息。程序开发根据设计的内容转换成开发内容。开发人员就可以在此基础上进行开发。提供各个接入平台统一封装函数，降低开发难度数据质量控制1 .常规检查。包括及时性，运行状态，运行时长，处理记录数等进行常规检查。2 .对程序日志进行稽核。包括单步的处理时长，记录数的波动等3 .对程序的目标表启动检查。检查目标的统计指标值，关键字段维度、层次间数据 的一致性进行检查提供程序界而测试功能对开发内容进行测试和调优，检查质量规范，性能，质量是否满足期望发布应用到正式运行环境元数据收集存储：程序的基本信息。包括程序的名称，中文名称，备注，周期，层次，主题，创

46、 建人，开发人员程序的处理步骤信息。包括程序步骤编号，调用函数，执行脚本程序输入输出关系。输入模型，输出模型程序的字段映射规则。输入模型到输出模型的转换规则 数据流设计设计数据模型，设置数据存储周期，敏感级别，数据模型数据流设计，支持模型字段映 射关系设计1 .数据流程设计设计程序输入表和输出表.输入表可以是文件，也可以是远程数据库上的某个表。目标 表可以是文件也可以是远程目标数据库上的表。2 .数据模型设计对输入表和输出表，进行表结构的设计。包括表的基本信息，存储信息和表的关系。根 据不同的存储类别，会有设计参数上的差异。,31r ab rrtArr - t mt ir<

47、4frMillr mn， nn3 .转换映射规则设计根据表的关系和表模型信息，进行转换映射。映射规则包括合并，拆分，规则转换，函 数转换等常见的操作rnvt i»”(m。 n»UAonc m iuui aukI LUI S3 nJMnnw 8K 可视化程序开发统一封装的函数库，屏蔽底层差异性，通过类sq£编写，或函数调度，实现跨 平台统一开发。根据数据仓库处理过程抽象出5大类通用函数库，统一调用参数接口， 开发人员针对不同不平台实现无差异的开发。如将某类数据文件加载到数据库中，开发 人员只要指定数据文件路径和目标表。系统执行时如果是要入库到1)2调用

48、VX2的 命令，如果是"I而少平台，调用以ilA少的命令。数字环卫智能管理系统大效拓平台交高大数据平台类人3 O文件操作类国O传统关系数括库上O模型类田O额组操作类0平台无关域作国O变星操作W。数据交摭类。走结构比较°传输表结构°从数据库导出数卷°导出CSH件a导入CS应件°导入数据到数据尽°数据迁移Q 一桧百”的为2«一，而二J圜 ： 通过可视化的流程界而，拖拽方式实现对函数的编排，对每个节.点函数编写参数，实现数据加工功能。降低开发难度°开发时候，对函数进行编排，填写节点函数参数。实现一个具体的数据处理过程人军

49、尸 *附,力钵JJ戢什去所吓、人，尸月建个人户月京成叨叮皿及时，入K产用太"入mM进行函数流程辐每个节点对应一个函数失吸射a 制中支持多种脚本开发，提供基于W脚本开发工具编写如tcC. yxjtfLon开发程序；能够从开发的脚本中自动解析建立元数据：输入表和输出表的关系；脚本类的开 发工具，集成了开发，测试，上线集成操作。同时将函数库，数据模型统一进行集成;.51?>。日步任先er功 ，.：I3J WR *5 ；1 二batting load 'Batting.csv using PigStorageC,');2 runs 8 FOREACH batting G

50、ESERATE $0 as playerIDt $1 as year, $8 as run grp-data = GROUP runs by (year);sax二runs FOREACH grp-data GENERATE group as grp, XAX(rms.runs) as join-ttax-run s JOIN max-nns by ($0, sax-runs), runs by (year,runs); join2data = FOREACH joi%_sax_run GENERATE $0 as year, $2 as playerlD, 7 dusp-join-data;

51、美 网开-r个 字e看后袤露后点、 、.或iSS这里创建K >14?:FMOUt 分区 OUBNamoValuePK1 helperData processing "Mtiono FOREACH %DATA% GENERKTE %NEW (UTA%PIG helper /zDebugHCataiogCOGROUP %VAR% BY %VAR%LIMIT。二七、二查看或运行的详FILTER %VAR% BY %CON(n;细日志信息GROUP %VAR% BY %VAR%JDIM%山心 ax724关键技术说明7.24门前向元数据管理人在开发过程中通过方工具产生结构化的元数据信息。

52、可视化IDE开发工具2、在上线时，对元数据内容进行稽核检查，保证元数据信息的完整性，合理性。通过 统一的上线作为管理的控制点。每个团队提交要上线的内容，存到统一元数据库进行标准化 检查稽核。上线时检查的内容：程序需要提交的内容：程序本身的信息和程序输出表的信息，7242多租户的元数据管理1团队设置管理2不同系统的开发桌面入口系统的开>> .周期三0解无金分项目组。箱口列表 。射 SUM»等开列取商标列衣 »府向列表应用元数据 中心每个开发团队输出到不同的开发目录。内容包括现有的数据字典、业务口径、程序代码 等。这些输出到同一的元数据中心，进行统一的标准化和规范化

53、检查统一的标准与规范，统制定基本的规范和标准，不管哪个开发小组开发的内容必须满足 这些基本的标准。7.3流程管理通过流程管理实现对数据处理过程的统一管控，并提供一系列工具实现数据处理过程可 视化、可管控，它包括对系统资源、软件资源、业务应用、参与人员等各种资源统一管理, 综合监控平台，随时重现大数据环境中各个组成部分相互依赖,为各级IT管理人员提供从资 源规划、资源收集、性能分析、故障定位与处理、统计分析、知识沉淀与管理过程的支持7.3,流程引擎流程管理集成自有轻量型流程引擎来完成各类流程快速配置开发。功能如下：人流程的建模和实现在流程定义、执行、管理控制等阶段，业务和IT人员的高度一致流程运行，以及整体性能查看和监控可视化提供灵活的手段实现流程的修改和演进支持流程模式以及部门协同，支持流程中的附件添加和查看自带的业务规则和决策表支持分支选择，路由到特定用户、用户组、角色、投票规则、例外和事件处理、服务水平监控规则等2、流程仿真、优化和分析3、开发管控、版本控制4、流程