大数据功能模块概要设计_V1.1讲课稿

1、精品文档第1章系统总体架构报表应用指标管理应用层门户系统数据交换整合平台数据采集管理数据加工流程定义数据加工组件数据加工流程监控文件交换管理数据加工流程调度数据订阅管理数据加密管理基础平台工具层用户组织管理日志管理流程引擎元数据管理服务总线权限管理单点登录调度管理GIS平台支撑数据用户数据权限数据交换数据管理数据安全数据元数据公共基础数据库业务库服务库文档视频人口库 法人库 宏观经济数据库 建筑物库 空间地理库通用共享数据专题库精品文档精品文档第2章通用组件2.1 基础页面组件前端页面 JS 框架，采用 jquery 为基础开发框架；为考虑对IE6， 7， 8 的兼容性；建议版本为：1.7.2

2、；基于 jquery 的 UI 框架，目前流行的有：easyui 、jquery ui、dwz；这三个各有一部分对基础页面组件的支持； （考虑到这些基础 UI 框架可能存在的不兼容性，建议只选择一个，对于UI 框架不支持的组件，另外选择开源提供）对于常用的基础页面组件选型如下：UI 框架基于 jquery的UI框架组件分类特殊提供jquery提供easyuiuidwz图表组件jfreechart/fushioncharts(商业）在线编辑器KindEditor/CKEditor有文件处理上传： jquery.form.js有（多文件上传）jquery.validate.js表单验证（可自定义验

3、证规则， 包括正则有表达式验证）listbox 组件UI 框架有支持日期组件my97Date.js输入框html 原生的 text 标签UI 框架有有支持进度条UI 框架有有支持对话框UI 框架有有有支持按钮UI 框架有有有支持各种 Grid分页的 grid:flexgrid进行改有有有造；需要服务端配合提供model各种 TreezTree.js各种 MenuUI 框架有有有支持精品文档精品文档Tab 组件UI 框架有有有支持Form 组件标准的即可，如果需要做 ajax有提交，建议使用： jquery.form对于参数类的，可以使用自定义下拉框UI 框架有有有JSLT 标签来处理； 通用的

4、 JS 下支持拉框，可以考虑使用 UI 框架的自动填充UI 框架有（ auto有支持ComboBoxcomplete)遮罩组件jquery.blockUI.js2.2 基础技术组件开源自主开发任务调度quartz组件验证struts2的验证框架？分页自主开发； 需要与前端页面的分页 grid组件搭配使用；需要考虑ORM层的适配自主开发；建议将字典信息通过缓存组件进行存储管理；字典组件另外需要开发自定义标签库，提高前台页面使用字典信息的开发效率需要考虑缓存服务器的选型之后才缓存能明确配套的缓存组件日志slf4j + log4jFTPcommon-net.jar 其中的 FtpClient导入导出

5、excel:jxl或者 poi，如果要支持excel2007以后的版本，需要考虑（ excel/pdf)用 poi3.6异步操作pdd : 考虑 pdfbox /iTextXML文件解析dom4j、 DigesterWebSerives 发布考虑开发框架，如果是spring ，建议使用 cxf ；精品文档精品文档2.3 基础类库J2EE 服务端开发所需要的基础类库包括：apache-common对 基 础 类 的 一 些 扩 展 ； 包 括 了 ： commons-beanutils.jarcommons-collections.jarcommons-fileupload.jar common

6、s-io.jar commons-lang.jar commons-lang3.jar commons-logging.jarjson-lib对 json 数据格式的解析、封装；提供将json 字符串，到Bean 或者 List<Bean> 的转换；或者将Bean 或者 List<Bean> 转换为json 字符串；junit进行单元测试的基础包；建议使用junit4struts2 / spring mvcMVC的 C 层的选型spring业务处理逻辑层，建议使用spring3.0 以上版本；ibatis / mybatis/ hibernateORM 层的选型精品文档

7、精品文档第3章选型3.1 中间件商业： weblogic 、 webshpere开源： jboss、 jetty 、 tomcat对于中间件有要求：部署的时候，需要支持 jdk6.0 ；如果是 weblogic 建议使用 10.3 以上版本，采用 sun-jrocket 的 jdk;websphere 要求 6.1 以上版本；3.2 数据库关系型Oracle / MySQL;如果是 oracle，要求 10g 以上版本，并且已经升级地理数据库NoSQLmongodb / hadoop / hive /hbase /memcached/redis3.3 底层开发框架服务端开发框架struts2

8、+ spring3+ ibatis (?mybatis)?spring3+ibatis (?mybatis) ?精品文档精品文档前台 WEB 端开发框架JS 框架：建议使用jquery ；为兼容IE6 ，7， 8 的浏览器，使用的版本；所使用的UI 组件，需要与兼容；HTML+CSS ：为兼容 IE6 ，7，8；不建议使用HTML5+CSS3的模式；而是采用目前的html4 + CSS2;3.4 服务总线自行开发3.5 开发工具Java：J2EE 开发： eclipse桌面应用开发：netBean 或者eclipse + swt 插件3.6 版本控制工具SVN3.7 报表 /图形展示精品文档精

9、品文档第4章用户组织管理4.1 用户组织、权限、登陆、日志系统架构图4.2 对外接口开发用户组织管理的核心在于对外提供一套标准的员工和组织接口，包括各种API接口、WEBService 服务接口、界面接口等。定义该接口的目的，是为了屏蔽在项目实施过程中，不同的项目可能存在着不同的用户组织管理方式。针对不同的用户组织管理系统，只需实现一个基于该接口定义的适配器就可以了。而基于该员工组织接口开发的其它业务模块，不必再修改关于用户组织模块的内容了。精品文档精品文档接口列表? 根据员工 ID 查询员工基本信息? 根据组织 ID 查询下属所有员工信息? 根据组织 ID 取得其管理员集合? 根据组织 ID

10、 取得下属组织信息? 根据组织类型 ID 取得组织类型信息? 根据员工名称查询员工基本信息? 根据员工代码查询员工基本信息? 根据员工 ID 取得其行政隶属组织信息? 根据员工 ID 取得被该员工管理的组织信息? 根据员工 ID 取得所属的所有组织? 根据一批员工 ID 查询一批员工基本信息；? 登陆系统? 重设密码? 锁定用户内部功能说明界面接口? 选择组织树（单选）? 选择组织树（多选）精品文档精品文档? 先选组织树，再选组织下的员工（单选）? 先选组织树，再选组织下的员工（多选）4.3 内部功能实现组织管理在一个系统中，可能存在着多套组织，意味着每个组织都有自己的根节点，系统需要支持管理

11、不同的组织树。可以通过组织类型来区分不同的组织树。组织树包含的字段为：组织ID 、组织父ID 、组织名称、组织类型、备注。以下是该模块的操作方式：在界面左侧点击按组织搜索标签页，出现组织树，点击其中一项组织，右侧组织详细信息会显示组织的详细信息。修改其中的信息，点击保存按钮，完成修改组织基本信息操作。点击删除按钮，完成删除组织操作。在界面右侧组织详细信息点击新增按钮，在组织详细信息中填入组织的基本信息，点击保存按钮，完成新增组织操作。人员管理人员管理包括管理人员的基本信息，扩展信息，操作员信息，以及所属的组织信息。人员的基本信息字段为：待定。扩展信息字段为：待定。操作员信息字段为：待定。在本系

12、统中，一个人员只设置一个唯一的登陆工号。所属的组织信息字段为：组织ID 、人员ID 、关联类型。对于关联类型，需要设置关联类型静态参数，比如隶属员工，部门领导等。在界面左侧点击按组织搜索标签页，出现组织树，点击其中一项组织，在左下侧搜索结果 /员工列表会出现该组织所属的员工，选择员工列表中一个员工，右侧员工详细信息会显示员工的详细信息。 修改其中的信息， 点击保存 按钮，完成修改员工基本信息操作。 点击删精品文档精品文档除按钮，完成删除员工操作。在界面右侧员工详细信息点击新增按钮，在员工详细信息中填入员工的基本信息，点击保存按钮，完成新增员工操作。在新增或修改操作员时，点击新增员工组织关系 ，

13、弹出员工组织关系维护界面，在组织名称选择框中选择所属组织，在是否被管组织中选择，员工是否是这个组织的管理员，在是否直属组织中选择，该组织是否是该员工的直属组织。填写完毕，点击保存按钮，保存员工组织关系。一个员工可以有多条员工组织关系，其中一个员工只能且必须有一个直属组织。4.4 部署员工组织模块，可以和业务系统合在一起部署，也可以分开部署。4.5 安全和性能安全为了保证员工的密码的安全，系统采用不可逆的双重MD5 加密技术。在密码传输过程中，采用SSL 加密传输方式，防止密码在传输过程中被截获。性能为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保

14、证接口调用的实时性和准确性。可靠性如果用户组织系统与业务系统合在一起部署的话，用户组织系统的可靠性策略同业务系统；如果用户组织系统单独部署的话，需要部署2 套以上，用4 层交换负载向外提供服务。精品文档精品文档第5章权限5.1 对外接口开发接口列表? 获取用户的功能菜单列表? 根据员工 ID 查询员工所拥有的角色信息? 根据员工 ID、功能点 ID，判断员工是否有改功能点的权限5.2 内部功能实现授权管理主要包括外围需要管理的系统，以及每个系统所包含的菜单或权限点，及数据权限管理。外围系统管理该模块主要管理所有需要登陆、验证、权限校验的外围系统。字段包括：所有被管理系统的 ID 、系统名称等信

15、息等。菜单及权限点管理该模块将各个系统的菜单、权限点（主意涉及到按钮的权限）管理起来。字段主意包括：系统名称、 菜单 ID 、菜单类型 （普通菜单或权限点） 、菜单 URL 或权限点唯一名称、名称、 备注等。数据范围管理该数据范围管理，主要管理特定的表，可以允许查询的数据范围、字段等。还包括数据操作权限管理。待定。精品文档精品文档角色管理角色管理主要指将菜单或权限点、数据范围打包成一个集合。角色与菜单、权限点、数据权限范围管理将菜单、权限点、数据权限与角色进行关联。按角色授权该模块用于按角色授权，先选中某一个角色，再选择将该角色授权于哪些人。按用户授权先选择一个用户，再选择授权给给用户的权限角

16、色。5.3 部署权限模块，可以和业务系统合在一起部署，也可以分开部署。5.4 安全、性能、可靠性安全权限系统安全，主要依赖于用户组织管理模块的安全实现。性能为了保证外围接口调用的实时性，需要将权限数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。精品文档精品文档可靠性如果权限系统与业务系统合在一起部署的话，权限系统的可靠性策略同业务系统；如果权限系统单独部署的话，需要部署2 套以上，用4 层交换负载向外提供服务。精品文档精品文档第6章单点登陆6.1 对外接口开发单点登陆对外提供的接口，包括WEB SERVICE接口和外围系统的客户端包。接口列表? 根据员工 ID

17、获取单点登陆 token 码? 根据用户工号、单点登陆 token 码验证是否合法或过期。客户端 JAR 包外围系统，如果需要使用单点登陆系统的话，需要在客户端工程中加入单点登陆的客户端JAR包，并在客户端中做单点登陆认证的相关配置。6.2 依赖的外部接口单点登陆依赖的外部接口包括：? 根据用户名密码验证账号合法性6.3 内部功能实现证书该模块负责对CA 证书进行统一管理和分发。登陆调用外部接口进行用户登陆，并返回相应的token 值。精品文档精品文档端其它开发工作SERVER 端需要开发改造的内容如下：? 根据 CAS接口，实现用户的登陆验证功能；? 掌握与各种流行的 WEB 服务器的集成配

18、置；? 掌握 CA证书的生成、配置。6.4 部署单点登陆系统需要独立部署。6.5 安全和性能安全单点登陆系统采用256 位 CA 加密证书、 HTTPS 加密传输的SSL 协议来保证系统的安全。性能为了保证外围接口调用的实时性，需要将组织员工数据加载到缓存中，并采取定时更新、通知更新等策略，保证接口调用的实时性和准确性。同时，系统产生的登陆token 值，也需要放在缓存中。可靠性鉴于单点登陆的重要性，所有外围系统依赖该系统对外提供登陆功能，所以单点登陆的可靠性尤为重要。单点登陆系统需要部署2 套以上，用4 层交换负载向外提供服务。精品文档精品文档第7章日志记录及审计模块7.1 日志管理调用关系架构7.2 对外提供的 SOA 日志接口统一登陆日志接口外围接口必须调用日志管理提供的统一的登陆日志接口，记录记录用户的状态及信息。通过日志管理平台可查询到平台的所有用户登陆信息。统一数据交换日志接口外围接口必须调用数据交换日志接口。数据信息交换时调用数据交换日志接口，实现对数据交换的日志信息记录。统一数据整合日志接口外围接口必须调用数据整合日志接口。数据信信整合时调用数据整