数据交换平台功能白皮书

数字校园系列软件产品数据交换平台功能白皮书目录TOC\o"1-5"\h\z\o"CurrentDocument"1产品概述-3-\o"CurrentDocument"1.1产品简介-3-\o"CurrentDocument"1.2应用范围-3-\o"CurrentDocument"2产品功能结构-4-\o"CurrentDocument"3产品功能-5-\o"CurrentDocument"3.1数据源适配器-5-\o"CurrentDocument"3.1.1数据源类型-5-\o"CurrentDocument"3.1.2数据获取方式-5-\o"CurrentDocument"3.2数据抽取-6-\o"CurrentDocument"3.2.1抽取全量、增量数据-6-数据过滤-6-数据关联-7-数据分包-8-数据加密-8-数据压缩-8-\o"CurrentDocument"3.2.7数据备份、删除-8-\o"CurrentDocument"3.3数据传输-9-\o"CurrentDocument"3.4数据映射、转换-9-\o"CurrentDocument"3.5数据同步-9-3.5.1数据同步方式-10-3.5.2数据同步异常-10-服务调度-10-运维监控-11-告警监控-11-流程监控-11-资源监控-12-日志管理-13-4产品特点-13-4.1支持多种数据交换方式-13-4.2服务调度时间多种选择-13-4.3进行可视化的数据交换过程监控-14-4.4提供多种数据个性化业务处理-14-4.5支持海量数据处理-14-4.6先进的体系结构-14-4.7完善的安全设计-15-5运行环境-15-5.1服务器配置-15-5.2客户端配置-15-6典型客户-15-产品概述1.1产品简介在校园信息化趋势日益高涨的同时，暴露出很多问题：A信息化建设缺乏统一指导和总体规划，各部门独自为战，信息孤岛现象日益严重＞由于建设时期不同，采用的技术架构和建设情况各有差异，各系统之间的运行管理维护等也相对独立＞缺少统一应用平台，不能提供基于全面准确的标准数据及基于此的决策分析等深层次的增值服务数据交换平台正是立足于解决以上问题，通过对现有的系统进行数据整合，尤其是对相关的数据资源进行整合，消除“信息孤岛”，实现校园内各种信息系统的互通互连和数据共享，形成统一的数据服务层，为上层应用提供数据服务，为校园综合信息服务的便利、完善和高效提供可靠的数据基础。数据交换平台采用星型拓扑结构，有效的简化了网络结构，实现了数据交换智能路由功能，根据交换数据内容，能够方便实现一点对多点，多点对一点，以及发送、转换、转发、接收等多种交换流程。通过采用中间件机制，很好的屏蔽了应用系统直接的耦合程度，实现了数据的无缝交换和共享访问，保证了各应用系统的有效协同，同时又能保证各应用系统的相互独立性和低耦合性，从整体上提高了系统运作效率和可靠性。1.2应用范围主要用户主要功能学校信息化主管领导了解学校数据集成情况以及运行情况维护人员整体交换流程监控、异常处理报告业务系统管理员监控自身数据交换情况系统管理员用户管理、系统设置、流程配置产品功能结构过滤特殊字符处理压缩文件格式转换加密添加GUID服务调度服务过滤1数据合并•解压解密II文件格式转换f1iI消息发送消息接收1i消息传输WebServiceHTTPFTPFILE数据交换中心消息接收XML服务调度任务定义任务定义数据交换管理平台客户端管理||子系统管理||数据源管理I运维监控订阅管理映射定义日志管理服务调度数据交换平台功能结构图产品功能3.1数据源适配器3.1.1数据源类型数据交换平台支持各种主流、非主流的数据源，通过数据适配器可以灵活扩展。支持多种主流关系型数据库，包括：Oralce(9i、10g、11g)、MicrosoftSQLServer(2000、2005、2008)、IBMDB2、Sybase支持多种ODBC数据类型，包括：MicrosoftAccess(.mdb)、MicrosoftExcel(.xls)、VisualFoxpro(.dbf)支持XML文件•支持Webservice支持纯粹的文件类型，例如：照片、Word文件3.1.2数据获取方式数据交换平台支持多种数据获取方式：＞数据库视图可以从指定数据库的视图中提取数据。＞数据表可以从指定数据库的表中提取数据。＞自定义SQL可以用自定义SQL从指定数据库中提取数据。＞Webservice可以从指定Webservice提供的方法中提取数据。＞文件可以从指定XML、Excel、Access、Dbf文件中提取数据；可以把任意类型的文件从一个地方交换到另一个地方。

3・2数据抽取数据交换的第一个环节是要进行数据抽取，根据特定的业务规则进行抽取,例如：抽取全量数据、抽取增量数据、数据过滤、数据关联、数据分包、数据加密、数据删除、数据备份、数据压缩等。3・2・1抽取全量、增量数据根据实际业务需要，数据交换平台需要获取全量或者只提取有变化的数据,即增量数据。慝挺労窿总a总扭弋事龙或巒王量戏裾Q坪蚩裁話昌卒爺生h灯竝咒蛙sut：■"T[工肛自ft:ro{■用无宦弋工匚益吾生咄臨石■辭理裁贯■直巧三尽也壬「勺三：叫1二TK-二蓋弋責回般猪雌建甩申恳菩矣婆站Eflanmiji全量、增量数据3・2・2数据过滤对于业务系统提供的数据，有些数据不是实际需要的，那么可以通过设置数据过滤条件和选择数据字段，对数据源进行过滤。

□宇段名称是否主程宇段类型囲学号学号否stringA團姓名姓名否£tring1lllllllllllllllll1111llll■lll■llll1111llll■lll■lll■llll1111llll■lll■llllIlli1111llll■lll■llll1111Illl■lll■llllIlliIllillll■lll■llllIllillll■lll■llllIlliIllilllllllllllllIllillll■lll■lll■llllIllillll■lll■llilIllillll■lll■lll■IIC二0年龄年龄否stringB电话电话否striit耳B简压简历否etr1ng~V选择字段1™1Md*□INIIIBIrHTIKCtl□ZJU册电IB设置过滤条件3・2・3数据关联业务系统提供的数据中，缺少某些字段，需要关联其他系统的数据后才能得到，通过数据关联可以轻松解决此问题，要关联的数据源类型和源数据一样都支持所有数据类型关曠数聒涯天A齐弓•咗-匚:助学贷款信息-关曠信但-Err毬字岌:XH¥-珏字蛰：证件号码¥-h示兰壬辰亍兰翌：回全选回专业0证件类型0证件号码0邮政編码0银行账号回学性费回学制0学生类别回序昌0性别数据关联3・2・4数据分包针对大数据量的抽取，一下子读取所有数据，对系统压力比较大，通过数据分包，按照数据条数可以把数据分成多个包，分包进行交换，大大减轻系统的承受压力。3・2・5数据加密针对一些机密数据，在数据抽取过程中，会对数据进行加密，即使在交换过冲被截获，也无法获取数据的真实内容。3・2・6数据压缩针对大数据量的抽取，可以采用数据压缩，缩小数据文件的大小。3・2・7数据备份、删除针对增量数据源的数据,数据抽取完需要删除原数据，为保证数据的完整性,在删除前，需要对数据进行备份。3・3数据传输数据抽取完成后，下一步就是数据传输，传输时可以通过Http协议和Ftp协议进行传输。3・4数据映射、转换数据映射、转换环节是数据交换平台中的重中之重，主要提供了以下支持:＞字段关联合并多个字段可以合并到一个目标字段，字段首尾可以连接自定义字符＞大小写转换对字段进行大小写转换＞首尾空格删除对字段首尾空格进行删除＞字段长度计算获取字段内容长度文件斛目口映射配置文件斛目口映射配置数据映射关系的配置，可以通过拖曳式的操作，建立源和目标之前的对应关3.5数据同步经过数据抽取、数据映射转换后的数据，就可以给目标数据源进行同步了。3.5.1数据同步方式数据同步支持的方式有：＞数据表目标数据源为数据表，需要指定数据表的主键，同步过程中根据主键来判断数据插入、更新。＞存储过程存储过程提供输出参数，在目标数据源配置中指定预期输出，在同步过程中，判断预期输出值和输入值是否一致，同时记录异常数据和异常原因。＞Webservice通过判断Webservice调用后的返回结果和预期是否一致，判断同步是否成功，记录成功的记录数和失败的记录数。＞文件把转换后的数据同步成文件，文件类型可以是任意文件类型3.5.2数据同步异常数据同步过程中的异常数据，系统会自动记录下来，包括数据和错误原因在监控平台上，可以下载异常数据和异常记录，供系统维护人员进行分析处理3.6服务调度每一个源数据源和目标数据源之间的数据交换频率是不尽相同的，可以为每一个流程设置运行周期调度：•流程在启动状态时执行，满足轮询策略•具体到某一时刻执行•设置时间段运行•周期运行，周期可以设置为分钟、小时、天、周、月、年

效据..叵运行胃期谡量厂运行时间周期至\1同期创运石周期厂天厂小时厂拎怦话行时问[7F：阿谓度说明貿度期于毎仅。小时咼执行：开始时间站：12时歸井直最近运行时冋设盍:S近云斤时问|2D10-8-13~—师时耐分辰一秒确定职消服务调度3运维监控数据交换平台提供了多种监控，实时反映各个数据交换流程的运行情况，服务器资源的使用情况，交换平台的整体接入情况。所有的流程都可以进行启动、停止操作。3・7・1告警监控提供平台运行过程中的异常信息。敷聲交换訓中心盂彌控->告兽孟控系统日•吉釜翌：|诘曲t一亍位FT日志时习：「"Bl至BC\S^(Enter)□日志内容记录旳间口志裘型123□□□JJetYCfkenrol-IQE^cepi:on：Conrtectiontirred.■SOlO-fl^-SSIE：LO：01服务器HetvorkerrorTOEzcepiion：Connectionlined,i2010-Q^_2315：09：4D』艮务器HelYorkerrorIDE?;cepiioil：Connec-liontinsd.>3010-0-4-2315：09：19JIE.务黑4□SatvorkerrorIQE>:cepliojl.Connectiontimed.>3010-0^-2315:09.19服竭■器5nletvorkerrorTOE>:ceiitionConnectioritiraed.>2010-0^-231509L9HetvorkerrorIDEKcep-■onConnectiontimed，3010-0^-2315091.9告警监控3・7・2流程监控对每一个流程中的各个环节进行监控，针对出错的环节通过下载错误数据和

错误原因分析问题具体的原因。殿:E盘換営迎中祖->康規鳖腔->谑程船竖査询摆卄聯谱‘1匝用耒紐3務：”'.査ffi(Eutii尊刷新诉程:S称琛数露诅目标菽据函诗帥日消且生成SJE^fiE救据上隹览布SE程sass誚狀布樂菇下我数菇同歩SlQ.av_sq1SlEilt3O1CM15-05y■■//•$lQ.a¥_sql$l=i)13cifvtS14.cces5_t301CKI5-D5V查看所有SiaaY_sijlBlsijlserve5]aricLt_tZ01D-05-05V¥VV*V¥31ELov_3il8]3ilTervt20J0-05-Q5v¥VV寸査君騎育流程监控3・7・3资源监控实时监控服务器CPU、内存、硬盘的使用情况。服勞器监控资源监控告警信息欢迎您:系统管理员艾有斗1观条告警信息进入查询按级别包括：正^（1308；警告〔2酣7：错误⑴按类别包括：服务门呃9；^i：2837）告警通知设置警戒絹设置交换中业粟练信息朋应用系统:接入2亍应用系统进入查询数据源：创連斗1平数据源-2丘平源数据源亍目标数据源进入查询疣程：逹立2并疣程正在运行的疣程”25平暂停运行硫程进入查询订阅：逹立口亍订阅-口平正在运行』平暂停进入查询整体情况监控

3・7・4日志管理平台记录了数据交换各个环节的日志。I——r1眾务口志服务运行E志查询数垂生成数据生成E志逾程发布硫程发布E志消息逅布消息发布I——r1眾务口志服务运行E志查询数垂生成数据生成E志逾程发布硫程发布E志消息逅布消息发布E志数乘同步数据同歩E志梢息生成消息生成日志数齬上传数据上传日志数据转换数据转换日志数齬下载数据下载日志日志管理4产品特点4.1支持多种数据交换方式数据库表（支持ORACLE、SQLSERVER、SYBASE、DB2等）>视图、存储过程数据文件（EXCEL文件、XML文件、TXT文件）WebService接口4.2