Trinity-V3.6-2011

1、Trinity v3.6产品及功能介紹探智软件科技（上海）有限公司2012-03超越繁杂超越繁杂 尽享极速尽享极速Agenda Trinity -整体架构 Trinity - JCS 功能介绍 Trinity - Data Management功能介绍2022/5/12关于Trinity2022/5/13Trinity 是探智软件基于多年在MPP数据仓库建制经验基础上于2008年正式推出的一套适合海量数据处理的ETL工具2009年底，Trinity提供GP，Oracle，DB2等主流数据库的海量数据加载接口2010年7月推出Trinity V2.5，具备更强大的协同开发功能2011年1月推出T

2、rinity V3.0，具备数据质量，MQ，Web service发布，单步调试等众多强大功能2012年1月推出V3.5 资源监控，审计，调度，impact analysis目前客户包括：台湾远传电信，内蒙移动，广西电信，金通证券，浦发银行，武汉钢铁，HOLA，吉野家，建达蓝德，湖州运管，温州运管等众多行业客户Trinity 是什么?2022/5/14Trinity印象2022/5/15B/S架构海量Writer组件Server和Agent全面的HA功能，并实现作业级的均衡负载集成数据质量组件，使ETL设计工作更加规范和高效同时支持单点调试和协同开发，提高开发效率灵活强大的调度功能更加及时有效

3、的客户支持Agenda 关于Trinity Trinity - JCS 功能介绍 Trinity - Data Management功能介绍2022/5/16Trinity - JCS 系统架构图 2022/5/17Server HeartbeatDM DebugData ProfileMQ Service (NRT)Data Quality*Web ServiceVirtual AgentWebUI 設計界面 管理界面 元数据设计界面2022/5/18JF Designer 設計界面2022/5/19TaskConsole监控界面2022/5/110jobs and flowsnormal

4、jobLegendfailed jobsuccessful jobnormal flowfailed flowsuccessful flowsearch criteriaJCS Servers 状态图示JCS Agents 状态图示Web TaskConsole监控界面Agenda 关于Trinity Trinity整体架构 Trinity - Data Management功能介绍2022/5/112权限及SSO机制2022/5/113可针对使用者或角色进行权限设定工作, 权限可分成:查看作业新增作业删除作业修改作业执行作业重新执行权限可细分到单独作业或整个作业类别账号为系统中最基本的操作单

5、位每一名使用者有一个账号角色为辅助的类别，可用以简化权限的管理一个账号可以拥有多重角色，可根据其所拥有的角色累加其对应得权限可结合LDAP服务器进行使用者认证动作Virtual Agent排程机制2022/5/115n 排程条件为公用的资源n 多个作业或流程可共用一组排程条件，方便进行调整n Trinity 中可弹性的设定工作执行拍成时间n 每天n 每周n 每月n 自定日期n 同一天可设定多个执行时段工作日2022/5/116n 排程时可以根据客户指定，排除特定日期或者时间n 在指定时间里，JOB或者JOB flow不会启动发布2022/5/117利用PostgreSQL数据库发布利用Trin

6、ity工具发布1.导出全部知识库（dev-sit-uat-prd)2.导出Job Flow3.导出Job作业关系管理Job Flow 作业流Job Dependency 作业依赖作业流说明作业流程是由多个作业组合而成的一项群组.执行的顺序是由层次(Level)来区分的, 一个作业流程中最多可以包含64个层次.每一层次当中可以包含32个作业.作业间的执行顺序是根据流程条件来决定, 第一层的作业会无条件的启动执行.2022/5/119Level 1Level 2Level 3Job Flow作业相关条件(Job Dependency)作业相关条件是用来在准备执行某一项工作时用来检查是否满足所设定的

7、条件.当条件成功时, 才会开始执行工作.当条件不成功时则不会允许此项工作的执行, 每隔一段时间JCS Server会重新检查条件直到成功.2022/5/120(frequency)10:00am(frequency)10:00amdependencyS() AND TX() = THISJob B会等到Job A执行成功后才会开始执行完整的执行机制2022/5/121可设定在作业执行错误时自动再次重新执行 可设定等待时间(Retry Interval)最多尝试次数(Max Retry Time)从头开始执行(From Beginning )从错误点开始执行(From Breakpoint )可

8、指定允许的时间区段(Time Window)避开系统忙碌时段执行日志查询功能2022/5/122作业执行日志会收集回来记录在Repository中 日志内容会进行压缩处理以节省保存空间 使用者透过监控界面可查询过去执行过的每一次记录与日志 日志有三种方式可以查询：Console界面知识库访问（JDBC，ODBC，Postgres Client）文本文件方式保存至服务器（可以设置保存周期，定期后台自动删除）执行日志查询界面2022/5/123透过 Task Console 可查询到每一次作业执行的相关信息与执行日志.信息通知功能2022/5/124讯息种类有电子邮件与行动短讯两种 电子邮件为内建

9、功能 行动短讯需客制化讯息发送时机有 :作业开始执行时作业执行完成时作业执行成功时作业执行失败时电子邮件方式可将作业执行日志当成附件传送可针对单一作业或整个作业类别来设定讯息发送功能讯息发送对象可给单一使用者或一个群组讯息通知功能可在异常状况发生时实时通知相关人员 多样的监控模式_All View2022/5/125多样的监控模式_Tree View2022/5/126丰富的执行模式2022/5/127Run JobBatch Run jobGroup Run job审计功能2022/5/128Agenda 关于Trinity Trinity 整体架构 Trinity 管理功能介绍2022/5

10、/129Data Management 说明2022/5/130XML ConfigurationFileActual class will be loaded by Wrapper using ClassLoader during runtimeWrapper has its own thread and each reader/transformer/writer is running in a individual thread. Wrapper will also monitor each worker threads execution status.Wrapper(Initiali

11、ze/Statistic Collect/Logger)Plug-InData Management 的特点 多种模式，包含ETL，ELT，也可直接调用各种SQL脚本 支持对数据质量稽核前的概括描述data profiling也支持对数据质量的规则制定，自动矫正data quality2022/5/131团队开发（Version Control） 团队协作，协同开发 保存版本，让版本可以回溯 增加修改历史，让后续开发者知其所以然2022/5/132数据概貌-Data Profile ETL的重要组成部分，ETL设计的开始 通过Profile制定更加有效的规则 丰富的内嵌规则（三十种以上）202

12、2/5/133数据管控 先制定规则 评分 跟踪2022/5/134参数 Domain级别参数 Business Entity级别的参数，Job级参数 Component级别的参数2022/5/135数据质量剖析框架断点调试（Debug） 便于开发中发现定位问题 提高解决问题的效率2022/5/137支持的数据读取类型(Data Reader)文件档案文件档案 定长格式, 变长分隔符格式, CSV 格式，Excel，DBF（Foxbase，Foxpro)，XML数据库数据库 只要有数据库提供的 JDBC driver, Trinity就能直接从数据库中读取数据. AS400, DB2, Info

13、rmix, MS SQL Server, MySQL, Oracle, PostgreSQL, Greenplum, Sybase, . 可自定读取数据的SQL SELECT 语法Application SAP Siebel2022/5/138支持的数据写入类型(Data Writer) Trinity 提供了多种的提供了多种的Writer来进行数据的输出来进行数据的输出 文件输出方式: 可输出固定长度, 变动长度与CSV 格式的文本文件，excel，XML. 数据库输出方式: 透过JDBC Driver, 可将数据以Insert, Batch Insert, Upsert, Update的方

14、式进行更新.2022/5/139 另外也提供了数据库的大量批量另外也提供了数据库的大量批量加载工具来加速数据输出的效能加载工具来加速数据输出的效能 DB2 - Load Command Oracle - SQL Loader PostgreSQL- Copy Table command Greenplum-gpfdist writer(External table writer) SQL Server - BCP Writer Sybase IQ - Load Table command Teradata - Fastload, Multiload, TpumpExt.Table 集成GP的g

15、pfdist集成gpfdist的快速加载功能简化gpfdist的使用，并集成进trinity2022/5/140DBFlat FileFlat FileFlat FileGreenplumETLETLGreenplumDBFlat FileFlat FileFlat FileNo TrinityUse TrinityTransformer 数据的转换 Trinity 中提供了 Transformer可针对数据字段进行处理Pre-Rule, 可设定在每一笔数据进行转换前进行前置处理, 以获得特定值放进变量中提供给后续的转换规则来处理Lookup, 可设定对照表对数据进行查找比对的工作. 所查找的

16、数据来源可以是静态定义或透过 SQL 于执行时期动态产生Transform, 提供许多转换规则函数对数据进行处理，包括汇总函数，可以做汇总等操作Filter, 可设定过滤条件对数据进行检核来剔除掉不符合的数据2022/5/141Data Router 对数据进行分流 Data Router可用来将数据进行分流 透过设定分流过滤条件来决定数据的走向2022/5/142CDC Transformer 增量数据获取提供CDC Transformer 来对数据进行增量数据的比对, 提供给其它的 Plug-in来作进一步的应用.经过CDC处理过后的数据会加上一个字段用来标示数据处理类型 I- Inser

17、t U- Update D- Delete来源数据无需Timestamp字段即可比较出有增量的数据来源数据必须要有Unique Key的定义才能执行CDC比对可节省后续加载数据的工作时间2022/5/143Union 跨数据库的整合器 提供数据整合中常用的跨数据库系统的Union功能 跨数据库系统包括文件系统，各种Trinity支持的数据库系统2022/5/144Normlizer 行转列 把宽表转为纵表，提供范式化的工具2022/5/145Store Procedure 存储过程 调用存储过程，可以在job中应用，获取返回值，向后续组件传递参数2022/5/146Trinity SQL强化指

18、令 除了一般的SQL指令之外，Trinity SQL Executor提供了专属的SQL强化功能，使在绝大部分数据库中都只能在存储过程，函数中使用的逻辑判断，流程控制，错误控制，交易控制等功能在Trinity中实现2022/5/147External Command 调用外部命令External Command组件用于对perl，shell，sqlc等脚本进行外部调用，也便于对外部的ETL工具进行整合调度。抓取返回信息脚本信息显示脚本可以使用trinity内部变量（包括可以使用Trinity中的connection信息）2022/5/148批量作业维护外部作业及关系批量导入作业及关系维护模板定

19、制外部作业及关系批量导入对应Perl，Shell，SQL等脚本导入大批量（几千甚至近万）；每日维护交付用户自己，需要一个模板及流程模板举例删除作业模板更改作业状态关系模板JCS Command 命令行方式JCS Command用于Trinity被外部调用整合，比如Portal，或者客户现有的平台。2022/5/152WS Web Service服务用于外部调用，在外部Web程序中调用触发Trinity的ETL Job2022/5/153MQ 实时数据仓库实现企业级的数据实时整合针对MDM和一些相关应用，给出数据解决方案针对MQ工具，提供数据整合接口2022/5/154DM Job 1DM Job 2DM Job 3DIS MQServiceMQ Source 1MQ Source 1Queue 1Queue 2Queue 3XMLMessage和其他工具的比较（一）支持否部分支持支持支持支持支持支持否带参数支