数据稽核模块__规划建议书V1.0

1、1中国电信总部CRM监控系统数据稽核模块二期规划建议书文档编号制: 核: 准: 期:1. 项目基本情况概述1.2. 建设范围2. 业务需求2.1. 数据资料一致性稽核2.1.1.ESS系统资料稽核2.1.2.VSOP系统资料稽核2.1.3.协同通信系统资料稽核2.2.业务合规性稽核2.2.1.VSOP （增值业务订购关系管理平台）业务稽核2.3. 稽核视图2.3.1.业务范围3. 数据稽核功能需求3.1. 首页展现3.1.1. 集团用户首页展现3.1.2.省公司接口用户首页展现3.2.差异减少指标建设4. 合规稽核功能需求4.1.数据采集4.1.1.文本文件接口4.1.2.数据库接口4.2.

2、稽核流程4.2.1.稽核模块94.3. 稽核点配置9104.4. 稽核流程运行监控4.5. 稽核结果展现4.5.1.多稽核点总体合规性报表104.5.2.合规性汇总报表104.5.3.不合规数据明细查询114.5.4.数据导出114.6. 系统管理124.6.1.用户权限管理124.6.2.组织机构管理124.6.3. 用户管理124.6.4. 权限管理124.7. 日志管理144.7.1.应用日志154.7.2.操作日志164.8. 稽核视图174.8.1.数据采集174.8.2.数据导入174.8.3.指标计算174.8.4.一级稽核视图184.8.5.二级稽核视图184.8.6.统计报表

3、191. 项目基本情况1.1. 概述中国电信集团CRM监控系统数据稽核模块在一期项目中主要对爱音乐、G-C网关、 天翼视讯、C网用户状态数据（爱音乐）四个业务进行了稽核工作，实现了数据稽核工作 的规范化、流程化处理，并达到了降低数据差异、提高数据质量的目的。完成了一期需 要实现的稽核要求。由于中国电信业务繁多，办理业务的流程复杂等原因。导致由人员操作方面、业务 流程管理方面和系统支撑方面引起的数据和业务不合规的现象越来越多，因此有必要对 各平台数据和业务的合规性进行稽核。减少因数据和业务不合规导致的收入流失和客户 投诉问题。1.2. 建设范围通过对一期项目业务的实施过程中，选取关键稽核点中流失

4、风险高、收入占比大、 矛盾较为突出的重点内容进行建设。 在数据稽核模块二期工程，选取以下内容进行实施:1. 数据资料一致性稽核（新增比对的业务平台）；2. 业务合规性稽核;3. 稽核视图;2. 业务需求2.1. 数据资料一致性稽核即电子化销中国电信实现了全国统一规范透明的电子化的销售服务管理系统, 售服务管理系统（ESS系统）。ESS系统全面实现了对 3G业务销售功能的支撑, 未来将逐步把 2G业务、固网业务纳入整体的管理。2.1.1.1.用户信息数据业务流转流程：用户数据从集团 CRM枢纽 ESS系统；省CRM系统 ESS系统稽核规则:基于ESS枢纽和集团平台的用户数据，两系统的以用户标识为

5、关键字，对用户状态以及其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段:序号名称说 明1用户标识2用户状态.其它字段待定2.12 VSOP系统资料稽核2.121.用户信息数据业务流转流程：用户数据从省级 CRM CRM枢纽 集团平台稽核规则:基于CRM枢纽和集团平台的用户数据，两系统的以用户号码（ MDN ）为关键字,对用户状态以及其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段:序号名 称说 明1用户号码唯一用户标识2用户状态3变更时间.其它字段待定2.1.22订购关系数据业务流转流程：各省级平台集团平台（实时同步）稽核规则:基于省级平台和集团平台的用户数据，两系统的

6、以用户号码（MDN ）为关键字,对产品类型、付费类型以及其他属性进行稽核比对，稽核出两系统缺失和异常的数据。数据字段:序号名 称说 明1用户号码唯一用户标识2产品类型用户订购产品类型的标识3付费类型用户付费类型标识（预付费、后付费）4套餐标识订购增值产品是否以捆绑套餐方式订购的5生效时间6失效时间2.13协同通信系统资料稽核建设中国电信集团协同通信平台与各省公司CRM系统用户资料稽核2.131.用户信息数据稽核规则:基于省CRM系统和集团平台的用户数据，两系统的以业务号码为关键字，对登录账号、所属企业、用户类型等，其他属性进行稽核比对，稽核出两系统缺失和异常的数 据。序号名称说 明1省分编码2

7、业务号码2登录账号2用户状态2用户类型2所属企业ID.其它字段待定22业务合规性稽核2.2.1. VS0P （增值业务订购关系管理平台） 业务稽核221.1.订购关系数据业务流转流程：各省级平台集团平台（实时同步） 源数据：集团平台侧C网增值业务的订购关系数据数据字段:序号名 称说 明1用户号码唯一用户标识2产品类型用户订购产品类型的标识3付费类型用户付费类型标识（预付费、后付费）4套餐标识订购增值产品是否以捆绑套餐方式订购的5生效时间6失效时间稽核规则:1. 订购关系数据中关键字段完整性（非空）稽核2. 订购关系数据中数据的逻辑合理性稽核（例如：生效时间 失效时间）3. 订购关系数据中订购关

8、系之间的 互斥性稽核（例如：订购5元彩铃包月就不能订购10元彩铃包月，或订购了通讯助理业务就不能订购漏话提醒业务）4. 订购关系数据中订购关系之间的依赖性稽核（例如：如果要订购B产品需先订购A产 品，i音乐下载的前提是要有彩铃）2212 用户信息数据业务流转流程：用户数据从省级 CRM CRM枢纽 集团平台 源数据：集团平台侧C网增值业务的用户信息数据数据字段:序号名 称说 明1用户号码唯一用户标识2用户状态3变更时间.其它字段待定稽核规则:1.用户信息数据的关键字段进行2.用户信息数据的关键字段进行完整性（非空）稽核逻辑合理性稽核（例如：身份证号码的长度、身份证号 码的正确性）2.2.1.3

9、.销售品数据业务流转流程：销售品数据从省级PPM PPM平台集团平台源数据：集团平台侧全网增值销售品数据序号名 称说 明1销售品产品编码.其它字段待定稽核规则:1. 销售品数据的关键字段 完整性(非空)稽核2. 销售品数据逻辑合理性稽核3. 销售品数据的产品编码规则的 合规性稽核2.3 .稽核视图稽核视图，可用于:1)对省份公司的稽核成果进行统一的管控2)全面了解各省份公司数据稽核建设情况3)将一些先进省份的优秀经验进行全国推广4)对一些核心业务指标建立考核机制具体业务流程如下图所示:ml*nrflTl电倍集公司稽核视图橹聲果定朋上传4兰北T分司上海分公司广东分公司浙江分处司- ,具体步骤如下

10、:1) 集团公司下发接口规范，确定需各省份公司提供的稽核结果的数据文件格式、内容、指标等2）各省份公司根据接口规范要求，定期将稽核成果上传到接口服务器3）电信集团稽核视图自动从接口服务器采集各省份的稽核数据并进行加工4）通过稽核视图对各省份的稽核结果进行统一展示、排名；以及建立相关的考核措 施。2.3.1.业务范围考虑电信集团数据稽核相关的规范以及各省份数据稽核建设的实际情况，本期可先将CRM系统与核心网元及部分核心业务平台间的数据质量结果进行定期上报，后续 再扩展到其他稽核领域，如营收资金稽核、合规性稽核等;3. 数据稽核功能需求3.1. 首页展现3.1.1.集团用户首页展现集团用户（包括系

11、统使用部门、集团接口平台）依据其数据权限，首页展现相应稽 核业务各省当前异分析报表，报表中添加告警功能，对于差异数量、新增差异数量进行 图表展示。3.1.2.省公司接口用户首页展现省公司用户（省公司稽核接口人）依据其数据权限，首页展现相应稽核业务，本省 近5次差异变化趋势图标。3.2. 差异减少指标建设差异结果查询页面，增加差异减少指标统计及展示功能。差异减少 与差异新增相对，计算公式如下:差异新增=本期差异比上期差异独有增加差异减少=本期差异 比上期差异 遗漏减少4. 合规稽核功能需求4.1. 数据采集4.1.1.文本文件接口数据可以通过对文本文件的采集导入本系统 4.1.2.数据库接口支持

12、Oracle数据库。可通过简单配置支持不同表的数据导入本系统。42稽核流程稽核流程：将稽核工作分为合适的步骤，将各步骤按时间顺序组成任务链，并在指定的时间内顺序执行。1.稽核流程可以分为任意个步骤。2.流程启动时间可以灵活设置周期（年、月、日、时、分、秒），也可以随时手动启动，还可以设置某一时刻执行（仅执行一次）。3.流程项可绑定三种流程模块：java的class文件、shell脚本、存储过程。4.流程项执行顺序可以任意调整，流程项可以任意添加删除，并且支持多流程项之间并行执行。5.可临时将流程中某步骤设为跳过、至此停止、等待手动执行。6.流程项支持输入和输出参数配置，参数可以是常量也可以是上

13、下文中的变量， 参数支持字符串、数字、日期等类型。7.稽核调度程序：负责调度部分或者所有稽核流程的运行，可以支持并行运行或串行运行。421.稽核模块稽核流程中的步骤均为一个单独的稽核模块。稽核模块应有以下属性：状态、稽核程序类型（存储过程、java程序、脚本等）、 稽核程序名称、稽核程序参数配置（参数名，参数值，参数类型）；参数类型至少支持数字，字符串，日期，常量、变量。预定义一部分变量，如:帐期、当天;4.3.稽核点配置稽核点对应每个稽核业务，每个稽核点应该对应一个稽核流程。1.稽核点可分类展示（信息完整性、业务受理类、业务处理类、其他）；2.稽核点页面配置项：稽核点编码、稽核点名称、稽核点

14、描述、对应稽核流程。3.由于稽核点对应业务，报表展现界面应可以按稽核点进行查询展现。44稽核流程运行监控1.稽核流程支持可视化监控，包括:a)流程的当前状态即是否在执行中;b)当前流程执行到哪一项;C）每个流程项的开始时间、结束时间、执行时间、执行结果;d)支持按执行日期进行查询;e)流程图形化展示;f）应支持随时开始、中止、暂停等操作。2.稽核步骤运行结果查询a）查询条件：稽核步骤名、批次、执行结果状态;b）查询内容包括：稽核步骤名、稽核程序名、起始时间、结束时间、运行结果等。4.5 .稽核结果展现4.5.1.多稽核点总体合规性报表合规性汇总报表包括通用的合规、不合规数据的数量和占比的结果统

15、计表。包括同比环比的分析类报表。4.5.2.合规性汇总报表合规性汇总报表包括通用的合规、不合规数据的数量和占比的结果统计表。包括同比环比的分析类报表。举例说明。日期区域稽核模块本期上期合规数不合规数总数不合规比不合规数不合规比同比增加汇总：稽核类型201101201102201103201107不合规总数不合规总数不合规总数不合规总数走勢Sffrom 201101 to 201107)4.53不合规数据明细查询各种不合规数据均可按原始格式加上不合规判断说明字段进行查询。各种查询条件应说明。起始时间1结束时间订单号1订单状态稽核类型异常类型稽核时间订单时间订单号稽核结果4.5.4.数据导出数据明

16、细查询结果均可直接进行数据导出。数据导出支持文本文件格式。46系统管理4.6.1.用户权限管理462.组织机构管理支持对外部导入的组织机构信息进行管理。4.6.3.用户管理用户是系统的使用者，通过赋予用户相关的角色，完成对用户的授权。系统根据用户权限的不同，提供相应的业务资源和功能菜单的展示，并根据用户的权限，对用户的 操作进行鉴权。收入保障数据稽核系统管理用户权限，系统设置管理员用户，该用户可以变更、 失效各种用户及设置用户权限。支持基于用户权限的数据访问、系统功能访问控制。支持用户业务操作的跟踪记录。4.6.4.权限管理1.功能权限:?系统能设置各级别用户的数据访问权限，权限控制到指标级。

17、? 系统应为管理员提供专用用户管理界面，进行增加用户、修改用户属性、删除用户的操作。其中的用户属性包括：用户编号、用户名、用户密码、用户 姓名、用户岗位、用户所在部门等。管理员不能设置大于自身权限的权限。系统支持权限分组管理，权限组（角色）是一个权限集合。操作员属于某一 权限组，也就拥有相应组的权限。操作员可以属多个权限组。系统应为管理 员提供专用权限组管理界面，进行增加权限组、修改权限组包含功能模块、 删除权限组的操作，并用户添加到相应权限组中。权限组属性包括：权限组 编号、权限组名称缩写、权限组名称、权限组描述等。? 系统应支持分级授权管理、分级授权的权限管理机制。应能提供图形界面对 员工

18、进行应用系统权限的授予和回收。? 系统应提供用户维护功能，用户代码应具有唯一性，只有具有相应权限的管理员才有权对用户代码修改。? 系统应提供用户密码维护功能，只有用户本人或具有相应权限的管理员可以修改密码；系统应对员工代码密码设定进行管理， 避免接受过于简单的用户 密码。? 系统应支持灵活的权限组合方式，对不同种类用户，系统管理员可进行权限的灵活组合，可把多种单独的功能模块权限相叠加，组成权限组合。2.数据权限:? 具有自身安全性控制，包括用户访问权限、数据安全控制、通信协议安全等,用户必须具有分权管理功能，不同用户可以具有不同的权限;?具有完整的操作权限管理功能和完善的系统安全机制，能够对每

19、个操作人员的每次操作有详细的记录;? 能为系统管理员提供多种发现系统故障的手段;? 设定不同级别权限的操作系统用户，进行这些用户密码的严格管理;? 设定不同级别权限的数据库用户，进行这些用户密码的严格管理;? 对应用系统操作员的权限、角色进行管理，包括操作员的增、删、改、查等管理操作;? 具有完备的操作权限管理功能，可实现不同用户对不同功能模块具有不同级别的操作权限。确保应用系统操作安全性;? 对各类用户进行身份和密码验证;? 应用程序连接操作系统以及数据库的用户，在所有应用程序中均不得写死用户名和密码，必须保证所有用户和密码均可动态配置，密码内容加密。3.角色权限角色是系统资源和操作的载体，

20、通过对角色的管理，实现系统权限的划分和定义。赋予每一个角色相应的功能权限和数据权限，功能权限是实现菜单操作权限和页面上的 功能按钮操作权限，数据权限是对每一种数据（例如缴款单）的查询、增加、修改、删 除权限。角色配置是按照营收四级稽核体系，对于每一级的稽核内容和功能进行划分,定义相关的功能权限和数据权限4.7.日志管理日志管理的目的在于使维护人员能够了解系统出现的异常运行状态、以及系统用户 对系统的使用情况，帮助操作人员确定异常原因和异常位置，以便及时纠正问题，保证 设备和网络的正常运行。对系统所有操作进行记录，记录内容应包括用户、模块、时间等。对日志可进行 删除、查看、导出、备份等操作。为保

21、证数据的安全，必须采用操作日志的方法对用户及用户操作进行跟踪。日志 分为以下几类: ? 操作员登录日志：记录所有操作员的登录和退出登录时间、操作员标识和登录终端信息等。对管理人员的任何操作均记入操作日志，日志中包含该操作 员的工号、操作时间、操作内容等。操作日志可由具有权限的管理人员随时 查询及统计。? 操作维护日志：在系统维护的各个重要环节，如用户管理、权限管理、指标管理等处记录详细的处理日志。允许通过维护台对日志进行浏览、打印等处 理。?出错日志：对所有的出错信息进行的告警和告警处理作日志，记录处理操作员的工号及处理日期等。不同级别的用户可根据设置的权限查看日志或进行日志的维护。如：按条件

22、查询 事件并形成报表，可设置日志记录的详细程度、日志警告类别、日志数据的大小、 日志留存期限，还可删除或导出日志。对所有应用模块的使用进行日志记录，并可查询、统计、打印所有或单个操作日 志内容。在操作中必须严格确认操作员的权限，确保操作员不能越级、越权获取 资料；在查询、统计时，操作日志的各功能要素都可作为查询条件、分类条件、 排序条件或统计要素，提供灵活方便的查询方式和途径。本系统日志管理模块基于 Apache Log4j二次开发，实现进程级别统一日志管理。即 一个进程对应一个独立的配置文件，并且该进程的系统日志、应用日志、用户操作日志统一由本日志模块实现；具备向文件、数据库写日志的能力。采

23、用配置灵活，便于阅读的XML乍为日志管理模块的配置方式。使用方便，与Apache官方提供的commongs-logging的使用方法类似。2W?-12-l5(MMKi尸KR弟MIE* ur?"厂a-T*-2MI3-U 仕ruCtTWE陀世需iiTair【匸-h百-Vair2D»怙弹frrsS晝:V3KJ-ln： 'Vf L.1用 ffl«：训1£eWfr2&iz.-r:srfiSrW26S1k12-i 叮匚；K玉d汩补'；S.SiSiki站也匸9P, L地h吒f Jr2湃lA科柑抽WJggi、2kH-i2UX>LUI；-二忑

24、 U*?*?CflS-l2-UX'WL Tiwr-jxaj2CHMb讣百Ifwr?K3 12 USLZDN-I：丸暫 h蚤吋酒討；13.1；EDSm灵耳 r，VI1' f(t S业E畀t粘寸皿H如iJW 屋歌制& 3与乂隹止1僵 电畅 TH切 n: I客* Ci豹主样二t! F"liWASiV:* tj.：_.( f+- J VIBlit +*36拒H : -L'l r他4地負希'汕了匹u： xe f*魁性也連*.卜i十* tt IIt,直w户jm耶户ft*.'.： "丫勿 I.D”W&flfAftJB.rg* T砂

25、tfSpanrtai.HwT »llf询*III! IR IJi.h* 凿 ilSi«)F«<kWfla I.眉 q出 JIKT； t Dj林: L去耿护丿VCWER近*«*<!： |Sln(a!M_*mi»57-jW3«fii: L詠护: ：l罰s审a一匝 磁简帧*ffl: rSTMi.w* * 口#砂1槽：I弄ISCSMWKWjBif ：,|raR.*4tK 13 厳神*»:居戦 4” .«« 'IJI 审祸fS鬲：I满Rktjvri彌 诧*勺fl ;a>* h c系统日志功

26、能4.7.1.应用日志存放于主要沿用Apache Log4j的功能，用于记录系统运行过程中产生的日志内容,指定目录中的指定日志文件中（有XML配置文件指定）。便于系统管理、维护人员了解系统运行情况以及系统出现问题时查找问题原因。系统日志主要分一下五个等级，级别从上到下，逐级增高。级别描述DEBUG调试信息级别INFO信息提示级别WARN警告级别ERROR错误级别FATAL严重错误级别4.72操作日志在Apache Log4j基础之上扩展出应用日志记录接口， 记录系统用户对系统用户有所 变更的操作及系统用户的行为（登录、注销、浏览某个模块等），日志内容记录在数据库 中，供日志查询模块在前端作查询

27、统计展示。应用日志类记录号每条日志的流水号操作员具体操作员工号（包括设备接入号、后台应用进程号）操作对象具体操作的对象，如具体用户、具体某个参数等操作类型为方便日志管理而对操作进行的分类，各省可自行确定分 类方法动作操作的具体行为，如增加、修改、删除等登录时间操作员登录时间详细内容记录日志的详细信息更改前信息对数据操作前的数据更改后信息对数据操作后的数据操作结果记录操作是否成功操作时间对操作对象进行操作的起始时间事件信息类事件信息类一般是衡量工作量、绩效考核相挂钩；记录系统运行状态、任务单的执 行状态、人员操作记录、操作时间等；并且为日后统计分析，合理安排人力资源作基础。每条日志记录包括下表的信息:记录号每条日志的流水号EVENT_ID相应的事件标号描述主机、地市、业务类型的、时间等标识事件类型包括信息（I）、告警（W）、错误（E）、操作（0）记录时间日志写入的时间派单员一般为事件的第一发现人处理人员相关处理人员处理结果失败、成功、上报等，各省可自行定义备注信息有