脱敏解决方案_V1.1_2014-10-08终结版

1、数据脱敏解决方案目录第1章：关于本方案3第2章：概述32.1 背景32.2 目标3第3章：脱敏方法介绍4第4章：脱敏涉及系统和脱敏规则制定54.1 系统间对应的关联关系54.2 系统脱敏规则64.3 各个系统脱敏处理字段7图表一：TA系统和网站7图表二：订单系统8图表三：清算系统9图表四：网上交易、FUNDAPI、前置机和APPserver10图表五：直销系统10图表六：微信系统10图表七：KM系统10图表八：交易系统11第5章：脱敏方案实施155.1脱敏工具开发使用165.2 脱敏方案实施16示例一：对“客户姓名”脱敏16示例二：对“密码”脱敏16示例三：对“电话号码”脱敏17示例四：对“银

2、行卡号”脱敏17示例五：对“地址”脱敏17第1章：关于本方案 本方案主要是为了解决生产系统数据向测试系统迁移过程中其中关于敏感信息的处理方式方法，其中包括针对不同生产系统脱敏数据的分类、脱敏规则的制定以及脱敏方案的实施。第2章：概述2.1 背景 随着基金业务的快速发展，业务生产系统积累了大量包含账户等敏感信息的数据，如果这些数据发生泄露、损坏，不仅会给基金公司带来经济上的损失，而且会给基金公司的声誉带来负面影响。目前，在业务分析、开发测试、审计监管等使用过程中如何保证生产数据安全已经成为一个重要的问题。同时在加强金融行业监管的大背景下，随着数据安全要求的不断提高以及银监会银行金融机构信息系统风

3、险管理指引等明确要求金融机构规避信息风险，对客户等资产安全，敏感信息提供完善的保护，需要对客户资料信息等敏感信息进行脱敏、变形、实现有效保护。 数据脱敏是指对某些敏感信息（如：客户账号、身份证号、电话、地址、密码）通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样，就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。2.2 目标 首先 依据客户敏感信息屏蔽规则屏蔽业务数据中的敏感信息，保障生产数据在非生产环境中的安全使用，防止敏感信息泄露。脱敏后的数据主要用于测试、开发、培训、外包、数据挖掘/研究等不同的使用场景。其次在借助数据脱敏技术，屏蔽敏感信

4、息的同时，还应使屏蔽的信息保留其原始数据的格式和属性，以确保应用程序在使用脱敏数据的开发与测试过程中正常运行。第3章：脱敏方法介绍 数据脱敏是为了确保在非生产环境下使用生产数据更加安全，但是其又与纯粹的数据加密同，数据加密可能是将数据库中有意义的字符通过加密后转变成了无意义字符，而脱敏是将数据通过一定的算法变成另一种样式，而这种样式是可读的，并且与元数据是同一类的。例如：“IBM5100”数据加密会得到“w%(Jt#v!”而数据脱敏后会得到“IBN7300” 一个好的数据脱敏过程必须具备以下特点：可用性、数据关联关系、业务规则关系、数据分布、易用性和可定制。从而在针对不同系统进行数据脱敏时，制

5、定良好的脱敏方法，是整个数据脱敏关键所在，而常用的实施脱敏方法有如下几种方式： 1. 替换：如统一将女性用户名替换为F，这种方法更像“障眼法”，对内部人员可以完全保持信息完整性，但易破解。 2. 重排：序号12345重排为54321，按照一定的顺序进行打乱，很像“替换”， 可以在需要时方便还原信息，但同样易破解。 3 . 加密：编号12345加密为23456，安全程度取决于采用哪种加密算法，一般根据实际情况而定。 4. 截断断为138，舍弃必要信息来保证数据的模糊性，是比较常用的脱敏方法，但往往对生产不够友好。 5. 掩码: 123456 -> 1xxxx6，保

6、留了部分信息，并且保证了信息的长度不变性，对信息持有者更易辨别， 如火车票上得身份信息。 6. 日期偏移取整：20130520 12:30:45 -> 20130520 12:00:00，舍弃精度来保证原始数据的安全性，一般此种方法可以保护数据的时间分布密度。但是不管哪种手段都要基于不同的应用场景，遵循下面两个原则：1remain meaningful for application logic(尽可能的为脱敏后的应用,保留脱敏前的有意义信息)2sufficiently treated to avoid reverse engineer(最大程度上防止黑客进行破解)第4章：脱敏涉及系统和

7、脱敏规则制定 本次数据脱敏范围涉及的生产系统主要有：TA系统、订单系统、交易系统、清算系统、网上交易、FUNDAPI、前置机、APPserver、微信系统、直销系统、KM系统等。4.1 系统间对应的关联关系为了保证脱敏后各个系统之间的数据关联关系，制定相应的对应关系如下：1、 TA系统：为了保证本系统各个数据表之间的关联关系，所以对 “证件号码”字段进行不脱敏处理，后期在使用表与表之间的关联特性时，可以使用本字段进行对应关系的关联操作2、 订单系统：为了保证本系统各个数据表之间的关联关系，所以对“银行名称”、“证件号码”字段进行不脱敏处理，后期在使用表与表之间的关联特性时，可以使用本字段进行对

8、应关系的关联操作3、 清算系统：脱敏处理后，可以使用“投资人证件号码”字段来保证表与表之间的关联性4、 网上交易系统、FUNDAPI、直销系统：脱敏处理后，都使用“证件号码”字段来作为相关联表的关联字段4.2 系统脱敏规则 在保证了各个系统之间表与表的数据关系相关性的条件下，制定合适的脱敏规则，是完成脱敏工作的必要前提，所以脱敏规则制定如下：1、 TA系统脱敏规则1客户姓名：把原来三个字（四个字）修改为富富+最后一个字或者（富富富+最后一个字），原来两个字修改为富+最后一个字；2证件号码：不脱敏3手机号码：统一修改为138001380004联系地址：宝地大厦5密码：123412342、订单系统

9、脱敏规则 1.银行账号：未4位统一更新99992.银行名称：不脱敏3.银行户名：把原来三个字（四个字）修改为富富+最后一个字或者（富富富+最后一个字），原来两个字修改为富+最后一个字；4.证件号码：不脱敏5.手机号码：统一修改为138001380006.联系地址：宝地大厦7.邮箱：统一更新为abcd3、清算系统脱敏规则 1. 银行账号：未4位统一更新99992. 证件号码：不脱敏3. 证件类型：不脱敏4、网上交易、FUNDAPI、前置机、appserver脱敏规则1网上交易、FUNDAPI的客户名称：把原来三个字（四个字）修改为富富+最后一个字或者（富富富+最后一个字），原来两个字修改为富+最

10、后一个字；2. 前置机、appserver系统由于系统无数据库所以对其不做脱敏处理5、直销系统脱敏规则1客户姓名：把原来三个字（四个字）修改为富富+最后一个字或者（富富富+最后一个字），原来两个字修改为富+最后一个字；6、交易系统脱敏方法规则方法一：如果测试业务，跟历史数据无关，使用清库脚本，把涉及上述的信息清库，保留基本的配置，以便测试使用。清库后，可以根据情况手工增加某个基金的资金或者持仓，供测试使用。并配合模拟成交工具，可以完成大部分测试。方法二："如果测试业务，要历史数据支撑，可以通过交易系统中的批量业务来脱敏，先把真实数据中的重仓股及可用批量调减，而后使用制造的测试数据批量

11、调增。这样做的好处是系统中数据的逻辑关系不会乱，可以保证数据的完整及合规性。方法三：以数据库字段为单位，对整个数据库进行相应处理 首先使用的是历史数据，由于交易系统中的数据对当前一段时间敏感，如果是半年前的数据，作用也不会很大。但为了安全按下列方法处理一下：方法四： 通过上述方法脱敏后，如果可能还可以通过权限控制相关测试人员的权限，例如对测试账户不能有打印及导出的权限，对数据库由专人负责，其余人员没有权限。4.3 各个系统脱敏处理字段图表一：TA系统和网站脱敏表和相关字段字段描述tcustomerinfo.c_custname客户姓名TACCOREQUEST_HIS.C_CUSTNA

12、ME客户姓名TACCOREQUEST.C_CUSTNAME客户姓名TCONFIRMRIGHT.C_CUSTNAME客户姓名TGDACCOSHARES.C_CUSTNAME客户姓名网站无需脱敏图表二：订单系统脱敏表和相关字段字段描述TYEBACCOBANK.C_BANKNO银行编号（账户银行信息表）TYEBACCOBANK.VC_BANKACCO银行账号TYEBACCOBANK.VC_BANKNAME银行名称TYEBACCOBANK.VC_NAMEINBANK银行户名TYEBBANKACCO.C_BANKNO银行编号（基金公司银行账户表）TYEBBANKACCO.VC_BANKACCO银行账号T

13、YEBBANKACCO.VC_BANKNAME银行名称TYEBBANKACCO.VC_NAMEINBANK银行户名TYEBACCOINFO.C_IDENTITYTYPE证件类型（账户信息表）TYEBACCOINFO.VC_IDENTITYNO证件号码TYEBACCOINFO.VC_CUSTOMNAME客户名称TYEBACCOINFO.C_CUSTTYPE客户类型TYEBACCOINFO.VC_ADDRESS地址TYEBACCOINFO.VC_MOBILENO手机号码TYEBACCOINFO.VC_FAXNO传真TYEBACCOINFO.VC_EMAIL邮箱TYEBACCOINFO.VC_PHO

14、NE电话TYEBACCOREQUEST.C_IDENTITYTYPE证件类型（账户申请表）TYEBACCOREQUEST.VC_IDENTITYNO证件号码TYEBACCOREQUEST.VC_CUSTOMNAME客户名称TYEBACCOREQUEST.C_CUSTTYPE客户类型TYEBACCOREQUEST.VC_ADDRESS地址TYEBACCOREQUEST.VC_MOBILENO手机号码TYEBACCOREQUEST.VC_FAXNO传真TYEBACCOREQUEST.VC_EMAIL邮箱TYEBACCOREQUEST.VC_PHONE电话THYEBACCOREQUEST.C_IDE

15、NTITYTYPE证件类型（账户申请历史表）THYEBACCOREQUEST.VC_IDENTITYNO证件号码THYEBACCOREQUEST.VC_CUSTOMNAME客户名称THYEBACCOREQUEST.C_CUSTTYPE客户类型THYEBACCOREQUEST.VC_ADDRESS地址THYEBACCOREQUEST.VC_MOBILENO手机号码THYEBACCOREQUEST.VC_FAXNO传真THYEBACCOREQUEST.VC_EMAIL邮箱THYEBACCOREQUEST.VC_PHONE电话TTRANSFERSPECACCOUNT.VC_TRADEACCO垫资户交

16、易账号（垫资方账户表）TYEBPAYOUTREQUEST.C_BANKNO银行编号（转出流水表）TYEBPAYOUTREQUEST.VC_BANKACCO银行账号TYEBPAYOUTREQUEST.VC_BANKNAME银行名称TYEBPAYOUTREQUEST.VC_NAMEINBANK银行户名THYEBPAYOUTREQUEST.C_BANKNO银行编号（转出流水历史表）THYEBPAYOUTREQUEST.VC_BANKACCO银行账号THYEBPAYOUTREQUEST.VC_BANKNAME银行名称THYEBPAYOUTREQUEST.VC_NAMEINBANK银行户名图表三：清算系

17、统脱敏表和相关字段字段描述QSCustomer.FBankAccount投资人银行账号QSCustomer.CertID投资人证件号码QSCustomer.CertType证件类型图表四：网上交易、FUNDAPI、前置机和APPserver脱敏表和相关字段字段描述taccoreqwizard_web.vc_customname   (fundapi系统)taccoreqwizard_web.vc_customname前置机无数据库APPserver无数据库图表五：直销系统脱敏表和相关字段字段描述tcustinfo.vc_customname   tcus

18、tinfo_net.vc_customnametaccoinfo.vc_acconametaccoinfo_net.vc_acconametaccobank.vc_nameinbanktaccobank_net.vc_nameinbanktaccorequest.vc_customnametaccorequest_net.vc_customname图表六：微信系统脱敏表和字段字段描述无无说明：微信系统客户资料表只有客户微信的open_id、昵称，没有客户联系方式等，也没有客户交易记录数据，不涉及敏感信息，所以该系统无需进行脱敏处理。图表七：KM系统脱敏表和字段字段描述无无说明：暂未提供图表八：

19、交易系统脱敏表表描述基础类表Tbankaccount银行账户信息表TENTRUSTSTOCKHOLDER交易股东表Tseat席位信息表TSTOCKHOLDER股东信息表指令交易类TASSET资产单元基本信息表TAUTODISPENSE自动分发规则表TCOMBI投资组合表TETFBASICINFOETF基本参数表THISATSCHEMA自动交易方案历史表THISATSCHEMAINS自动交易方案证券历史表THISINSTRUCTION指令历史表THISINSTRUCTIONDEPOSITDETAIL存款指令明细历史表THISINSTRUCTIONFLOW指令流程历史表THISINSTRUCTIO

20、NHGMORTAGAGE银行间指令质押信息历史表THISINSTRUCTIONMARKETINFO指令行情信息历史表THISINSTRUCTIONSTOCK指令证券历史表THISPREINSTRUCTION预置指令历史表THISPREINSTRUCTIONSTOCK预置指令证券历史表TINSTRUCTION指令表TINSTRUCTIONHGMORTAGAGE银行间指令质押信息表TINSTRUCTIONMARKETINFO指令行情信息表TINSTRUCTIONSTOCK指令证券表TOPINSTRUCTIONSTOCK交易员指令证券表TOPPROJECTSTOCK操作员指令方案证券表TPREINS

21、TRUCTION预置指令表TPREINSTRUCTIONSTOCK预置指令证券表TENTRUSTS委托表财务清算类TAPPLYREDEEM开放式基金申购赎回表TASSETDAY资产单元日信息表TBANKREALDEAL银行间成交回报TCASHBUSINESS资金类业务表TCASHFROZENDETAIL资金冻结解冻明细表TDEALHGMORTAGAGE银行间成交回报回购质押表TDEPOSITRECEIPT在途存单信息表TFUNDASSET基金资产信息表TFUNDSTOCK基金证券表THGMORTAGAGE在途回购质押债券表THGREGISTER在途回购表THISASSETDAY资产单元日信息历

22、史表THISBUSINESSSUMMARY成交业务汇总历史表THISCASHFROZENDETAIL资金冻结解冻明细历史表THISENTRUSTS委托历史表THISFADATA财务科目数据历史表THISFUNDASSET基金资产信息历史表THISFUNDSTOCK基金证券历史表THISHGREGISTER在途回购历史表THISHOLDINGDETAIL持仓明细历史表THISINTERESTLOG权益流水历史表THISLIQUIDATEDETAIL清算配对历史表THISPENDSETTLE待交割历史表THISREALDEAL实时成交流水历史表THISSPECSTOCK投资单元特殊证券历史表THI

23、SSTOCKBUSINESS证券类业务历史表THISUNITSTOCK投资单元证券历史表TINTERESTLOG权益流水表TLIQUIDATEDETAIL清算配对表TPENDSETTLETMP临时待交割表TREALDEAL实时成交流水表TSPECSTOCK投资单元特殊证券表TSTOCKBUSINESS证券类业务表TSTOCKFROZENDETAIL证券冻结解冻明细表TSUBJECTDATA系统科目数据TUNCOMPLETELOG未完成业务表TUNITSTOCK投资单元证券表TSHANGJSGH上交所清算GH表TSHANGJSTZXX上交所通知信息TZXX表TSHANGJSZQBD上交所证券变动

24、ZQBD表TSHANGJSZQY上交所结算ZQY表TSHENJSDZ深交所股份结算对帐表TSHENJSFX深交所发行信息表TSHENJSGF深交所结算GF表TSHENJSHB深交所清算HB表风控类TCHECKRISKCONTROL风险控制复核表TDYNAMICCONDITION动态维度条件表TETFFUNDINFOSERVERETF基金属性表_发行端TETFPREPCFINFOSERVERPrePCF结果表_发行端TETFPREPCFINFOSERVERPrePCF结果表_发行端TETFPREPCFINFOSERVERPrePCF结果表_发行端TETFPREPCFINFOSERVERPrePC

25、F结果表_发行端THISETFSPECIFICSERVERETF权重数据历史表_发行端THISRATIOLOG风控预警记录历史表THISRISKCONTROL风险控制历史表THISSHANGJSZGH固定收益盘后成交数据接口历史表THISSHANGJSZQBD上交所证券变动ZQBD历史表THISSHENJSDZ深交所股份结算对帐历史表THISSHENJSFX深交所发行信息历史表THISSTHISSHENJSHB深交所清算HB历史表THISSHENJSHB深交所清算HB历史表THISSTATICRISKRESULT静态风控检查结果历史表THISTRADESTOCK维度证券历史表TPCFCHECKRESULTPCF核