IBM大数据实时处理与精准分析数据隐私与漂白

数据隐私与漂白等待克隆生产数据库数据请求生产数据库副本生产

数据副本结果：当数据需求变更时:需人工检查:数据范围是否正确?

需求变更影响的数据?取得的副本是否正确?计划中的变更?数据是否有共享者?#1

–

克隆生产数据

#2

–

编写数据处理SQL数据共享是否能保持关联关系?数据范围是否正确?需专员维护，

易出错，成本高需求变更实现复杂•不适用于需求变更编写SQLExtract抽取子集结果：3传统的测试数据准备方法——直接克隆与SQL数据处理乘积效应：总数据容量成倍增加！跨系统、跨平台测试数据难以准备测试数据安全性难以保证手工方式处理效率低下测试进度无法保证,项目风险增大测试复杂度提升，无法保证如期提交高质量测试数据难以控制多个并行项目的协调与沟通测试数据版本管理难度较大测试成本过高备份、恢复的测试数据管理方式导致测试成本难以控制数据质量及安全难以保证：跨系统、跨平台测试数据难以获取并验证，数据质量难以保证数据变形、漂白手段缺乏或过于单一较低的工作效率人员、资源协调难度较大测试数据使用、分配存在冲突质量难以控制、进度难以保证数据复用率低缺乏方法论与模型的指导系统资源存在浪费管理难度提升测试数据使用者间存在冲突常见问题业务影响备份/实现准备测试数据成本过高4传统测试数据管理方式的一般性问题及分析100

GB25

GB50

GB为目标测试环境创建大小合适、规模适中的测试数据集将敏感数据变形为虚拟的、保持业务语义的测试数据建议更新、重置和维护测试数据的环境通过比较识别应用测试前后数据的变化，帮助及早发现问题缩减测试数据准备时间从而加快测试进程生产数据库或生产备份库2TB25

GB开发环境单元测试培训环境集成测试抽取关联子集加载/变形插入/更新比较创建测试数据集中管理平台5测试数据管理最佳实践数据创建数据抽样平台维护测试数据管理平台组织结构方面设定测试数据管理角色结合已有组织部门明确数据责任人项目管理职责生命周期方面划分各阶段的核心内容确定各阶段主要产出测试数据准备原则与生产系统隔离数据尽量可重用数据环境可重新初始化保证数据安全性系统分析数据系统概要数据版本管理6Test

Data

ManagementData

Privacy数据库(源库/目标库)服务器设计客户端运维客户端Designer管理界面Optim

Manager配置库TestEtc…Source…服务调用接口Target…Optim…Extract,

Convert,

Insert,

LoadWindows

Linux

UNIXQA

ProdOptim测试数据管理产品架构7Optim测试数据管理解决方案生产系统测试系统(跨库)数据对象转换/创建增量/全量/更新数据加载差异数据比对与确认敏感数据二次漂白/格式转培换训系统开发系统测试数据文件及版本结构数据与DDL8抽取与变形从生产环境抽取出符合业务逻辑的数据集合，帮助用户迅速构建大小适中的测试、开发、培训环境，并保护隐私数据的安全性。提供条件与抽样等方式，获取大小合适的的测试数据集在数据抽取、加载或离线阶段，均可制定变形规则，实现隐私数据的可靠保护，并确保变形后数据的完整性抽取或变形后的数据可加载到任意类型的目标数据库中(如从Oracle中抽取数据，变形后，在DB2中加载、创建原始数据环境)通过格式化压缩文件保留数据的各种版本(结构与DDL)，可实现在异构环境中恢复或获取数据定义格式化压缩文件独立存储，可在测试、开发过程中反复加载，不对生产环境造成新的压力。以结构化压缩格式文件方式存储，平均压缩率可达80%off以上Optim测试数据与数据保护解决方案生产系统基于上下文语义,可被应用程序接受,持久性的数据变形EBS

/OracleSybaseSiebel

/

DB2Custom

/测试系统EBS

/

Oracle9Custom

/SybaseSiebel

/

DB2可控的测试数据集——无需全库复制保障环境与应用交互的一致性，并可反复装载确保符合现实场景的测试效果用转义变形数据替代隐私信息，支持多种数据变形算法提供非生产环境下的私密数据保护ExtractMask分析及报表IBM

InfoSphere

Optim（Masking

On

Demand)测试开发生产环境中的数据漂白漂白敏感数据子集&漂白测试/开发环境中的数据子集管理以及数据漂白漂白处理后的“黄金基线”版本子集/比较/更新IBM

InfoSphereOptimIBM

InfoSphereOptim加快数据部署刷新测试数据，加快测试以及项目发布时间较少风险漂白敏感信息，保证对相关数据隐私保护法规的合规遵从性降低成本10自动创建生产数据子集，生成规模适中的测试数据，减少存储空间要求以及数

据准备时间Optim测试数据管理、数据隐私保护解决方案-帮助客户解决非生产环境使用数据的成本、效率以及风险问题步骤1:数据抽取步骤2:数据变形步骤3:数据加载关联抽取子集抽取数据压缩XF文件关联展现下一个周期创建数据表加载数据关联数据恢复发现敏感数据数据变形Optim函数库XF文件扩展变形函数结果验证数据请求管理数据供数管理密钥管理测试环境管理数据安全审查数据需求规划Optim测试数据管理流程11机器自动发现业务对象按照业务实体自动对表进行分组

根据业务实体自动产生数据抽取服务的定义以及抽取请求Optim测试数据管理–业务对象分析功能数据主外键分析根据数据值分析，进行主外键发现，产生ER图支持用户输入数据关系，并进一步验证加速主外键分析及发现，速度提升5到10倍12Optim测试数据管理–数据抽取功能满足测试数据的需求

子集抽取与抽样——大幅削减测试数据规模，缩短数据环境准备

时间和资源，提高测试开发效率！单元测试需5%功能测试需10%~20%性能测试需30%~50%合理的数据抽样数据充分压缩避免数据克隆占用过多的存储空间保持数据一致性、关联性兼容异构测试环境跨平台、跨数据库类型13数据联邦：抽取异构数据库间的关联数据其他应用/AS400System2

/

OracleOptim

Relationship一个抽取文件，包含子集数据与元数据定义跨越多个业务环境的相关性业务对象应用/企业级归档对象14支持相互比对的数据源类型：数据库vs.数据库,数据库vs.文件,文件vs.文件发现意外出现的数据变化(或验证预期发生的变化)对应用系统测试,QA等，验证数据库中的内容单表或多表间的比较创建差异文件或数据比对报告测试前数据集测试后数据集结果文件结果报告Optim比较Optim测试数据管理–比对与差异数据识别功能15Optim测试数据管理–敏感数据发现功能隐藏的敏感数据：存在高度风险整理敏感数据的代价

在每一个系统中找出敏感数据元素(SDE)都将花费几天的时间敏感数据分散在几百张表或者字段上16部分敏感数据更隐蔽涉密数据包含在其他表的数据列中涉密数据被拆分后分别存在于多个列中埋藏在注释或者文本列中Optim敏感数据发现

全面的发现功能：可发现简单的、隐藏的、被拆分的以及经逻辑转换处理的敏感数据比人工方式节省10倍以上的时间分散的敏感数据可将用于识别个人身份的数据进行变形以及去隐私化处理保证变形之后的数据仍可被应用识别数据保持可读性并保持业务语义变形之后的数据仍保持在合理的取值范围内保持关联数据之间的完整性，避免产生测试错误个人身份信息经Optim漂白后变成虚拟的、保持业务规则和含义的数据，可用于各种测试中JASON

MICHAELSROBERT

SMITHOptim测试数据管理–敏感数据漂白功能17完善的、成熟的数据漂白技术举例2FstNEvtOwn

LstNEvPersNbrtOwn21070604252107060425PaEblloiot

PaEblloiotE事ve件nt记T录ab表leP个er人so信na息l表Info

TableFirstName

LastName

AJleiacnene

ReBneoninrettPersNbr01800050410901012107060425ClaaruldePaEbloiotMoDnaevtisPicaFslsyoynnOptim具备完善的数据漂白库，包括：·常量字符串·查找函数/哈希函数·算术表达式·连接函数以及字串函数·格式保留函数·洗牌函数·日期变量·自定义函数接口PicaFslsyonnPicaFslsyonn通过键值级联变形保持数据完整性举例1·随即函数以及序列函数客户信息表Patient

No.

SSNNameCityZip1122324353613233-4252-64748494Address

AEmraincdaaSWcihnatfers4102

BMauyrbrearyrCyoDurtiSvteateEAlugsitninITLX670817203418漂白之后的数据保持原有语义以及上下文数据关联性、完整性生产系统测试环境对象抽取同库关联性异构关联性定义关联性发现与识别抽取规则定义子集定义数据抽样关联性验证数据压缩元数据收集元数据发布能力归档数据索引能力并行能力抽取变形能力漂白、变形变形函数自定义变形变形流程整合调用数据比对验证文件vs.文件比对表vs.文件比对表vs.表比对测试数据编辑关联展现数据编辑与修正跨平台恢复支持任意目标数据库任意平台Insert/Load调用子集恢复归档数据查询能力数据布能力转换为文本文件抽取文件迁移子集抽取隐私变形数据分发自动化图形化定制日志与报告任务调用接口与方式Optim测试数据管理–功能特性总结19Optim

BigTDM建立安全的大数据环境Hadoop

clusterDatasourcesMaskedCSVfilesMaskedCSVfilesCSV

filesMaskedCSVfilesInfoSphereOptimMODAppMaskedCSVfilesInfoSphereOptim

DataPrivacyData-

basesCSVfilesMapReduceInfoSphere

Optim

MODApp

in

Hadoop数据加载到大数据环境前进行安全防护数据脱敏本身利用Hadoop

clusters的MapReduce技术来充分并行处理多渠道数据源应保持一致的数据脱敏手段和结果生产环境的关联子集(1%-50%)所有敏感数据均完成一致性漂白etc…PCPOBIGLARAPGLBIPO

PCetc…AP

AR单元测试21开发质量管理培训数据从生产环境获取，确保业务逻辑和场景的完整、准确。测试数据规模大小可控，节省成本、人力并提高效率。通过快捷的测试数据准备，加速应用上线进度，确保充分测试、提高应用质量。可对比数据环境间的差异，快速定位缺陷并协助验证结果。Optim测试数据管理–目标——创建大小合适、逻辑完整、安全的数据集生产环境子集数据文件应用系统数据库1WindowsWindows,

Unix,

Linux,

z\OS测试系统2

EMPL

--

----

----

----

-------

----CREDITEMPL测试系统1抽取+漂白处理

HR

漂白+LoadLoadFiles漂白+Insert

BILLING测试系统3EMPL应用系统数据库2测试系统4DB2

LUW,

IDS,DB2

z,Oracle,

Sybase,

MS

SQL22Optim测试数据管理–产品部署架构IBM

Optim测试数据管理与隐私数据保护客户案例分享23需求与背景

该客户正在准备新一代核心银行系统的上线，并准备将数据库从Sybase迁移至Oracle，面临大量测试与开发需求现状：原有核心系统已不再升级，系统维护有客户运维团队负责新核心的定制开发与测试引入了新的开发商，开发与测试并行展开新核心的开发与测试数据来自于旧核心，并需要进行二次加工后才能加载新核心系统预计2013年10月上线面临的问题新系统上线进度紧迫，急需提高开发与测试进度

测试与开发需经常需要反复加载数据集合，大量数据的加载导致数据环境准备极其困难并且消耗大量时间与人力多个开发、测试团队的数据环境需求不同，数据版本也存在不同，冲突明显新开发商能直接看到旧核心中的大量客户、账户类敏感数据，泄漏风险极高IBM

Optim测试数据管理与隐私数据保护客户案例分享(2)数据处理流程ExtractFile

CUST

--

----

----

----

-------

----ORD--

----

----

----

-------

----DETL新核心测试环境(Oracle)ORD

DETL

旧核心测试环境(Sybase)CUST--

----

----

----

-------

----LOAD旧核心根据测试、开发需求抽取到压缩格式的Optim

Extract

File中将Extract

File中的敏感字段(客户信息相关字段)进行漂白利用抽取文件中保留的对象定义DDL，在开发环境中变更或创建初始数据环境将漂白后的数据加载至目标环境，包括开发、测试与旧核心测试环境抽取文件可在测试后或数据环境发生较大变更后，反复加载目标环境数据结构变化后，Optim可根据目标表结构自动映射数据加载、覆盖流程INSERT/UPDATELoadFiles漂白/脱密旧核心生产环境(Sybase)CUSTOMERSORDERS--

--

------

--

---------

-------

--

------

--

---------

-----------------------------------------------------------------------------------------------------

--

----C--U--S--T--O--M---E--R--S----

--

----O--R