大数据下的安全技术实践

1、大数据下的安全技术实践技术创新 变革未来大数据安全定义用户安全数据安全系统安全 网络安全用户安全：身份认证、权限控制、操作审计数据安全：存储、消费、溯源系统安全：操作系统、分布式集群网络安全：传输加密、访问授信动态脱敏静态脱敏传输加密存储加密操作记录指标管理内容销毁 数据销毁可用周期数据 内容个人账号 系统账号身份管理鉴权授 权立方体-指标库-表-字段权限 管理行为审计访问控制数据溯源数据 交付访问认证百度外卖大数据安全框架业务库日志FTPELK对象存储数据 生产数据 托管画像结算KPI非敏感数据共享，敏感数据私有数据源多租户隔离业务系统个人用户数据出口权限数据及指标鉴权审批流系统权限申请审

2、计OLAP分析ADHOC数据建模数据流安全体系ADHOC-基于SQL语义的数据消费基于SQL语义的数据消费clientclientclientDistributed StoragehiveimpalakuduhbasegreenplumdruidC-S多对多不同服务权限粒度不同权限运维复杂clientclientclientADHOC收敛出口kylinDistributed Storagehiveimpalakuduhbasegreenplumdruidkylinapiweb-ui:面向用户的界面化查询平台ADHOC同步查询:kudu、sql on hbase 等异步查询数据拉取高复杂度查询A

3、dhoc面向场景ADHOC：基于SQL语义的即席查询Adhoc权限控制Sql Parse系统账号个人账号APIWeb-uiADHOCAUTHQuery on engineLOG审计查询热度控制项权限：库-表-字段复杂度频次数据量级动态脱敏Adhoc-数据动态脱敏SQL提交词法语法解析SQL替换注入查询抽象语法树敏感字段SQL替换注入示例SELECT user_id,user_phone FROM tbl_orderSELECT user_id, encryptFunc(user_phone) FROM tbl_order语法树不完全示例 SELECT MAX(1,2),3ROOTSELECTF

4、unctionCallExprIntegerLiteralMAX123多维分析-基于指标建模的数据消费基于指标建模的数据消费saikuMondrianSchemaMondrianMDXDataCacheStorage On HdfsSQLDataLogSchemaParseAuthCUBEIndexUserRoleAuditDataDescription多维分析基于RBAC的指标权限设计基于Mondrian Schema解析 实现指标溯源日志结合schema解析实现 指标访问审计基于RBAC的权限设计基于RBAC的产品权限+数据权限用户表USER_ID USER_NAME角色表ROLE_ID ROLE_NAME权限表PERMISSION_ID PERMISSION_FLAG用户角色关系表USER_ID ROLE_ID角色权限关系表USER_ID PERMISSION_IDRBAC0权限模型基于RBAC的产品权限+数据权限角色产品页面元素动作/接 口数据库表字段建模主题立方体指标角色与资源绑定基于角色实现黑白名单权限申请工作流中用户自主选择角色与资源基于ERP属性在权限申请workflow中给予用户角色推荐小结产品指