大数据导论 课件 第6章 数据安全、隐私保护与开放共享

数据安全、隐私保护与开放共享1234实例引入：菜鸟平台共享物流信息数据安全与隐私大数据安全及隐私保护关键技术数据开放与共享实例引入：菜鸟平台共享物流信息菜鸟是一家互联网科技公司，专注于物流网络的平台服务，包含物流仓储平台和物流信息系统，通过大数据、云计算、智能技术，可以提供充分满足个性化需求的物流服务。如客户在网络下单时，可以选择“时效最快”“成本最低”“服务最好”“最安全”等多个快递服务组合类型。2022年11月，菜鸟官网显示，菜鸟供应链物流骨干网络如图所示。实例引入：菜鸟平台共享物流信息菜鸟注重自身合规性发展，参考国内和国际的各项合规标准，持续完善菜鸟各业务系统的建设，为用户提供安全、可靠的物流平台服务。2017年5月，菜鸟面向行业推出“隐私面单”，可有效避免消费者个人信息全部暴露在快递面单上。菜鸟核心作用的发挥，关键在于对多方物流数据的有效整合，与菜鸟合作的相关物流企业，都会将自己企业内部的物流数据（主要是包裹轨迹数据）共享出来，由菜鸟平台对电商和物流数据进行统一整合分析。只要人们掌握了大数据的规律和技术，就可以更好地利用大数据，并尽量避免诸如侵犯隐私等问题的出现。1234实例引入：菜鸟平台共享物流信息数据安全与隐私大数据安全及隐私保护关键技术数据开放与共享数据安全与隐私1.大数据安全概述1传统的数据安全的威胁主要包括计算机病毒、黑客攻击、数据信息存储介质的损坏。2传统信息安全关注个人计算机、智能终端、网络服务器等用户或系统的安全防护不同。3当下情况数据安全面临许多不同的威胁，数据安全面临着新的安全隐患，受到各类威胁。1.大数据安全概述在大数据的研究与分析中传统的安全保护机制以及体系已经不能够为飞速发展的大数据进行良好的数据保护。因此，应积极发展新型的大数据安全防护架构，进而对大数据时代下的数据隐私进行保护。在现阶段的大数据宏观环境中用户已经不再享有数据的绝对控制权，从而影响用户的使用效率与质量。因此，建立有效安全的大数据隐私保护势在必行，国家也将完善重点领域安全保障体系，强化经济、重大基础设施、金融、网络等安全保障体系建设。大数据安全与隐私保护技术体系中的安全防护技术主要分4个层次，分别为设施层、数据层、接口层和系统层的安全防护，如图所示。数据安全与隐私2.大数据安全与隐私保护技术体系架构2.大数据安全与隐私保护技术体系架构大数据安全与隐私保护技术体系架构如下表。层次说明设施层主要应对终端、云平台和大数据基础设施的安全问题，包括平台崩溃、设备失效、电磁破坏等，采用的关键安全防护技术主要有终端安全防护技术等，大数据基础设施安全防护技术主要对大数据的网络设施、存储设施、计算设施和物理环境进行保护数据层主要解决数据处理的生命周期带来的安全问题，包括数据混乱等，采用的关键安全防护技术包括数据采集安全技术、隐私数据保护安全技术等接口层主要解决大数据系统中数据提供者、数据消费者、大数据应用提供者、大数据框架提供者、系统协调者等角色之间的接口面临的安全问题，包括数据损失等，采用的关键技术包括对数据提供者与大数据应用提供者之间的接口安全控制技术等系统层主要解决系统面临的安全问题，包括运行干扰、远程操控、高级持续性威胁（APT）攻击、业务风险等，采用的关键技术包括实时安全监测、安全事件管理、大数据安全态势感知、APT攻击防御等1234实例引入：菜鸟平台共享物流信息数据安全与隐私大数据安全及隐私保护关键技术数据开放与共享大数据安全及隐私保护关键技术1.数据安全技术目前，数据安全的防护一般是从数据生命周期防护的视角出发，设置分级分类的动态防护策略，减少对业务数据流动的干扰与伤害。随着大数据云计算技术的普及，数据流动性已成为数据的基本特征，也引发了数据安全体系建设的变化。数据从采集、传输到存储、处理、共享直至销毁的全生命周期的各个环节均面临安全风险，数据安全防御体系必须贯穿生命周期的始终。数据融合共享成为趋势数据应用系统的角度1.数据安全技术数据全生命周期可分为数据采集、传输、存储、处理、共享、销毁6部分，其对应的安全防护技术说明如表所示。环节说明采集安全环节主要通过采集白名单、数据源操作权限管理、事前敏感字段标注、安全级别设置、静态脱敏等技术来实现采集流程的安全防护。传输安全环节主要通过传输加密、完整性检验技术实现传输通道的安全防护。存储安全环节主要通过透明加密、完整性检验提高数据存储安全性。处理安全环节主要通过细粒度的权限管控、动态脱敏等技术保障数据处理的安全。共享安全环节针对数据流接口的方式，采用接口操作权限管理、流量管控、接口认证等方式保障接口的安全。销毁安全环节主要通过物理摧毁和消磁等技术手段来破坏存储介质中数据的完整性，以防非授权用户利用残留数据恶意恢复，达到保护数据的目的。1.数据安全技术数据的多维多重保护0103040502安全监控与防护技术从海量的数据中挑选出敏感数据，完成对敏感数据的识别，并采取分类分级的安全防护策略。数据防泄漏技术指通过技术手段，防止数据以违反安全策略规定的形式流出企业的数据安全防护手段。密文计算技术密文计算技术又分为同态加密和安全多方计算。数字水印技术可实现对分发后的数据流向的追踪，在数据泄露行为发生后，对造成数据泄露的源头可进行回溯。数字溯源技术数据溯源技术是指查找数据产生的链路。数据溯源可以记载对数据处理的整个历史，包括数据的起源和处理数据的所有后继过程。大数据安全及隐私保护关键技术2.个人隐私保护技术数据脱敏技术数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现对个人数据的隐私保护，是应用广泛的隐私保护技术。技术方法说明加密方法加密方法是指标准的加密算法，加密后完全失去业务属性，属于低层次脱敏，算法开销大，适用于机密性要求高、不需要保持业务属性的场景基于数据失真的技术基于数据失真的技术主要通过添加噪声等方法，使敏感数据失真，但同时保持某些数据或数据属性不变，仍然保持某些统计方面的性质。包括随机化，即对原始数据加入随机噪声，然后发布扰动后数据的方法，适用于群体信息统计或需要保持业务属性的场景可逆的置换算法兼具可逆和保证业务属性的特征，可以通过位置变换、表映射、算法映射等方式实现，表映射方法应用起来相对简单，也能解决业务属性保留的问题，但是随着数据量的增多，相应的映射表同比增大，应用局限性较高2.个人隐私保护技术去标识化技术去标识化是指通过对个人信息的技术处理，在不借助额外信息的情况下，使得他人无法识别个人信息主体的过程。新的安全保障需求统计技术1密码技术2抑制技术3假名化技术4泛化技术4随机化技术5数据合成技术6常用的去标识化技术数据的采集和溯源成为突出的安全风险点，应加强数据采集、运算、溯源等关键环节的保障能力建设，以数据安全关键环节和关键技术研究为突破点，完善数据安全技术体系。1234实例引入：菜鸟平台共享物流信息数据安全与隐私大数据安全及隐私保护关键技术数据开放与共享数据开放与共享1.数据开放与共享的概念数据：是指原始的、未经处理的并允许个人和企业自由利用的数据。开放：一般来说开放的概念具有如下两个层次的含义。技术上的开放，即以机器可读的标准格式开放。法律上的开放，即不受限制地明确允许商业和非商业利用和再利用。开放数据是指一种经过挑选与许可的数据，不受著作权、专利权以及其他管理机制所限制，可以被任何人自由免费地访问、获取、利用和分享数据共享指处于不同时空的用户使用不同计算机、不同软件能够读取他人数据并进行各种操作运算和分析。开放数据仅是大数据的一部分，不完全等同于大数据，也有别于公开数据和共享数据。开放数据的定义突出了开放数据的如下两个核心要素。数据开放与共享2.数据开放与共享的意义意义说明有助于提升资源利用率统一数据存储、共享开放、安全管理等职能，消灭传统信息化平台建设中的“竖井式”业务、“数据孤岛”、重复建设、资源浪费等问题有助于提升工作效率通过大数据共享开放平台，整合大数据各用户之间的数据共享渠道，为安全、高效、有序、可靠的数据共享开放提供平台支撑。通过平台资源的统一整合，在数据存储与交换机制中可以考虑数据可用不可见、数据不搬家、数据点对点直接交换等交换模式，大大提升了交换效率有助于企业获得更好的经营发展能力数据信息的增多可以增加企业做出正确选择的能力，从而提高经济效益，更好地体现信息的价值有助于推动社会治理创新依托数据共享和大数据技术应用，有利于实现社会治理机制的创新，给公众的生活带来便利，如缓解交通压力、保障食品安全、解决环境污染数据开放与共享数据集选择：选取将要开放的数据集是数据开放与共享的第一步，同时也是在数据开放与共享实施过程中工作量很大的一步，特别是涉及数据所有权，需要数据发布者事先制定数据开放的标准和对数据进行分级处理。开放许可协议：在选择好待发布的数据集后，应该考虑对数据应用什么样的许可协议。对于开放数据，推荐选用遵循开放知识定义并且适用于数据的开放许可协议，如知识共享、开放数据公用等。数据集发现与获取：选择好数据开放许可协议后，数据发布者可将数据集发布到相应的数据开放与共享平台。数据开放的目的是数据的再利用，因此数据发布者必须确保数据是可再次访问和获取的，且提供机器能够访问的文件格式。数据开放与共享的实施既是一个技术过程又是一个管理过程。一般来说，数据开放与共享实施涉及3个主要步骤，即数据集选择、开放许可协议、数据集发现与获取。3.数据开放与共享实施指南小结数据素养教育是大数据专