第5章 大数据安全

BIGDATA导论V2第5章

大数据安全目录5.1安全与隐私问题凸显5.2大数据时代的安全挑战5.3如何解决大数据安全问题5.4如何解决隐私保护问题第五章大数据安全网络安全与隐私保护问题-云视频会议软件Zoom

案例5-1【安全技术问题】Zoom并未完全实现端对端（E2EE）加密，而是广泛采用传输（TLS）加密，仅保证服务器到用户间的传输加密，保留了服务器访问传输内容的权限，会议内容存在泄露风险。【产品本身的设计逻辑】如默认会议主持人允许可以随意录制屏幕，且以相同的命名方式保存上传至云端或公开网站；隐私权限政策中对于个人数据责权说明含糊其辞等。

端到端加密技术是指数据在发送时被发送方加密，在接收方接收时被解密的技术。端到端加密只发生在发送方与接收方，而在整个传输过程中数据均已密文的形式存在，且无法进行解密操作，极大的加强了数据的安全性。安全与隐私问题凸显>>>5.1视频资料：央视新闻直播间大数据安全和个人信息保护

视频来源/2018/09/19/VIDEpSNW430tb4L2qv7FzYnx180919.shtml安全与隐私问题凸显网络安全漏洞个人隐私泄露企业与政府已经搜集了所有的数据:该干什么？如何对这些数据进行保护？该如何安全合法地利用这些数据？网络风险产生的主要因素网络安全漏洞个人隐私泄露在大数据时代的背景下，你可以想象一些场景，如图所示。网络安全漏洞个人隐私泄露安全与隐私问题凸显个人隐私泄露例如2018年3月，Facebook因保护数据不周导致超8700万用户的个人数据，被美国联邦贸易委员会处以50亿美元罚款；2020年9月，知名游戏硬件制造商Razer雷蛇，由于后台服务器的错误配置遭遇数据泄露，相关信息包括电子邮件、地址、订单信息等内容，据估计受影响客户数量约为10万；2021年6月，逯某、黎某因侵犯公民个人信息被判刑，两人通过自己开发的软件爬取淘宝用户ID、手机号码、评价内容等信息，共计11亿余条，用于公司营利活动，非法获利395万余元。网络安全漏洞个人隐私泄露安全与隐私问题凸显电信云堤&爱加密《2020中国互联网移动应用隐私情况年度观察报告》大数据时代的安全挑战>>>5.2大数据时代的安全挑战信息安全的发展历程网络安全早期的也是最基础的安全涉及到的是信息系统的物理安全，以及整个系统能否可靠运行等方面，这些是信息系统安全运行的基本保障。物理安全数据安全，一是防止数据丢失，二是防止数据泄露，三是需要防止数据被非法访问和盗取。在数据的传输和处理过程中对数据的防护也很重要。数据安全信息安全的发展历程应用安全信息一般都是通过应用系统来存取，因此，应用系统的安全也是确保信息安全的一个重要部分。信息安全带来的挑战网络安全包含网络设备安全、网络软件安全和网络信息安全。大数据时代的安全挑战信息安全的发展历程信息安全带来的挑战信息安全带来挑战新兴技术日新月异，物联网、云计算、大数据和移动互联网被称为新一代信息技术的“四架马车”，它们提供了科技发展的核心动力，这些技术在给人民、企业、政府和社会带来极大便利的同时，也催生了不同于以往的安全问题和威胁。名称说明例子前面攻击数据隐私从内部网移到云中后，遭受来自互联网的攻击黑客利用Web应用中的安全漏洞，盗取企业数据库中的信息侧面攻击公有云中的数据隐私，遭受同一云中其他租客的攻击竞争者利用CPUCovertChannel安全缺陷，盗取同一物理机上对方虚拟机的密钥后面攻击云中的数据隐私，遭受来自云服务商务内部人员的攻击不满者利用管理员权限，盗取客户信息“坏分子”云攻击模式身份或服务账户劫持信息安全带来的挑战业界总结为以下8种云安全攻击性威胁类型。其他还有一些非攻击性的威胁风险，包括无法支持法庭案件调查、不了解数据的物理存放位置和灾难恢复等。滥用和非法使用云计算商业模式变化风险数据丢失或者泄露

恶意的内部人员不安全的应用编程接口资源隔离问题大数据时代的安全挑战信息安全的发展历程信息安全带来的挑战对企业内部网的攻击如何解决大数据安全问题>>>5.3如何解决安全问题大数据安全防护对策大数据安全防护关键技术大数据安全防护对策大数据存储安全对策（1）通过加密手段保护数据安全，如采用PGP、TrueCrypt等程序对存储的数据进行加密，同时将加密数据和密钥分开存储和管理。（2）通过加密手段实现数据通信安全，如采用SSL协议保证数据节点和应用程序之间通信数据的安全性。（3）通过数据灾难备份机制，确保大数据的灾难恢复能力。大数据应用安全对策（1）对大数据核心业务系统和数据进行集中管理，保持数据口径一致，通过严格的字段级授权访问控制、数据加密，实现在规定范围内对大数据资源快速、便捷、准确地综合查询与统计分析，防止超范围查询数据、扩大数据知悉范围。（2）针对部分敏感字段进行过滤处理，对敏感字段进行屏蔽，防止重要数据外泄。（3）通过统一身份认证与细粒度的权限控制技术，对用户进行严格的访问控制，有效保证大数据应用安全。数据治理与数据安全大数据管理安全对策如何解决安全问题大数据安全防护对策大数据安全防护关键技术（1）加强大数据建立和使用的审批管理通过大数据资源规划评审，实现大数据平台建设由“面向过程”到“面向数据”的转变，从数据层面建立较为完整的大数据模型，面向不同平台的业务特点、数据特点、网络特点，建立统一的元数据管理、主数据管理机制。在数据应用上，按照“一数一源，一源多用”的原则，实现大数据管理的集中化、标准化、安全化。（2）实现大数据的生命周期管理依据数据的价值与应用的性质将数据进行划分，将数据划分为在线数据、近线数据、历史数据、归档数据、销毁数据等，依据数据的价值，分别制定相应的安全管理策略，有针对性地使用和保护不同级别的数据，并建立配套的管理制度，解决大数据管理策略单一所带来的安全防护措施不匹配、性能瓶颈等问题。（3）建立集中日志分析、审计机制汇总收集数据访问操作日志和基础数据库数据手工维护操作日志，实现对大数据使用安全记录的监控和查询统计，建立数据使用安全审计规则库。依据审计规则对选定范围的日志进行审计检查，记录审计结论，输出风险日志清单，生成审计报告。实现数据使用安全的自动审计和人工审计。（4）完善大数据的动态安全监控机制对大数据平台的运行状态数据，如内存数据、进程等进行安全监控与检测，保证计算系统健康运行。从操作系统层次看，包括内存、磁盘以及网络I/O数据的全面监控检测。从应用层次看，包括对进程、文件以及网络连接的安全监控。建立有效的动态数据细粒度安全监控和分析机制，满足对大数据分布式可靠运行的实时监控需求。数据治理与数据安全如何解决安全问题基础云安全防护技术如何解决安全问题1.访问控制技术大数据安全防护中的访问控制技术主要用于防止非授权访问和使用受保护的大数据资源。目前，访问控制主要分为自主访问控制和强制访问控制两大类。自主访问控制是指用户拥有绝对的权限，能够生成访问对象，并能决定哪些用户可以使用访问。强制访问控制是指系统对用户生成的对象进行统一的强制性控制，并按已制定的规则决定哪些用户可以使用访问。2.安全威胁的分析技术对于大数据安全防护而言，提前预警安全威胁和恶意代码是重要的安全保障技术手段。安全威胁和恶意代码预警可以通过对一系列历史数据和实时数据的场景关联分析来实现。对大数据的安全问题进行可行性预测分析，识别潜在的安全威胁，可以达到更好地保护大数据的目的。3.大数据稽核和审计技术对大数据系统间或服务间的隐秘存储通道进行稽核，对大数据平台发送和接收信息进行审核，可以有效发现大数据平台内部的信息安全问题，从而降低大数据的信息安全风险。4.大数据安全漏洞发现大数据安全漏洞主要是指大数据平台和服务程序由于设计缺陷或人为因素留下的后门和问题，安全漏洞攻击者能够在未授权的情况下利用该漏洞访问或破坏大数据平台及其数据。5基于大数据的认证技术基于大数据的认证技术，利用大数据技术采集用户行为及设备行为的数据，并对这些数据进行分析，获得用户行为和设备行为的特征，进而通过鉴别操作者行为及其设备行为来确定身份，实现认证，从而能够弥补传统认证技术中的缺陷。大数据安全防护关键技术大数据安全防护关键技术大数据安全防护对策大数据安全防护关键技术数据治理与数据安全如何解决安全问题基础云安全防护技术如何解决安全问题数据治理与数据安全大数据安全防护对策大数据安全防护关键技术数据治理与数据安全什么是数据治理？

简单来讲，数据治理是指对零散的数据进行统一管理，保证企业中使用数据的可用性、易用性、完整性和安全性，如同使商场里的规格不一、杂乱无章的货物整齐有序的陈列于货架上，其目的是增加数据价值，使数据相关成本和风险最小化。由于现在数据呈现高容量大、高多样性、高速且实时的特征，所以大数据治理更具有挑战性。图5-4大数据治理概念框架如何解决隐私保护问题>>>5.4隐私问题防不胜防的隐私泄露隐私保护的政策法规隐私保护技术防不胜防的隐私泄露【应用2】早在2000年，哈佛大学教授就表明只需要3个信息就可以确定87%的美国人：ZIP代码、出生日期和性别，而这些信息都可以在公共记录中找到。另外，根据用户的搜索记录也可以轻易锁定一个人。【应用3】美国在线AOL早2006年曾公布了3个月近两千万条真实搜索记录，虽然记录里没有真实姓名，纽约时报的记者根据一名用户的搜索如“60岁的单身女子”，“在各种东西上小便的狗”，“里尔本市的园丁”等，将该用户锁定为一位住在里尔本市的62岁的寡妇，她养了3条狗。同年美国Netflix公司公布的竞赛数据也导致了一位中西部未表明身份的同性恋母亲的曝光。【应用1】来自美国罗彻斯特大学的亚当·萨迪克和来自微软实验室的工程师约翰·克拉姆收集了32000天里703个志愿者和396辆车的GPS数据并建造了一个“大规模数据集”。他们通过编写一个算法，可以大致预测一个人未来可能达到的位置，最多可以预测到80周后，其准确度高达80%。区块链技术与隐私保护联邦学习与隐私保护隐私的政策法规隐私问题1995年制定的《欧盟隐私保护指令》是保护网络隐私权的重要法规，其对网络环境下的隐私保护做了较全面、系统的规定。此后，欧盟颁布了《电子通信资料保护指令》和《欧洲电子商务行动方案》。1986年颁布的《电子通信隐私法案》2016年11月，全国人大常委会发布了《中华人民共和国网络安全法》。2016年12月，国家互联网信息办公室发布《国家网络空间安全战略》，提出要实施国家大数据战略，建立大数据安全管理制度，支持大数据、云计算等新一代技术创新和应用，为保障国家网络安全夯实产业基础。2021年6月，我国首部《中华人民共和国数据安全法》正式出台与此前颁布的《网络安全法》，对加强网络安全管控，有效防御国家安全风险，保障国家安全具有重要意义。2021年8月，全国人大常委会颁布了《中华人民共和国个人信息保护法》，这是我国首部针对个人隐私保护的法律。防不胜防的隐私泄露隐私保护的政策法规隐私保护技术区块链技术与隐私保护联邦学习与隐私保护隐私保护技术隐私问题对于隐私保护的效果可以用“披露风险”来度量。披露风险表示攻击者根据所发布的数据和其他相关的背景知识，能够披露隐私的概率，那么隐私保护的目的就是尽可能地降低披露风险。隐私保护技术大致可以分为以下几类：防不胜防的隐私泄露隐私保护的政策法规隐私保护技术区块链技术与隐私保护联邦学习与隐私保护技术类型优点缺点基于数据失真技术保护效率高计算开销小容易实现数据信息缺损度高数据依赖性强，处理数据算法灵活性要求高基于数据加密技术数据的准确程度高隐私保护度高，安全性较强开销较大部署复杂，实际应用难度大基于限制发布技术发布的数据真实，可用性较高适用范围很广，算法移植性强容易实现计算开销较大存在一定信息丢失区块链技术与隐私保护隐私问题防不胜防的隐私泄露隐私保护的政策法规隐私保护技术区块链技术与隐私保护联邦学习与隐私保护区块链中的主要几种隐私保护技术零知识证明技术

区块链即一个分布在网络上的公共分类账，记录、储存数字资产交易。本质上是一个分散的数据库，保持信息在分布于远程位置的多个节点之间的复制和共享。混合技术环签名技术同态加密技术匿名性防篡改性联邦学习与隐私保护隐私问题联邦学习是一种特殊的分布式机器学习（DML），调动多个客户端如智能手机、平板电脑或传感器等，由中央服务器协调，以协作的方式训练机器学习模型，如图。防不胜防的隐私泄露隐私保护的政策法规隐私保护技术区块链技术与隐私保护联邦学习与隐私保护同态加密技术安全多方计算差分隐私百度大数据安全实践百度大数据平台安全架构

百度大数据平台关键能力百度提出4A安全体系来构建大数据平台的关键安全能力，主要包括：1)Account（账号）：为每个用户创建唯一的用户账号，并对用户身份进行鉴别，确保数据访问控制和安全审计可以追溯到个人账号。同时，采用基于角色的用户分组管理，将系统管理角色、系统数据建设角色和数据查看角色进行区分。2)Authentication（鉴别）：百度大数据平台上的数据访问必须有统一的身份鉴别机制。百度大数据平台采用统一单点登录身份认证技术对用户进行身份鉴别管理。3)Authorization（授权）：百度大数据平台需要根据数据访问主体身份，以及被访问数据的密级，实现对各类数据的访问授权。对于机密等级以上的数据，需要对接到具体的电子审批流程。此外，数据在流转过程中，大数据平台可以自动判断对应的下一个节点的安全等级和人员授权情况，进行数据流转的安全判断和维护。4)Audit（审计）：百度大数据平台具有审计日志记录功能，实现对系统中针对用户管理、权限管理、