《大数据存储技术与应用》 课件 项目二-任务三 浅析数据安全

《大数据存储技术与应用》大数据存储技术与应用项目二浅析大数据存储技术任务三

浅析数据安全大数据存储架构？嵌入式存储架构，应用场景？云存储架构？大数据在医疗领域的应用？回顾任务引入-数据丢失8月5日，前沿数控在微博上发表长文《腾讯云给一家创业公司带来的灾难》，文章中表示，“2018年7月20日，我们近千万元级的平台数据全部丢失，包括经过长期推广导流积累起来的精准注册用户以及内容数据，这瞬间将一家创业公司摧毁”。任务描述:本节任务要求从备份策略入手，通过系统学习，对大数据时代的数据安全有一个初步的认识，为后续项目实践打下基础。任务教学目标：了解文件系统的核心了解访问文件的流程了解日志文件系统XFS文件系统任务概要教学内容数据备份策略文件级备份与块级备份Rsync介绍一二三快照技术四数据备份策略知识点一（一）为什么要备份计算机本身也是一个相当不可靠的机器受到恶意攻击人为操作失误132（二）数据备份方式手动备份U盘光盘（二）数据备份方式使用备份程序下载一个备份程序。有免费提供的程序和要购买的程序，但都提供了许多相同的基本功能。使用购买的程序备份数据比手动备份好的其中一个优点是定时和自动化选项。这使可以不用担心数据备份工作。（三）备份的常见策略与关键技术全部备份即把硬盘或数据库内的所有文件、文件夹或数据作一次性的复制。0102指对上一次全部备份或增量备份后更新的数据进行备份。03差异备份提供运行完整备份后变更的文件的备份。增量备份差异备份（三）备份的常见策略与关键技术系统处于停机或维护状态下的备份。这种情况下，备份的数据与系统中此时段的数据完全一致。系统处于正常运转状态下的备份。这种情况下，由于系统中的数据可能随时在更新，备份的数据相对于系统的真实数据可有一定滞后。冷备份热备份对系统的一部分进行备份选择式备份文件级备份与块级备份知识点二（一）文件级备份与块备份概念块级是指以扇区为基础，一个或多个连续的扇区组成一个块，也叫物理块。它是在文件系统与块设备（例如：磁盘驱动器）之间。块级概念（一）文件级备份与块备份概念物理块（驱动层）磁盘驱动器（扇区）逻辑块（文件系统如：NTFS，EXT4，XFS，JFS）132文件级概念：文件级是指文件系统，单个文件可由一个或多个逻辑块组成，且逻辑块之间是不连续分布。逻辑块大于或等于物理块整数倍。块备份备份是以磁盘块为基本单位将数据从主机复制到备机。也就是说每次备份数据都是以一个扇区(512B)为单位来进行备份。文件备份文件备份是以文件为基本单位将数据从主机复制到备机。同样，我们是以一个完整的文件来做为备份单位的。而大小是由文件本身来决定。（二）备份模式的区别备份机制块备份块备份避免了当文件出现一个小的改动的时候，就需要对整个文件做备份，只是会去做改动部分的备份，有效的提高了备份效率，节省了备份时间。文件备份文件备份模式下，文件即使一个很小的改变，也需将整个文件备份。这样如果一个文件很大的情况下，就会大幅度的降低备份效率，增加磁盘开销和备份时间。（二）备份模式的区别高效性块备份块备份可以做到高效的实时备份，这种写入操作都是基于磁盘扇区的，所以，很快就能被识别。文件备份文件备份是很难做到实时备份的，因为它的每次修改都是基于文件的，而文件的哪部分被修改，系统很难实时捕获到。（二）备份模式的区别实时性块备份块备份是在文件系统之下对数据进行复制，所以它不受文件系统限制，可以支持各种文件系统包括RAW分区。文件备份文件备份是以单个文件为单位对数据进行复制，所以它受文件系统限制，仅能对部分支持的文件系统做备份，不支持RAW分区。（二）备份模式的区别支持度Rsync介绍知识点三rsync是类unix系统下的数据镜像备份工具——remotesync。一款快速增量备份工具RemoteSync，远程同步支持本地复制，或者与其他SSH、rsync主机同步。sync概念（一）rsync介绍（二）sync特点可以镜像保存整个目录树和文件系统。可以很容易做到保持原来文件的权限、时间、软硬链接等。无须特殊权限即可安装。第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件。rsync在传输数据的过程中可以实现压缩及解压缩操作，因此可以使用更少的带宽。可以使用scp、ssh等方式来传输文件，当然也可以通过直接的socket连接。支持匿名传输，以方便进行网站镜象。（三）sync配置概述配置文件/etc/rsyncd.confpath=/home/backup///需要做镜像的目录readonly=yes//只读hostsallow=192.168.1.1,10.10.10.10//允许主机hostsdeny=0.0.0.0/0//禁止主机logfile=/var/log/rsyncd.log//日志记录文件的存放位置快照技术知识点四快照的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态。快照的作用（一）快照技术概念与作业基于文件系统式基于子系统式的基于卷管理器/虚拟化式（二）快照的三种基本形式即写即拷贝即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。分割镜像快照分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时，都生成整个卷的快照，而不只是新数据或更新的数据。（三）快照的两种类型进行冷快照拷贝是保证系统可以被完全恢复的最安全的方式。在进行任何大的配置变化或维护过程之前和之后，一般都需要进行冷拷贝，以保证完全的恢复原状（rollback）。冷快照拷贝暖快照拷贝利用服务器的挂起功能。当执行挂起行动时，程序计数器被停止，所有的活动内存都被保存在引导硬盘所在的文件系统中的一个临时文件（.vmss文件）中，并且暂停服务器应用。暖快照拷贝发生的所有的写操作都立即应用在一个虚硬盘上，以保持文件系统的高度的一致性。服务器提供让持续的虚拟硬盘处于热备份模式的工具，以通过添加REDO日志文件在硬盘子系统层上复制快照拷贝。热快照拷贝（四）快照的三种使用方法（五）快照与镜像、复制的区别镜像、快照和复制是三种不同的功能。镜像是通过从一个I/O创建两个I/O来复制数据。复制是通过网络传输数据对象（文件）任务小结1.系统角色不同，备份需求也不同，针对个人电脑常用：手动备份、备份到云端。2.在企业里常见的备份策略有：全部备份、增量备份、差异备份、冷备份、热备份。3.块备份是以磁盘块为基本单位将数据从主机复制到备机。4.文件备份是以文件为基本单位将数据从主机复制到备机。5.rsync是类unix系统下的数据镜像备份工具——remotesync。6.快照的作用主要是能够进行在线数据恢复，当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复，将数据恢复成快照产生时间点的状态。课外研读大数据标准独立学习到今天，我们国家已经有12项大数据国家标准正式获批发布。我们可以通过研读《GB/T386