《大数据存储技术与应用》 课件 项目二-任务一 浅析文件系统

《大数据存储技术与应用》大数据存储技术与应用项目二浅析大数据存储技术任务一浅析文件系统大数据存储架构？嵌入式存储架构，应用场景？云存储架构？大数据在医疗领域的应用？回顾任务引入-计算机系统计算机系统中有各种存储器，如CPU内部的通用寄存器组、CPU内的Cache（高速缓存）、CUP外部的Cache、主板上的主存储器、主板外的联机（在线）磁盘存储器以及脱机（离线）的磁带存储器和光盘存储器等。任务描述:在LINUX系统中有一个重要的概念：一切都是文件。在UNIX系统中，把一切资源都看作是文件，包括硬件设备。任务教学目标：了解文件系统的核心了解访问文件的流程了解日志文件系统XFS文件系统任务概要教学内容文件系统的作用文件系统的核心概念访问文件的流程一二三日志文件系统四XFS文件系统五文件系统对比六文件系统的作用知识点一文件系统是一种存储和组织数据的方法，它使得对数据的访问和查找变得容易。01文件系统通常使用硬盘和光盘等存储设备，也可能仅仅是一种访问数据的界面。02文件系统向用户提供底层数据访问的机制。03文件系统的概述文件系统的核心概念知识点二文件系统的核心概念文件名元数据（Metadata）inodePosixindode硬链接软链接LinuxVFSFHS文件读写执行属性文件系统的核心概念硬链接软链接文件系统的核心概念$chmod[options]mode[,mode]file1[file2...]chmod的八进制语法的数字说明：r4w2x1-0chmod使用语法举例：访问文件的流程知识点三1234命令只传递了一个绝对路径通过inode-table寻找父路径在父目录表中寻找对应文件inode查找到inode指定文件访问文件的流程日志文件系统知识点四（一）日志文件系统在文件系统发生变化时，先把相关的信息写入一个被称为日志的区域，然后再把变化写入主文件系统的文件系统。在文件系统发生故障（如内核崩溃或突然停电）时，日志文件系统更容易保持一致性，并且可以较快恢复。在回写模式中，只有元数据被记录到日志中，数据会被直接写入主文件系统。这种模式能提供较好的性能，不过有较大的风险。回写在顺序模式中，只有元数据被记录到日志中，但在日志被标记为提交前，数据会被写入文件系统。顺序在数据模式中，元数据和文件内容都先被写入日志中，然后在提交到主文件系统。数据（二）日志的级别XFS文件系统知识点五（一）XFS历史19XFS，一种高性能的日志文件系统，最早于1993年，由SiliconGraphics为他们的IRIX操作系统而开发，是IRIX5.3版的默认文件系统XFS特别擅长处理大文件，同时提供平滑的数据传输。（二）XFS特性容量大1对文件系统元数据提供了日志支持2分配组提供了可伸缩和并行特性3条带化分配4基于Extent的分配方式5可变块尺寸6延迟分配7稀疏文件8（三）文件系统对比1.FAT文件系统的数据访问方式（二）文件系统对比2.Ext2文件系统的数据访问方式本章从文件系统的基本概念出发，阐述了文件系统的作用、核心概念、访问流程、日志文件系统、XFS文件系统、文件系统对比。包括如下内容：1.文件系统的作用：概念。2.文件系统核心概念：文件名、元数据、inode、Posixinode、硬链接软链接、LinuxVFS、FHS、文件的读写执行属性。3、访问文件的流程4、日志文件系统、XFS文件系统、文件系统对比。任务小结课外研读大数据标准独立学习到今天，我们国家已经有12项大数据国家标准正式获批发布。我们可以通过研读《GB/T38667-2020信息技术大数据数据分类指南》标准来识别数据的类别，国家大数据标准由全国信息技术标准化委员会组织专家进行撰写更新。通过研读《合