大数据资料内容

1.大数据全景2.linux系统与windows系统的本质区别Windows操作系统倾向于将更多的功能集成到操作系统内部，并将程序与内核相结合；而Linux不同于Windows，它的内核空间与用户空间有明显的界限。3.虚拟机概念与类型虚拟机（VirtualMachine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。4.docker基本知识(概念、架构、docker容器和虚拟化实现原理)容器：Docker容器是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的Docker容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。Docker容器是完全使用沙箱机制，相互之间不会有任何接口。不像虚拟机，Docker容器几乎没有性能开销,可以很容易地在机器和数据中心中运行。他们不依赖于任何语言、框架以及系统。架构：Docker采用Client/Server架构模式。DockerDaemon是docker的核心守护进程，也就是Server端，Server端可以部署在远程，也可以部署在本地，客户端向服务器发送请求，服务端负责构建、运行和分发容器。客户端和服务器可以运行在同一个Host上，客户端可以通过socket或RESTAPI与远程的服务器通信。dockerCLI实现容器和镜像的管理，为用户提供统一的操作界面,这个客户端提供一个只读的镜像，然后通过镜像可以创建一个或者多个容器(container)，这些容器可以只是一个RFS(RootFileSystem),也可以是一个包含了用户应用的RFS。容器在dockerClient中只是一个进程，两个进程是互不可见的，从而实现容器之间的个隔离。用户不能与server直接交互，但可以通过与容器这个桥梁来交互，由于是操作系统级别的虚拟技术，中间的损耗几乎可以不计。虚拟化实现原理：11.hdfs读流程，结合图进行描述客户端通过调用FileSystem对象的open()方法来打开希望读取的文件，对于HDFS来说，这个对象时分布文件系统的一个实例；DistributedFileSystem通过使用RPC来调用NameNode以确定文件起始块的位置，同一Block按照重复数会返回多个位置，这些位置按照Hadoop集群拓扑结构排序，距离客户端近的排在前面

(详见第三章）前两步会返回一个FSDataInputStream对象，该对象会被封装成DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流，客户端对这个输入流调用read()方法存储着文件起始块的DataNode地址的DFSInputStream随即连接距离近的DataNode，通过对数据流反复调用read()方法，将数据从DataNode传输到客户端到达块的末端时，DFSInputStream会关闭与该DataNode的连接，然后寻找下一个块的佳DataNode，这些操作对客户端来说是透明的，客户端的角度看来只是读一个持续不断的流一旦客户端完成读取，就对FSDataInputStream调用close()方法关闭文件读取。12.hbase存储机制与特点机制：表是行的集合。行是列族的集合。列族是列的集合。列是键值对的集合。特点：HBase线性可扩展。它具有自动故障支持。它提供