blockmanager基础及源码彻底解析

1、 1,BlockManager 3,BlockManager层的数据传输服务的初始化过一，BlockManager 涉及的各个角BlockManager Master-slaves 结构。Driver BlockManagerMaster 会管理所有Executor 中的 BlockManager Executor 启动时， 会启动相应BlockManager 并 1,BlockManager 3,BlockManager层的数据传输服务的初始化过一，BlockManager 涉及的各个角BlockManager Master-slaves 结构。Driver BlockManagerMast

2、er 会管理所有Executor 中的 BlockManager Executor 启动时， 会启动相应BlockManager 并其次，BlockManager 提供和写数据的接口，可以从本地读写数据，也可以 Tachyon）。1，在Application 启动时会在SparkEnv 在内存、磁盘以及 OffHeap（堆外空间，BlockManagerMaster 以及BlockManagerMaster：对整个集群所有Block 数据进行管理的；主要是管理方法的输出的给去管理所有节点的BlockManager；block 信息的数3 ExecutorBackend BlockManager

3、 在给BlockManagerMaster；实质上Executor 中的 BlockManager 在启动的时给4，MemoryStore 是 BlockManager 中专门负责内存数和读写的类5，DiskStoreBlockManager和读写的类； DiskBlockManagerLogicBlockDiskPhysicalBlock 7，OneForOneBlockFetcher 用来连接到相应BlockManager 去获取数据 二，blockManager spark 1，sparkShuffle 过程数据会被BlockManager 管理。Reduce 端去发请求获取2，spar

4、k broadcast 数3，Spark Streaming receiver 模式下接受到的数据都会被放到BlockManager，然后产生的时候去获取4，rdd cache 操作，最终也是用BlockManager 进行数于管理运行结果，也BlockManager(resultSize=akkaFrameSize-第一层通讯框rpc -block 信 第二层文件传输-使BlockManager 进行数据传 浪三，BlockManager 在RDD 层面了解到RDD 是由不同的partition 组成的action partition 上面进行的；而storage 模，RDD 又被视为由不R

5、DD 的存取是block 为的角度不同。在Sparkstorage 模块进行的，本质上partition 和block 是等价的，只是 浪三，BlockManager 在RDD 层面了解到RDD 是由不同的partition 组成的action partition 上面进行的；而storage 模，RDD 又被视为由不RDD 的存取是block 为的角度不同。在Sparkstorage 模块进行的，本质上partition 和block 是等价的，只是是block，所有的操作都是block BlockManager 对象被创建的时候会创建出 MemoryStore DiskStore 对象用以

6、存取blockspill 磁盘中， 通过 DiskStore 。四，BlockManager PUT GET GETPut 接口和Get 接口两个中存在就直接返回， 从本地获取一个 Block, 会先判断如果是useMemory， 直接从内存中取出， 如果是 useDisk， 会从磁盘中取出返回， useMemory 判断是否在内存中缓存一下，方便下次获取， 如果 local 不存在， 上获取， 当然元信息是存在 drive 上的，要根 PUT 操作 ，级别， 对应的是 memoryStore 还是 diskStore， 五，blockManager blockTransferService

7、spark rpc 传输使用的是 netty, netty, 这里的大文件传输其实走的是 netty, 动 blockManager 的时候会启动一个 blockTransferService 服务， 这个服务就是用来传输大文件用的对应的具体类是 NettyBlockTransferService这个实例中也会有 BlocakManager的 启动一个NettyBlockRpcServer的用， 用来提供服务， BlocakManager 根据 ManagedBuffer 对象，nettyHandler, 也拥BlocakManager 的BlockId 获取一个Block 然后包装为一个当需

8、要从远端获取一个 Block 的时候，就需要 blockTransferService driver 上获取到fetchBlocks 方法其他真正Block 的真 nt, fetchOneForOneBlockFetcherFetcher k fetch, k Block COpenBlocks BlockId, 其他节点服务BlockId blockManager 中拿到数据后用来传输用的是 如果是备份的时候同步上传一个含 Block, 其他节点服务端会根据，uploadBlock 消息中BlockId, 浪 kFetch 也有一个类似 Stream 的概念， kFetch 的对象是“ 一个

9、内存中IteratorManagedBuffer”，即一组Buffer，每一个Buffer 对应一个 kFetch 也有一个类似 Stream 的概念， kFetch 的对象是“ 一个内存中IteratorManagedBuffer”，即一组Buffer，每一个Buffer 对应一个 kId，ServerkIdC ntStream kFetchServer StreamIDStreamManagerkopenStream口来分别响应 kFetch Stream 两种操作，并且针对 Server kFetch registerStream 接口来BufferBlockManager BlockI

10、D 对应的StreamManager，从而支Block Fetch 六，rdd Block RDD 的运算是基于 partition， 每个 task 分区上一个 stage 那么是在哪里变task executorBlock 以 看看这个转变过接七，RDDRDDuseDisk、useMemory、deserialized、replication 11 JVM 中. MEMORY_AND_DISK：以反序列化的JAVA 对象的方在JVM 中如果内存不够。的一些分区将将会缓存在磁盘上，再次需要的时候从磁 ). 反序列化的方式,这样更高效的利用空间， 尤其是使用快速序列化时。但是 CPU 操put

11、eT(rd d: RDDT,context:storageLevel:StorageLevel):IteratorT=logDebug(sLookingfor partitionfinaldefiterator(split:Partition,context:TaskContext):IteratorT pute(this, split, context,else(split, MEMORY_AND_DISK_SERMEMORY_ONLY_SER相似, 在DISK_ONLY：RDD 在磁盘 OFF_HEAP (experimental) ： 将 MEMORY_AND_DISK_SERMEMORY_ONLY_SER相似, 在DISK_ONLY：RDD 在磁盘 OFF_HEAP (experimental) ：