实现系统镜像等大文件P2P快速分发方案分享

实现系统镜像等大文件P2P快速分发方案分享镜像是对应一个系统的分区，数据量非常庞大。从事云桌面、教育系统技术服务的企业应该经常会遇到给某个单位或学员的几十台、上百台终端设备进行批量升级系统镜像的需求。针对镜像的分发，传统的做法是镜像改变后，服务器端将这个镜像文件通过Ftp/Http等方式，给局域网内的几十台、上百台终端进行发送，是1对多的模式。但服务器的带宽、磁盘读性能是有限的，如果是千M局域网，服务器的上传能力最高是120MB/s左右，如果有100个终端一起更新下载，每个终端只能获得1.2MB/s的下载速度，如果传输一个256G的分区镜像，需要几天的时间才可以传输完成。传统的做法显然无法满足实际客户场景的镜像分发需求。行业内又衍生出先服务器传给几台机器，等几台机器传完后再通过这些机器下发另外机器的各种模式。总而言之，都缺少一个可以同时利用所有机器网络和性能的便捷方式。通过案例实践，P2P分发技术恰恰是满足这一需求的优秀解决方案。比如点量BTSDK，基于标准的Bittorrent协议自研的商业P2PSDK引擎。可以实现服务器同时给所有终端分发时，自动将文件切分为很多分块，随机给每个终端一个分块。每个终端拿到后，再互相连接分享自己有的分块，实现一个分布式集群的自主分发，从而实现人越多，下载速度越快、分发效率越高。让每个终端都能获得120MB/s的下载速度。从而让一个本来需要几天才能传输完成的文件，可以在几十分钟就能完成传输。点量BT在断点续传、限速、文件完整性校验等方面也功能完备，可以减少很多开发时间，同时不止适用于局域网，也可以用于广域网的镜像分发。该方案已经广泛被多家厂商应用于系统镜像传输和超大文件传输的业务场景中。比如影院原始拷贝分发、超大蓝光电影分发等领域。具体在系统镜像传输领域，点量BT除了传统P2P的功能外，还针对该场景做了如下更多功能，更好的解决该场景下的实际需求：提供自定义IO接口可以将P2P内部所有针对文件、文件夹的IO操作，调用外部自定义的IO函数，这样就可以实现分区的读写等由外部用户自定义处理，可以针对/dev/sda1等分区直接当一个标准文件处理，用来制作torrent文件、进行文件的读写。用户通过自定义对磁盘分区、镜像的读写函数、查看文件大小、属性等函数，将分区当做一个标准文件处理。镜像下载优化版，可设置跳过传统校验专门提供镜像下载优化版本，可设置跳过传统校验：磁盘镜像分区比较大，传统BT/P2P在进行分块校验等操作时会耗费时间太久，通过自定义IO，以及其他设置，可以跳过这些校验，提升制作种子、下载完成的时间。由外部校验镜像完整性。自定义设置文件分块大小由于磁盘分区镜像可能是256G甚至更大的文件，因此建议设置4M等超大分块大小，这些在普通BT软件里面是不支持的。支持更多分块数量镜像下载优化版本的点量BT可以支持4M/8M等超大分块大小，以及更多的分块数量支持。也可通过自定义IO，可以将一个超大镜像，拆分成多个虚拟文件，比如每个虚拟文件64G，以实现更好的并发传输效果。支持局域网自建Tracker，提升P2P效率针对局域网传输，可通过参数去除UPnP等映射，以及停止局域网自动发现。支持设置局域网自建Tracker，通过局域网Tracker的策略高效调度，以及指定节点之间的传输关系，可以减少多层路由器的多级子网下的端口映射干扰，让P2P连接更直接、迅速。此