从传统数据传输到大数据传输

从传统数据传输到大数据传输胡臻伟115034910085李宗桓115034910089

朱佳俊115036910047

2015年11月数据传输的背景2023/2/6数据传输的定义：依照适当的规程，经过一条或多条链路，在数据源和数据宿之间传送数据的过程。也表示借助信道上的信号将数据从一处送往另一处的操作。数据传输的历史现代最早的电传输应用：电报（1809）

电传打字机（1906）2023/2/6数据传输的发展2023/2/6电路交换2023/2/6电路交换的特点1、信息传送的最小单位是时隙；2、面向连接；3、同步时分复用；4、信息传送无差错控制；5、基于呼叫损失的流量控制；6、信息具有透明性。电路交换的特征:

((电路交换中电路可能是固定存在的，也可以是根据需要建立的。)2023/2/6分组交换2023/2/6分组交换的特点2023/2/6（1）信息传送的最小单位是分组（2）面向连接（逻辑连接）和无连接两种工作方式（3）统计时分复用（动态分配带宽）（4）信息传送为有差错控制（5）信息传送不具有透明性（6）基于呼叫延迟制的流量控制报文交换2023/2/6报文交换的特点2023/2/6

（1）“存储－转发”；

（2）不独占线路，多个用户的数据可以通过存储和排队共享一条线路；

（3）无线路建立的过程，提高了线路的利用率；

（4）可以支持多点传输（一个报文传输给多个用户，在报文中增加“地址字段”，中间结点根据地址字段进行复制和转发）；

（5）中间结点可进行数据格式的转换，方便接收站点的收取；

（6）增加了差错检测功能，避免出错数据的无谓传输等。三种交换的比较2023/2/6若要传送的数据量很大，且其传送时间远大于呼叫时间，则采用电路交换较为合适；当端到端的通路有很多段的链路组成时，采用分组交换传送数据较为合适。从提高整个网络的信道利用率上看，报文交换和分组交换优于电路交换，其中分组交换比报文交换的时延小，尤其适合于计算机之间的突发式的数据通信。三种光交换技术光路交换OCS(OpticalCircuitSwitching）光分组交换OPS(OpticalPacketSwitching）光突发交换OBS(OpticalBurstSwitching).2023/2/6OCS网络需要为每一个连接请求建立从源端到目的地端的光路（每一个链路上均需要分配一个专业波长）。交换过程共分三个阶段：①链路建立阶段是双向的带宽申请过程，需要经过请求与应答确认两个处理过程。②链路保持阶段，链路始终被通信双方占用，不允许其他通信方共享该链路。③链路拆除阶段，任意一方首先发出断开信号，另一方收到断开信号后进行确认，资源就被真正释放。2023/2/6OPSOPS是一种不面向连接的交换方式，采用单向预约机制，在进行数据传输前不需要建立路由、分配资源。分组净荷紧跟分组头在相同光路中传输，网络节点需要缓存净荷，等待带分组目的地的分组头的处理，以确定路由。存在两个近期内难以克服的障碍：一是光缓存器技术还不成熟；二是在OPS交换节点处，多个输入分组的精确同步难以实现。因此光分组交换难于在短时间内实现。2023/2/6OBS特点是数据分组和控制分组独立传送，在时间上和信道上都是分离的，它采用单向资源预留机制，以光突发作为最小的交换单元2023/2/6BHCOFTHEOBS2023/2/6BHC的内容突发的目的节点突发的大小信道标识Δt的大小2023/2/6OBS的基本想法目标:利用BHC来避免光缓冲通过BHC进行资源预定核心节点预先进行信道分配，BHC传递提点准备信道按时释放资源2023/2/6一些实验日本NTT的JGNⅡKeihanna试验床，光突发网络有6个节点，Keihana设置了5个节点，Osaka放置一个节点，两地距离63km。试验提出了OBS的六个设计参数，设计的保证突发损失率小于10^-6，突发交换时间在20ms以内，在200km距离时的最大网络流量达90％，有126km的现场试验。2023/2/6一些实验北京邮电大学实现了光突发交换核心和边缘路由器系统及网络实验床。OBS试验床由一个核心路由器和2个边缘路由器组成，控制信道为1310nm的1．25Gbps，数据为100GHz间隔的DWDM系统，有8个波道，速率1．25Gbps，用户接口8FE+4GE。OXC采用SOA方式。首次进行了OBS上的TCP传输性能的试验和观察，证实OBS层有许多因素都会影响TCP传输性能。2023/2/6OBS现状实际应用中目前由于光/电/光技术相当成熟，而OBS还需要提前注入BHC会加大计算复杂度等等实际问题，现如今仍没有得到实际的应用。2023/2/6大数据传输问题

现在有很多数据量很大的科学或商业的应用，传统电路交换的特点稳定，但是其要求足够可用的带宽。而大数据的特点是对时延不是很敏感，但是占用网络资源却很大。直通转发式

在通信网络的拓扑结构中，我们对比数据流在节点中传输有两种方式，直通转发和存储转发。

直通转发（endtoend），是最快速的转发方式，得知数据流的目的地址，就会从源节点到目的节点逐字节转发数据。直通转发的不足

在一般光路交换中，对于每个请求，直通转发需要提供在源节点和目的节点中的可用的路径，如果此时所有可能的路径被占用即带宽满足不了需求，就会导致该请求被丢失。存储转发式

存储转发（storeandforward），广泛使用于计算机网络，交换机的控制器先将输入端口到来的数据包缓存起来，先检查数据包是否正确，并过滤掉冲突包错误。确定包正确后，取出目的地址，通过查找表找到想要发送的输出端口地址，然后将该包发送出去。相比较于直通转发，存储转发在对时延不敏感而占据带宽敏感的大数据传输方面更为有效。光交换中存储转发的模型图：即在网络中的一些节点中加入辅助存储，可以用一些网络结构来仿真这种模型。一种网络的拓扑结构NSFNET

美国国家科学基金会（NSF）在全美国建立了6个超级计算机中心，经发展成一块网络结构。这个模型包含14个节点和21条链路。引入存储转发的应用和带来的好处电路交换中的好处：1.增加网络的吞吐能力，即传输的数据量大小2.减少请求的阻塞率时移提前预约

时移提前预约(Time-shiftadvancereservation)技术，是存储转发的一种形式，对于传统的光路交换，放宽了它在时间上的限制，在中间节点采用了辅助存储，提高了网络利用率，也减少了请求的阻塞率。

时移提前预约时移电路交换

时移电路交换（Timeshiftcircuitswitching）也是存储转发的一种形式，它提供了一种动态最优化的技术，链路可以随着时间而改变，而网络吞吐量可以随着缓冲区大小进行调节。分组交换中引入辅助存储的好处：1.减小大数据传输的开销2.减小大数据传输的时间3.提高大数据传输的网路利用率4.减少网络峰值流量（平衡网络流量）存储转发减少开销

和流量峰值

在大数据传输过程中，中间节点作为数据中心，把到达的请求存储下来，之后转发可以减小流量峰值。同时由于存储，可以等待目前被占线的链接通畅之后选择最优化开销的路径进行传输。存储转发的缺点

根据存储转发的一些特点，可以看到存储转发所能提供的特点还是很具有诱惑力的，也很完善，但是存储转发有一个致命的弱点就是速度问题。存储转发交换方式的数据处理时延时较大，主要原因输入输出端都要经过串并转换，这样繁琐的过程会影响响应速度，也就造成了高延迟的现象。存储转发的一些问题

对于稍微复杂的网络拓扑结构来说，它的节点数较多，节点之间的链路也很多，具有一定的算法复杂度。我们要分清在某个节点到底是存储还是转发，需要更进一步的研究。时移多层图

对于存储转发，在每个节点存储还是转发的问题，我们提出了一个时移多层图(Time-shiftMutliLayerGraph)作为处理存储转发过程中统筹的办法，可以帮助解决在有辅助存储的光网络中大数据传输的路由和调度问题。对于网络来说，有时候两个节点之间被其它请求所占用，即这个链路被阻塞了。对于研究来说我们需要一定的判断方法。时移多层图

用时移多层图来表示时间域和空间域对每个请求的处理情况。时移多层图每层是随着每个请求到达而新产生。

时移多层图就是网络在不同时间点的快照，我们把它堆叠起来，形成一种空间图，因此也可以说我们用时移多层图把存储转发具体化了，由图在一个水平面内的链路我们认为是空间链路，它就是实际的链路，而纵向的链路认为是时间链路，当请求在时间链路传输时可以认为请求在该节点存储了一段时间。可以看到，在对一个请求传输时，多层图使用了多少层数，即发生了多少次的存储转发。网络中的请求

对于网路中的每个请求，我们可以用一个数组表示它的特征。R=(s,d,BW,F,D)s=sourcenoded=destinationnodeBW=bandwithF=sizeoftherequestD=durationF=BW*D请求的处理

对于时移多层图G，我们抽象建立出一个辅助多层图G',假设R=(s,d,BW,F,D)在t时刻到达网络。当多层图G每个空间上的链接空闲带宽≥BW,把这个链路加到G'里。当G每个时间上的链路空闲存储≥F,把这个链路加到G'里。如果G'里的链路空闲时间<D,则删掉这个链路。

请求的处理

以路由的标准，可以把G'里面的每个链路都定义一个开销。用路由算法从源节点和目的节点找到一条最短路径。

如果没有可用的路径，就把请求R拒绝。（阻塞）

路由算法路由算法，算法的目的是找到一条从源路由器到目的路由器的最低开销的路径，存在多种路由算法，比如迪杰斯特拉最短路径算法（Dijkstra'sshortestpathalgorithm），它的算法复杂度可为O(V²），而弗洛伊德算法（Floyd-Warshallalgorithm），算法复杂度则是0(V³）。网络的拓扑结构NSFNET（NationScienceFoundationNetwork)14个节点21条链路。

此外还有：泛欧光网络(OpticalPan-EuropeanNetwork)，19个节点，39条链路形成的拓扑结构。和USNET（USbackbonenetwork），是24个节点，43条链路形成的拓扑结构。仿真处理过程1.假设请求的源节点和目的节点对是均匀分布的。

2.请求到达网络服从泊松过程，到达率为λ。

3.请求的持续时间服从参数为μ的指数