从传统数据传输到大数据传输

1、从传统数据传输到大数据传输从传统数据传输到大数据传输 胡臻伟胡臻伟 115034910085115034910085 李宗桓李宗桓 115034910089115034910089 朱佳俊朱佳俊 115036910047115036910047 20152015年年1111月月数据传输的背景数据传输的背景2022-6-11数据传输的定义：数据传输的定义：依照适当的规程，经过一条或多条链路，在数据源和数据宿之间传送数据的过程。也表示借助信道上的信号将数据从一处送往另一处的操作。数据传输的历史数据传输的历史现代最早的电传输应用：现代最早的电传输应用：电报（电报（18091809） 电传打字机（电传

2、打字机（19061906） 2022-6-11数据传输的发展数据传输的发展2022-6-11电路交换电路交换2022-6-11电路交换的特点电路交换的特点1、信息传送的最小单位是时隙；2、面向连接；3、同步时分复用；4、信息传送无差错控制；5、基于呼叫损失的流量控制；6、信息具有透明性。电路交换的特征:(电路交换中电路可能是固定存在的，也可以是根据需要建立的。)2022-6-11分组交换分组交换2022-6-11分组交换的分组交换的 特点特点2022-6-11（1）信息传送的最小单位是分组（2）面向连接（逻辑连接）和无连接两种工作方式（3）统计时分复用（动态分配带宽）（4）信息传送为有差错控制

3、（5）信息传送不具有透明性（6） 基于呼叫延迟制的流量控制报文交换报文交换2022-6-11报文交换的特点报文交换的特点2022-6-11（1）“存储转发”；（2）不独占线路，多个用户的数据可以通过存储和排队共享一条线路；（3）无线路建立的过程，提高了线路的利用率；（4）可以支持多点传输（一个报文传输给多个用户，在报文中增加“地址字段”，中间结点根据地址字段进行复制和转发）；（5）中间结点可进行数据格式的转换，方便接收站点的收取；（6）增加了差错检测功能，避免出错数据的无谓传输等。三种交换的比较三种交换的比较2022-6-11若要传送的数据量很大，且其传送时间远大于呼叫时间，则采用电路交换较为

4、合适；当端到端的通路有很多段的链路组成时，采用分组交换传送数据较为合适。从提高整个网络的信道利用率上看，报文交换和分组交换优于电路交换，其中分组交换比报文交换的时延小，尤其适合于计算机之间的突发式的数据通信。三种光交换技术三种光交换技术光路交换光路交换OCS(Optical Circuit SwitchingOCS(Optical Circuit Switching）光分组交换光分组交换OPS(Optical Packet SwitchingOPS(Optical Packet Switching）光突发交换光突发交换OBS(Optical Burst Switching).OBS(Optic

5、al Burst Switching).2022-6-11OCS网络需要为每一个连接请求建立从源端到目的地端的光路（每一个链路上均需要分配一个专业波长）。交换过程共分三个阶段：交换过程共分三个阶段：链路建立阶段是双向的带宽申请过程，需要经过请求与应答确认两个处理过程。链路保持阶段，链路始终被通信双方占用，不允许其他通信方共享该链路。链路拆除阶段，任意一方首先发出断开信号，另一方收到断开信号后进行确认，资源就被真正释放。2022-6-11OPSOPS是一种不面向连接的交换方式，采用单向预约机制，在进行数据传输前不需要建立路由、分配资源。分组净荷紧跟分组头在相同光路中传输，网络节点需要缓存净荷，等

6、待带分组目的地的分组头的处理，以确定路由。存在两个近期内难以克服的障碍：一是光缓存器技术还不成熟；二是在OPS交换节点处，多个输入分组的精确同步难以实现。因此光分组交换难于在短时间内实现。2022-6-11OBS特点是数据分组和控制分组独立传送，在时间上和特点是数据分组和控制分组独立传送，在时间上和信道信道上都是分离的，它采用单向资源预留机制，以上都是分离的，它采用单向资源预留机制，以光突发作为最小的交换单元光突发作为最小的交换单元2022-6-11BHC OF THE OBS2022-6-11BHC的内容的内容突发的目的节点突发的大小信道标识 t的大小2022-6-11OBS的基本想法的基本

7、想法目标:利用BHC来避免光缓冲通过BHC进行资源预定核心节点预先进行信道分配，BHC传递提点准备信道按时释放资源2022-6-11一些实验一些实验日本NTT的JGN Keihanna试验床，光突发网络有6个节点，Keihana设置了5个节点，Osaka放置一个节点，两地距离63km。试验提出了OBS的六个设计参数，设计的保证突发损失率小于10-6，突发交换时间在20ms以内，在200km距离时的最大网络流量达90，有126km的现场试验。2022-6-11一些实验一些实验北京邮电大学实现了光突发交换核心和边缘路由器系统及网络实验床。OBS试验床由一个核心路由器和2个边缘路由器组成，控制信道为

8、1310nm 的125Gbps，数据为100GHz间隔的DWDM系统，有8个波道，速率125Gbps，用户接口8FE+4GE。OXC采用SOA方式。首次进行了OBS上的TCP传输性能的试验和观察，证实OBS层有许多因素都会影响TCP传输性能。2022-6-11OBS现状现状实际应用中目前由于光/电/光技术相当成熟，而OBS还需要提前注入BHC会加大计算复杂度等等实际问题，现如今仍没有得到实际的应用。2022-6-11大数据传输问题大数据传输问题 现在有很多数据量很大的科学或商业的应用，传统电路现在有很多数据量很大的科学或商业的应用，传统电路交换的特点稳定，但是其要求足够可用的带宽。而大数据的交

9、换的特点稳定，但是其要求足够可用的带宽。而大数据的特点是对时延不是很敏感，但是占用网络资源却很大。特点是对时延不是很敏感，但是占用网络资源却很大。直通转发式直通转发式 在通信网络的拓扑结构中，我们对比数据流在节点中传在通信网络的拓扑结构中，我们对比数据流在节点中传输有两种方式，直通转发和存储转发。输有两种方式，直通转发和存储转发。 直通转发（直通转发（end to endend to end），是最快速的转发方式，得知），是最快速的转发方式，得知数据流的目的地址，就会从源节点到目的节点逐字节转发数数据流的目的地址，就会从源节点到目的节点逐字节转发数据。据。直通转发的不足直通转发的不足 在一般光

10、路交换中，对于每个请求，直通转发需要在一般光路交换中，对于每个请求，直通转发需要提供在源节点和目的节点中的可用的路径，如果此时提供在源节点和目的节点中的可用的路径，如果此时所有可能的路径被占用即带宽满足不了需求，就会导所有可能的路径被占用即带宽满足不了需求，就会导致该请求被丢失。致该请求被丢失。存储转发式存储转发式 存储转发（存储转发（store and forwardstore and forward），广泛使用于计），广泛使用于计算机网络，交换机的控制器先将输入端口到来的数据算机网络，交换机的控制器先将输入端口到来的数据包缓存起来，先检查数据包是否正确，并过滤掉冲突包缓存起来，先检查数据包

11、是否正确，并过滤掉冲突包错误。确定包正确后，取出目的地址，通过查找表包错误。确定包正确后，取出目的地址，通过查找表找到想要发送的输出端口地址，然后将该包发送出去找到想要发送的输出端口地址，然后将该包发送出去。相比较于直通转发，存储转发在对时延不敏感而占。相比较于直通转发，存储转发在对时延不敏感而占据带宽敏感的大数据传输方面更为有效。据带宽敏感的大数据传输方面更为有效。光交换中存储转发的模型图：即在网络中的一些节光交换中存储转发的模型图：即在网络中的一些节点中加入辅助存储，可以用一些网络结构来仿真这点中加入辅助存储，可以用一些网络结构来仿真这种模型。种模型。一种网络的拓扑结构一种网络的拓扑结构N

12、SFNET 美国国家科学基金会（美国国家科学基金会（NSFNSF）在全美国建立了）在全美国建立了6 6个个超级计算机中心，经发展成一块网络结构。这个模型超级计算机中心，经发展成一块网络结构。这个模型包含包含1414个节点和个节点和2121条链路。条链路。引入存储转发的应用和带来的好处引入存储转发的应用和带来的好处电路交换中的好处：电路交换中的好处： 1. 1.增加网络的吞吐能力，即传输的数据量大小增加网络的吞吐能力，即传输的数据量大小 2. 2.减少请求的阻塞率减少请求的阻塞率时移提前预约时移提前预约 时移提前预约时移提前预约(Time-shift advance reservation)(T

13、ime-shift advance reservation)技术，是存储转发的一种形式，对于传统的光路交换技术，是存储转发的一种形式，对于传统的光路交换，放宽了它在时间上的限制，在中间节点采用了辅助，放宽了它在时间上的限制，在中间节点采用了辅助存储，提高了网络利用率，也减少了请求的阻塞率。存储，提高了网络利用率，也减少了请求的阻塞率。 时移提前预约时移提前预约时移电路交换时移电路交换 时移电路交换（时移电路交换（Time shift circuit switchingTime shift circuit switching）也是存储转发的一种形式，它提供了一种动态最优化也是存储转发的一种形式，

14、它提供了一种动态最优化的技术，链路可以随着时间而改变，而网络吞吐量可的技术，链路可以随着时间而改变，而网络吞吐量可以随着缓冲区大小进行调节。以随着缓冲区大小进行调节。 分组交换中引入辅助存储的好处：分组交换中引入辅助存储的好处： 1. 1.减小大数据传输的开销减小大数据传输的开销 2. 2.减小大数据传输的时间减小大数据传输的时间 3. 3.提高大数据传输的网路利用率提高大数据传输的网路利用率 4. 4.减少网络峰值流量（平衡网络流量）减少网络峰值流量（平衡网络流量）存储转发减少开销存储转发减少开销和流量峰值和流量峰值 在大数据传输过程中，中间节点作为数据中心，在大数据传输过程中，中间节点作为

15、数据中心，把到达的请求存储下来，之后转发可以减小流量峰值把到达的请求存储下来，之后转发可以减小流量峰值。同时由于存储，可以等待目前被占线的链接通畅之。同时由于存储，可以等待目前被占线的链接通畅之后选择最优化开销的路径进行传输。后选择最优化开销的路径进行传输。存储转发的缺点存储转发的缺点 根据存储转发的一些特点，可以看到存储转发根据存储转发的一些特点，可以看到存储转发所能提供的特点还是很具有诱惑力的，也很完善，所能提供的特点还是很具有诱惑力的，也很完善，但是存储转发有一个致命的弱点就是速度问题。存但是存储转发有一个致命的弱点就是速度问题。存储转发交换方式的数据处理时延时较大，主要原因储转发交换方

16、式的数据处理时延时较大，主要原因输入输出端都要经过串并转换，这样繁琐的过程会输入输出端都要经过串并转换，这样繁琐的过程会影响响应速度，也就造成了高延迟的现象。影响响应速度，也就造成了高延迟的现象。存储转发的一些问题存储转发的一些问题 对于稍微复杂的网络拓扑结构来说，它的节点数对于稍微复杂的网络拓扑结构来说，它的节点数较多，节点之间的链路也很多，具有一定的算法复杂较多，节点之间的链路也很多，具有一定的算法复杂度。我们要分清在某个节点到底是存储还是转发，需度。我们要分清在某个节点到底是存储还是转发，需要更进一步的研究。要更进一步的研究。时移多层图时移多层图 对于存储转发，在每个节点存储还是转发的问

17、题，我们对于存储转发，在每个节点存储还是转发的问题，我们提出了一个时移多层图提出了一个时移多层图(Time-shift Mutli Layer Graph) (Time-shift Mutli Layer Graph) 作作为处理存储转发过程中统筹的办法，可以帮助解决在有辅助为处理存储转发过程中统筹的办法，可以帮助解决在有辅助存储的光网络中大数据传输的路由和调度问题。存储的光网络中大数据传输的路由和调度问题。对于网络来说，有时候两个节点之间被其它请求所对于网络来说，有时候两个节点之间被其它请求所占用，即这个链路被阻塞了。对于研究来说我们需占用，即这个链路被阻塞了。对于研究来说我们需要一定的判断

18、方法。要一定的判断方法。时移多层图时移多层图 用时移多层图来表示时间域和空间域对每个请求用时移多层图来表示时间域和空间域对每个请求的处理情况。时移多层图每层是随着每个请求到达而的处理情况。时移多层图每层是随着每个请求到达而新产生。新产生。 时移多层图就是网络在不同时间点的快照，时移多层图就是网络在不同时间点的快照，我们把它堆叠起来，形成一种空间图，因此也可以我们把它堆叠起来，形成一种空间图，因此也可以说我们用时移多层图把存储转发具体化了，由图在说我们用时移多层图把存储转发具体化了，由图在一个水平面内的链路我们认为是空间链路，它就是一个水平面内的链路我们认为是空间链路，它就是实际的链路，而纵向的

19、链路认为是时间链路，当请实际的链路，而纵向的链路认为是时间链路，当请求在时间链路传输时可以认为请求在该节点存储了求在时间链路传输时可以认为请求在该节点存储了一段时间。可以看到，在对一个请求传输时，多层一段时间。可以看到，在对一个请求传输时，多层图使用了多少层数，即发生了多少次的存储转发。图使用了多少层数，即发生了多少次的存储转发。网络中的请求网络中的请求 对于网路中的每个请求，我们可以用一个数组表示对于网路中的每个请求，我们可以用一个数组表示它的特征。它的特征。 R=(s,d,BW,F,D) R=(s,d,BW,F,D)s=source node d=destination nodes=sou

20、rce node d=destination nodeBW=bandwith F=size of the request BW=bandwith F=size of the request D=duration F=BWD=duration F=BW* *D D请求的处理请求的处理 对于时移多层图对于时移多层图G G，我们抽象建立出一个辅助多层我们抽象建立出一个辅助多层图图G,G,假设假设R=(s,d,BW,F,D)R=(s,d,BW,F,D)在在t t时刻到达网络。时刻到达网络。 当多层图当多层图G G每个空间上的链接空闲带宽每个空间上的链接空闲带宽BW,BW,把这把这个链路加到个链路加到G

21、G里。里。 当当G G每个时间上的链路空闲存储每个时间上的链路空闲存储F,F,把这个链路加把这个链路加到到GG里。里。 如果如果GG里的链路空闲时间里的链路空闲时间D,D,则删掉这个链路。则删掉这个链路。 请求的处理请求的处理 以路由的标准，可以把以路由的标准，可以把GG里面的每个链路都定义一个里面的每个链路都定义一个开销。开销。 用路由算法从源节点和目的节点找到一条最短路径。用路由算法从源节点和目的节点找到一条最短路径。 如果没有可用的路径，就把请求如果没有可用的路径，就把请求R R拒绝。（阻塞）拒绝。（阻塞） 路由算法路由算法 路由算法，算法的目的是找到一条从源路由器到目路由算法，算法的目

22、的是找到一条从源路由器到目的路由器的的路由器的最低开销的路径，存在多种路由算法，比最低开销的路径，存在多种路由算法，比 如迪杰斯特拉最短路径算法（如迪杰斯特拉最短路径算法（DijkstrasDijkstrasshortest path algorithmshortest path algorithm），它的算法复杂度可为），它的算法复杂度可为O(VO(V），而弗洛伊德算法（），而弗洛伊德算法（Floyd-Warshall Floyd-Warshall algorithmalgorithm），算法复杂度则是），算法复杂度则是0(V0(V）。）。网络的拓扑结构网络的拓扑结构 NSFNET NSFNET（Nation Science Foundation Network) Nation Science Foundation Network) 1414个节点个节点 2121条链路。条链路。 此外还有：此外还有： 泛欧光网络泛欧光网络( (Op