计算机系统基础-第11讲-软件定义的那些事

计算机系统基础

ComputerSystemFundamentals

Class11

关于软件定义的

分享与讨论

软件定义的那些事

・那些被软件定义的

-软件定义网络

■李丹

・雷葆华

-软件定义数据中心

・欧阳剑

・林仕鼎

-软件定义世界

・吴甘沙

■软件的定义方法

-软件定义与机器学习

・陈宇

・黄隆波

要求

•不仅仅谈是什么，更要讲为什么

・纯粹个人理解

・纯粹主观意见

・纯粹片面看法

•无需面面俱到

•只要观点犀利

Agenda

・那些被软件定义的

-软件定义网络

■李丹：对软件定义网络的理解

•雷葆华：关于SDN的一些个人看法

-软件定义数据中心

-软件定义世界

•软件的定义方法

-软件定义与机器学习

对软件定义网络的理解

李丹

toIidan@tsinghua.edu.cn

清华大学

6

网络体系结构的现状

网络设备是一个封闭系统，网络

功能不向上层应用开放。

方有网络功能

（IETF定义）应用程序对网络的编程接口:

socketo

工业界：个性化网络功能难以定

制。

学术界：创新的网络协议难以进

行系统试验和验证。

教育界：课程讲网络的功能、讲

协议，学生的热情低。

7

跳出“网络”看“计算机”的发展

搜索办公社交电子实时

引擎软件网络商务聊天

开放接口（API）

LinuxMac

Windows

（操作（操作

（操作系统）

系统）系统）

开放接口（X86）—

专用硬件

8

“网络”与“计算机”的对比

网络计算机

□IETF定义网络的功能□应用决定计算机的功能

/组播、IPv6、多路径路由,办公软件、搜索引擎

□功能如何实现无标准定义□功能如何实现有标准架构

,软硬件一体，由设备商决定/操作系统接口、编程语言、X86

/不对应用开放,完全对应用开放

□主要市场：设备（思科、华□主要市场：设备（联想、惠

为）、运营维护（数据运营商）普）、软件（谷歌、微软）、

管理维护（每个部门的IT管理）

□主要从业者：设备制造商、□主要从业者：设备制造商、

网络运营商软件开发人员、应用维护人员

□网络功能演进周期太长□几乎不面临功能演进的问题

由应用决定功能，而将功能的实现方式标准化。

软件定义网络SDN

/Z7A

自定义自定义自定义

网络功能网络功能网络功能

\---------------------）

开放接口---------

专用控制平面控制平面控制平面控制平面

（网络操T|（网络T操（网络操

（设备商实现）

作系统）1作系统）I作系统）

开放接口

专用硬件

（设备商实现）

商用芯片

10

OpenFIow协议

firewall.c

ControlControl

ProgramsPrograms°

AbstractNetwolif(pkt->tcp->dport==22)

dropPacket(pkt);

Network1:ualization

GlobalNetworkView

NetworkOSl.<Match,Action>

2.〈Match,Action>l.<Match,Action>

〈

3.Match,Action>2.〈Match,Action>

〈

4.Match,Action>3.〈Match,Action>

L

Pack5.<Match,Action>4.〈Match,Action>

6.5.〈Match,Action>

1.〈Match,Action>

1.〈Match,Action>Forwardir6....

2.<Match,Action>

2.<Match,Action>I•7....

3.〈Match,Action>

3.〈Match,Action>i/vardir

4.〈Match,Action>

4.〈Match,Action>

5.<Match,Action>

5.<Match,Action>1.〈Match,Action>

6....2.<Match,Action>cktc

3.〈Match,Action>

4.〈Match,Action>rward

5.〈Match,Action>

Forwarding6.

7.

Forwardingn

SDN的核心要义是什么?

向应用程序开放网络功能］■SDN的核心要义！

控制平面与数据平面分离？■控制/数据分离有利

于各自独立发展。

数据平面简单化？」■严重不同意！

集中控制减少了对网

控制平面集中化？J■

络编程的复杂度。

OpenF1ow只定义了数

SDN就是OpenFlow?

-据平面的抽象方式。

12

“向应用开放网络功能”

是否有现实需求?

■计算机为什么要这么做？

-个人计算机(PC)的出现，计算机从小众走向大众

-定义并开放标准接口，将使得行业分工更细，从业者更多

■有没有个性化网络需求?

-传统互联网似乎不需要，只要能数据传输就行；但SDN下

互联网本身也可以提供更多服务，而不是非要终端

-NDN,新的搜索引擎?

-新型网络环境不断涌现，特别是数据中心网络和家庭网络

教育科研行业:怎么研究和实现新型网络功能?

-实现方式的标准化将吸引更多从业者，可能培养新的需求

13

SDN的主要研究点

应用软件网络网络新型网内网内

虚拟化节能路由存储计算

，北向接口，北向接口，

控制平面SDN控制器（操作系统）

，南向接口，南向接口1

但是。Oo

ZDNet>网络频道>网络管理>为什么Nicira要抛弃OpenFlow硬件控制？订阅：一.1

为什么Nicira要抛弃OpenFlow硬件控制？

摘要：5年前，当Nicira创始人MartinCasado在斯坦福大学攻读博士学位时，他准备转变网络运营模

型，使之能够踉上数据中心内服务器自动虚拟化的发展。Casado原以为他的发明OpenFlow能够解决

这个问题，但是现在他承认自己当初想法是错误的。现在网络行业中广为流行的OpenFlow硬件控制并

不是解决问题的方法。他决定在网络虚拟化的堆叠软件中采取不同的方法，VMware非常认同这种策

略，并因此斥资12亿美元收购了Nicira。

谷歌数据中心网络：AminVadaht—SIGCOMM2013,Hongkong

□没有把流的第一个包交给控制器，而是预配置流表

□控制器与转发设备之间的通信没有完全采用OpenFIow协议

□目前仅用于数据中心之间的流量工程

OpenFlow对数据层面的抽象过于简单。

SODA:以数据为中心的软件定义网络

■基本思想

-增强SDN数据平面的语义和处理灵活性

■主要创新

-支持用户任意定义的转发判据，而不一定是标准协议字段

-支持（计算，转发）的报文处理规则，而不仅仅是（匹配

,转发）

-支持关键字过滤

-支持以“报文组”为单位的操作，而不仅仅是以单个报文

为单位的操作

16

SODA与其他网络系统的比较

方案名称编程环境可编程性设备性能

SDN集中编程，软件

SODA高（软件）40Gbps以上

编程，高级编程接口

SDN集中环境，软件一般（受限于Open

OpenFlow高，数百Gbps

编程，高级编程接口Flow数据平面）

SDN集中编程，软件一般（不支持

华为POF交换机未知

编程，高级编程接口分组智能处理）

非SDN环境，不可编低（最多支持

普通网络设备高，数百Gbps

程或可编程性很低简单配置）

非SDN环境，对每个取决于电脑性能，使用

Click高（软件）

节点编程，软件编程DPDK时达到|6Gbps

非SDN环境，对每个

NetFPGA一般（硬件）最多4个10G端口

节点编程，硬件编程

--------------------------17-----

SODA应用场景1：网络科研

■基于实际系统的实验评估对网络研究至关重要

■大规模真实网络实验环境

-互联网本身

-难以把协议部署到路由器上

■PlanetLab

■工作在应用层网络

■实际常用的实验评估方法

-大规模模拟

■NetworkSimulator(NS-3)

-受控的小规模试验床

-用可编程网络节点搭一个网络

18

SODA应用场景2：网络教学培训

■让学生看到网络是如何运行的

-控制器收集全网信息，并进行可视化显示（包括显示报

文格式）

-路由选择、流量状态、故障显示等

-数据平面对全网和端到端传输的影响

■让学生控制网络的基本功能

■拓扑管理：在控制器上管理接口和拓扑状态

-网络层：对新型路由协议的支持

-传输层：调整拥塞控制算法

■支持多个学生同时操作

■虚拟网络

19

SODA应用场景3：云数据中心

RobertKahn：2004年图灵奖获得者、“互联网之父”

“ThefutureInternetwillbeanetworkofdatacenters"

-2013.4

Gartner:未来五年影响信息产业

Gartner:十大关键趋势中的四项

•软件定义网络SDN•更大的数据和存储

•混合云•向虚拟数据中心的演变

青年973项目：软件定义的云数

据中心网络(2014.1-2018.8)

关键科学问题：网络数据通路的可软件演进问题

软件定义网络

控制层iL商飓

数据层

科技部的要求:

“要特别注重实现可用的原型系统，向学术界和

工业界开放系统或部分模块。”

的可平滑扩容的可功能定制|

②容量受限流表

的可业务扩展

21

谢谢!

22

关于SDN的一些个人看法

雷葆华

2014年01月

提纲

•SDN是什么？（我的理解）、

•为什么会出现SDN

-需求驱动：移动互联网和云计算

-SDN是用IT的技术手段实现网络的重构

•SDN的发展趋势判断

-产业价值的转移

-起步阶段，局部应用

-需求探索，技术迭代

SDN的定义

•软件定义网络(SoftwareDefinedNetworking,SDN)是一种

新型的网络技术，其设计理念是将网络的控制平面与数据转发平

面进行分离，并实现可编程化的集中控制。

・传统网络设备紧耦合的网络架构被分拆成应用、控制、转发三层

分离的架构。控制功能被转移到了服务器，上层应用、底层转发

设施被抽象成多个逻辑实体。

SDN的特征

,集中控制使得全局优化成为可能，比如流量工程、负载均衡

,集中控制使得整个网络可以当作一台设备进行维护，设备零配

集中控制置即插即用，大大降低运维成本，类似的技术：

,集群路由器，虚拟集群，CisconV

/应用和网络的无缝集成，应用告诉网络如何运行才能更好地满

足应用的需求，比如业务的带宽、时延需求，计费对路由的影

开放接口响等。

/理良上NOS和转发硬件的开放标准接口使得硬件完全PC化

,用户可以自行开发网络新功能，加快新功能面世周期

,逻辑网络和物理网络的分离，逻辑网络可以根据业务需要配置、

迁移，不受物理位置的限制。

提纲

•SDN是什么？（我的理解）：

•为什么会出现SDN

-需求驱动：移动互联网和云计算

-SDN是用IT的技术手段实现网络的重构

•SDN的发展趋势判断

-产业价值的转移

-起步阶段，局部应用

-需求探索，技术迭代

SDN的出现：需求的多样性，带来网络

架构的变革

•移动互联网时代来临■云计算，软件定义基础设

施

■IT基础设施（虚拟化）满足

各种需求的变化

应用（平台）

生物进化与IT技术演进

•向某一方向的演进

•功能的分解，器官的分离

i原始生命」

网络IT化及软件化是未来趋势

■计算机手机产业的发展规律对通信业的启示

应用1J

开放接口

Linux

计算机J」BM硬件开放将口

通用CPU(x86)

封闭、私有、创新开放、标准、创新

悍

私有应用开放应用开放应用

私有

OSiOS或Andorid

手机私有硬件

Nokia/Moto专用硬件通用硬件

封闭、私有、创新慢、用户开放/半开放、接口标准、创新快、用

体验差

户体验好APPUIOAVIONl_AVI:R

CON1HOCLAYER

通信产品fINFRACTHOCTUHt£UAVEH

封闭、软硬件耦含，业务创新虚拟化、承载控制分离、开放，快速

成本局业务创新____

30

提纲

•SDN是什么？（我的理解）

•为什么会出现SDN

-需求驱动：移动互联网和云计算

-SDN是用IT的技术手段实现网络的重构

•SDN的发展趋势判断

-产业价值的转移

-起步阶段，局部应用

-需求探索，技术迭代

产业价值向服务转移

c_iIH,

5500129.17%

50.00108.33%

45.00HP87.50%

40.0066.67%

35.045.83%

300025.00%

25.004.17%

2000-16.67%

15.00-37.50%

10.001-------------------5833%

2008/10/282010/01/212011/04/182012/07/202013/10/25

115.0037.9%55.2%

38.0%

95.0013.9%

VMwa20.7%

75.00-10.1%3.5%

-13.8%

55.00-34.0%

-31.0%

35.00-58.0%

-48.3%

15.00-S2.0%-65.5%

2008/10/282010/01/212011/04/182012/07/202013/10/252008/10/282010/01/212011/04/182012/07/202013/10/25

21.1%

1.8%

-17.4%

-36.7%

-56.0%

-752%

-94,5%

2008/10/282010/01/212011/04/182012/07/202013/10/25

起步阶段，局部应用

•云数据中心

-虚拟化组网

-多租户

■广域网流量优化:Google

•特点：

-需求明确

面临的技术挑战

•转发层面：

一心-H-片LK

-协议还在演进当中

•控制层面

-集中化的控制器的性能、可靠性

-目前，在研究分布式控制器集群

•应用层面

-需求探索

建议

•需求驱动，寻找问题

•聚焦问题，技术迭代

CDN找木详解

感谢聆听

SEEYOUSOON!云计算解码

云计算解码

技术架构和产业运营

•••5Ml••M

Agenda

・那些被软件定义的

-软件定义网络

-软件定义数据中心

•欧阳剑：Software-DefinedHardware

•林仕鼎：Software-DefinedDatacenter

-软件定义世界

•软件的定义方法

-软件定义与机器学习

Software-DefinedHardware

欧阳剑，百度大数据实验室，高级架构师

ouyangjian@

什么是软件定义硬件

•从机制的角度看

一应用驱动

一软硬件协同

•从实现的角度看

一硬件变简单，变傻

一层次到竖井的设计思路

一资源的全局分配

一暴露一切最底层接口

一采集一切的数据

bmi%&百度

软件定义硬件出现的历史背景

•从PC计算到数据中心计算

一云计算，大数据，单一类型应用规模越来越大

-大型互联网公司目前一般拥有几十万台服务器

一没有历史及产业链包袱，可以重新设计软硬件架构

•硬件的演进

一应用发展的太快，MOORE定律不够用

一类型单一，大规模需求，使得应用驱动的定制变的商业上可能

一只有软硬件协同设计才能解决目前数据中心的挑战

•功耗，成本，性能及可扩展性

bmi%&百度

软件定义硬件■百度的实践

Software-DefinedFlash

一在百度网页库规模使用，数K的规模

一发表3个专利，ISLPED2013,ASPLOS2014论文

Software-DefinedStorage

一ARM服务器

一百度网盘，承载大部分数据

一存储密度提高100%,CPU定点性能不下降，降低50%的TCO

Software-DefinedComputing

一FPGA协处理器，如压缩解压缩(FPT2010),浮点计算等

一能比X86或者GPU高一个量级的计算能效(HPCA2013

workshop)

bmi%&百度

软件定义硬件・SDF

•暴露NAND通道接口给软件

—让软件来管理数据的layout

ConventionalSSDSDF度

软件定义硬件・SDF

•层次到竖井

一删掉一切不必要的stack,这样才优雅

UserSpace_____________________UserSpace

VFS/

Page

FileSystem|BlockDevictCache

GenericBlockLayer

KernelSpaceIOCTRL

IOScheduler

1

P

CSCSIMid-layer

_

E

1SATAandSASTranslation

LowLevelDeviceDriverPCIEDriver

ConventionalSSDSDF

DirectIOBufferedIO

(a)(b)

软件定义硬件・SDF

•硬件变简单，变傻

一10K行RTL（FTL4K,数据通路6K）,2K行驱动及文件系统

-2人/半年

度

软件定义硬件・SDF

•Microbenchmark

一顺序读，写及擦除

1000

900

(

s800

/

8700

w

=

n600

d500

-&

on400

」

lq300

200

100

0

48121620242832364044

ChannelCount

Huawei'sSSD,8MBWrites

900-4S00]Huai'sSSD,8*44MBVWtes

800

7004000

600

(500

S400

U

O300

A

X2030

I

①

％。5WW榔

一O皿

E1500、

1000-

Time(#ofMites)

软件定义硬件・SDF

•workloadbenchmark

(

s

/

8

n

=

n

d

-ns

2

q

l

软件定义硬件・SDS(ARM)

•面向百度网盘

—Warmdata

-定制的ARMA15SOC及微服务器架构

-存储密度2x,TCO下降50%

-承载网盘大部分数据

一世界第一个设计，生成及大规模部署ARM服务器的公司

总结

・软件定义硬件

一伴随着数据中心计算时代的到来，一定会变成主流

•百度是这方面的先驱

•正在影响和带动第三方的ODM/OEM厂家

•这是一套全新的理念及软硬件系统实践，需要大家的参与

一应用发展的太快，硬件发展的太慢，再不软件定义，就。Ut了