从谷歌宕机事件认识互联网工作原理

从谷歌宕机事件认识互联网工作原理

大约在太平洋标准时间2012年11月5号下午6：24分/时间标准时间2012年11月6号凌晨2：24分，CloudFlare的员工发现谷歌的服务中断了。我们使用谷歌的电子邮件等服务，所以，当它的服务不正常时，办公室的人会很快发现。我在网络技术小组工作，因此我立刻接上网络查看是什么情况——是局部区域问题还是全球问题。问题排查我很快就意识到，所有谷歌的服务我们都不能连接上——甚至包括连接，谷歌的公共DNS服务器——于是，我从追查DNS开始。$dig+trace下面是我在探测G的域名服务器时得到的回复：.172800INNS.172800INNS.172800INNS.172800INNS.;;Received164bytesfrom0#53()in152ms;;connectiontimedout;noserverscouldbereached无法探测到任何服务器的结果证明确实有什么地方出了问题。尤其是，这意味着从我们的办公室将连接不到任何的谷歌DNS服务器。我开始网络层查找问题，看看是否是在这个通信层出了问题。PING0(0):56databytesRequesttimeoutforicmp_seq092bytesfrom1-1-15.edge2-eqx-sin.moratelindo.co.id(17):Timetoliveexceeded这里出现了奇怪的信息。通常，我们不应该在谷歌的路由信息中看到一个印度尼西亚的网络服务提供商(Moratel)的名字。我立即进入一个CloudFlare的路由器中查看发生了什么事。与此同时，Twitter上世界其它地方的报告显示了我们并不是唯一遇到问题的地方。互联网路由为了理解是出了什么问题，你需要知道一些互联网是如何工作的基础知识。整个互联网是由很多的网络组成，这些网络被称为是“自治系统(AS)”。每个网络都有一个唯一的数字来标志自己，被称为AS号。CloudFlare的AS号是13335，谷歌的AS号是15169。各个网络通过一种叫做边缘网关协议(BGP)的技术互相连接。边缘网关协议被称为是互联网的粘合剂——由它来声明哪个IP地址属于哪个网络，由它来建立从某个自治网络到另外一个自治网络的路由。一个互联网“路由”跟这个词的表意完全一样：由一个自治网络里的IP地址到另外一个自治网络里的另一个IP地址的路径。边缘网关协议是基于一个相互信任的体制。各个网络基于信任的原则告诉其它网络哪个IP地址属于哪个网络。当你发送一个数据包，或发送一个穿越网络的请求，你的网络服务提供商会联系它的上游提供商或对等提供商，询问它们从你的网络服务提供商到网络目的地，哪条路线最近。不幸的是，如果当一个网络发出声明说某个IP地址或某个网络在它的内部，而事实不是这样，如果它的上游网络或对等网络信任了它，那么，这个数据包最终将会迷路丢失。这里发生的就是这个问题。我查看了边缘网关协议传递的谷歌IP的路由地址，路由指向了Moratel(23947)，一个印度尼西亚的网络服务提供商。我们的办公室在加利福尼亚，离谷歌的数据中心并不远，数据包绝不应该经过印度尼西亚。很有可能是，Moratel声明了一个错误的网络路由。当时我看到的边缘网关协议发来的路由是：tom@edge01.sfo01>showroute0inet.0:422168destinations，422168routes(422154active，0holddown，14hidden)+=ActiveRoute，-=LastActive，*=Both/24*[BGP/170]00:15:47，MED18，localpref100ASpath:443634912394715169I>toviage-1/0/9.0我查看了其它路由，比如谷歌的公共DNS，它同样被劫持到了相同的(不正确的)路径：tom@edge01.sfo01>showrouteinet.0:422196destinations，422196routes(422182active，0holddown，14hidden)+=ActiveRoute，-=LastActive，*=Both/24*[BGP/170]00:27:02，MED18，localpref100ASpath:443634912394715169I>toviage-1/0/9.0路由泄漏像这样的问题在行业内被认为是起源于“路由泄漏”，不是正常的，而是“泄漏”出来的路由。这种事情并不是没有先例。谷歌之前曾遭受过类似的宕机事件，当时推测是巴基斯坦为了禁止YouTube上的一个视频，巴基斯坦国家ISP删除了YouTube网站的路由信息。不幸的是，他们的这种做法被传递到了外部，巴基斯坦电信公司的上游提供商——电讯盈科(PCCW)信任了巴基斯坦电信公司的做法，把这种路由方式传递到了整个互联网。这个事件导致了YouTube网站大约2个小时不能访问。今天发生的事情属于类似情况。在Moratel公司的某个人很可能是“胖手指”，输错了互联网路由。而电讯盈科，Moratel公司的上游提供商，信任了Moratel公司传递给他们的路由。很快，这错误的路由就传到了整个互联网。在边缘网关协议这种信任模式中，与其说这是恶意的行为，不如说这是误操作或失误。修复解决方案就是让Moratel公司停止声明错误的路由。作为一个网络工程师，尤其是像CloudFlare这样的大网络公司里工作的工程师，很大一部分工作就是和其它世界各地的网络工程师保持联络。当探明问题后，我联系到了Moratel公司的一位同事，告诉他发生了什么事。他大概在太平洋标准时间下午6：50分/世界标准时间凌晨2