DNS技术研究与应用结题汇报报告

中国移动集团级重点研发工程结题汇报报告2021年11月21日工程名称：DNS技术研究与应用一.

课题目标实现情况目录二、主要研究成果〔整合后〕1.1研究背景：“4+1〞战略推动全业务开展，全业务开展凸显DNS系统各类问题已引入网站394家中可提供全网效劳的只占42.4%电信级DNS需求亟需通过DNS技术研究、优化和应用，提升传统DNS走向电信级DNS并实现DNS增值传统DNS缺失电信级能力主流DNS是BIND软件，原为互联网设计全网DNS未进行标准化，未进行电信级要求和提升原因应对方式网内资源解析问题2021.5.19，暴风影音事件造成电信大范围断网，百度域名被篡改导致无法访问2021.8.18，新疆电信DDoS断网事件特殊域名保障：新华网、政府网CPU、解析成功数性能统计需求迫切QPS等业务量统计需求腾讯、新浪等重点域名分析解析失败后域名纠错系统各类系统有待梳理，建统一管理平台DNS平安问题电信级能力弱深化运营问题海量DNS请求QPS达5万，需要优化系统架构应对大规模灾难性事故、故障等引起的域名解析问题，提升容灾备份能力数据挖掘系统增值系统1.2主要研究内容立足现网+研究验证+推广应用浙江公司江苏公司山东公司北京公司云南公司需求分析省公司调研各省回访协调平安所封闭讨论方案制定标准制定方案、网络、数据部讨论集团评审入网测试联合工程前期调研和研究与集团各部门及平安所充分讨论工程过程中进行了充分的调研和讨论工程过程中进行了充分的测试和验证完成别离架构及DNS重定位验证测试已启动厂家入网测试涉及厂商6家，用例达200余项1.2联合工程研究内容和整体性江苏：统一域名效劳系统技术研究与实践北京：基于域名的增值业务运营体系研究及DNS标准制定山东：智能纠错与应急解析备份浙江：基于用户行为分析的DNS数据挖掘研究院“DNS技术研究与应用〞1〕支撑全网CMNetDNS改造及新功能引入2〕制定CMNetDNS相关标准〔架构、组网、功能等〕3〕梳理全网DNS关系，形成整体解决方案传统DNSDNS优化DNS增值云南：IPv6网络中的DNS研究CMNetDNS全网DNS1.3目标完成情况总结-成果输出研究报告8册：?DNS整体解决方案研究报告?、?DNS重定位现网改造方案研究?、?DNS工程中期评审报告?、?基于DNS日志挖掘的用户行为分析报告?、?统一域名效劳系统技术研究报告?、?统一域名效劳系统日志采集方案?、?容灾容错系统研究报告?、?基于DNS解析的增值业务体系研究报告?企业标准2册：?中国移动互联网DNS设备技术标准?-已评审，?中国移动DNS设备测试标准?-征求意见总计：完成研究报告8册，标准2册，专利5项，专利风险分析报告1册DNS技术研究与应用项目成果在现网的应用与部署情况（浙江/江苏/山东/北京/云南/研究院/网络部/计划部）方案部/网络部/研究院：关于IDC路由优化及DNS监控问题现网升级方案建议，指导全网100多台DNS效劳器升级改造研究院/网络部/方案部：?DNS重定位现网改造方案研究?网络部/研究院：DNS系统数据挖掘需求分析浙江公司：基于DNS日志挖掘的用户行为分析系统，系统已上线，测试研究报告1册山东公司：容灾容错系统、智能纠错系统，两系统均已上线，测试报告2册江苏公司：统一域名效劳系统需求分析及软件开发，已完成验证测试，工程实施中北京公司：XX现网试点，测试报告XX册，系统已上线云南公司：支持IPv6的域名解析系统试点，测试报告1册，系统部署中成果总计：输出研究报告8本，标准2册，完成5个核心产品开发，完成产品试点5个，解决方案现网推广2项，正在进行入网测试〔涉及6厂家，200余测试项〕，专利5个完成了既定的工程目标，在解决方案现网推广/专利/企标方面超额完成目标。1.3目标完成情况总结--技术创新点DNS系统加固DNS业务支撑能力增强业内首次制定DNS系统测试方法在业界首先提出DNS效劳器功能及性能测试方法，方法有望写入行业标准DNS重定位方案首次提出DNS重定位排序方案，明确了技术要求与设备支持情况，节省了网络升级本钱明确了DNS站点组网要求明确了DNS效劳器三层组网方案，制定了组网要求，解决了原有四层交换机组网的性能瓶颈联合北京公司，提出了递归DNS效劳器的别离架构，并首次完成实验室验证测试，在一定程度上提高了DNS系统性能和可扩展性业内首家制定DNS标准业内首家制定DNS设备标准，明确了DNS相关功能、性能等要求DNS网管监测DNS系统各省独立部署与运维，集团无法对全网DNS进行集中监测。协助网络部首次明确DNS集中网管监测要求首次开发多套DNS统一网管系统，实现对多套DNS系统的集中、统一管理首次明确DNS平安要求首次明确DDoS平安域划分，缓存投毒、DDoS等攻击防护要求，首次明确DNS平安配置要求DNS数据挖掘系统开发首次开发部署DNS数据挖掘系统，实现了对热点业务的挖掘DNS增值系统开发首次进行DNS广告增值系统开发，制定了相关解决方案DNS容灾备份系统开发首次开发DNS容灾备份系统，实现对权威效劳器数据的备份IPv6DNS系统部署与试点首次进行IPv6网络DNS系统试点，实现了IPv6域名解析与访问2021年底全国总经理会、2021年全国网络会局部省公司反响网内资源解析至网外的问题，本工程采用DNS重定位方案缓解该问题，方案已在全国落实暴风影音事件、百度域名攻击事件、新疆DNSDDOS攻击事件对用户造成了极大的影响，本工程对CMNet全网DNS系统提出了全面的DNS平安加固方案，并在标准中进行了明确和落实DNS平安加固“4+1〞战略推动全业务开展，全业务开展带来业务量猛增，DNS组网架构面临挑战，本工程优化了DNS组网架构为应对大规模灾难性和故障事件等引起的域名解析问题，本工程在现网实现了DNS容灾备份方案DNS电信级提升为实现新华网等特殊域名保障、解析成功数性能统计、、QPS等业务量统计需求、新浪等重点域名分析，本工程大力提升了DNS网管和统计支撑能力，在标准中进行了明确和落实为解决用户域名解析失败后纠错系统，本工程在现网实现了解析失败后域名纠错系统各类系统有待梳理，本工程在现网实现了统一管理平台DNS深化运营1〕解决了7项公司在市场开展和生产运营中存在的关键问题1.3目标完成情况总结网内资源访问和DNS重定位2〕研究和提出了1项关键技术点的决策建议。1.3目标完成情况总结决策点：IDC路由优化问题决策内容：完成IDC路由优化功能技术方案研究，明确全网升级改造方案及要求决策时间：2021年04月3〕申请了国内专利申请5项，其中，挖掘专利族5个〔含专利20项〕，实现应用的专利1件，专利风险评估报告1份。专利名称公司名称专利状态1DNS查询的方法及设备研究院已通过集团评审2一种通过DNS引导互联网业务流量流向的统一解决方案研究院已通过集团评审3一种域名解析优化方法及系统实现研究院已通过集团评审4一种基于拨测的DNS智能解析的方法浙江已通过集团评审5一种基于DNS日志挖掘的用户行为分析方法浙江已通过集团评审1.3目标完成情况总结4〕输出企业标准1个。企业标准：?中国移动互联网DNS设备技术标准?评审时间：2021年10月31日标准内容：规定了中国移动CMNet网络DNS系统的设备技术要求，具体包括：系统结构、效劳器功能要求、网管要求、数据分析及智能挖掘要求、可靠性及扩展性要求、平安要求、性能要求、接口要求、软硬件要求等内容5〕完成新技术试验6项完成递归效劳器合设与别离架构性能比照测试〔研究院〕完成DNS重定位排序与筛选方案性能比照测试〔研究院〕完成DNS挖掘系统功能验证测试〔浙江〕完成容灾容错及智能纠错系统功能验证测试〔山东〕完成统一域名效劳系统验证测试〔江苏〕完成支持IPv6的域名解析系统试点〔云南〕正在进行DNS厂家入网测试明确了设备对DNS重定位方案的支持情况，并进行了验证性测试目前该方案已在现网100多台DNS设备上进行了升级，节约设备升级本钱100万降低建网本钱协助网络部首次明确了DNS集中网管监测要求首次开发面向多套DNS的统一网管系统，实现对多套DNS系统的集中、统一管理预计节约运维本钱30万减少设备升级本钱降低运维本钱6〕初步估计对企业绩效的奉献情况为……1.3目标完成情况总结明确DNS三层站点组网要求，解决了原有四层交换机组网的性能瓶颈一台四层交换机本钱约5万以上，而一台三层交换机本钱约1万左右，能为每个DNS站点节约组网本钱为4万左右全网DNS共计64个站点，因此预计节约256万工程对企业绩效奉献的量化路径图1.4工程企业绩效奉献和特征指标项目特征指标（PAV）指标名称项目应用前指标现状值：PAVc项目应用1年后指标预期值：PAVe1此项目带来的指标变动量：ΔPAV全网DNS重定位功能用户数0户600万600万企业特征指标—网络及生产类（EAV-PS）指标名称项目应用前指标现状值（EAVc）项目应用1年后指标预期值（EAVe）此项目应用带来的指标变动量（ΔEAV）升级DNS重定位功能设备数0台100台100台企业特征指标—市场及财务类（EAV-MF）指标名称项目应用前指标现状值（EAVc）项目应用1年后指标预期值（EAVe）此项目应用带来的指标变动量（ΔEAV）DNS重定位功能用户收入0元/月1.4工程企业绩效奉献和特征指标工程特征指标的年度预期数值表项目特征指标（PAV）的名称：项目应用前指标现状值：PAVc0项目应用1年后指标预期值：PAVe1600万项目应用2年后指标预期值：PAVe21200万一.课题目标实现情况目录二、主要研究成果〔整合后〕主要研究成果2.1CMNetDNS优化方案研究2.2与其他系统DNS关系梳理2.1.3基于域名的增值业务运营体系研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体优化方案研究2.1.4DNS容灾备份系统研究2.1.5IPv6网络中的DNS研究2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理CMNetDNS存在问题及应对措施局部省公司的权威及递归效劳器合设，存在平安隐患站点内组网缺乏统一标准，目前组网五花八门DNS效劳器攻击防范能力差局部省份，仅设一台DNS效劳器，难以进行容灾备份目前缺乏对全网DNS运行指标的网管监测能力目前缺乏数据分析手段，无法获取用户热点业务其他关键问题制定并优化全网DNS系统架构、逻辑架构全网统一组网结构要求开展DNS平安研究分阶段逐步落实平安要求制定DNS网管监测指标上报要求制定业务统计指标制定DNS关键问题的技术要求应对措施DNS系统架构与组网优化现网问题：缺乏统一管理要求和标准平安和可靠性问题DNS系统的业务支撑能力有待提升现网DNS缺乏重定位能力已引入域名存在出网现象制定DNS重定位要求全网部署DNS重定位功能DNS重定位和IDC资源访问我公司DNS由集团及各省共32个DNS节点组成，其中权威效劳器由集团和省网两级架构组成递归效劳器为扁平化架构，集团节点主要用作各省节点的应急备份节点各DNS节点遵循“双节点双路由〞原那么，通过异地备份的方式实现互备CMNetDNS全国逻辑组网权威服务器递归服务器.com.cnroot……Internet权威服务器集团节点省B……权威服务器递归服务器递归服务器权威服务器递归服务器省ADNS平安业务支撑架构与组网CMNetDNS全国物理组网DNS平安业务支撑架构与组网CMNetDNS系统架构DNS平安业务支撑架构与组网关键问题分析：一是站点问题二是缓存和迭代别离问题关键问题一：DNS系统的站点组网优化DNS系统现网主要采用四层组网方案，随着DNS系统业务量逐渐增大，四层组网的性能瓶颈将会凸显建议全网DNS系统在业务量大的情况下采用三层组网方案三层组网技术要求：CMNetDNS分为权威效劳器、递归效劳器，业务量大时递归效劳器可考虑进一步分为缓存和迭代效劳器站点内部采用L3等价路由方式实现负载均衡站点内部通过VLAN隔离效劳器，站点内应成对部署防火墙四层组网方案三层组网方案DNS平安业务支撑架构与组网关键问题二：递归效劳器是否别离是DNS架构分析中最主要的问题权威和递归别离：出于平安考虑，目前集团已要求全网DNS系统的权威效劳器与递归效劳器进行别离迭代和缓存别离：对于是否需要进一步把递归效劳器别离成迭代和缓存，需要进行详细的分析DNS平安业务支撑架构与组网DNS服务器权威递归权威迭代缓存√？迭代和缓存是否分离取决于四个因素安全性可扩展性性能成本〔1〕可扩展性从可扩展性方面看，由于迭代效劳器上需要升级的功能较少，且升级改造需要的工作量不大，因此两级架构对于可扩展性有一定好处根本功能平安功能新增功能迭代效劳器功能DNS拦截〔用于应急〕TTL修改DDos防攻击缓存投毒防护缓存查询功能迭代查询功能缓存效劳器功能缓存查询功能DDos防攻击缓存投毒防护迭代查询功能仅需修改配置需修改代码，代码量较少仅需修改配置仅需修改配置改造难度CutlistSortlist筛选需修改代码排序仅需修改配置优先级外网探测解析结果监控需修改代码需修改代码DNS平安业务支撑架构与组网从上述分析来看，别离架构在平安方面能起到一定的防护作用建议省公司根据实际的长远需求和业务开展、实施本钱，可选支持和部署当出现DDoS攻击时，由于递归功能的集中，有可能出现迭代效劳器先瘫痪，缓存效劳器尚可工作但分析说明缓存效劳器在短时间内也会瘫痪：缓存效劳器正常工作的时间与TTL值的长短，以及攻击强度密切相关当攻击强度大时，缓存效劳器瞬时也将瘫痪别离架构下，攻击者也可以通过自己构造一个权威效劳器来直接获得后端迭代效劳器的地址，因此也无法完全隐藏后端的迭代效劳器对于缓存投毒等其他类型的攻击，别离架构与合设架构没有差异在部署了DNSSEC后，加重了对递归效劳器的DDoS攻击〔1.攻击难度降低：原来正常的查询请求量即可形成攻击；2.受攻击概率上升〕的可能性，缓存和递归别离的架构有助于缓解DDoS攻击的影响2〕平安性分析--DDoS攻击递归服务器权威合设架构缓存迭代权威分离架构DNS平安业务支撑架构与组网VS.〔3〕性能分析：比照分析别离架构与合设架构的性能差异，关键是考虑DNS效劳器数量相同，且CPU同负载的情况下，别离架构能比合设架构多处理多少QPSDNS平安业务支撑架构与组网根据测试结果，未增加任何智能策略时，别离架构缓存效劳器命中率与迭代效劳器命中率差异越小，别离架构与合设架构的性能差异越小根据测试结果，效劳器上增加智能策略〔如TTL修改和DNS重定位功能〕时，对性能影响非常小，可以忽略现网调研发现，目前无法获取缓存效劳器命中率与迭代效劳器命中率Forward查询迭代查询用户请求仪表（模拟用户）递归服务器缓存服务器迭代服务器仪表（模拟权威服务器）测试拓扑别离结构下，迭代效劳器缓存命中率80%，缓存效劳器缓存命中率75%合设架构下，递归效劳器缓存命中率75%测试场景一QPS测试结果推导结果3台4台5台6台7台分离架构1台缓存1台迭代110002：12：23：24：25：22200022000330004400055000合设架构1台递归690020700276003450041400483002台递归13800别离结构下，迭代效劳器缓存命中率80%，缓存效劳器缓存命中率80%合设架构下，递归效劳器缓存命中率80%测试场景二QPS测试结果推导结果3台4台5台6台7台分离架构1台缓存1台迭代110002：12：23：24：25：22200022000330004400055000合设架构1台递归700021000280003500042000490002台递归14000〔4〕本钱分析根据对现网主要的6个DNS厂家的调研，DNS新增软件功能模块定价模式有以下三种：按软件模块卖：只收一个软件开发费，没有任何license限制。代表厂家是亚信、中网和润通缓存按qps卖、迭代按软件模块卖：迭代效劳器新增功能模块一般只收软件开发费，而缓存效劳器上的新增模块会首license的qps限制。代表厂家是泰策和牙木按效劳器台数卖：代表厂家是中太根据调研，新增DNS功能时，厂家多数是按照软件模块或者QPS请求量进行收费的，与效劳器的数量并不直接相关，因此别离架构中集中建设迭代效劳器并部署相关策略，并不能节省软件开发的费用DNS平安业务支撑架构与组网调研涉及的厂商考虑可扩展性、平安、性能、本钱多方面因素，别离架构在业务量大情况下能够提高设备性能，但对于可扩展性、平安效果、节省本钱并不明显；业务量小的情况下效果均不明显，因此不建议全网强制要求别离架构可扩展性：需要升级的功能较少，且升级改造工作量不大，因此两级架构对于可扩展性有一定好处平安：缓存迭代隔离方案在平安方面能起到一定的防护作用，但效果不明显性能：在DNS效劳器数量大于6台时，别离架构的性能将明显优于合设架构本钱：厂家多数是按照软件模块或者QPS请求量进行收费，与效劳器的数量并不直接相关，因此别离架构中集中建设迭代效劳器并部署相关策略，并不能节省软件开发的费用建议后续进一步落实缓存命中率的现网参考数据，同时标准明确要求递归效劳器数量大于6台时，建议采用别离架构缓存与迭代是否别离的结论迭代缓存是否别离集中建设与现有维护机制不匹配，暂不建议集中建设迭代效劳器是否集中建设迭代效劳器多层次、有重点严格划分不同的平安域：纵向划分为核心效劳域、内部支撑系统域、管理域、集团或省公司互联区及互联网〔CMNet〕接入域、DMZ域；横向划分为权威域、递归域。缓存投毒防护：支持查询源端口支持16位随机性根据国家的要求逐步部署DNSSEC可选支持0X20DDoS攻击防护：递归效劳器要具备一定的策略，过滤或终止异常请求进程采用自动入侵防护系统〔检测与清洗联动〕系统边界处部署平安设备，并加强对系统的访问控制和平安审计。明确效劳器软件配置平安要求：隐藏BIND的版本号防止透露效劳器信息建立访问控制列表〔ACL〕……DNS系统无平安域划分，访问边界混乱。DNS系统平安性差，易受到各种攻击。缓存投毒暴风影响事件——DDoS攻击其他类型的平安威胁DNS效劳器软件配置不当，导致平安威胁。DNS平安防护DNS平安问题DNS系统平安性提升DNS平安业务支撑架构与组网1〕平安域划分明确平安域划分的原那么，对DNS系统进行区域划分，进行层次化、有重点的保护，形成清晰、简洁、稳定的DNS组网架构实现DNS系统之间严格访问控制的平安互连，更好的解决DNS系统的平安问题。集团公司和省公司两个层面的平安域管理域、接入域、DMZ域、核心效劳域、支撑域严格划分纵向划分外网解析平安域、内网解析平安域权威DNS域、递归DNS域横向划分DNS平安业务支撑架构与组网2〕平安攻击防护--DDoS攻击防护1攻击者发起大量不存在或伪造域名的递归请求

迭代查询2新疆事件业务支撑架构与组网暴风影音事件4本地DNS效劳器缓存+迭代迭代查询询问.com根〔.〕询问baofeng迭代查询迭代查询授权响应

暴风托管的解析效劳器受攻击，IP被封1缓存过期，用户客户端递归查询暴风失败2大量计算机暴风影音客户端不断发起查询请求3递归查询

大量的暴风影音用户持续发送域名解析请求，导致递归解析效劳器的资源耗尽，形成拒绝效劳攻击；用户无法获得DNS解析效劳，导致网络应用瘫痪攻击者通过假冒源IP地址发起大量的不存在〔AAAA类型的域名请求〕或伪造〔随机生成的以gamese456结尾的三级域名〕的域名解析请求；DNS效劳器资源耗尽，用户无法获得DNS解析效劳，导致网络应用瘫痪

DNS平安业务支撑架构与组网

针对DDoS攻击，目前还没有成熟的方案来防范。可以通过提高设备性能、事前流量监控、事后攻击行为分析来防范。在部署DNSSEC之后，由于递归时间变长、性能消耗大，针对递归效劳器的DDoS攻击会更加严重。baofeng

针对DDoS攻击，目前还没有成熟的方案来防范。可以通过提高设备性能、事前流量监控、事后攻击行为分析来防范在部署DNSSEC之后，由于递归时间变长、性能消耗大，针对递归效劳器的DDoS攻击会更加严重2〕平安攻击防护--DDoS攻击防护大量的暴风影音用户持续发送域名解析请求，导致递归解析效劳器的资源耗尽，形成拒绝效劳攻击；用户无法获得DNS解析效劳，导致网络应用瘫痪。大量计算机暴风影音客户端不断发起查询请求本地DNS服务器缓存+迭代根提示（.）.com递归查询1迭代查询迭代查询迭代查询询问.com询问授权响应321

暴风托管的解析服务器受攻击，IP被封缓存过期，用户客户端递归查询暴风失败

4暴风影音事件

1攻击者发起大量不存在或伪造域名的递归请求

迭代查询2新疆事件攻击者通过假冒源IP地址发起大量的不存在〔AAAA类型的域名请求〕或伪造〔随机生成的以gamese456结尾的三级域名〕的域名解析请求；DNS效劳器资源耗尽，用户无法获得DNS解析效劳，导致网络应用瘫痪。DNS平安业务支撑架构与组网2〕平安攻击防护--缓存投毒防护2021年7月9日以来，微软、ISC等互联网域名解析效劳软件厂商纷纷发布了平安公告，称其DNS软件存在高危漏洞，攻击者可以通过猜测DNS解析过程中的报文序列号来伪造DNS权威效劳器的应答，从而到达“污染〞高速缓存中记录的目的。本地DNS服务器根提示（.）.com递归查询1迭代查询迭代查询迭代查询询问.com询问授权响应21缓存+迭代黑客主机群黑客主机群INA192.168.x.xINA错误的IP地址通过端口和ID碰撞；通过中间截获；缓存投毒攻击防护查询源端口支持16随机性在发现异常访问后清理缓存支持DNSSEC功能支持0x20属性(可选)定期递归效劳器反向查询〔可选〕维护知名网站IP地址列表，进行IP地址验证〔可选〕被动监听检测应答报文数量〔可选〕DNS平安业务支撑架构与组网DNSSEC防范缓存投毒在DNSSEC中，所有的应答报文都经过数字签名。客户端(解析程序)通过验证消息中的数字签名判断收到的信息来源是否安全可靠，从而防止缓存投毒。DNSSEC的主要功能：来源验证：通过数字签名，验证数据是否来自正确的授权服务器。完整性验证：通过Hash校验数据在传输的过程中是否被更改。否定存在验证：对否定应答报文提供验证信息，确认授权服务器上不存在所查询的资源记录。缓存投毒防护—部署DNSSECDNSSEC部署建议DNSSEC机制对DNS系统性能有较高要求。建议部署DNSSEC时明确要求服务器的性能指标要求，并对硬件设备和带宽进行相应的升级和扩容

。DNSSEC无法防护拒绝服务攻击，在一定程度上加重了拒绝服务攻击。开启和部署DNSSEC后，相应的安全防护手段仍需不断加强。DNS平安业务支撑架构与组网DNS与IDC访问控制DNS平安业务支撑架构与组网网间结算费用高用户体验差上述访问问题造成的后果在TOP1000已引入的394家网站，约有42%的子域名需要出网访问在所有已引入的流量中，出网访问的流量占比约为14%…IDC网站访问存在的问题该问题的解决方案方案一：升级我公司DNS具备域名重定位能力(主动式)☆方案二：通过域名拦截方式将已引入网内的域名拦截至网内(主动式)☆方案三：要求网站具备DNS智能解析能力〔被动式〕DNS重定位方案对运营商侧DNS进行功能改造，对CP授权DNS的解析结果进行IP地址比对、把本网的解析地址排序在前，结果上能实现网内用户优先访问所有网内网站方案简介1、发起解析请求递归DNS3、进行地址比对，把移动IP排在前面2、返回解析结果，但顺序随机（联通）（移动）（电信）CP授权DNS网内用户排序方案递归DNS3、进行地址比对，只保留移动IP2、返回解析结果，但顺序随机（联通）（移动）（电信）CP授权DNS网内用户筛选方案DNS重定位方案比较排序方案（sortlist）筛选方案（cutlist）是否需要进行软件开发Bind软件已支持，只需进行相关配置即可，无需重新开发。且已经过互联网用户的广泛测试，稳定性较好。升级简单，网络改造小须对Bind进行软件开发，稳定性有待观察开发量不大重定位后是否可轮询排序后不同网段IP地址暂不支持轮询。支持轮询。对DNSSec的影响无DNSSec终结点到用户侧时，则与DNSSec不兼容；DNSSec终结点到本地DNS服务器时，需DNS设备进行相应适配。对DNS性能的影响每次用户查询时，均需进行排序，理论分析对DNS设备性能要求高；但现网调研浙江、山东、江苏、云南DNS，升级sortlist前后性能基本没有变化。外网迭代查询后即进行筛选，对DNS设备性能影响较小。厂家支持情况均支持部分厂家反馈无计划支持成本Bind已支持，厂家调研基本无需任何费用需要进行软件开发，存在一定开发费用。方案比照分析DNS平安业务支撑架构与组网DNS重定位两种方案测试比照实验室排序方式与筛选方式性能比照测试现网调研升级排序方式前后性能比照根据实验室比照测试结果，在相同硬件情况下，sortlist与cutlist的性能差异不大根据现网对各省升级sortlist前后性能比照情况看，sortlist对效劳器的性能影响几乎可忽略综上，由于sortlist功能升级简单，网络改造小，本钱低，建议优选排序方式迭代查询用户请求仪表〔模拟用户〕仪表〔模拟权威效劳器〕测试拓扑递归效劳器CPU利用率不超过30%模拟权威效劳器QPS采用Bind软件测试sortlist采用Recursor软件测试sortlist采用Recursor软件测试cutlist递归服务器500050004900注：Recursor是厂家自行开发的DNS软件，同时支持sortlist和cutlist测试结果DNS平安业务支撑架构与组网均值7.1-7.77.8-7.148.15-8.218.22-8.28cpu_usage21202121mem_usage14141414山东公司DNS设备性能调研总量〔亿条〕峰值(QPS)均值8.9-8.158.16-8.228.22-8.288.22-8.28cpu_usage4.95.56.56.7mem_usage7.627.8333337.333337.52333云南公司DNS设备性能调研均值6.7-6.147.11-7.188.15-8.229.5-9.12cpu_usage0.9710.821.321.46mem_usage10.8213.901.3219.06浙江公司DNS设备性能调研

4010016.7616升级前升级后

30721.6690

4100012DNS拦截方案DNS拦截方案：指对于网内已引入网站，直接在我公司DNS上进行域名拦截，由我公司DNS进行域名解析、直接返回解析结果给用户，用户不再到权威DNS进行域名解析建议DNS拦截方案作为全网的应急方案〔必选〕由于风险较大，DNS拦截方案不建议用于常态下大规模的域名解析方案在通过相应手段能完全防止潜在的法律风险和用户投诉风险的前提下，允许对少量域名进行域名拦截DNS拦截方案的意义：对于那些已经引入移动的IDC但是不支持智能DNS解析的CP域名进行拦截〔部署DNS拦截方案最大能解决约14%出网访问业务量的解析问题，有一定的部署意义，但是空间并不大〕DNS拦截方案存在的问题：问题一：一旦CP更新了IP地址，而我公司DNS未及时更新，将存在很大的用户投诉风险问题二：需要部署探测效劳器或者增加探测模块，否那么将存在投诉风险问题三：需要和CP签署相关的协议，否那么会存在法律风险问题四：当有域名更新需要进行拦截时，我公司需频繁修改DNS拦截效劳器上的配置，每次配置生效需重启该设备，影响网络稳定性；我公司DNS要进行改造，具备配置我公司网站和IP地址对应关系能力及相关配置管理接口1、发起解析请求移动DNS2、进行地址比对，直接用移动IP构造DNS响应包(移动)移动节点域名IP地址3、直接解析至移动网内CMNet网内CP授权DNS网内用户电信联通节点DNS平安业务支撑架构与组网DNS网管和日志网管：DNS系统通过数据网管系统进行管理，能够支持对设备运行指标及业务相关指标的实时监控日志：建议设置独立的日志效劳器，在解析请求到达DNS效劳器之前通过分光方式对DNS流量进行旁路DNS平安业务支撑架构与组网建议通过分光获取DNS日志，以降低DNS服务器性能压力DNS业务量统计、DNS重点域名解析统计、域名解析请求排行统计、域名解析异常流量排行统计DNS与NTP同步在集团北京节点和集团广州节点分别设置NTP主备效劳器，启动NTP效劳各省DNS节点划分为南区和北区，分别同北京/广州主备节点进行同步时间同步必要性对DNS数据进行数据挖掘、业务分析时，需要关联全网DNS系统进行分析，因此DNS系统应有一致的时钟。DNS系统内部各效劳器需要有一致的时钟，以便于统一管理。北京广州DNS平安业务支撑架构与组网TTL修改RFC2181指出：TTL是RR记录的最大生存周期，但并非强制。其取值可为0~2147483647〔合24855天〕Bind软件对TTL配置没有要求，根据调研，局部根效劳器TTL设置达3000000〔合34.7天〕TTL改大：能够大大减轻DNS性能压力，对现网意义较大。但当网站割接，易造成用户无法访问的风险TTL改小：易造成DNS频繁的出网学习，给DNS效劳器造成性能压力。且用户无法直接从缓存获取DNS响应，造成体验降低根据现网调研，目前DNS效劳器性能压力不大，不建议出于降低DNS效劳器性能压力，全网要求支持TTL修改由于局部省公司反响有些CP解析不稳定〔互联互通出口拥塞造成丢包〕，因此现网曾进行TTL修改。建议标准明确要求设备能够支持对TTL进行修改。但由于各省公司情况不一，因此标准里要求设备应支持TTL修改功能，但不指定具体值。DNS平安业务支撑架构与组网TC位修改512字节TC位=0，表示DNS响应报文总长度未超过512字节，报文未被截断TC位=1，表示DNS响应报文总长度超过512字节，报文已被截断。此时用户需要重新发起TCP查询，重新获取DNS响应报文TC位根本原理TC位=1的躲避方式升级改造DNS软件，将TC位置1的强制置0RFC2671定义了EDNS0实现方式：效劳器可将包长大于512字节的DNS报文发送用户由于易造成DNS受到TCP攻击，现网多数已在四层交换机上将TCP查询请求关闭根据北京现网调研，目前TCP查询占比约0.0935%，用户影响面不大随着DNSSec部署，未来出现大于512字节的DNS响应报文可能性增多；由于EDNS0方式需要客户端配合，难以控制；因此建议逐步翻开TCP查询的限制，且不进行对DNS效劳器TC位修改的升级递归DNS网内用户需要修改递归效劳器需要客户端配合DNS平安业务支撑架构与组网主要研究成果2.1CMNetDNS优化方案研究2.2与其他系统DNS关系梳理2.1.3基于域名的增值业务运营体系研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体解决方案研究2.1.4DNS容灾备份系统研究2.1.5IPv6网络中的DNS研究2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理DNS日志挖掘-研究目标DNS系统记录了全省所有用户的域名解析请求，包含用户普遍行为，通过对域名解析请求的聚合分析，可实现网内用户关注热点提取、协助业务排障，支撑宽带业务开展用户行为分析是配合业务开展重要分析手段采取何种技术进行用户行为分析，需要结合现网部署综合考虑互联网业务发展需求IDC资源引入需求：需要分析网内用户聚合行为，提取关注热点已引入资源效能评估：对已引入资源是否提供正确服务，提供资源服务评估DPI系统能力有限DPI系统分析能力有限：无法按业务需求提供分析报表，设备镜像口带宽有限，开发周期长DPI系统能力有限：海量数据分析需要大量硬件平台支撑，目前系统无法提供研究目标解决方案实施成效DNS日志挖掘的用户行为方法DNS日志挖掘组网图解析日志入库单独设置解析日志留存服务器。通过交换机端口镜像，采集DNS系统上下行流量，通过DPI设备提取DNS解析与应答，形成日志日志采集服务器从解析日志留存服务器提取日志，按照设计的数据库表，进行入库操作数据表设计基础信息表：记录运营商IP地址信息；地市级别IP地址列表；用户类型IP地址信息业务表：解析日志表，每日一张，分4个存储随机存放行为聚合分析全网用户TOPN域名按有线宽带、WLAN、企业用户提取TOPN域名按区域提取局部用户集中关注域名按解析结果范围提取TOPN域名，如解析到电信/联通、到地市电信/联通的TOPN域名网站资源分析IDC引入站点评估：建立资源引入深度、考虑用户点击量的资源引入深度、服务全省率等三个指标网站与域名关联分析，提取基于某站点的用户最关注的域名，实施优先引入协助投诉处理协助GPRS用户无下行DNS数据故障处理，提取解析日志，明确原因处理用户网站打不开投诉，统计某时段某域名的解析情况，明确产生投诉原因研究目标解决方案实施成效实施成效11非著名域名挖掘基于域名解析请求量的分析，可以挖掘非著名域名。Gtmg,5rmrp等非著名域名，却在TOP100榜上有名。2基于一级域名的域名关联分析对TOPN的网站域名进行细分，按解析量提取子域名，输出用户关注更多的子域名清单，按业务局部需求，提供过qq\qvod\uusee等子域名清单3用户关注首页与用户关注站点有所不同用户关注的TOP15首页和用户关于的TOP15站点有较大差异，这和用户安装的软件有极大的关系，引入360\毒霸\搜狗\PPSTREAM站点同样意义非凡研究目标解决方案实施成效实施成效24浙江IDC已引入站点评估引入深度对浙江已引入的TOP200及TOP1000站点进行分析，完全引入的仅占7%5考察本地智能DNS功能升级的必要性对浙江省网DNS域名解析的TOP30000域名进行解析结果分析，其中同时包含移动地址和非移动地址的域名量仅占总量的0.64%。可讲本地智能DNS排序功能升级的效果不会太好。虽然浙江分析到了该数据，但本地DNS仍然按集团的要求进行了排序。监测用户域名解析请求量，及时发现异常行为6浙江省网DNS域名解析请求量从3月份的每日2亿条，现已上涨为每日12亿条。但单用户的域名解析请求量应该在一个合理范围。而用户异常的请求也是导致请求量大量上涨的原因。从监控中曾发现缓存系统、专线用户的异常请求请求。研究目标解决方案实施成效主要研究成果2.1CMNetDNS优化方案研究2.2与其他系统DNS关系梳理2.1.4DNS容灾备份系统研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体解决方案研究2.1.3基于域名的增值业务运营体系研究2.1.5IPv6网络中的DNS研究2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理基于域名的增值业务运营体系研究--研究目标研究目标解决方案实施成效目标1：现网DNS解析结果中有10%的错误域名解析，有效利用这局部访问流量来开展增值业务目标2：进一步提高DNS系统的智能功能有效利用铁通及直连的IDC资源；提高解析时延；进一步优化0X20功能；解决方案1--利用Nxdomain开展增值业务研究目标解决方案实施成效BMCCCMNET北京智能DNS系统internet根域DNSsever授权DNSsever1234512用户请求“〞域名的IP地址；通过迭代查询查找域名对应的IP地址，查找失败，反响报文中通过Nxdomain字段标示该域名不存在；3智能DNS将Nxdomain域名封装广告网站的IP地址；4将重新封装后的结果反响给用户；5用户访问广告网站；Nxdomain时弹出页面业务流程解决方案2—提升DNS系统智能性控制缓存效劳器缓存DNS记录的时间，在缓存DNS到期之前进行预缓存，获得最新的数据，如以下图所示在，TTL=590秒时进行迭代查询；当SDNS检测到伪装响应包时〔比方TXID不对，或回复域名的大小写与递归请求中域名的大小写不能完全对应〕，那么产生告警，抛弃回复包，同时对该域名发出第二次TCP请求，防止缓存中毒；基于IP地址的多级匹配功能开发及实现IP地址匹配的扩展应用缓存结果的提前迭代功能“0x20+〞功能的实现研究目标解决方案实施成效实施效果1研究目标解决方案实施成效1、DNS增值业务系统已在北京公司立项实施2、智能DNS系统新增功能的实现缓存结果的提前迭代功能〔已完成开发〕“0x20+〞功能的实现〔已完成开发)域名增值网站功能：网址预测，根据用户输入的域名，如果有类似的常见域名，那么从其中推荐最常见的一个域名，置于首行显示；后台统计，可统计整个导航页面的UV、PV，并可针对具体导航链接进行统计；终端适配，根据终端是还是电脑，返回相应的WAP/WEB页面，并做好相应的页面适配；运营能力，页面中的样式、板块、各元素均可动态调整。支持广告等商务操作；实施效果2定义A和B两个IP地址段，解析结果先于A匹配，命中就直接封装报文；未命中，再与B匹配，命中后直接封装；A={/24;;/24;}B={90;/24;/24;}多级匹配策略应用后命中90策略实施前解析结果基于IP地址的多级匹配功能〔已完成开发〕研究目标解决方案实施成效主要研究成果2.1CMNetDNS优化方案研究2.2与其他系统DNS关系梳理2.1.3DNS容灾备份系统研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体解决方案研究2.1.4基于域名的增值业务运营体系研究2.1.5IPv6网络中的DNS研究2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理研究目标研究目标解决方案实施成效研究目标：提升DNS系统容灾容错能力解决方案研究目标解决方案实施成效容灾容错系统运行机制容灾容错数据采集：用户发起DNS域名查询请求，Cache效劳器收到请求后递归查询该域名，收到域名查询返回数据后将结果。同时，缓存效劳器部署数据采集agent模块，采集数据去重、比对更新后写入容错数据库。容灾容错数据读取：缓存效劳器部署解析数据异常探测器，当监测到某域名递归解析出现异常时，触发容灾容错功能，缓存效劳器转向容灾容错Portal效劳器进行查询，容灾容错Portal效劳器作为加速器沉着灾容错数据数据库提取数据并返回结果给缓存效劳器。实施效果研究目标解决方案实施成效显示系统当前容错的状态，包括问题域名列表，更多信息界面，可以看到哪个域名在具体dns效劳器上的状态。主要研究成果2.1CMNetDNS优化方案研究2.2与其他系统DNS关系梳理2.1.3DNS容灾备份系统研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体解决方案研究2.1.4基于域名的增值业务运营体系研究2.1.5IPv6网络中的DNS研究2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理研究目标研究目标解决方案实施成效云南教育专网覆盖全省16个州市、129个县区教育主管部门，各级学校和教育机构的教育专用数据网络。

需求：云南移动、云南铁通联合云南省教育厅展开深度合作，建设一张效劳于云南教育信息化的专用网络，简称云南教育专网。云南大学负责开展云南教育专网上的IPv6应用研究。背景：集团客户是近年来电信市场的新蓝海，也是中国移动重要的市场战略方向之一。从中国移动云南公司集团客户业务开展情况来看，政府、教育、金融行业是其客户规模和收入快速提升的三大重点领域。综合办公统一认证门户网站IPv6研究教育邮箱研究和开发基于IPv6的互联网应用栏目管理、内容管理、在线互动、业务服务超大存储、统一消息、到达通知、手机邮箱统一账号、统一授权、单点登录公文流转、信息管理、个人办公、移动办公、短信提醒中职信息化资源共享、远程教育、学校信息化云服务平台教育专网研究目标：基于CMNET网络给集团客户提供IPv6域名解析效劳。解决方案研究目标解决方案实施成效实施效果12021年，云南移动在昆明枢纽机房5层及高新机房3层新建了两套DNS系统，高新节点配置了2台缓存效劳器、1台授权效劳器；枢纽节点配置了2台缓存效劳器、1台授权效劳器以及两台管理效劳器；此两套系统及周边网络设备目前均支持IPv6域名的解析，可以提供相关解析效劳。研究目标解决方案实施成效教育专网路由器〔IPv6已配置〕路由器〔IPv6已配置〕1×GE1×GE云南教育专网纯IPv6试验网用1台路由器及1×GE链路与枢纽机房我方1台路由器互联；两台路由器上只配置IPv6相关地址及协议。云南教育专网纯IPv6试验网向我方DNS系统IPv6地址发起域名解析请求，我方DNS系统为其返回相应的IPv6效劳器地址。测试域名及地址规划如下，测试前已在两套DNS系统上进行了配置：2001:da8:225:103:793a:532d:3261:81e3实施效果2测试编号：1.2测试项目：IPv6域名解析测试结果：教育专网测试PC发出的解析请求我方DNS系统能够收到并成功为其返回相对应的IPv6地址，一共测试了300次，解析成功率100%，达到预期目的。测试编号：1.1测试项目：IPv6地址可达性测试结果：

ping2000次/2000size/包，全部可达，平均延迟2ms，最大10ms，最小1ms，测试通过，达到预期目的。云南移动DNS系统研究目标解决方案实施成效主要研究成果2.1CMNetDNS优化方案研究2.1.3DNS容灾备份系统研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体解决方案研究2.1.4基于域名的增值业务运营体系研究2.1.5IPv6网络中的DNS研究2.2与其他系统DNS关系梳理2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理无线接入有线接入RouterSR固定接入集团客户2GBSCSGSNPCU3GGGSNAPN解析DNSSwitchBRASS-GWP-GWE-NBMME/DNSLTERNCGGSNIMS接入WLAN接入IMSDNSCDN调度器CDN效劳节点IMSCDNSBCCMNetDNSCMNetDNS随着全业务的开展，省内呈现设多套DNS系统的需求，主要包括：互联网访问类：CMNetDNS、设备类：APN解析DNS〔包括〕、IMSDNS现网几大DNS系统DNS与CDN调度器的关系其他运营商网络网站ADNS网站BDNSCDN调度器与DNS关系DNSCDN调度器未签约CDN网站(B)DNS解析流程签约CDN网站(A)DNS解析流程假设网站A已签约我公司CDN，B未签约我公司CDN用户访问网站B用户访问网站ACDN调度器通过判断发出解析请求的DNS设备地址，判断用户位置，并向DNS返回离该用户最近的CDN效劳节点CDN能实现已签约网站的DNS重定位；对于未签约网站，需要升级现网DNS支持DNS重定位功能网站A〔已签约CDN〕IDCCDN效劳节点网站B〔未签约CDN〕CDN服务旨在优化用户体验，但需通过与网站签约实现。签约后网站DNS要具备重定向至CDN调度器的功能，此功能和网站的智能DNS解析能力类似（一个是解析至调度器；一个是解析至目的网站）返回CDN调度器域名返回CDN效劳节点地址返回网站效劳节点地址IMSDNS和GPRSDNSS-CSCF/I-CSCF/BGCFSBCIP专网CMNet权威服务器递归服务器IMSDNSIMSDNS主要用于解析SBC设备的IP地址，以帮助IMS用户发现SBC入口全网IMSDNS设备IP地址需要统一；同时为保证IMS业务的高可用性，还需要在CMNetDNS的权威效劳器上配置IMS域名的授权体系，以防IMSDNS不可用时，用户可通过查询CMNetDNS获取SBC地址GPRSDNS主要用于在用户激活PDP上下文过程中根据用户请求的APN解析出GGSN的设备IP地址用户PDP激活成功后，需要通过CMNetDNS解析网站IP地址并上网IMSDNSGPRSDNS主要研究成果2.1CMNetDNS优化方案研究2.1.3DNS容灾备份系统研究2.1.2基于用户行为分析的DNS数据挖掘2.1.1DNS总体解决方案研究2.1.4基于域名的增值业务运营体系研究2.1.5IPv6网络中的DNS研究2.2与其他系统DNS关系梳理2.2.2统一域名效劳系统技术研究与实践2.2.1与其他系统DNS关系梳理研究目标研究目标解决方案实施成效业务节点容量宽带业务南京节点18万QPS(250万宽带+100万WLAN）无锡节点手机业务南京节点4万QPS（6000万手机用户）无锡节点IMS业务南京节点1万QPS（250万IMS用户）问题及需求不同业务不同解析需求：满足不同业务对于域名解析的不同需求降低故障风险和影响：不同业务之间不会相互影响，控制风险简化配置，提升运维效率：打破目前全人工的维护模式，简化配置难度，防止数据配置错误造成故障便于数据分析和挖掘：能够分别分析各种业务的DNS请求，挖掘业务相关的信息；如何提升运维效率？分布部署，集中管理宽带DNS配置运行参数ZONE数据Option参数域名列表View参数……IMSDNS配置ZONE1…………配置文件1配置文件1配置文件1江苏现网DNS节点现状现网DNS数据配置示意解决方案研究目标解决方案实施成效可视化管理：管理系统采用B/S架构，通过WEB界面对各DNS节点进行集中管理；统一的管理接口：采用SSH/SFTP接口方式，兼顾平安性和通用性；自动安装代理效劳：自动为效劳器下发和安装代理效劳，便于维护；多操作系统适配：能够自动适配多种操作系统，