面向数据迁移的超算快线技术白皮书 2024

面向数据迁移的超算快线技术白皮书4 6 6 7 8 8 13 14 16 18 18 18 19 20 21 21 21 22 23 235 24 25 26 26 27 27 28 30 30 30 31 32 33 34 35 38 面向数据迁移的超算快线技术白皮书6济的新主角。提升算力水平、做强算力产业，已经成为全球40多个随着数字经济的发展，国内算力布局也在不断优化。2021年3系，强化算力统筹智能调度”；2023年2月，中共中央、国务院引国家级算力枢纽节点和10个数据中心集群，已建成十多个国家超级为推进全网一体化算力网建设，2020年9月，我国成立“东数西算”联盟；2022年，全面启动了“东数西算”工程，在国家“东面向数据迁移的超算快线技术白皮书7算”工程，加快构建全国一体化算力网的实施意见》中提出：“到2025年底，用户使用各类算力的易用性明显提高、成本明显降低；因测序、视频渲染等行业每年产生的数据量都近PB。传统计网络需提供高效传输的能力，满足用户不断增面向数据迁移的超算快线技术白皮书8AI技术蓬勃发展，大模型应用迎来爆发期，算力需求指数级增长。英伟达表示“在未来的10年里，会把深度学习的计算能力再提面向数据迁移的超算快线技术白皮书9要耗费时间；同时为了减少快递/运输次数，一般将数据积累几天之联场景，但其接入成本高、获取周期长。IPVPN网络统计复用特性当前仍属于OTT业务，基于无线、传输和承载等物理网络上利用隧面向数据迁移的超算快线技术白皮书业务承载时用户按需、灵活、跨域、安全可如何将算力应用所需海量数据从客户侧传输到算力资源提供方是目前网络亟需解决的痛点。以基因测序为例，5的overlay业务连接，按需提供underlay物理资源保障，实现业（2）按需随建随拆、灵活组网：传统专线资源长连接，但并非面向数据迁移的超算快线技术白皮书（4）弹性大带宽：传统传输专线无法提供弹性服务能力，必须（5）泛在接入：为提供用户使用算力资源的便捷性，网络需具（6）可信可靠：网络需具备可信可靠的能力，以严格保障用户（7）跨域协同：对于用户跨域甚至跨运营商的数据传输需求，介质。这有效降低了IP网络的复杂度，为业务应用、承载介质提供面向数据迁移的超算快线技术白皮书与网络内部无关，进一步降低了IP网络的复杂性，提高了网络的抗但不同于传统消费者业务的尽力而为转发，超智算业务对IP网感知网络的状况。因此需要对现有IP网络架构进行创新，根据不同面向数据迁移的超算快线技术白皮书图1超算快线网络架构），面向数据迁移的超算快线技术白皮书架构充分考虑了IP网络功能的可扩展性，根据各种业务需求，可按面向数据迁移的超算快线技术白皮书图2业务核心层（1）终端接入控制功能：通过线路认证、独立硬件标识或者接入终端ID等方式对终端进行合法性认证并纳管终端，维护终端的附号+验证码等方式实现用户的接入认证，实现合法用户可正常附着于（3）资源保障功能：通过与超级业务网关的交互，网络连接控制已经成功建立业务连接进行QoS策略和业务分流，确保业务连接面向数据迁移的超算快线技术白皮书（4）计费功能：根据服务使能层接受的用户计费策略以及从业源上，用于提供带宽、QoS、切片、源路由/SRv6等业图3业务承载层面向数据迁移的超算快线技术白皮书多种方式的泛在接入能力，同一终端也可以同时提供两种接入方式，费、业务连接老化/拆除等功能；基于业务的确定性/差异化承载的服面向数据迁移的超算快线技术白皮书专线连接包括用户线上或线下申请、运营商IT系统受理、工单下发灵活组网技术支持用户通过线上服务平台或者API接口下发网面向数据迁移的超算快线技术白皮书间的灵活互联互通需求，可通过在全国部署一套IP业务核心层，通随着业务连接数量的不断增加或者各运营主体间希望通过分域营主体可以独自部署接入终端、超级业务网关以及IP业务核心层，立请求、SLA需求和资源需求等参数，由发起方传递至响应方的IP面向数据迁移的超算快线技术白皮书图4跨域协同面对用户对不同带宽、不同时延和不同SLA的差异化网络承载诉求，需要按需实时为通讯终端之间分配和映射Underlay网络能力面向数据迁移的超算快线技术白皮书增的shim层，实现数据链路层速率和物理层速率的解耦，对FlexE的SLA承诺，有必要通过业务随流检测技术实时感知业务的时延、进行特征标记，将时延、丢包、抖动等性能指标通过Telemetr数据传输业务中，网元设备主要包括了IP业务承载层的接入终端、超级业务网关以及IP业务核心层的各网络功能服务实体，当这通过IOAM、Telemetry技术实时监测采集各端口状态以及业务流量面向数据迁移的超算快线技术白皮书能实体可部署在物理机或云化部署，通过配置防火墙、ACL策略、VPN策略等方式实现对接入终端与超级业务网关的纳管，减少设备为了确保数据传输业务流量可以按照预期规划的可信任的路径分为IGP路由（包括ISIS和OSPF）和BGP路由两大类。在建立此外，对于BGP路由可能存在的劫持泄露问题，可通过RPKI可信源部署进行认证，防止将非法伪造或篡改的BGP路由路径安全可使用基于IPv6+体系的SRv6Policy隧道技术，实现传输路径。通过对SRv6配置安全域隔离，边界过滤实现防仿冒，互通的双方或者多方进入同一VPN实现路由控制面的隔离。当业务面向数据迁移的超算快线技术白皮书面向数据迁移的超算快线技术白皮书数据中心内部已广泛采用RDMA技术解决收发端服务器的瓶颈NP/FPGA芯片对存储的直接访问，提升网络的传输带宽。传、拥塞提前降速/停止发送等机制，使广域网处于无损传输状态，存在较大差异，同时也呈现大小流两极分化的特点。超算快线的underlay承载层包括了有线、无线，IP、OTN、裸光纤络+通道/切片+QOS的层次化差异化选路调度，实现应面向数据迁移的超算快线技术白皮书SRv6技术通过源路由机制在IPv6报文中新增SRH（Segment根据用户业务需求，对SegmentList进行灵活编排，规划出最优的转对于传统通过流Hash负载分担方式造成的多条大s超算快线业务模式l用户对业务传输需求非长期连续；面向数据迁移的超算快线技术白皮书l支持随建随拆，用户可实时或预约夜间闲时业务传输，弹性业务模式面向有基础带宽及弹性业务需求的算力资源需求l用户对业务传输需求定向、长期、连续；l提供100M基础带宽定向算力中心连接，为用户提供连续的业面向数据迁移的超算快线技术白皮书超算快线业务本质是基于任务式的随接随用弹性大带宽连接服宽传输备份数据/云灾备数据，实现可靠的冗余离站存储，在有效控我国算力基础设施分散，算力资源利用率不均衡，“东数西算”面向数据迁移的超算快线技术白皮书图5算力互联应用场景利用超算中心/智算中心算力资源进行科学计算同样涉及海量数制作公司所在地。一部大型综艺或影视节目的原始素材数据量可达图6影视制作应用场景面向数据迁移的超算快线技术白皮书海拔宇宙线观测站等众多国家大科学装置数据，每年产生100PB数据，且预计至2027数据将会增加到900PB，更是入选了2023年度的中国科学十大进展。其每年产生约11PB数面向数据迁移的超算快线技术白皮书图7高能所到成都超算中心总体实现方案CPE以PPPoEoIPv6拨号的overlay方式接入骨干网SGW，骨干网面向数据迁移的超算快线技术白皮书业务实现方面，高能所算力调度平台通过内嵌调用IP业务核心资源按需匹配，通过对业务的sess