Alluxio PDDM（基于策略的数据流转） 在联通智网的应用_第1页
Alluxio PDDM（基于策略的数据流转） 在联通智网的应用_第2页
Alluxio PDDM（基于策略的数据流转） 在联通智网的应用_第3页
Alluxio PDDM（基于策略的数据流转） 在联通智网的应用_第4页
Alluxio PDDM（基于策略的数据流转） 在联通智网的应用_第5页
已阅读5页，还剩28页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

在联通智网的应用分享嘉宾：陈得泳一联通智网一联通智网二二需求与挑战需求与挑战三三解决方案：解决方案：AlluxioPDDM四四2关于“联通智网”企业情况-中国联通网络运营事业部2024年10月，和集团云网运营中心合并成立网络运营事业部，主要职责是以客4部门情况-网络数智运营中台研发室数据中台板块网络运营事业部设立党委办公室、综合管理室、运营管理室、业务支化室、接入网运营室、基础设施运营室、国际网络运营室等多个职能处室，以及智网创新中心、网其中，网络数智运营中台研发室属于智网创新中心之下的研发部门，主要负责中国联通全国海量网络数据集约化采集、存储、加工、共享、应用等运营研发工作，为中国联通网络创新与数字化业务背景l统一底座：承接O域全域网络数据，包括统一底座加工后的DNS/NetFlow等固网基础数据，支撑安全基座数据分析需求。7数据规律的KDC。每小时的数据呈规律性波动，日传输数据总谷4.6TB）业务挑战业务挑战带宽限制数据校验共享的带宽，存在15GB/s每日庞大的数据传输量及众每日庞大的数据传输量及众实施严格数据校验机制，以及增量同步技术，用来提升历史方案历史方案历史同步方案基于Hadoop的DistCP实现，在统一底座和历史同步方案基于Hadoop的DistCP实现，在统一底座和方案缺陷数据从YARN-SRC到YARN-DST的传输过程中，数据会在非Kerb至目标HDFS。这种分步传输增加了额外的时延。同时，由于中间的本地HDFS集群存在性能瓶颈，导致数据吞吐性能受带宽和本地非KerberosHDFS集群硬件资源的双重制约。间传输时出现延迟。同时，本地HDFS集群的硬件资源限制了并发处理能力（任务量翻倍），无法充分有1.减少了中间步骤，大大提高了数据传输效率，减少了性能瓶颈点；2.提升了带宽利用率，在数据波峰时，可以接近15GB/s的带宽上限，较于原有方案带来约3x的性能提升；3.实现双KDC交互，避免数据落盘，降低数据泄露的安全风险；4.提供了丰富的数据分发管控功能和工具。任务流程任务流程生产效果业务价值业务价值跨省机房定时数跨省机房定时数据传输任务吞吐提升3倍以上满足多个不互信满足多个不互信KDC下HDFS集群接入，规避数据泄露

人人文库> 全部分类> 应用文书 > 研究报告

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论