




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、技术交流云计算工作简介2022/7/20吴恒软件工程技术研发中心中国科学院软件研究所北京实验室整体工作-个人理解面向大数据和云计算理论模型云计算支撑技术可视化开发框架大数据计算模型自动化测试/编排方法内存计算支撑技术云计算关注点-大数据运行的时效性我们对大数据的理解:1、时效性2、准确性1、大数据处理系统核心是采用并行思想,利用资源换时间2、我们关注大数据处理系统在云计算上优化问题云计算中为什么需要优化-大数据处理系统特点大数据计算模型云计算调度算法未考虑大数据任务关联性相关研究表明,性能最多相差两倍云计算资源调度算法虚拟机云计算中为什么需要优化-云计算实现机制问题云计算实现虚拟机和容器两类前
2、者OS冗余,影响大数据处理系统性能,最高3倍后者具有配置变更,计算和存储分离特点,影响大数据处理系统性能宿主机OS虚拟机OS大数据处理系统容器宿主机OS(IP3)大数据处理系统IP1大数据处理系统IP2数据调度机制IP索引任务正在开展的优化工作-面向大数据运行支撑虚拟化容器功能开发核心优化精简OS发现任务关联度DPDK(联想研究院)容器配置管理改造Mesos集成Etcd集成ActiveMQ改造(乾云研究院)虚拟化后台升级和改造(2016.12月前)已有合同支撑情况1、虚拟化平台(2.5人/月)2015.12-:安全认证(22个不满足项,4个不满足项,主要和硬件相关)2016.2-:新点维护/普
3、天测试2、容器平台(3人/月)2015.12-:ActiveMQ改造(Demo走通,Topic组织模型设计与交付)2016.3-: Mesos集成合同候选项-软件栈资源供给层资源调度层服务封装层服务协作层应用接入层Amazon/Azure/AliyunVMWare/OpenStackPhysical MachineDockerOpenvswitchDocker-RegistrySwarm with TLS(Transport Layer Security)/Kubernetes/Mesos存储服务MysqlRedisMycat(分库分表+读写分离)计算服务HadoopStormEtcd服务注册
4、Kafka数据分发ActiveMQ消息分发Nginx+WebNginx+WebNginx+WebNginx+WebJenkins(持续集成)Ansible(自动部署)Compose(可视编排)应用管理层系统维护层日志收集Kibana定时调度Quartz系统监控Zabbix维护规则Drools系统配置Zookeeper系统报表iReport正在开展的优化工作-面向大数据运行支撑1、软件栈的容器化2、软件编排3、分库分表谢谢传统方式-以应用为中心,频率和耦合问题源代码开发者测试者基于文档和脚本OS运行环境应用配置OS运行环境应用配置运维者监测现在模式以资源为中心源代码开发者测试者CI运维者监测应用配置运行环境应用配置运行环境服务编排OSO
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 闲置码垛机转让合同范本
- 网签三方协议如何签合同
- 游戏合作合同协议书范本
- 来料加工合同协议书模板
- 消防维保解除合同协议书
- 移门订货协议书合同范本
- 煤炭应急保供协议书模板
- 矿山水库出租合同协议书
- 湛江钢结构施工合同范本
- 自动售货机拍卖合同范本
- 食堂食品安全应急处置方案
- 退出中华人民共和国国籍申请表
- 西方经济学(第二版)完整整套课件(马工程)
- 检验科安全管理制度汇总
- (完整word版)中医学题库
- 英语音标拼读方法讲解
- MT 113-1995煤矿井下用聚合物制品阻燃抗静电性通用试验方法和判定规则
- GB/T 27775-2011病媒生物综合管理技术规范城镇
- GB/T 16841-2008能量为300 keV~25 MeV电子束辐射加工装置剂量学导则
- GB/T 11264-2012热轧轻轨
- 眼镜镜架知识汇总课件
评论
0/150
提交评论