云计算workshopPPT课件.ppt

西安交通大学智能网络与网络安全教育部重点实验室陕西省天地网技术重点实验室2010 08 05 下一代e Learning系统与云计算 董博 1 0 项目背景问题背景及相关技术的演变趋势e Learning面临的新挑战基本架构与关键技术云平台搭建下一步的工作 报告提纲 2 1 IBMSURProject ResearchontransferringBlueSkysystemtocloudcomputingplatform WithUR IBMResearch China CDL From2008 10to2010 10 2 IBMURProject ResearchonBlueSkystorageforcloudcomputingplatform WithIBMResearch China From2009 07to2010 07 3 IBMURProject CloudbasedSmarte Learningsystemenabledbymassiveinformationprocessingandanalytics WithIBMResearch China From2010 08to2011 08 项目负责人 郑庆华教授 项目背景 项目特点2008SUR 一个云平台和三个系统基于云平台的网上学习系统基于云平台的流媒体点播系统基于云平台的大规模群组交互系统2009UR 存储2010UR 存储和数据分析智慧的教育 Smarte Learning 3 2008年申请没有通用的定义 没有完善的业界方案 申请时的考虑有没有需求 我们的场景 如何开展 虚拟化 计算 存储 如何验证 示范应用 具体的考虑虚拟化 BlueCloud TivoliMonitoring TivoliProvisionManager WebSphereeXtendedDeployment VCL 计算 HadoopMap Reduce存储 Hadoopdistributedfilesystem SUR申请时的立意 4 0 项目背景问题背景及相关技术的演变趋势e Learning面临的新挑战基本架构与关键技术云平台搭建下一步的工作 报告提纲 5 Internet的发展使世界由 圆 变 平 500多年前 哥伦布为寻找东印度的财富乘船西行而意外发现了美洲大陆 并告诉世人 地球是圆的 今天 曾三次获得普利策新闻奖的 纽约时报 资深记者托马斯 弗里德曼沿着当年哥伦布的航程 从美国乘飞机来到印度的班加罗尔 日本的东京 中国的大连等地寻找知识财富 他完成此次旅程后 提出了一个独特的见解 世界是平的 核心价值 Everyoneisfreetocontribute freetoshare 6 从 数字地球 到 智慧地球 核心技术价值 从 互联网 到 物联网 CyberPhysicalSystem 把新一代IT技术充分运用在各行各业之中 例如 把传感器嵌入和装备到电网 铁路 桥梁 隧道 建筑 供水系统 大坝 油气管道等各种物体中 实现普遍连接 形成 物联网 然后将 物联网 与现有的互联网整合起来 实现人类社会与物理系统的整合 由能力超强的数据和计算中心整合网络内的人员 机器 设备和基础设施 实现实时的管理和控制 人类可以以更加精细 动态优化 节约的方式管理生产和生活 达到 智慧 状态 提高资源利用率和生产力水平 改善人与自然间的关系 7 0 项目背景问题背景及相关技术的演变趋势e Learning面临的新挑战基本架构与关键技术云平台搭建下一步的工作 报告提纲 8 立足点及基本思路 e Learning是一项典型的互联网重大应用 不仅仅只是传统课堂的网上搬家 而是具有高度的互动性 个性化和协作性的认知环境 是一个涉及网络传输 大规模师生互动 海量资源组织管理 智能化知识获取与个性化服务 学习行为与内容监管等的综合性平台 立足点以e Learning为载体和重大应用背景 建立云计算平台 系统地开展云计算理论与关键技术的研究 研究思路以用促研 研用结合 以e Learning为载体 系统研究云计算平台的构建理论与方法 并以e Learning作为实验床 将云计算关键技术研究成果在大规模e Learning平台上进行集成 测试和应用 9 总体上 目前的e Learning系统缺乏个性化 情感交互 学习导航与实验实践等功能 异质 分布 海量资源 全球数字信息量每年以字节的速度剧增 如何从海量资源中获取 合适的知识 学习迷航 和 认知过载 信息总量每隔3 5年增长1倍 人们面临前所未有的认知压力 如何实现 将合适的知识以合适的粒度提供给合适的用户 情感缺失 与 重知轻情 忽略了学习者自身的感受 缺乏师生之间的情感交流和反馈 导致学习者情绪低下 情感缺失 学习热情衰减 场景单一 临境学习 师生交互缺乏真实感 临场感 虚拟实验和现场实验相距甚远 e Learning面临的新问题 新挑战 10 大规模师生 挑战3工作负载的动态变化 解决方案应具有按需分配计算资源及可扩展的存储能力 挑战1大规模并发访问的请求 挑战2海量资源的存储需求 挑战4用户的个性化服务需求 e Learning支撑平台面临的技术需求 webportal的工作负载 11 0 项目背景问题背景及相关技术的演变趋势e Learning面临的新挑战基本架构与关键技术云平台搭建下一步的工作 报告提纲 12 基于云计算的e Learning系统基本架构 13 基于云计算的绿色计算特点与模式大规模同步直播 点播与师生交互海量学习资源的组织管理知识构建与集成搜索 基于云计算的e Learning关键问题研究 14 P1 基于云计算的绿色计算模式 实时课堂交互 流媒体点播 目的 研究可支持下一代e Learning需求的绿色计算模式 具有良好的可扩展性 并提供透明的开发接口 15 绿色知识获取 计算与服务平台 低功耗基于云计算的海量资源低功耗存储与计算服务绿色服务支持个性化 多粒度 自适应的知识服务 并能过滤不良内容无障碍服务支持普式计算 无处不网的终端接入与学习支持服务可信安全支持e Learning的过程管理 实现身份可信 内容安全 行为可信和可靠运行 16 应用一 应用二 虚拟化云计算技术的实现思路 17 PoolsofMachines DeployHypervisor VirtualImageCreationUploadingMonitoring VirtualImage UserRequests AdminConfiguration ServicePolicyCreationHealthCheckServerConfigurationEtc Router PoolsofRuntimes DynamicCluster1 DynamicCluster2 BladeCenter PCServer Storeson P2 基于云平台的大规模群组交互调度 18 基于云计算的大规模点播调度 19 P3 海量学习资源的存储与管理 下一代e Learning数据存储关键问题 保证大规模资源访问的速度 确保资源的完整性和可达性 提高海量资源分析处理效率 采用低成本设备易扩展规模 基本原则 基于Hadoop分布式文件系统 为知识获取与服务提供存储服务 充分发挥云平台大规模 低成本 低功耗 虚拟化 按需供应 可扩展性好的优势 20 云存储在e Learning领域的应用 基本原则云存储要为e Learning服务奠定基础 充分发挥其大规模 低成本 低功耗 虚拟化 按需供应 可扩展性等优势基本问题云存储本身是否有尚未解决的问题 e Learning领域的学习资源是否能够高效地存储在云存储平台 是否能够针对e Learning领域学习资源的特点和访问特点 提高文件的读写效率 基本平台分布式文件系统 21 基于云计算的海量学习资源存储技术 拟解决的科学问题 基于虚拟化的HDFS集群管理技术基于文件关联关系的预取技术基于重复数据辨别的副本管理技术海量小文件的通用存储技术基于HDFS的流媒体文件存储和点播技术自适应的HDFSClientPool的实现技术 22 P4 知识构建与集成搜索 CloudComputing 概念 23 0 项目背景问题背景及相关技术的演变趋势e Learning面临的新挑战基本架构与关键技术云平台搭建下一步的工作 报告提纲 24 云计算平台部署情况 12台Blade 12台PCServer构成平台硬件基础 25 云计算平台部署情况 26 27 TivoliProvisionManager流媒体点播的负载均衡 资源文件分发 文件调度辅助群组交互的请求分发 实现动态更新与部署TivoliMonitor采集虚拟机与物理机的实时运行状态参数 提供负载均衡依据WebSphereExtendedDeployment策略的定制与实施 实现对动态集群的管理功能路由用户请求 实现Http请求的负载均衡功能ESXi实现虚拟机的构建与管理功能Hadoop提供分布式文件系统 用于资源存储提供分布式数据密集计算框架 为大规模机器学习与检索提供支持 云计算平台软件环境 28 0 项目背景问题背景及相关技术的演变趋势e Learning面临的新挑战基本架构与关键技术云平台搭建下一步的工作 报告提纲 29 基本思路 在教育公益性原则下 采用 对等 开放 共享 协作 的思路 并借助云计算与三网融合技术 探索一种具有可持续发展的 开放的 支持云服务等特点的开放教育服务新模式 模式特点 可持续发展的 平衡 学习者 运营方 开发者 三者间的利益关系 实现