以云计算技术构建环境数据中心

1、以云计算技术构建环境数据中心以云计算技术构建环境数据中心四川环境信息资源中心建设总体四川环境信息资源中心建设总体思路探讨思路探讨四川省环境信息中心四川省环境信息中心 陈力陈力2以云计算技术构建环境数据中心，可以实现整合来自各种环境业务应用系统中的数据，以建设数据仓库为基础，利用etl、olap 等数据处理和加工工具，对数据进行整理、转换、匹配、校验、整合和分析，使环境数据标准化，并通过统一的接口实现环境数据的共享和综合利用，解决“信息孤岛”问题。通过虚拟化与云计算技术，实现it资源的按需动态分配，并将各种计算资源以服务的形式提供给业务系统，解决“资源孤岛”问题，节约大量投资，减少系统运行成本。

2、摘摘 要要以云以云计算技术构建环境数据中心计算技术构建环境数据中心随着我国经济的高速发展，环境质量整体恶化，污染物排放总量居高不下，大大超出环境容量。党中央、国务院从治国理念的高度把环境保护摆上了更加突出的重要位置。“十一五”期间一系列重大建设项目的实施，环境信息化建设取得了显著成效。引引 言言以云以云计算技术构建环境数据中心计算技术构建环境数据中心本文是在以环保的核心问题“数据来源”基础上，结合当前环境信息化的实际情况，提出构建标准统一、接口开放、可持续扩展的环境数据中心，并探讨依托当前信息技术发展主流趋势的“云计算”技术来构建环境数据中心的建设思路和方法。以云以云计算技术构建环境数据中心计

3、算技术构建环境数据中心第一章析析环境信息化建设现状分析以云以云计算技术构建环境数据中心计算技术构建环境数据中心一、一、环境环境信息化建设现状信息化建设现状分析分析建成了涵盖部、省、市三级的“国控重点污染源自动监控系统”；建成了覆盖“部、省、市、县”四级联通的环保专网；即将建成：“减排应用支撑平台”、“建设项目管理”、“环境统计业务系统”、“数据传输与交换平台”、“gis地理信息系统平台”。一、一、环境环境信息化建设现状信息化建设现状分析分析环境数据来源复杂，多数环境数据分散于各部门，没有统一的元数据标准，缺乏应有的处理和加工，难以进行共享和应用；不同的环境管理业务涉及的管理对象存在不同程度的重

4、叠，但对应的信息系统却相互独立，造成系统内数出多门、一数多源，相互矛盾的事情时有发生。u 从环境管理业务的角度来看，现有的环境数据管理和应用主要存在如下两方面的问题：一、一、环境环境信息化建设现状信息化建设现状分析分析数据难以共享，不一致，真实性、可靠性低；缺乏统一的标准；数据分散存放，不安全；数据难以转化为信息和知识，难以在环境管理中发挥应有的作用。u 从信息化的角度出发，环境信息化所面临的最大问题是“信息孤岛”，主要表现在以下几个方面：一、一、环境环境信息化建设现状信息化建设现状分析分析u 利用当前较成熟的it技术手段来建设环境数据中心，能够全面整合环境数据，彻底消除“信息孤岛”，实现环境

5、数据的和谐共享，同时可以纠正数据自身的问题，避免“数出多门”，真正摸清“家底”。第二章析析环境数据中心定义及建设目标以云以云计算技术构建环境数据中心计算技术构建环境数据中心二、二、环境数据中心定义及建设环境数据中心定义及建设目标目标环境数据中心建设重点强调环境数据集中管理和环境信息资源整合，其采用集中与分布相结合的方式管理环境数据，是环境信息资源数据的存储中心、管理服务中心、共享交换中心以及环境管理决策的支持中心。1. 环境数据中心是环境信息资源整合的核心二、二、环境数据中心定义及建设环境数据中心定义及建设目标目标二、二、环境数据中心定义及建设环境数据中心定义及建设目标目标建立统一的标准规范；

6、实现数据的和谐共享；联合监管污染源；提供更有效、有力、科学的决策依据。2. 环境数据中心建设的目标第三章析析环境数据中心技术架构以云以云计算技术构建环境数据中心计算技术构建环境数据中心三、三、环境环境数据中心技术架构数据中心技术架构u 环境数据中心的技术架构设计如下图:三、三、环境环境数据中心技术架构数据中心技术架构1. soa面向服务的体系结构 环境数据中心的建设是一项大型和复杂的系统工程，需要实现多个应用系统的集成，各个应用系统之间需要进行数据交换和整合，因此每个子系统的设计应该遵循面向服务的体系结构，使各个子系统之间可以完整地集成在一起； 面向服务的体系结构（soa）表示如何合理的使用

7、web 服务。三、三、环境环境数据中心技术架构数据中心技术架构2. 基于web service的数据调用机制 web services是指以一种松散的服务捆绑集合形式，能够快速、低代价地开发、发布、发现和动态绑定应用； web services可以实现应用程序之间的函数或方法级的集成。三、三、环境环境数据中心技术架构数据中心技术架构3. 基于xml的数据交换规范 xml是一种数据交换格式，允许在不同的系统或应用程序之间交换数据，通过一种网络化的处理机构来遍历数据，每个网络节点存储或处理数据并且将结果传输给相邻的节点； 是一组用于设计数据格式和结构的规则和方法，易于生成便于不同的计算机和应用程序

8、读取的数据文件。三、三、环境环境数据中心技术架构数据中心技术架构4. 基于etl过程实现数据的有效整合 etl过程是环境数据中心建设的关键步骤，利用etl工具实现各业务的异构数据库系统和文本、电子表格等文件系统格式的数据整合和集成，并针对具体的每个分系统编写具体的数据转换代码，来一起完成从原始数据采集、错误数据清理、异构数据整合、数据结构转换、数据转储和数据定期刷新的全部过程。三、三、环境环境数据中心技术架构数据中心技术架构5. 基于数据仓库技术的建模机制 环境数据中心已经集成了相对丰富的各类环境业务数据，这些业务系统大多是oltp系统(联机事务处理系统)，这些系统中积累了大量的历史环境数据；

9、 关键问题：环境数据中心在现有数据库系统的基础上应用数据仓库技术第四章析析环境数据中心建设内容以云以云计算技术构建环境数据中心计算技术构建环境数据中心四、环境四、环境数据中心建设内容数据中心建设内容u 环境数据中心建设是一项复杂的系统工程，其建设内容如下：1. 完成基础信息采集及共享完成数据资源规划，收集、采集各类数据源，完成公共代码、污染源代码、污染源主数据梳理，通过共享接口、基础档案应用等功能实现环境基础信息的充分共享利用。四、环境四、环境数据中心建设内容数据中心建设内容2. 建立数据仓库整合环境数据资源完成数据资源规划，收集、采集各类数据源，完成公共代码、污染源代码、污染源主数据梳理，通

10、过共享接口、基础档案应用等功能实现环境基础信息的充分共享利用。3. 完成数据分析应用通过数据仓库和技术，建设各类分析专题，为各级环境管理应用提供决策数据支持。四、环境四、环境数据中心建设内容数据中心建设内容4. 无缝集成业务数据与空间数据将gis的空间数据和环境业务数据通过业务对象的唯一编码实现空间数据和业务属性数据的关联，从而实现空间数据和环境业务数据的无缝集成。5. 采用开放式体系结构确保其可扩展性环境数据中心建设应统筹规划，分步实施，与未来环境信息化的宏观发展规划相适应。第五章析析云计算技术构建环境数据中心以云以云计算技术构建环境数据中心计算技术构建环境数据中心五、云五、云计算技术构建环

11、境数据计算技术构建环境数据中心中心u 传统数据中心的不足1. 资源利用率低造成服务器资源利用率低的主要原因是各个业务部门在提出业务应用需求时，都在单独规划、设计其业务应用的运行环境，并且按照最大业务规模的要求进行系统容量的规划和设计。五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 传统数据中心的不足2. 资源孤岛根据业务系统的要求建设相应软硬件设施的传统数据中心建设模式，则从系统资源上导致了“资源孤岛”。传统数据中心建设模式很难从整体基础架构的角度来考虑资源分配及使用的合理性，因此从基础设施的角度来看应用系统，它们还是一个个独立的“烟囱”。五、云五、云计算技术构建环境数据计算技

12、术构建环境数据中心中心u “烟囱”型的基础设施五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 传统数据中心的不足3. 增加资源管理开销传统数据中心资源配置和部署过程多采用人工方式，没有相应的平台支持，使大量人力资源耗费在繁重的重复性工作上，没有自服务和自动部署的能力。因此，对业务部门的需求往往无法做到及时响应和准确有效，并极大的增加了资源管理的难度和投入。五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 什么是云计算美国国家技术和标准研究院（nist，national institute of standards and technology）将云计算定义为：“云

13、计算是一个提供便捷的可通过网络访问一个可定制的计算资源共享池能力的模式（计算资源包括网络，服务器，存储，应用和服务）；这些资源能够快速部署，并只需要很少的管理工作或与服务供应商很少的交互。”五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 简而言之，云计算就是信息技术作为服务（it as a service）的一种计算供应和消费方式。其特征主要表现在如下几个方面： 云计算强调资源的共享，而不是独占; 云计算强调的是资源集中，而不是分散; 云计算强调的是一种服务，而不是技术; 云计算强调动态资源配置，而不是静态资源分配; 云计算强调的是专业分工，而不是事必躬亲。五、云五、云计算技术

14、构建环境数据计算技术构建环境数据中心中心u 云计算的技术架构五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 传统it的资源使用模型五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 云计算的资源使用模型五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 使用云计算技术构建环境数据中心 数据中心建设的未来发展方向是对传统数据中心进行虚拟化和云计算架构的转型，不断提高it基础设施的灵活性，降低硬件、能源和空间等成本，从而让用户能够快速响应业务需求，提高业务敏捷性； 云计算技术能提高it基础设施资源的利用效率，提升基础设施的应用和管理水平，实现计算资源的动态优

15、化。五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 云计算技术构建数据中心主要有以下特点： 集中管理环境数据中心的硬件资源，包括服务器，存储和网络等； 可以动态分配服务资源； 用户可以根据需求自助申请计算资源，平台根据sla和用户付费情况，决定审批结果； 应用管理，服务度量计费和sla（service-level agreement）等； 提供高效的数据存储和安全的灾备服务。五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 云计算技术构建环境数据中心的逻辑架构五、云五、云计算技术构建环境数据计算技术构建环境数据中心中心u 云计算环境数据中心的建设思路：在省、市已建

16、成并投入运行的“国控重点污染源自动监控中心”基础上，使用虚拟化和云计算技术，在建设“省控重点污染源自动监控中心”的过程中，将现有的软、硬件it基础资源进行整合，建成省、市两级环保部门的私有云，并将环境数据中心虚拟化和云化，在整合it基础资源的私有云平台上，建成四川省“云计算环境数据中心”。第六章析析云计算环境数据中心在环境保护工作中的应用和意义以云以云计算技术构建环境数据中心计算技术构建环境数据中心六六、云计算环境数据云计算环境数据中心的应用意义中心的应用意义u 提升各级环保部门对环境数据管理和应用的综合水平，可实现如下应用： 环境数据资源目录服务、环境数据资源目录管理系统； “一源一档”的污

17、染源档案管理系统； 环境质量分析系统； 污染源分析系统； 基于环保“一张图”理念的空间信息共享服务平台六六、云计算环境数据云计算环境数据中心的应用意义中心的应用意义u 相较传统的业务系统建设和环境数据应用模式，云计算环境数据中心具有如下的优势：1. 提供集中化、基于策略的环境数据和it资源管理模式，节约了系统管理成本和人力投资；2. 将it基础资源虚拟化，可智能的调配it资源来支持环境业务系统的运行，既能快速应对业务需求变化，又能最大化利用it基础资源，减少软硬件的重复采购投资；六六、云计算环境数据云计算环境数据中心的应用意义中心的应用意义u 相较传统的业务系统建设和环境数据应用模式，云计算环境数据中心具有如下的优势：3. 云平台将保证环境业务系统的不间断运行，并提供多重的数据存储和灾难恢复机制，使应用系统和数据资源获得更多的安全保障；4. 提供统一的数据集成和管理方案，通过跨区域的数据整合共享，形成环境管理的数据基础，使用业务系统及相关的报表分析工具，为领导决策与应急处理工作提供定量化与精细化的管理依据。六六、云计算环境数据云计算环境数据中心的应用意义中心的应用意义5. 提供统一的数据发布平台，可及时发布污染源防控信息，解释相关法律政策，普及环保基础知识，发动公众监督力量，实现