数据采集处理项目-技术方案

XXX大数据库中心数据库投资商和企业数据采集处理项目-技术方案xxx大数据库中心数据库投资商和企业数据采集处理项目项目编号：I5300000000617001206技术方案xxx有限公司二○一七年六月

目录1引言 3项目背景 3项目目标 3建设原则 3参考规范 4名词解释 52云数据采集中心 7需求概述 7总体设计 7 103大数据计算平台 34需求概述 34总体设计 34数据模型设计 354数据运营 384.1数据挖掘分析 384.2数据分析处理的主要工作 384.3数据分析团队组织和管理 395安全设计 426风险分析 467部署方案 478实施计划 489技术规格偏离表 4910售后服务承诺 5211关于运行维护的承诺 5512保密措施及承诺 5613培训计划 58

1引言项目背景XXX大数据中心建设出发点考虑从投资者角度涵盖招商全流程，尽可能为投资者解决项目实施过程中的困难和问题，便于招商部门准确掌握全省招商数据，达到全省招商项目数据共享，形成全省招商工作“一盘棋、一张网、一体化”格局。大数据中心将充分发挥大数据优势，加强对企业投资项目、投资轨迹分析，评估出其到XX投资的可行性，为招商过程留下痕迹、找到规律、明辨方向、提供“粮食”、提高效率，实现数据寻商、数据引商、数据助商，实现数据资源实时共享、集中管理、随时查询，实现项目可统计、可监管、可协调、可管理、可配对、可跟踪、可考核。本次数据运营服务主要是为大数据平台制定数据运营规范及管理办法，同时为“企业数据库”提供数据采集、存储与分析服务，并根据运营规范要求持续开展数据运营服务。项目目标 制定招商大数据运营规范及管理办法。 制定招商大数据相关元数据标准，完成相关数据的采集、整理与存储。 根据业务需求，研发招商大数据招商业务分析模型，并投入应用。 根据运营规范及管理办法的要求持续开展数据运营工作。建设原则基于本项目的建设要求，本项目将遵循以下建设原则： 前瞻性 经济性和用软件应提供完备的整合方案。 先进性和成熟性务需求。 高性能和安全性攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。参考规范 GB/T信息安全技术—信息系统安全管理要求 GB/T信息安全技术—信息安全风险评估规范 GB/T信息安全技术—信息系统安全等级保护基本要求 GB/T信息安全技术—信息系统安全等级保护定级指南 GA/T计算机信息系统安全等级保护管理要求 GB/T计算机软件产品开发文件编制指 GB/T软件工程术语 GB/T信息技术软件工程术语 GB/T软件工程产品质量第1 GB/T软件工程产品质量第2 GB/T软件工程产品质量第3 GB/T软件工程产品质量第4 GB/T计算机软件可靠性和可维护性管理 GB/T信息技术软件包质量要求和测试名词解释DF简单存储分布式文件系（metrageDstrutedFeystem）Database）DCS：数据计算服务（DataMPS：消息处理服务（MessageDataDMQ：分布式消息队列（DistributedQueue）HTTP：超文本传输协定（HyperTextTransferMessage

2云数据采集中心需求概述根据1至2年内的数据存储和计算规模，需要满足：数据采集范围包括但不限于世界500强、全国500强、行业20强企业相关数据。总数据容量至少达到30T。总体设计整个云数据采集中心分为三部分：硬件资源层、软件平台层、软件应用层。硬件资源层主要指实体硬件设备包括用来存储数据的光纤阵列柜和存储服务器用来作统计分析以及搜索用的计算服务器用来部署分布式消（DMQ）/WEB/APP软件的及消息服务器，用来部署用PostgreSQL关系数据库软件的应用数据库服务器用来部署作业调度服务进（J的作业调度服务器。作为数据通信用的全千兆三层交换机等等其中光纤阵列柜主要用来存储统计分析后的粗颗粒度数据存储服务器用来部署分布式文件系统和分布式数据库同存储非结构化和结构（台标图片电商图片等等和结构化数（行为数据，索引数据g数据清理后的细颗粒度数据等等计算服务器主要用来完成数务器和计算服务器合二为一所以该服务器同时具有计算和存储数据的功能前云数据采集中心需要面对多种宽带用户（电信、移动、联通，所以，数据中心的对外的网络需要直连上电信移动联通三家公司的网络保证以上三家公司间的通信性能高速和可靠。软件平台层是云数据采集中心的核心支撑层，也是我们这次方案设计和实施的主体部分，在核心技术章节会对“分布式文件系统（S2DFS）”、“分布式数据库（D2B）”、“分布式消息服务（DMQ）”“作业调度服务进程（JSS）、数据计算服务进程（DCS）”主要部分加以详细的描述。软件平台层的所有服务器都统一部署的64位操作系统CentOS6.5（也可以选择RHEL6.5x64）；其核心软件或者进程有：分布式文件系统（S2DFS）、分布式数据库（D2B）、作业调度服务进程（JSS）、数据计算服务进程（DCS）、作业生成服务进程（JGS）、消息处理服务进程（MPS）、流数据处理进程（SDS）等等。WEB及应用服务器软件Apache&Tomcat，消息队列软件分布式消息（DMQ）。还要实现整个云数据采集中心的资源管理及监控管理系统。软件应用层是云数据采集中心的功能实现及UI表达层，功能实现需要基于软件平台层的支撑后期设计和实施的主体该层的主要功能应用有数据采集。HTTP本图片数据以及用户行为数据存储在云数据采集中心里以供后期分析计算用。云数据采集中心整体架构图云数据采集中心网络结构图2.3.1分布式文件存储技术传统存储技术面临的问题： 构建成本高：大容量及高网络带宽的高端存储系统架构昂贵。 文件系统功能和性能差强人意：难以实现全局命名空间的文件共享、文件系统难以扩展，容易形成瓶颈。 扩展性困难：技术存在瓶颈（cae-up架构决定的、扩展成本无法控制。 应用目标差异：主要面临运营商、金融行业的OLTP应用、很少针对海量的流数据，或者非结构化数据进行设计和优化。 异构设备繁杂：不同时期、不同公司、不同操作系统的异构设备纷繁复杂，无法整合，资源利用率极低。分布式文件系统主要为解决以上问题而出现的一种新型大规模数据存储技术架构主要为非结构化数（视频/文件/文档图像/音频等非结构化数据提供海量的存储平台，以集群的方式提供线性横向扩展能力。分布式文件系统是一种构建于通用x6部件之上的高可用高可靠高可扩展的新型分布式文件系统应用分布式文件系统用户可以采用廉价可靠的通用硬盘以及以太网络来构建媲美企业级存储产品的存储系统。分布式文件系统应对的数据特性和访问特性： 数据量巨大，数百TB或PB级，增长迅速； 类型多样化，包括图像、文本、语音、视频等文件数据； 按时间有序生成，数据均带有时间标志；前端数据写入速度很高，每秒钟写入数据可达几万甚至几十万条记录或者上GB量数据；更新操作极少：追加方式写入，一旦写入，几乎没有数据修改，查询涉及大量的磁盘读操作，查询处理产生大量的临时结果，不同类型的数据存在联合分析查询；分布式文件系统的基本原理是采用集群方式来整合物理上独立的多个存储资源以软件方式提供单一的名字空间采用多副本的方式保证数据的高可用性，任意单一节点失效均不会导致数据丢失和数据服务的正常运行同时分布式文件系统通过良好设计的系统结构和数据分布策略可保证系统性能的高可扩展性，并支持存储容量/性能的在线扩展。相比较于D（直连存储、N（存储区域网络）和N（网络存储，应用分布式文件系统构建的网络存储系统更像是一个N提供类似于传统NS的文件级访问接口（N和DS都是块设备级别的访问接口。分布式文件系统与传统设备的比较：比较项高端分布式文件系统性能一般双端口，性能受机头影响，难以扩展，出口带宽是瓶颈一般双端口，性能受机头影响难以扩展，较好性能随节点数的增加成线性增长扩展能力性能及容量无法扩展，或者有限扩展能较好扩展，但成本高昂性能及容量按需扩展，动态均衡可用性方式保护，双机保护停机Debi时D方式保护双机保护，停机基于灵活的多副本机制，自动检测自动故障恢复，无需停机数据管理企业级功能需要单独购买企业级功能需要单独购买（还需要单独的文件系统100多万一套）内嵌多种企业级应用：快照、镜像、回收站成本专有的硬件平台，软件拥有成本高，扩展成本高专有的硬件平台，软件拥有成本高，扩展成本高开发通用的硬件平台，一体化的软件，成本低，扩展成本低可维护性专门的技术支持服务，需要培训结构异常复杂，需要大量培训，厂商服务昂贵内嵌多种自动化的故障检测和恢复功能国内开发，技术支持快速用户使用分布式文件系统如同使用本地文件系统。所不同的是，传统NAS通常以单一节点的方式实现容量和性能的扩展能力有限易于成为性能瓶颈和单一故障点而分布式文件系统则有多个节点集合地提供服务由于其结构特征，分布式文件系统的性能和容量均可在线线性扩展并且系统内不存在单一故障点。对比参看下面两幅示意图：传统存储架构图分布式文件系统架构图分布式文件系统的设计应用特别适合海量非结构化数据存储大量客户端并发的密集型应用。目前，分布式文件系统已经被应用于政府、医疗影像、勘查数据计算、视频服务以及动画制作等领域。这些领域的数据访问特征均为：的实际生产环境使用，分布式文件系统已被证明是该类型应用的有效解决方案。布式文件系统的服务器端程序运行于Luxx4系统之上支持多种Lux位发行版，包括Redhat、CentOS等。分布式文件系统客户端则支持Linux和和NFS接口，可以兼容大多数应用。分布式文件系统的核心技术及特征：扩展性和高性能：分布式文件系统利用双重特性来提供几TB至数PB的高扩展存储解决方案cae-Out架构允许通过简单地增加资源来提高存储容量和性能，磁盘、计算和资源都可以独立增加，支持和等高速网络互联。分布式文件系统弹性哈Hash）解除了分布式文件系统对元数据服务器的需求，消除了单点故障和性能瓶颈，真正实现了并行化数据访问。高可用性：分布式文件系统可以对文件进行自动复制，如镜像或多次复制，从而确保数据总是可以访问，甚至是在硬件故障的情况下也能正常访问。自我修复功能能够把数据恢复到正确的状态，而且修复是以增量的方式在后台执行，几乎不会产生性能负载。分布式文件系统没有设计自己的私有数据文件格式，而是采用操作系统中主流标准的磁盘文件系统（如数据可以使用各种标准工具进行复制和访问。全局统一命名空间：全局统一命名空间将磁盘和内存资源聚集成一个单一的虚拟存储池，对上层用户和应用屏蔽了底层的物理硬件。存储资源可以根据需要在虚拟存储池中进行弹性扩展，比如扩容或收缩。当存储虚拟机映像时，存储的虚拟映像文件没有数量限制，成千虚拟机均通过单一挂载点进行数据共享。虚拟机可在命名环境中经常发生的访问热点和性能瓶颈问题。弹性哈希算法：分布式文件系统采用弹性哈希算法在存储池中定位数据，而不是采用集中式或分布式元数据服务器索引。在其他的存储系统中，元数据服务器通常会导致性能瓶颈和单点故障问题。分布式文件系统中，所有在存储配置中的存储系统都可以智能地定位任意数据分片，不需要查看索引或者向其他服务器查询。这种设计机制完全并行化了数据访问，实现了真正的线性性能扩展。 弹性卷管理：数据储存在逻辑卷中，逻辑卷可以从虚拟化的物理存，不会导致应用中断。逻辑卷可以在所有配置服务器中增长和缩减，可以在不同服务器迁移进行容量均衡，或者增加和移除系统，这些操作都可在线进行。文件系统配置更改也可以实时在线进行并应用，从而可以适应工作负载条件变化或在线性能调优。完全软件实现（ftwareOy：分布式文件系统认为存储是软件问题，不能够把用户局限于使用特定的供应商或硬件配置来解决。分布式文件系统采用开放式设计，广泛支持工业标准的存储、网络和计算机设备，而非与定制化的专用硬件设备捆绑。对于商业客户，分布式文件系统可以以虚拟装置的形式交付，也可以与虚拟机容器打包，或者是公有云中部署的映像。开源社区中，分布式文件系统被大量部署在基于廉价闲置硬件的各种操作系统上，构成集中统一的虚拟存储资源池。简而言之，分布式文件系统是开放的全软件实现，完全独立于硬件和操作系统。布式文件系统不仅提供了一个分布式文件系统，而且还提供了许多RAID和自我修复等。分布式文件系统汲取了微内核架构的经验教训，借鉴了GNU/Hurd操作系统的设计思想，在用户空间实现了完整的存储操作系统栈。用户空间实（Userace与传统的文件系统不同分布式文件系统在用户空间实现，这使得其安装和升级特别简便。模块化堆栈式架（Mduartacaberchtecture分布式文件系统采用模块化、堆栈式的架构，可通过灵活的配置支持高度定制化的应用环境，比如大文件存储、海量小文件存储、分布式文件系统、多传输协议应用等。每个功能以模块形式实现，然后以积木方式进行简单的组合，即可实现复杂的功能。比如，Replicate模块可实现模块可实现和原始数据格式存（DatatrednNateFrmats分布式文件系统多种数据自动修复机制。因此，系统极具弹性，即使离线情形下文件也可以通过其他标准工具进行访问。如果用户需要从分布式文件系统中迁移数据，不需要作任何修改仍然可以完全使用这些数据。无元数据服务设计（NoMetadatawthteEastcashgrtm：对存储系统而言，最大的挑战之一就是记录数据逻辑与物理位置的映像关系，即数据元数据，可能还包括诸如属性和访问权限等信息。传统分布式存储系统使用集中式或分布式元数据服务来维护元数据，集中式元数据服务会导致单点故障和性能瓶颈问题，而分布式元数据服务存在性能负载和元数据同步一致性问题。特别是对于海量小文件的应用，元数据问题是个非常大的挑战。分布式文件系统独特地采用无元数据服务的设计，取而代之使用算法来定位，服务器都可以智能地对文件数据分片进行定位，仅仅根据文件名和路径并运用算法即可，而不需要查询索引或者其他服务器。这使得数据访问完全并行化，从而实现真正的线性性能扩展。无元数据服务器极大提高了分布式文件系统的性能、可靠性和稳定性。 基于标准协议分布式文件系统存储服务支持NF,F,TTP,FTP以及分布式文件系统原生协议，完全与标准兼容。分布式文件系统技术及性能指标： 支持设备数量：最大百万台以上 支持存储容量：最大以上 客户端的数量：最大支持上亿并发网络支持以太网GsGs/NFNBNDGsGs 文件副本数量：任意(缺省1份)协议：标准 支持文件数量：最大上亿个文件 与HDFS的比较对比项架构类型带元数据库中心架构全分布式去中心架构存在方式分布式文件系统软件，基于x86平台使用方式标准协议（应用代码与平台无关性便于移植和维护）系统可用性低高数据可用性复制类数据定位方式Hash同步方式异步同步负载均衡自动自动支持网络千兆以太网网约约读（1*20GB）（万兆）约125s约25s写（1*20GB）（万兆）约200s约20s差距不大2.3.2分布式并行计算技术概述并行计算技术真正将传统运算转化为并行运算从而更加充分的利用广泛部署的普通计算资源实现大规模的运算和应用的目的在此基础上为第三方开发者提供通用平台，为客户提供并行服务。这里主要为门户网站提供作业调度平台，实现日志分析，性能优化，全文检索，视频处理，用为分析等等的支撑平台。用户通过统一计算平台把任务分派给系统内的多个节点调度节点资源执行任务发挥多核并行处理优势提升运算效率充分运用网络内的计算资源达到解决大规模计算问题的目的。分布式并行计算架构图分布式并行计算架构图作业调度及计算过程分布式并行计算技术特点 池化资源管理利用池化技术，任何一台联在互联网上的普通PC机从硬件到软件，可通过池化技术加入服务器池中，等待任务分配,系统能充分利用现有服务器资源，将所有运算子任务分配给节点服务器，有效避免计算资源闲置现象的发生。 无中心系统架构在平台管理下的单节点能力一致，使节点在部署上和使用上具备无差别性，任一节点功能可由其他节点替代或强化，可以最大程度确保平台资源使用的灵活性以及在灾备环境下的可靠性系统架构。 通道式工作机制平台为用户提供一个并行任务处理通道，处理过程对用户来说完全透明，由平台自动进行负载均衡、资源匹配、任务传输等，使用户专注于自身任务管理，将执行过程交由平台完成。2.3.3D2B是一个具有高性能的高性能，可扩展，无模式，面向文档(dcumet-reted)的数据库其内存储的是一种JON-e结构化数据的分布式数据库软件尤其具有高扩展性和高可靠性支持大表水平折分以及分区镜像。提供内存缓存数据，所以数据存取速度非常快，主要是由于它处理写入的方式：它们存储在内存中，然后通过后台线程写入磁盘。的bjson比较复杂的数据类型DB另外的最大的特点是他支持的查询语言非常强大其语法有点类似于面向对象的查询语言几乎可以实现类似关系数据库单表查询的用，存储数据非常方便。主要功能特性： 面向集合存储，易存储对象类型的数据“面向集合（oecto-Oreted意思是数据被分组存储在数据集中被称为一个集（ecti)每个集合在数据库中都有一个唯一（RDBM里的（tae不同的是它不需要定义任何模（scema)。 模式自由模式自（scema-free)意味着对于存储在DB数据库中的文件我们的文件存储在同一个数据库里。 自动分片以支持云级别的伸缩性：自动分片功能支持水平的数据库集群，可动态添加额外的机器。 支持动态查询 支持完全索引，包含内部对象。 自动处理碎片，以支持云计算层次的扩展性。 可通过网络访问可用于OSX、Linux®和的官方二进制版本。可用于C、C#、C++、Haskell、Java™、JavaScript、Perl、PHP、Python、Ruby和Scala的官方驱动程序，以及广泛可用于其他语言的社区支持的驱动程序。Ad-hocJavaScript查询让您能够使用基于任何文档属性的任何条件来查找数据。这些查询对应于SQL查询的功能，使SQL开发人员能够很直观地编写D2B查询。 支持查询中的正则表达式。 D2B查询结果存储在提供过滤、聚合和排序等一系列功能的游标中，包括limit()、skip()、sort()、count()、distinct()和group()等等高级特性。高级聚合的map/reduce实现。 类似于RDBMS的属性索引支持，可以直接在文档的选定属性上创建索引。 使用提示、解释计划和分析的查询优化特性。 类似于的主/从复制，支持复制和故障恢复。 基于集合的对象存储，在需要规范化数据时允许参考查询。 通过自动分片功能水平扩展。 高性能无争用并发机制的即时更新。D2B服务端可运行在或OSX平台，支持位应用。推荐运行在位平台，因为在位模式运行时支持的最大文件尺寸为2GB。分布式数据库（D2B）集群示例图D2B与关系型数据库的逻辑结构对比:D2B关系型数据库数据库(database)数据库(database)文档(document)D2B的性能指标：10亿约600GB以上（与每条记录大小有关系，这里的数据：1Kb/条）写（1亿,无索引）约15000-20000写（1亿,有索引）约10000写（1亿：Replica+Sharding模式）约6000-8000读（1亿）约读（1亿）8000-10000统计一个值（10亿）<3s（复杂查询）最大节点数量>1024（理论上）Xeon2路16核心,256GB内存，15k12的架构模式：Replica+Sharding。2.3.4负载均衡1)开源负载均衡软件比较Server）可以实提供虚拟服务器软件S基于内容请求分发的内核yer-交换机We服务软件及反向代理软件于HTTP（第七层）应用代理服务器在国内大型的互联网公司都有使用。HAProxy是一款提供高可用性的七层应用的代理软件在国内大型的互联网公司都有使用。抗负载能力强是工作在网络4层之上仅作分发之用没有流量的产生这个特点也决定了它在负载均衡软件里的性能最强的；也是一个优点因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率；能不会收到大流量的影响；能做动静分离；工作在网络的层之上可以针如针对域名目录结构它的正则N对网络的依赖非常小理能；单；可以承担高的负载压力且稳定，一般能支撑超过几万次的并发量；N可以通过端口检测到服务器内部的故障，不支持url来检测；存器；能够补充N的一些缺点比如作；功能；是一款负载均衡软件单纯从效率出色，在并发处理上也是优于较简单；可以承担高的负载压力且稳定，一般能支撑超过几万次的并发量；建议用载均衡使用。究竟选择Nginx还是HAProxy要看团队对这两种软件的熟悉程度，越熟悉，就能容易掌控，减少风险，我们团队对Nginx非常熟悉，所以，这里我们推荐用Nginx作为软件的反向代理工具。2.3.5数据采集概述数据采集功能主要完成海量数采集上传。数据采集的来源有：、企业网站、百度、谷歌等。根据特定的数据源，不同应用，不同类型的数据进行收集，并提供统一的数据采集方式，方便后台数据集成、数据存储。数据采集结构图：数据采集主要是由采集服务器，通过HTTP协议和技术把数据上传并缓存在EB及消息服务器上EB及消息服务器可以缓存一周的数据上传式并最终入库存储台标等非结构化数据存储在分布式文件系（DF中，或者行为等结构化数据存储在分布式数据库（MongonDB）中。参见如下数据采集/存储流程图：DMQ是一个分布式的消息服务平台，提供的功能包括：配置维护、名字服务分布式同步组服务等能提供一种高性能可靠的可扩展的分布式的、可配置关键特性，DMQ的核心技术特点：大容量堆内存和高可用性：假设你有台服务器,并且每个节点有2GB某台服务器崩溃了,网格只需要简单地创建一份丢失数据的新副本，并将它们放到另一台服务器上应用也无需再借助于一个巨大的独立数据库来获取数据以追求最大性能的-这是80%以上的企业应用中的瓶颈所在! 扩展性：由于数据是均匀分布的，所以除了考虑到网络上的组通讯，根本就没有必要来限制网格的大小网络上的组通讯只要能够发现一个新的节点即可.所有的数据获取方式都是通过点对点通信，即节点之间直接进行通信非常容易控制。DMQ的增加或者减少不需要关闭整个服务。简单的添加删除集群中的机器不会引发任何服务中断。 数据分布DMQ使用一致性哈希算法来决定集群中键值的存储位置。一致性哈希算法成本低速度快并且最重要的是不需要额外的元数据或者网络通信就能确定键值的位置。数据分布的目的是为了在集群环境下保持足够的状态副本以使其具备可持续性和容错性但是又不会有过多的副本而阻碍DMQ的可扩展性。 原子性一个Udate操作不是成功就是失败不会有第三种状态出现。顺序性：在一个DMQ服务器上的消息a在消息b之前发布，那么在所有的DMQ服务器上的消息a都会在消息b之前被发布，DMQ会保持一致顺序。 实时性对于每个etDMQ集群中的所有服务器都会保持实时更新制度，使得所有的服务视图都会是最新的。 无论连接到集群中的哪一个DMQ集群节点服务，都是得到同样的镜像视图。 可靠性：数据在内存中缓存了2成数据的丢失。分布式消息管理架构图：MPSMPS2MPS4MPS6MPS8MPS10统一的数据视图心跳/同步Server1【备】（数据）Server2【主】（数据）Server3【备】（数据）Server4【备】（数据）数据网（电信、移动、联通）智能终端智能终端智能终端智能终端智能终端智能终端智能终端智能终端DMQ有以下几种关键较色，每类较色的职责如下表格描述？角色名称职责就是DMQ集群的老大，它不接受Client的请求，是管理其他DMQ服务的，只负责进行投票的发起和决议，最终更新状态.追随者(Follower)发起的投票，向下是面向客户端的交互，用于接收客户端的请求和反馈客户端的结果。参与领导者（Leader）发起的投票。观察者(Observer)观察者可以接收客户端连接，将写请求转发给领导者（Leader）节点。但是Observer不参加投票过程，只是同步领导者（Leader）的状态。Observer为系统扩展提供了一种方法。DMQ的核心是原子广播这个机制保证了各个erer之间的同步有两种模式，它们分别是恢复模式和广播模式。恢复模式：一般是在服务刚启动或者在领导者（Leader）崩溃后，开始进入恢复模式此时先就会开始选举领导（Leader当领导（Leader被选举出后，恢复模式就结束了。进行了状态同步以后，他就可以开始广播消息了，即进入广播状态。分布式消息数据架构图：上图的M（Messagesaager消息数据管理者通过嵌入式sql内核完成上百万并发量的缓存数据来提供异步发布和订阅。应用程序通过JDBC/REST/Memcached等符合业界标准接口完成集群中的消息缓存数据的操作，集群成员之间也通过该接口完成成员之间的数据同步，状探测步。典型分布式消息平台比较：由于常见的RabbitMQ、ActiveMQ和ZeroMQ消息中间件不具备分布式功能，所以不在比较之列。数据采集中心面对的是高并发海量数据上传，所以分布式消息平台必须在‘数据接收数据缓存数据发布’整个过程保证数据的高性能吞吐、高可靠性、高扩展性、可维护性等属性。

3大数据计算平台需求概述根据应用，这个项目数据量30T，企业数据量非常大，需要大量并发，网络爬虫爬取的企业数据信息存储在数据中心此数据量跟企业记录相关。同时需要对清洗后的记录和计算好的推荐结果进行存储但是这些数据不放在数据中心此项目之后会做成实时计算需要用到流式计算的相关计算和调度。计算量很大，可以多部署DCS进程，提高计算并发度，作业调度也要采用分部署调度架构。总体设计云数据采集中心与大数据计算平台的关系是云数据采集中心提供存储和计算资源通过PI的方式访问资源大数据计算平台主要实现核心算法包括图像匹配算法，挖掘算法，智能推荐算法，知识学习算法等等，也能够通过API的方式建立统计应用智能推荐应用等等大数据计算平台的需要的数据包括网上实时爬取得二次计算分析而获取的等等都通过通用接口存储在云数据采集中心的分布式存储平台（分布式文件系统（DF、分布式数据库（DB计算时候，通过接口发起作业，由云数据采集中心的作业调度服务进（J负责调度由数据计算服务进（D）负责计算处理并把结果反馈给大数据计算平台的各个应用根据2小节对DFS分布式文件系统的详细介绍本章节就不重复叙述，由于要增加新的存储设备，对于新设备上安装分布式文件系统是否继续选用还是HDFS，我们需要回答以下几个问题：第一，预算增加及扩展问题要部署DF还得单独购买两台高性能设备作为DFS的元数据库服务（注两台设备构成主备配置不能比我们现在选择的设备配置差，不然就会成为瓶颈，如果差了，数据节点就扩展不了几台第二，学习成本及进度问题：要使用HDFS，必须熟悉它的带来的整个DFS集群部署维护等工作这个与可利用的团队资源相提供标准的协议接口，应用程序代码不需作任么统一接口的底层必须要写两种代码第一是对面DF第二是面对HDFS。新增加了开发、维护、测试的时间。第三，空间浪费及孤岛问题：S2DFS与HDFS是两套不同体系的文件系统，他们之间设备及存储空间是不能共用的后面增加的6台，设备存储与前面部署的0台设备通过对原始数据处理压缩后，存储空间还有多余。二者构成了孤岛，同时造成空间浪费。第四，应用场景问题DFS对存储网页等文件比较友好毕竟它的基因就。数据模型设计数据模型主要主企业数据模型与投资商数据模型两个部分。3.3.1企业数据模型字段名备注name公司名称econ_kind企业类型regist_capi注册资本scope经营范围term_start营业开始日期term_end营业结束日期belong_org所属工商局oper_name法人start_date成立日期status在业employees.job_title主要人员职位employees.sex主要人员性别主要人员姓名分支机构名称changerecords.change_item变更项目changerecords.change_date变更日期changerecords.before_content变更前内容changerecords.after_content变更后内容partners.stock_name股东姓名partners.stock_type股东类型partners.identify_type证照/证件类型partners.identify_no证照/证件号码partners.should_capi_items.shoud_capi认缴出资额partners.should_capi_items.invest_type出资方式partners.should_capi_items.should_capi_date出资时间partners.real_capi_items.real_capi实缴出资额partners.real_capi_items.invest_type出资方式partners.real_capi_items.real_capi_date实缴时间3.3.2投资商数据模型字段名备注name投资商名称econ_kind企业类型regist_capi注册资本scope经营范围term_start营业开始日期term_end营业结束日期belong_org所属工商局oper_name法人start_date成立日期status在业employees.job_title主要人员职位employees.sex主要人员性别主要人员姓名分支机构名称changerecords.change_item变更项目changerecords.change_date变更日期changerecords.before_content变更前内容changerecords.after_content变更后内容partners.stock_name股东姓名partners.stock_type股东类型partners.identify_type证照/证件类型partners.identify_no证照/证件号码partners.should_capi_items.shoud_capi认缴出资额partners.should_capi_items.invest_type出资方式partners.should_capi_items.should_capi_date出资时间partners.real_capi_items.real_capi实缴出资额partners.real_capi_items.invest_type出资方式partners.real_capi_items.real_capi_date实缴时间Investment_industry投资行业investment投资金额

4数据运营4.1数据挖掘分析行业数据挖掘分析普遍采用CRISP-DM方法论。CRISP-DM将一个数据挖掘项目的生命周期定义为六个阶段：业务理解（也称为商业理解）、数据理解、数据准备、建立模型、模型评估、模型发布。1.业务理解：从业务的角度理解项目目标和需求，然后将这种需求转换成一种数据挖掘的问题定义，并设计出达到目标的一个初步计划。2.数据理解：收集初始数据，识别数据的质量问题，找到对数据的基本观察、或假设隐含的信息来监测出感兴趣的数据子集。3.数据准备：对可用的原始数据进行一系列的组织以及清洗,使之达到建模需求。4.建立模型：选择各种建模技术，并将其参数校正到优化值。常常要退回到数据准备阶段。5.模型评估：对建立的模型进行评估，重点具体考虑得出的结果是否符合第一步的商业目的。6.模型发布：将发现的结果进行总结与应用。4.2数据分析处理的主要工作首先，是数据仓库或数据集市的建立，对数据进行预处理。数据分析处理以企业经营管理需求为基础，根据不同分析主题，从企业许多来自不同的运作系统的数据中提取出有用的数据，以保证数据的正确性，然后经过抽取、转换和装载，即ETL过程，合并到一个企业级的数据仓库里，得到企业数据的一个全局视图。其次，是联机分析处理和数据挖掘，进而将数据转化为信息和知识。联机分析处理是在数据仓库的基础上，对商业问题进行建模和数据进行多维分析。而数据挖掘通过分析每个数据，从大量数据中寻找其规律的技术。即使用诸如神经网络、规则归纳等技术，用来发现数据间的联系，做出基于数据的推断。通过联机分析处理和数据挖掘，决策人员和高层管理能从多维角度准确掌控企业的经营状况和了解不同数据之间的相关关系，以便制定正确的决策。最后，是知识结论的可视化展示，实现知识向智慧转变。通过借助信息化系统，以简单、丰富和直观的形式，将查询报表、统计分析、多维联机分析和数据发掘的结论展现企业管理者和决策者的面前。而随着管理者对知识的不断积累和更新，会进一步将知识转化为企业管理者的智慧。最终成果为：根据招商大数据平台数据运营规范相关要求至少进行三个月的数据运营服务，并提供数据运营报告。验证数据运营规范的流程、优化数据模板，并形成特定的数据运营操作指南。4.3数据分析团队组织和管理 数据分析团队负责开展数据采集、数据处理、数据管理和数据综合分析等工作。分析专家做的是预测建模、数据挖掘以及其他一些高级分析工作，而不是像定制报表和电子表格这样程序化的工作。他们解决问题的环境，使用的方法，甚至需要参加的各类培训都有很大的不同。因此在数据分析团队建设和组织管理上有其非常特殊的要求。1、数据分析团队建设（一）合理组建数据分析团队。整合客服中心人才资源，组建数据分析团队，负责开展数据采集、数据处理、数据管理和数据综合分析等工作。（二）强调共同价值体现。数据分析团队成员在目标、达到这些目标的路径和所需的合作上要努力达成一致，这样可以增强团队的认同感。强调数据分析团队的整体利益，确定共同的目标，鼓励分析团队共享信息和思想，互相帮助实现共同目标。（三）引入过程分析会议。过程分析会议是数据分析团队内部充分讨论的平台，通过过程分析会议，增强彼此的沟通，要求每个数据分析人员都提出实现共同目标的方法、思路。（四）鼓励和促进团队内部相互交流。提供数据分析团队的定期交流机会，鼓励每个数据分析人员在完成某个大数据挖掘分析课题后，进行充分的交流与总结，增强数据分析团队能力与水平，提炼数据分析经验。（五）公开数据挖掘分析成果形成激励。及时将数据分析分析团队的应用情况向办内发布，使数据分析分析团队成员增强使感。2、团队组织建设（一）为分析团队树立榜样。要让数据分析团队发挥作用，首先是要在团队中突出一个或多个优秀的团队成员，成为数据分析团队成员的表率，将优良的工作作风带入团队中，影响团队中的每一位成员。（二）传授经验培养团队精英。要在数据分析团队中做好培训、培养工作，把数据分析思路的形成方法传授给团队成员，团队组织要培养团队精英，发挥团队精英的作用，成为团队的主力。（三）灵活授权。随着数据分析团队的逐渐形成与发展，团队组织要通过合理授权让团队成员分担责任，使团队成员更多的参与团队工作中，允许团队成员灵活的开展工作，给予团队成员信任，让他们更积极的为开展挖掘数据价值服务，也给予团队成员学习与成长空间，实现团队成员自我价值的体现。（四）发挥团队凝聚力。数据分析团队的凝聚力是团队精神的体现，高凝聚力会带来高绩效。团队组织要让团队成员形成共同目标，并且增强团队的融合度，形成高昂的团队士气，提高团队绩效。（五）形成有效的团队指挥。数据分析团队的成员在工作不可避免的会出现各种无法应付的问题，团队组织的管理者，最重要的职责就是做好指挥工作，要和团队成员形成良好的沟通，及时了解团队成员面临的问题，团队管理者通过个人的工作经验、阅历，以及与相关部门或上级的沟通给出良好的解决方案，处理好团队工作问题。

5安全设计云数据采集中心的安全分为两大部分一个是应用数据的安全一个是平台运行的安全。如果租用成熟的DC机房那么机房本身的安全就可以不管防火安防，门禁等统统可以忽略，外接的路由器和防火墙也可以不采购。平台安全平台本身的运行安全我们采用分布式集群技术完成每个业务处理群都是以集群方式存在，保证冗余度，每个集群中服务进程都是主/主、主/备方式运行，承载设备都保证在2台以上。按照此设计思路，方案划分了存储/计算服务器集群（共8台设备、EB/消息服务器集群（共4台设备、应用数据服务器集群（共两台设备负载均衡服务器集（共2台设备专门的数据备份服务器设备。数据安全应用数据的安全采用实时或者定时备份方式完成备份设备可以在一定时期内把数据备份到专门的数据备份服务器上试实际情况而定也可以采用己构建平台，把数据同步到绵阳或者其他地方的数据中心中同样以分布式文件系统先期方案我们建议把数据备份到数据备份服务器上，存储在分布式文件系统（S2DFS）由于数据量大，容量大，不建议再做备份，因为分布式文件系统（S2DFS）可以建立RAID1架构模式。我们会把分布式数据库（D2B）除了架构构建为Master-Slave、ReplicaSets模式外，另外通过BackUp/Restore工具完成数据备份及恢复，第一次完成冷备份，后面我们就可以通过增量备份方式完成。参考下面的备份及恢复架构：备份策略一个好的备份恢复系统除了配备有好的软硬件之外更需要有良好的备份策略进行保证对于备份系统必须根据各种应用和业务的处理类型来分别制定具体的备份策略。对于备份系统备份策略的规划，建议按照以下流程进行：备份任务指定专用的介质集；划定可以进行数据备份的时段。份方式时要在业务系统性能需求许可的情况下最大程度的降低数据恢复时的复杂程度。建议：对于数据量较大的系统为降低数据备份对业务系统运行的影响减少对备份介质的需求，可采用全备份＋增量备份的方式进行，建议每周进行一次全备，一周内其他时间每天进行一次增量备份；对于数据量较小的备份任务或较为关键的业务则建议每天进行一次全备份，以降低恢复时的复杂程度；在每次业务数据做大调整后应立即做一次全备份；对于相关业务系统的数据为保证数据一致性尽量安排在同一天进行备份；首先保证关键业务的数据备份；尽量使备份数量在一周内的每天平均分布，可以采用大小数据量相搭配，或关键业务与非关键业务相搭配等方式进行；置应以保证每一次全备份完成以前，都有可用介质供数据恢复使用为准。下表给出了一个备份策略定制的示例：星期一星期二星期三星期四星期五星期六星期日备份任务组一FIIIIII备份任务组二IFIIIII备份任务组三IIFIIII备份任务组四IIIFIII备份任务组五IIIIFII备份任务组六IIIIIFI备份任务组七IIIIIIF……体策略根据用户的要求来定。

6风险分析序号风险内容严重程度应对办法1.能否在公司规定的较短时间内完成公司这次要求建设的内容aaS平台建设包括软件硬件平台的构建？高采用成熟的经过验证的方案，包括在生产环境中已经验证的核心软件平台。2.负责该项目的设计和实施的团队是否能够很快的掌握涉及到的核心技术（分布式文件系统、分布式数据库、作业调度及并行计算等等）？高与熟悉这些核心技术的团队合作，保证在公司规定的期限内完成该项目。

7部署方案1. 软件配置表序号名称配置描述部署硬件服务器数量用途分布式文件系统存储及计算服务器用来存储非结构化和结构化数据，文档等富媒体文件JSS作业调度服务进程存储及计算服务器2作（任务的调度程序是计算任务的发起者和调度者数据计算服务进程存储及计算服务器作业（任务）的具体负责计算的程序，接受JSS的分配任务，处理任务，比如：图片特征批评，视频的分析等等JGS作业自动生成进程存储及计算服务器2作（任务的自动生成主要用来生成固定规则的任务比如台标数据清理任务自动清理服务进程存储及计算服务器2自动定时清除没有利用价值的历史数据垃圾数据消息处理服务进程WEB及消息服务器6获取分布式消息队列中的数据并对获取的数据进行既定规则的业务处理最后把数据存储在或者中SDS实时流数据处理服务进程WEB及消息服务器6能够实时持续的完成流式数据的计算处理具有实时性，低延迟特点与批计算相对应分布式数据库（开源）分布式数据库服务器分布式noSQL数据库完成海量结构化数据的存储，具有容量大分布式易扩展性能好的特点8实施计划序号工作内容完成时间1.实施启动2017－7－25前2.部署并联调硬件（安装操作系统）及局域网网络，包括外接三线光纤网络2017－8－10前3.部署并联调9.3x64forLinuxApache&Tomcat7.02017－9－15前4.部署并联调分布式文件系统（S2DFS）、部署分布2017－9－30前5.企业数据采集服务、投资商数据采集服务、采集任务管理、云数据存储、云中心监控功能开发2017-10-31前6.企业数据采购、投资商数据采购2017-10-31前7.试运行完成，项目验收2017-12-31前

9技术规格偏离表名称序号磋商文件技术规范、要求响应文件中对应条款内容偏离技术支持资料索引xx大数据中心数据运营规范制定4.1结合xxx的业务需要，根据招商大数据平台建设内容及招商业务的应用目标，参照业界大数据平台数据运营成功案例，制定招商大数据平台数据运营规范及相关管理规定，并详细提供规范所涉及业务表单、报告模板等资料。4.数据运营无偏离相关元数据标准制定及数据的采集、整理与存储4.2根据招商局大数据平台数据分析的需要，制定相关数据的元数据标准，并完成与当前大数据平台的对接。根据所定义的元数据标准，完成数据源的定义与数据的采集，并整理形成标准数据。同时，结合招商大数据平台的数据分析特点，提出数据存储方案并实施。供应商需要对所采集数据的数据源进行可信度验证。数据采集范围包括但不限于世界500强、全国500强、行业20强企业相关数据。要求总数据容量至少达到30个T。其数据采集与存储必须满足海量数据处理的要求，其架构需要能够根据数据规模的增大而快速扩展。并根据数据采集、整理与存储管理的特点，提取形成数据运营要点。2.云数据采集中心3.大数据计算平台无偏离招商业务数据分析模型4.3根据招商业务的需要，设计招商数据分析模型，并完成系统实现。该模型需要在招商大数据平台的数据集上进行测试与验证。3.3.1企业数据模型3.3.2投资商数据模型无偏离数据运营4.4根据招商大数据平台数据运营规范相关要求至少进行三个月的数据运营服务，并提供数据运营报告。验证数据运营规范的流程、优化数据模板，并形成特定的数据运营操作指南。4.2数据分析处理的主要工作无偏离项目运维要求4.5提供系统运维整体方案，包括运维服务支持计划、针对不同问题的运维管理过程及运维支持人员信息。10售后服务承诺11关于运行维护的承诺无偏离

10售后服务承诺（1）本项目应用系统从项目总体验收合格之日（从双方代表终验签字之日起计算）起，我公司提供所开发系统免费维护12个月。（2）在质量保证期内，我方提供技术服务、升级服务并负责对运行中出现软件故障进行处理，根据实际故障情况我方派员负责查找故障原因并将系统恢复到正常运行状态。在质量保证期内，我方向业主方提供7*24小时的服务响应，保证业主方可以随时找到相应的技术人员，我方在接到用户电话、传真通知后，30分钟内响应，一般问题一天内解决，重大问题三天内解决。特殊情况无法修复的，质保期内我方无条件更换新软件；或采取使系统可正常运转的措施。（3）我方将长期提供优良的技术支持，保修期间的维护服务不收取任何额外费用，保证期后，我方承诺仍根据合同要求向业主方提供技术服务，并以合理价格提供软件功能改系统维护与支持的具体内容如下：电话支持我公司提供对应用系统的运行、维护提供24小时的实时技术支持。我公司提供热线电话或Email、传真等方式随时回答用户各种技术问题并在24小时内提出解决方案。故障响应7X24小时的实时故障响应。我公司在出现系统软件及应用软件等系统故障的2小时内给予响应，12小时内恢复运行。远程技术支持当系统出现故障，经用户许可后，我公司远程登录用户系统，进行故障分析、问题定位并提供解决方案。对系统进行的任何配置、数据改动及其它可能对系统和业务造成不良影响的操作，确保经用户确认后进行。定期跟踪项目验收完毕后，我公司将定期电话、现场跟踪系统使用情况，听取意见和建议，及时分析系统存在的问题，并随时给予解决。必要时，我公司将派遣技术人员去现场解决存在的问题。系统软件升级我公司将及时向用户通报系统软件升级情况，若用户需要对系统软件升级，我公司会提供升级版本和相应的支持服务。现场服务当系统运行环境出现严重故障，或因更换服务器等原因需要重新搭建系统时，我公司将及时提供切实可行的建议，通过远程支持不能及时解决问题时，派技术支持人员赶赴现场，协助用户完成故障排除、升级或迁移操作，对系统进行完整性检查并跟踪运行。

11关于运行维护的承诺我公司承诺如若我公司为成交供应商，在项目验收合格交付采购人使用后，1、为采购人免费提供运行维护的期限为：12个月；2、免费维护期过后每年对运行维护的收费比例为系统建设经费的15%；3、免费维护期过后，继续向项目单位提供产品维护、技术支持、产品升级等服务，服务价格双方根据具体情况进行协商。

12保密措施及承诺一、相关信息和资料的定义本承诺书所称的“相关信息和技术资料”是指XXX大数据库中心数据库投资商和企业数据采集处理项目目的招投标向我公司提供的招标文件内容以及有关本项目实施过程中涉及的全部未向社会公开的信息，无论是书面的、口头的、图形的、电子的或其它任何形式的信息。二、保密义务我公司同意严格保密本次项目招投标所提供的相关信息和技术资料。我公司保证采取所有必要的方法对本次项目招投标所提供的相关信息和技术资料进行保密，严禁非授权透露、使用、复制本次项目招投标所提供的相关信息和技术资料。未经贵司书面同意，我公司不得因任何理由以任何方式透露本次项目招投标所提供的相关信息和技术资料。三、使用方式和不使用的义务本次项目招投标所提供的相关信息和技术资料只能被我公司用于进行本次参与招投标及中标后的项目实施，我公司不能将本次项目招投标所提供的相关信息和技术资料用于其它任何目的。除我公司参与招投标的人员和直接参与本次项目实施的员工外，我公司不能将本次项目招投标所提供的相关信息和技术资料透露给其它任何人；未经贵司书面同意，我公司不得将本次项目招投标所提供的相关信息和技术资料向新闻媒体予以公开披露或者发表声明。我公司应当告知参与本次招投标的员工或我公司聘请的相关人员遵守本保密协议书的约定，并应采取必要措施，确保其参与本次招投标和项目实施的员工和外聘人员履行保密义务。若参与本项工作之员工或外聘人员违反本保密协议的约定，泄露了贵司所提供的相关信息和技术资料，依据本承诺书约定，我公司应与泄密员工或外聘人员承担连带责任。四、相关信息和资料的交回当贵司以书面形式要求我公司交回本次项目招投标所提供的相关信息和技术资料时，我公司应立即交回所有书面的或其他有形的相关信息和资料以及所有描述和概括该相关信息和资料的文件。我公司在交回以上有关资料前未经贵司的允许不得采取抄写、复印、拷贝等任何方式留存相关信息和资料没有贵司的书面许可，我公司不得丢弃和处理任何书面的或其他有形的相关信息和资料。五、保密期限自本承诺书生效之日起，双方的合作交流都要符合本承诺书的约定，除非贵司通过书面通知明确说明，本承诺书所涉及的某项信息和资料可以不用保密，我公司必须按照本承诺书所承担的保密义务在所接受的信息和资料被社会公知前对所收到的相关信息和资料进行保密，保密期限不受本承诺书有效期限的限制。

13培训计划人员培训作为工程实施的一个重要环节，对整个项目的实施至关重要，通过系统的培训，使得工作人员得到日常工作需要的专业技术知识和经验，从而保障整个系统的顺利运行。项目建设最终系统将交付用户使用，项目培训是项目实施中的重要环节，通过项目培训对业主人员进行全面的技术培训，使业主单位人员达到能独立进行管理、故障处理、日常测试维护等工作，以便于我方提供的软、硬件能够正常、安全的运行。培训的总体目标：1、管理员培训。培训对象：系统管理员。培训目的：可以独立完成本单位行政执法的日常维护，解决一般问题。培训内容：系统体系结构、系统配置、系统管理、系统使用。培训方式：集中培训和个别培训。培训批次：不少于1次的集中培训，个别培训随时安排。2、使用人员培训培训对象：系统一般使用人员。培训目的：熟练掌握所涉及部分的操作。培训内容：系统使用。培训方式：集中培训和个别培训（主要针对领导）。培训批次：不少于2次的集中培训（本单位）。个别培训随时安排。1.2培训对象由于本项目是一项综合型的项目，系统使用范围广，用户层次多，不同用户层次使用的系统角色不相同，使用的内容和侧重点各不相同，因此我们在本项目中将针对不同的用户层次提供针对性的用户培训，保障培训效果，使各层次的用户都能熟练掌握系统的相关知识。普通用户层：普通用户层是应用系统的直接使用者，涉及到系统的各方面功能，是对系统功能理解最深、业务最熟悉的用户群，然而普通用户层由于覆盖的面广，各部门主要使用的功能模块不尽相同，因此针对于普通用户将按照不同的部门的侧重点进行分期培训，组织类似业务部门或单独部门进行培训，以便于各部门对各自业务系统使用的把握，以达到各用户能熟练掌握系统的使用方法。系统管理员和应用级管理员：系统管理员和应用级管理员是业主单位对系统进行管理维护的员，这一用户掌握一定的信息技术，并且针对应用系统管理员和平台维护员分别进行针对性的培训，主要侧重于系统的建设原理和规划，总体架构，常见问题的解决，系统安装配置等内容。系统的维护和管理工作需要对应用系统较熟悉，并且能处理运行过程中遇到的各类问题，因此对于软件维护人员和管理员将采用共同参与项目维护和实施的方式，从长期实践中逐渐掌握系统维护知识，提升其技术技能和对系统的认识。技术人员培训：技术人员主要是指业主单位具备一定的应用系统开发能力，主要用于系统上线后对系统的需求变动进行二次开发和修改，以及系统扩展能力的技术人员，针对这一用户群，将着重于应用系统的开发原理、开发工具、系统架构等进行培训，使其掌握系统二次开发技术，为今后系统升级改造、功能扩展储备技术力。武汉光谷创意文化科技园有限公司P（2014）104号地块二期消防工程一、工程概况龙岩市中心城区道路总长66844m，道路车、人流量大，道路两旁建筑商场密集。为满足市政布置要求约120米处设置一个消防栓，总设计565个，需新建及改造320个消防栓，消火栓安装在街道的十字路口区．在保证醒目又不影响行人、行车的位置上，同时考虑维护和日常排水泄水方便，宜设置在人行道街沿上，雨水排泄口旁，人行道树侧距路边的距离宜1m处；距建筑外墙的距离不宜小于5m，同时，为便于使用，规定了消火栓距被保护建筑物不宜超过40m。安排双龙路段先行施工，双龙路位于龙腾路与曹溪路之间，全长1305m。二、工程特点1、管线沿线地形、地貌多变，可能需破路边绿化，地下管线复杂不详。现场施工时必须与周围群众做好沟通，必须采取有力的措施，大力做好施工协调工作，精心组织施工，确保工期目标的实现。2、施工工作面较大，施工时须合理安排。3、工程施工为露天作业，受天气影响很大，会遇到许多意想不到的困难，如遇下雨天气，需做好防雨措施等。三、施工总体安排根据业主总体工期安排以及现场实际情况进行合理安排工期，计划开工日期为2014年4月10日，完工日期为2014年6月9日，总工期60天。施工队伍配置：每天16组，每组2人，其中工程师1名，现场管理人员2名，水电工6名，砼工6名，普工20名，安全员1名，共36人。主要材料机械配备

施工主要机械设备：采用闽山牌消防栓及管道，配备足够的安装、调试机具（各类材料的规格、性能、各类参数应能满足设计及施工规范的要求，并应选用优质产品）；电焊机；电钻；土建施工用具；挖机；自卸汽车等。四、完成进度工期的措施1、采用流水计划，详细制定月、旬计划，逐旬落实计划完成情况，昨早计划、早安排、早落实。做到只能超前，不能落后。2、认真制定施工方法合理调配人员，提高机组急剧的利用率。3、严抓现场管理工作程序，树立质量意识；正确理解质量和进度的关系。4、提高现场施工人员的安全、环保意识，做到“三个保持、三个完善、三个落实”。5、在施工中针对质量、计划、进度、安全等问题做到：常开会、常分析、常安排、常布局、常落实，促进施工进度。6、加强内部管理，严格遵循自检、报检、抽检程序，做到内业资料数据的真实性。五、编制依据龙岩水务提供的图纸及设计说明。《给水排水管道工程施工及验收规范》（GB50268—2008）《工程测量规范》（GB50026—93）《管道工程设计与施工手册》；《建筑给排水及采暖工程施工验收规范》（GB50242-2002）国家及福建省有关标准、规范、图集。公司项目管理文件。公司ISO9001:2000质量体系文件。六、施工组织方案1、施工前准备：开工前，由管道专业工程师组织施工技术人员做好图纸会审；组织技术人员对管道沿线的地形地貌现场勘察并做好技术资料的交接和书面交接记录。施工现场做好清理准备，清除现场障碍物，做好防护工作。2、施工安排根据工程特点和施工条件，本路段施工采取平行流水作业施工。3、施工主体方案测量放样→挖管道沟槽（根据实际情况选择是否用排水、降水措施）→基底夯实及垫层施工→管道安装（管道防腐处理）→安装阀门、消防栓→砌筑阀门井→给水管道系统自检→系统试压、渗水试压→回填土及夯实土方→管道清洗及消毒→交工验收。（一）、测量放线1、对业主提供的测量交底桩进行复核，并按照施工需要加密导线点的控制网。为确保控制网的可造性，将根据现场条件把控制点都选定在施工作业范围外的永久物体上，做到各控制点通视性良好，符合施工需要，控制点选定后经过实测和导线闭合把整个工程范围内的控制点坐标定下来。2、临时水准点和管道轴线控制桩的设置应便于观测且必须牢固，沿管道两侧布置。设置控制点时充分考虑施工对场地的需要，把控制点布置在不影响施工的地方，并用混凝土护桩，纵横轴线测设完毕后经现场监理复核认可后方可使用。开槽铺设临时水准点，每200米不应少于1个。3、临时水准点、管道轴线控制桩、高程桩应经过复核方能使用，且经常校核。4、已建管道，构筑物等与本工程衔接的平面位置和高程，开工前应校核。（二）、沟槽的开挖、支护和排水1、开挖土方开挖前，应首先查明地下水位、土质及地下现有管道、构筑物等情况，然后根据实际情况制订土方开挖、调运方案及是否需要采取沟槽降水、支撑等安全措施等。本工程开挖深度不大，根据土质、地下水位、地下及地上构筑物以及施工环境等情况进行沟槽施工。沟槽的开挖采用直槽的形式，运输土方机械利用10m3的自卸汽车。沟槽开挖前先进行测量放样，放出管道中心线，按中心线用白粉划出。开挖应分段进行。当挖至距槽底20㎝时，测量放样，采用人工挖土，修整槽底，经验槽合格后，立即进行基础施工。当沟槽底有软土或腐殖土时应全部挖除，抛石排淤，并回填。超挖部分在填实整平后其压实度不得小于90%。沟槽开挖时应注意：⑴、基坑（槽）两侧临时堆土或施加其他荷载时，不得影响临近建筑物、各种管线和其他设施的使用和安全，另外也应考虑对基坑（槽）土壁安全的影响。人工挖土时要求堆土高度不超过1.5m，距槽口边缘距离不得小于1米。并及时将挖出的土方外运出去。⑵、开挖时应注意不得掩埋消火栓、管道闸阀、雨水口、测量标志以及各种地下管道的井盖等，且不得防碍其正常使用。⑶、在有行人、车辆通过的地方开挖，应设护栏及警示灯等安全标志。⑷、当下步工序与本工序不连续施工时，槽底应预留保护土层不挖，待下部工序开工时再挖。⑸、采用坡度板控制槽底高程和坡度时，坡度板应选用有一定刚度且不易变形的材料制作，其应设置牢固，平面上呈直线的管道，坡度板间距为15米一块。呈曲线管道的坡度板间距应加密，井室位置、折点及变坡点位置应增设。⑹、槽底高程的允许偏差应控制在±20mm范围内。2、支撑沟槽是否需要设置支撑应根据沟槽的土质，地下水位，开槽断面及荷载条件等实际因素进行考虑。结合本工程管径不大、开挖沟槽比较窄的实际情况，部分需要支护段的沟槽支撑形式拟采用断续式水平挡土板横支撑的形式。3、排水施工前应根据现场的实际情况（或者试坑的涌水量数据）制订合理的排水措施。结合本工程的实际情况（附近有湿地及水塘等），如需人工降低地下水位，优先考虑采用轻型井点降水的施工方法。安置位置应靠在水塘一侧，井点安装距沟槽上口边缘0.5～1m，井点排水沟距井点4m左右，用管子将井点与排水沟连接。降水的工艺流程为：开挖排水沟→设总管→孔、下井管、灌砂、封口→装连接软管→安装抽水设备、接通电源→试抽→抽水排水时应注意：砂滤层应选用干净粗砂，填缝均匀，砂填至滤管顶上1～1.5m，上用粘土封口以防漏气降低降水效果。井点系统安装完毕后需进行试抽以检查有无漏气现象。开始抽水后严禁时抽时停，正常的抽水应是细水长流、出水澄清。进点抽水2～3天后挖验土坑开始挖沟槽，抽水至沟槽回填运载水位以上时结束。集水总管底面及水泵基座的高程应尽量降低。（三）基础垫层的施工1、管道基础均采用砂垫层，基础厚度：一般土质：100mm；较差土质：200mm。当地基承载力小于设计要求时，须对地基先进行补强处理再铺设砂砾基层。2、基础砂垫层施工。清除基底的杂物和浮土，排干沟底的积水，进行基础铺筑，即在基底铺一层砂。3、管道基础有地下水时铺垫20cm厚、颗粒尺寸5-40cm的碎石垫层，上铺厚50cm中、细砂垫层；无地水时沟槽底铺设15cm厚碎石,上铺5cm中、细砂垫层。4、管道基础支承角应依基础地质条件、地下水位、管径及埋深等条件由设计计算确定。5、管道基础应按设计要求铺设，厚度不得小于设计规定。基础各部位的压实度应符合有关规定。6、管道基础在接口部位的凹槽，宜在铺设管道时随铺随挖。凹槽长度按管径大小采用，宜为0.4～0.6m,凹槽深度宜为0.05~0.1m,凹槽宽度宜为管外径的1.1倍在接口完成后，凹槽随即用砂回填密实（四）、管道安装管道的安装1、排管前要先对槽底高程复核，复核无误后铺设砂砾，保证砂砾厚度，并在井位架设龙门杆以控制中线，龙门杆架设要牢固，不得有松动。2、管节安装前应对管材按产品标准逐支检查，不符合标准不得使用。3、管道安装采用人工安装。槽深不大时可由人工抬管入槽，槽深大于3m时，可用非金属绳索溜管入槽，依次平衡地放在砂砾基础理论管位上。严禁用金属绳索勾住两面端管口或将管材自槽边翻滚抛入槽中。4、承插口管安装，管道承口应放在检查井的进水方向，插口方向应放在检查井的出水方向，由低点向高点依次安装。5、调整管材长短时可用手锯切割，断面应垂直平整，不应有损坏。6、管节安装完毕经检验中心线、高程合格后，立即支设钢模板。模板支好后清除模板中的尘渣、异物，核实模板尺寸。7、管材采用人工安装，安装时根据控制桩严格控制管道中心和高程，以避免管内底高程超差.橡胶圈的环内径，宜为插口端外径的0.85～0.9，橡胶圈断面直径压缩率一般采用40%。清理干净承口内橡胶圈沟槽，插口端工作面及橡胶圈，不得有土或其它杂物。将橡胶圈正确安装在承口橡胶圈内，不得装反或扭曲，为了安装方便可先用水浸湿胶圈，但不得在橡胶圈上涂润滑剂安装。橡胶圈连接管材在施工中被切断时（断口平整且垂直管轴线