大数据采集处理项目建设方案引言

大数据采集处理项目建设方案引言项目背景XXX大数据中心建设出发点考虑从投资者角度涵盖招商全流程,尽可能为投资者解决项目实施过程中的困难和问题，便于招商部门准确掌握全省招商数据，达到全省招商项目数据共享，形成全省招商工作“一盘棋、一张网、一体化”格局。大数据中心将充分发挥大数据优势，加强对企业投资项目、投资轨迹分析，评估出其到XX投资的可行性，为招商过程留下痕迹、找到规律、明辨方向、提供“粮食”、提高效率，实现数据寻商、数据引商、数据助商，实现数据资源实时共享、集中管理、随时查询，实现项目可统计、可监管、可协调、可管理、可配对、可跟踪、可考核。本次数据运营服务主要是为大数据平台制定数据运营规范及管理办法，同时为“企业数据库”提供数据采集、存储与分析服务，并根据运营规范要求持续开展数据运营服务。项目目标•制定招商大数据运营规范及管理办法。•制定招商大数据相关元数据标准，完成相关数据的采集、整理与存储。•根据业务需求，研发招商大数据招商业务分析模型，并投入应用。•根据运营规范及管理办法的要求持续开展数据运营工作。建设原则基于本项目的建设要求，本项目将遵循以下建设原则：•前瞻性和高标准整个项目要按照企业对大数据应用的需要的高要求和高标准建设，参考行业标杆应用，建立满足需求，面向未来的目标，整个项目具有一定前瞻性。•经济性和实用性整个项目以现有需求为基础，充分考虑未来发展的需要来确定系统的架构，既要降低系统的初期投入，又能满足服务对象的需求，同时系统设计应充分考虑对已有投资的保护，对已建立的数据中心、基础平台、应用软件应提供完备的整合方案。•先进性和成熟性为了确保项目具有较长的生命周期，应充分考虑到管理创新、技术发展需要，按照先进的建设理念，选择先进的技术架构和成熟技术,满足业务需求。•高性能和安全性规范地进行系统建设和开发，提供合理且经济有效的应急方案，确保系统的稳定，向各类服务对象提供可靠的服务。具有安全性，在系统遭到攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。参考规范GB/T20269-2006信息安全技术一信息系统安全管理要求GB/T20984-2007信息安全技术一信息安全风险评估规范GB/T22239-2008信息安全技术一信息系统安全等级保护基木要求• GB/T22240-2008信息安全技术一信息系统安全等级保护定级指南GA/T388-2002B计算机信息系统安全等级保护管理要求GB/T8567-1988计算机软件产品开发文件编制指GB/T11457-1995软件工程术语GB/T11457-2006信息技术软件工程术语GB/T16260.1-2006软件工程产品质量GB/T16260.1-2006软件工程产品质量第1部分:质量模型GB/T16260.2-2006软件工程产品质量GB/T16260.2-2006软件工程产品质量第2部分:外部度量GB/T16260.3-2006软件工程产品质量GB/T16260.3-2006软件工程产品质量第3部分:内部度量GB/T16260.4-2006软件工程产品质量GB/T16260.4-2006软件工程产品质量第4部分:使用质量的度量GB/T14394-2008计算机软件可靠性和可维护性管理>GB/T17544-1998信息技术软件包质量要求和测试1.5名词解释S2DFS:简单存储分布式文件系统(SimpleStorageDistributedFileSystem)D2B:分布式数据库(DistributedDatabase)JSS:作业调度服务(JobSchedulerService)DCS数据计算服务(DataComputei:Service)MPS:消息处理服务(MessageProcessService)5口5:流数据处理服务(StreamDataService)DMQ:分布式消息队列(DistributedMessageQueue)•JGS:作业生成服务(JobGenerationService)ACS:自动清理服务进程(AutomaticCl