大数据运营平台技术方案

大数据运营平台科技项目

技术建议书

目录

一、技术规范书点对点应答5

1总贝115

1.1规范定义5

1.2投标方所提供的所有系统设备（包括软、硬件）应满足以下技术标准要求5

1.3对投标方的建议书要求6

1.4配置原则8

1.5报价要求9

1.6其他要求10

2项目概述10

2.1项目背景10

2.2项目目标11

3总体技术要求11

3.1总体要求11

3.2系统要求12

3.2.1基本要求12

功能性要求13

系统应具备高可靠性14

系统应具备安全性、15

开放性要求16

系统应易于使用16

系统可维护性要求18

系统完备性要求18

系统可测试性要求19

系统易安装性要求,19

0设备其他要求19

1网管要求19

2设备安全性要求21

3设备供电及运行环境21

4详细技术要求23

4.1技术要求23

4.2方案要求25

4.3平台要求25

4.3.1大数据处理子平台要求25

4.3.2数据汇聚子平台要求38

4.3.3外部服务能力子平台要求53

4.3.4信息推送子平台要求56

4.3.5其他要求65

4.4集成方案要求67

5软硬件要求67

5.1软件要求67

5.1.1软件总体要求67

5.1.2软件详细要求69

5.2硬件要求72

6项目管理要求73

6.1项目组织73

6.2双方职责分工74

6.3文件文档74

7设备安装、调试、验收、开通及试运行75

7.1安装和调试75

7.2验收76

7.3保修期77

7.3.1保修要求77

8技术服务和技术培训78

8.1技术服务78

8.2技术培训81

9进度安排81

10技术文件82

11其他82

二、技术方案建议85

1、项目背景85

2、HADOOP概述85

3、平台架构86

4、系统功能88

4.1大数据处理子平台89

4.1.1多租户能力89

4.1.2标签服务98

4.2数据汇聚子平台99

4.2.1宽带DPI数据采集清洗99

4.2.23GDPI数据采集清洗102

4.2.3AAA数据采集清洗102

4.2.4OIDD数据采集清洗102

4.2.5ODS数据采集清洗104

4.2.6数据脱敏105

4.2.7数据加密106

4.2.8数据ETL处理107

4.2.9作业智能排队调度107

43外部服务能力子平台109

4.3.1标签查询服务109

4.3.2DSP/'商程序接入110

4.33厂商作业性能优化.1.11

4.3.4交互式SQL查询111

4.3.5在线报表112

4.4信息推送子平台113

4.4.1流量分发模块113

4.4.2广告推送模块114

4.4.3广告提单系统114

4.4.4广告提单系统117

4.4.5广告检索系统120

4.4.6内部业务支撑123

三、产品配置清单124

1、大数据处理子平台124

2、数据汇聚于平台124

3、外部服务能力子平台125

4、信息推送子平台125

四、所提供设备情况126

五、系统连接示意图128

六、场地及环境准备要求129

七、工程进度安排130

八、分工界面131

九、测试及验收132

1、功能验收132

2、验收总结133

十、培训计划134

1、培训目的134

2、培训方式134

3、培训内容135

--、技术承诺136

十二、技术服务、支持、保修137

十三、技术文档139

、技术规范书点对点应答

1总则

1.1规范定义

本文件为中国电信浙江公司大数据运营平台科技项目的技术规范书。本规范

给出招标方对本项目在技术、性能、服务等方面应满足的要求。本规范供投标方

编写建议书和报价书用。

答复：满足。

提供本系统产品的公司（投标方/投标方）应向中国电信浙江公司（招标方/

买方）就满足本次系统需求作出详细答复。

答复：满足。

投标方收到本文件后，应在买方指定的时间和地点，提供建议书和报价书。

建议书和报价书应单独分册。技术建议书要求提供2套，报价书1套，并提供建

议书的电子文档。建议书应采用中文书写。

答复：满足。

1.2投标方所提供的所有系统设备（包括软、硬件）应满足以下技术

标准要求

（1）符合有关标准（如ISO、ITU-T、ETSI、IMTC>IETF等软硬件技术标准）,

投标方应在建议书中具体说明，并附上相应的详细技术资料C

答复：满足。

(2)符合中国国家标准化管理委员会建议或确认的产品性能和功能技术最新

要求.

答复：满足。

(3)若投标方的设备和系统包含自己的专用标准，应在建议书中具体说明，

并附上相应的详细技术资料。

答复：满足。

(4)遵循国家相关标准和技术体制，没有相应国家标准则须遵循国际标准。

对于现存多种标准的技术，投标人应与买方共同协商选定标准。一旦相应的中国

(或国际)标准确立，投标人应保证在一年内(不收取额外开发费用)过渡到买

方要求相应的中国(或国际)标准。

答复：满足。

(5)中国电信最新企业数据模型相关规范。

答复：满足。

1.3对投标方的建议书要求

1.建议书的内容格式要求

投标方所提供的建议书应按照以卜内容格式进行编制：

⑴综述。

(2)技术规范书。

(3)技术规范书点对点应答。

(4)总体方案建议。

(5)产品配置清单。

(6)所提供设备情况(机架面板结构、各种接口特性、安装方式及物理尺寸、

供电方式及耗电量、设备或机架接地要求、防雷、重量、温湿度等环境要求)，

并提供设备的正式使用时间及相关性能指标的测试记录文档

(7)系统连接示意图。

(8)场地及环境准备要求。

(9)工程进度安排。

(10)分工界面，要求图示并加以说明。

(11)测试及验收。

(12)培训计划。

(13)技术承诺。

(14)技术服务、支持、保修。

(15)所提供设备(软、硬件)的技术文档。文档应与提供的硬件设备相一致，

技术文件应该全面、完整、详细。应能够满足硬件设备安装、使用、维护、应用

开发的需要。文档和资料应提供电子文档和纸面文档。

答复：满足。

2.技术规范书点对点应答要求

投标方的建议书中，要求对本规范书所提出各项要求进行逐条逐项答复、说

明和解释，首先对实现或满足程度明确作出“满足”、“不满足”、“部分满足”

等应答，然后作出具体、详细的说明。不得使用“明白”、“理解”等词语。在

答复中，要求明确满足的程度，凡采用“详见”、“参见”方式说明的，应指明

参见文档的具体章节或页码。

答复：满足。

3.投标方应根据本文件中的相关说明和要求，提出总的技术建议和解决方

案。投标方亦可根据自己的产品技术性能及组网经验就具体情况在建议书中提出

建议，并附详细资料和说明。

答复：满足。

4.投标方应在建议书中提供软硬件设备(及第三方软件)的详细配置建议，

并说明相应的计算方法及依据。

答复：满足。

5.投标方在建议书中应说明对供货时间，安装，调测，验收等进度的具体安

排。

答复：满足。

6.投标方在建议书中应说明给招标方提供的技术文件、技术支持、技术服务、

人员培训等的范围和程度。

答复：满足。

7.投标方应在建议书中列出提供的书面技术资料详细目录清单。

答复：满足。

1.4配置原则

投标方在进行系统设备配置时应遵循以下原则：

(1)投标方应以技术先进、安全、稳定、经济合理，并有利于今后发展的原

则进行本系统的优化和硬件设备的配置。

答复：满足。

(2)根据招标方的建设需求，投标方应向招标方提供优化的设计方案。

答复：满足。

(3)本技术规范书应视为保证本项目所涉及系统及网络安全运行所需的最低

要求，如有遗漏，投标方应予以补充。

答复：满足。

1.5报价要求

(1)产品报价应以人民币为单位，并按软件或功能模块类型分别报出单价和

总价。

答复：满足。

(2)报价应尽量详细，软件应报出各项基本模块的费用。报价应提供汇总表。

此外还应报出安装、调测、培训、资料、折扣等的费用，报价还必须包含系统集

成工作费用(含硬件总集成和软件总集成)。

答复：满足。

(3)投标方应承诺当本工程所购置功能模块、license数量发生变化时，保证

所提供的价格折扣水平、技术服务等方面的各种优惠条件不变。

答复：满足。

(4)投标方提供的所有软硬件必须是最新开发的全新成熟产品。所有必须组

件都应包括在报价中。投标方应提供所有软硬件系统的数量和配置说明，且应保

证软、硬件的品种、数量准确无误。

答复：满足。

(5)本技术规范书应视为保证系统运行所需的最低要求，如有遗漏，投标方

应予以补充，否则一旦中标将认为投标方认同遗漏部分并免费提供。

答复：满足。

(6)投标方应承诺在工程终验后五年内，买方在后续工程及相应产品的备品

备件的设备定货时，同一类型的软、硬件设备价格至少不高于本次合同的价格。

答复：满足。

1.6其他要求

(1)买方在任何时候保留和拥有对本文件的解释权和修改权。买方有权在签

定合同前，根据需要修改和补充本技术规范书，修改补充后的最终技术规范书将

作为合同的附件。

答复：满足。

(2)投标方除以下情况外，非经中国电信股份有限公司浙江分公司书面许可,

不得将本文件的任何内容透露给除中国电信股份有限公司浙江分公司以外的第

三方。经中国电信股份有限公司浙江分公司书面许可，应标商才允许将本文(限

于必要部分)透露给其合作伙伴，并保证其合作伙伴不将本文透露给其它人。未

经书面许可将本文件透露给笫三方的应标商，将被剥夺中标资格。

答复：满足。

(3)在技术谈判的各个阶段，买方将要求投标方对有关问题进行进一步的技

术澄清，投标方应给予应答。

答复：满足。

2项目概述

2.1项目背景

随着移动互联网、云计算、物联网技术和业务的发展，数据呈爆炸性增长，

全球进入数据ZB时代，2010年全球数据量达到1.2ZB,2011年全球数据量达

到1.8ZB,到2020年，将达到35ZB0电信运营商与互联网公司等产业上下游

企业激烈竞合，产业格局正在重塑，传统电信运营商面临低值化、管道化，在新

的产业链中需要谋求新突破。为了应对移动互联网时代的挑战，中国电信正在向

“智能管道的主导者、综合平台的提供者、内容和应用的参与者”的新三者战略

转型。

根据集团大数据业务规划，大数据运营以“一点管控、集约运营”为原则，

通过大数据的挖掘分析，一方面可形成对内数据运营，为精确管理和精确营销提

供服务，另一方面可形成对外数据运营，直接向外部合作伙伴提供大数据服务，

进一步挖掘数据资产的商业价值，探索基于大数据的新型应月与商业模式，实现

企业数据价值变现

答复：满足。

2.2项目目标

构建大数据运营平台，实现数据价值变现：平台可支撑向行业用户、外部合

作伙伴提供数据出售、数据咨询、数据能力和数据解决方案等四种业务形态的数

据服务。通过对外合作的模式，可融合合作伙伴的数据内容，根据合作伙伴和客

户的需求，将电信的数据资产进行包装，向合作伙伴提供数据服务。

答复：满足。

3总体技术要求

3.1总体要求

1）投标人提供完整、最新而成熟的系统软硬件等技术和产品。其各项技术

应保证具有开放性、可移植性、兼容性和可扩展性。

答复：满足。

2）投标人提供的应用软件应该提供开放的应用接口，可以方便的于其他厂

家应用系统进行软件平台互连，便于系统未来的扩展。

答复：满足。

3）如果投标人目前难以达到买方所提出的技术要求，买方要求通过商务条

件使投标人承诺进行产品的技术升级。

答复：满足。

4）投标人应详细说明木期工程所提供设备配置的处理能力，容量以及最大

扩容可达到的处理能力及容量，说明系统容量受限制的原因，并提供系

统进一步扩容的方案。可以按需扩充集群，需要额外的运算能力和存储

能力，可以灵活的加入节点到集群当中，并保持良好的线性扩展能力。

答复：满足。

5）如设备为OEM第三方产品，投标人应说明该产品的原生产厂商。

答复：满足。

6）投标人应保证系统割接不能中断业务，也不能影响原有业务数据。

答复：满足。

7）如果投标人目前难以达到买方所提出的技术要求，买方要求通过商务条

件使投标人承诺进行产品的技术升级。

答复：满足。

8）投标人应根据买方的业务需求及相关的技术规划要求，提出完整的项目

管理、系统设计、工程培训、项目施工、项目验收、技术支持方案以及

投标人人力资源供给方案，投标人负责建立并向买方提交工程技术文档。

答复：满足。

3.2系统要求

3.2.1基本要求

1）要求采用Hadoop分布式处理架构，符合未来大数据管理技术的发展潮

流。

答复：满足。

2）具有支持结构化、半结构化以及非结构化数据处理能力，支持多种多样

的数据类型，结构化，非结构化以及混合负载。

答复：满足。

3）支持多语种，支持UNICODE标准满足中文及多字节编码需要，支持中文

国家标准（GB18030-2000）的中文字符的存储处理。

答复：满足。

4）支持主流厂商的硬件和操作系统平台，如Centos等免费操作系统、Red

HatLinux,SUSELinux（x86-64/PLinux）等。

答复：满足。

5）Hadoop平台需要能够基于软件而不是硬件绑定的方式进行部署。

答复：满足。

6）平台具有较强的可兼容性，提供向下兼容机制。

答复：满足。

7）分布式的框架，支持基于x86的廉价集群方式进行大规模部署，处理海

量PB级别的数据。

答复：满足。

8）半结构化和非结构化数据分析和管理平台支持大规模分布式计算和分布

式存储。

答复：满足。

3.2.1.1功能性要求

1）支持多CPU系统并行处理，提供并行服务机制，能在系统资源低负担的

条件下提供最高的并发度和最大的吞吐量。

答复：满足。

2）支持预编译等优化机制，支持任务调度，任务适应性优化等各种性能优

化机制。

答复：满足。

3）必须具备任务调度器和任务优化器以优化大规模数据量的运算，如数据

压缩；适应性任务调度；基于优先级，运行时间等的灵活调度器等。

答复：满足。

4）分布式文件系统POSIX兼容，能够使用系统级别的命令和工具进行文件

管理，如拷贝，移动，删除，权限控制等。

答复：满足。

5）支持文本分析处理技术，能够存储、索引和分析大规模的非结构化文本

数据，从中提取出结构化的信息并进行文本语义分析。提供文本分析的

优化引擎，提高海量文本数据的分析的速度和效率。

答复：满足。

6）具有机器学习与数据挖掘的能力。

答复：满足。

7）支持多种运算框架和接口，如MapReduce,支持JDBC,ODBCdriver,能

够以SQL92的方式访问大数据平台的数据。

答复：满足。

3.2.1.2系统应具备高可靠性

1）投标方应向需求方提供成熟的、容错性和易恢复性俱佳的系统。

答复：满足。

2）具有软件容错机制，包括数据库，日志镜像，自动恢复和集群机制，具

有高度的数据可靠性、容错能力、完整性和有效性。

答复：满足。

3）系统必须支持连续7X24小时不间断地工作，不存在单点故障的问题。

答复：满足。

4）系统应具备静态过负荷控制和动态过负荷控制两种过负荷控制的能力，

能根据CPU、内存、处理能力进行过负荷控制。

答复：满足。

5）软件故障情况下，系统应具备故障守护恢复机制，即当发生一般性软件

障碍时，系统应具有自纠恢复能力。当发生全系统中断或电源中断恢复

后，系统应能迅速地自动再启动运行。投标方应在应标书中说明系统故

障倒换对业务损伤情况和系统恢复、再启动所需的时间。

答复：满足。

6）系统能够正确识别外围系统发的错误请求及重复请求，避免出现一些不

可预测的结果。

答复：满足。

3.2.1.3系统应具备安全性

1）系统需要划分安全域并进行隔离，同时建立完善的网络安全机制，这些

安全机制包括：防火墙系统等。系统应支持访问控制、安全检测、攻击

监控等一系列安全功能，应提供完整的网络安全监挖、报警和故障处理

功能。

答复：满足。

2）系统必须采取数据访问控制等措施来保证数据的安全。系统对用户数据

也应采取安全措施，防止用户数据泄密，丢失和被非法修改，保障用户

利益。

答复：满足。

3）系统应具备访问权限的识别和控制功能，根据不同的应用需求提供多级

密码口令，对系统管理员、及其他管理员必须授予不同级别的管理权限。

当有非法访问或系统安全性受到破坏时必须告警。任何远程登录用户的

口令均必须具有有效期配置功能。

答复：满足。

4）有良好的错误处理和恢复机制，以保证数据的完整性和一致性。

答复：满足。

5）支持数据传输通道和数据加密等保密机制，企业级安全认证机制支持随

机存取控制、身份识别、角色划分、审计等安全机制。

答复：满足。

6）支持第三方的成熟商业安全审计系统集成与监管。

答复：满足。

3.2.1.4开放性要求

支持异种平台上异种数据平台的良好互联，支持对文件数据和桌面数据库数

据、文件系统的访问；支持对大型异种数据平台的透明实时SQL读写访问；支持

高可靠性数据技术导入导出；能够将原有异种数据库向本数据平台无损失移植

等。

答复：满足。

3.2.1.5系统应易于使用

1）系统应易于安装和使用，具备风格一致用户界面，且用户界面应为中文

操作界面。为方便使用，系统应设置导航栏等内容。

答复I满足。

2）系统应具备完善的联机帮助功能。

答复：满足。

3）随系统提交的产品文件必须包括完善的、针对不同级别用户的应用系统

培训教材、培训考题及培训考核方法建议。

答复：满足。

4）应用系统必须提供一致性的图形用户界面风格。

答复：满足。

5）应用系统必须支持同时打开多个管理窗口以对不同任务进行并行的操

作。

答复：满足。

6）应用系统应该支持通过Tab键或回车键可以访问到同一个窗口的所有控

件对象。

答复：满足。

7）应用系统应该支持对于常用功能设置快捷键以方便功能间的切换；快捷

键的功能定义在全系统保持一致。

答复：满足。

8）在导致系统数据发生变化的操作执行之前，系统应该弹出提示窗口供用

户确认。

答复：满足。

9）应用系统功能菜单必须按照功能域、功能组的分类方法进行组织。

答复।满足。

10）系统必须提供在线帮助功能，对于每一个操作功能都能查找到相应的详

细使用说明。

答复：满足。

3.2.1.6系统可维护性要求

1）系统具备方便且可定期执行、分析结果的业务测试功能；

答复：满足。

2）系统应具备自管理和监控功能，能够实时监控各模块的执行；

答复：满足。

3）投标方提供的系统应具备在线升级协议及版本的功能，在不中断业务的情况下

支持对系统的外部接口协议进行在线升级、对修改后的系统版本进行在线升级。

答复：满足。

4）系统在运行过程中所发生的任何错误都应该有明确的错误编号，并能在系统的

相应维护手册中查到错误处理方法与步骤。

答复：满足。

5）应用系统必须支持通过统一的图形界面\能够监控到应用系统所有的报警、异

常信息。

答复：满足。

3.2.1.7系统完备性要求

投标人根据本规范书要求提出的方案及设备配置，必须能完成网络连接及所

有要求的功能，不存在配件、附件的短缺，不存在本期工程设备和软件性能不满

足业务需求和系统功能的情况，否则投标人须在两周内免费补齐所缺设备和软

件。系统应依据木规范书实现完善，准确的功能。

答复：满足。

3.2.1.8系统可测试性要求

1）随系统提交的技术文件必须明确标识出所实现的可度量的功能和性能指

标。

答复：满足。

2）投标人应有固定的测试工程师进行专门的测试工作，每次新功能测试完成

后，应提供详细的测试文档，包括测试的用例、方法及其结果等，交付局方人员

作验收测试。测试结果应符合实际，测试未通过的项目应及时反馈并进行修改。

答复：满足。

3.2.1.9系统易安装性要求

1）系统应该提供图形化的安装与配置界面。

答复：满足。

2）系统必须支持客户端软件版本的自动升级。

答复：满足。

3.2.1.10设备其他要求

若存在投标人提供的硬件设备。

答复：满足。

3.2.1.11网管要求

1）网管系统应具有易用、良好图形用户界面、在线帮助、软件下载等先进

功能。图形系统必须支持中文。要求说明网管系统运行在何种服务器上及支持何

种操作系统。

答复：满足。

2）要求支持分级网管和虚拟网管，要求支持木地控制口以及远程配置和管

理。

答复：满足。

3）要求提供网管系统的限制及原因。

答复：满足。

4）设备支持远程重启。

答复：满足。

5）设备支持限定IP地址段对设备进行访问控制。

答复：满足。

6）支持Radius、TACACS+用户登录认证管理方式。

答复：满足。

7）投标方应详细说明其所投标设备所具备的网管功能和能力。

答复：满足。

8）集成系统管理处理器支持

（1）自动主机重启；

（2）风扇监视和控制；

（3）电源监控；

（4）温度监控；

（5）启动/关闭；

（6）按序重启；

（7）错误日志。

答复：满足。

9）故障部件的快速诊断功能：在断电的情况下，能够通过诊断板快速定位

故障的部件，提高维修速度。

答复：满足。

3.2.1.12设备安全性要求

1）要求设备通过国家安全扫描。

答复：满足。

2）符合系统应用层面漏洞修复，补丁升级，确保设备系统，应用层安全性。

答复：满足。

3）设备管理员账户密码定时修改并保密，保证配置信息完整性。

答复：满足。

4）设备部署完成后需要通过电信级的安全扫描，确认部署完成后无安全漏

洞。

答复：满足。

3.2.1.13设备供电及运行环境

1、投标人应提供详细的本次投标设备的装架示意图。

答复：满足。

2、电源要求必须支持高压直流。投标方应提供所提供设备所需电源种类、

耗电量、电压及地线要求。

答复：满足。

3、投标人提供的硬件设备应能适应如下温湿度等要求:

（1）温度：10〜30℃

(2)相对湿度：20%〜80%

(3)温度变化率：W5℃/h,不结露

(4)防尘：静态条件下测试，主机房空气中20.5um的尘粒数，少于18000

粒/升

(5)设备必须为前进风，后出风方式

答复：满足。

投标设备不能适应上述要求时请说明。同时，投标人须详细提供其推荐的各

种设备对机房环境的要求，诸如：运行及非运行状态时的温度、湿度、防尘、设

备噪声强度、各种电磁干扰等要求，以及运输、长期和短期储存要求等。

答复：满足。

4、设备抗震加固等

(1)对于投标人提供的落地型设备，当体积较大、重量较大且易滑动或易

倾倒，设备应具备抗震加固特性。本项目抗震设防烈度按8度考虑。投标人应提

供设备的安装要求和抗震加固方式图，尤其是对于自带机架的设备更应提供详细

的安装要求和抗震加固方式图。

答复：满足。

(2)投标人须在点对点应答中详细说明各种投标设备的尺寸。

答复：满足。

(3)投标人须在点对点应答中详细说明各种设备的重量(Kg)及对机房地

板承重的要求(Kg/m2)。

答复：满足。

4详细技术要求

4.1技术要求

1、构建基于Hadoop的实时/准实时数据处理体系

1）引入Hadoop及相关技术组件（HDFS/Hbase/HIVE/Impala等）

答复：满足。

2）多租户管理技术。

答复：满足。

2、构建实时/准实时技术架构。

1）引入实时数据采集技术（如Flume等）

答复：满足。

2）引入实时流处理消息中间件（如Kafka等）

答复：满足。

3）引入实时流处理技术（如Storm等）

答复：满足。

4）引入实时消息（数据）同步技术。

答复：满足。

本平台包含数据采集和分发、海量数据批处理、实时'准实时计算和查询、

能力开放等部分组成。

令数据采集:采用分布式技术，完成数据的采集和数据的分发。

答复：满足。

令数据处理:通过Hadoop平台实现海量数据存储，通过MR、HIVE等技术实

现海量结构化与并结构化数据的计算和分析。

答复：满足。

◊数据应用:通过消息、文件、接口表的实时接收/采集，通过流式计算，

实现准实时计算能力。并对数据进行整合、入库，对外提供统一查询。

答复：满足。

令平台运营管理:实现平台的运营监控、调度、问题分析，包括元数据管理、

任务管理、集群监控等。

答复：满足。

3、数据处理能力

1、数据处理性能要求如下：

＞支持DSP厂商＞10个

答复：满足。

＞数据批处理时间〈5小时

答复：满足。

2、数据存储要求如下：

＞宽带DPI数据保存6个月

＞3GDPI数据保存6个月

＞OIDD系统LBS位置数据保存6个月

＞ODS系统相关资料保存6个月

＞AAA数据实时更新，保存3个以上数据快照和更新日志

＞结果数据保存2年

答复：满足。

4.2方案要求

投标方应基于需求，构建相应的软硬件建议方案。

答复：满足。

投标方提供的大数据平台解决方案，应尽量选择主流的开源技术架构和方

案，有效支撑浙江电信现有大数据业务运营及未来发展的扩展需要。

答复：满足。

投标方应说明系统的组网方案，并提出相关软硬件配置(包括操作系统、数

据库、中间件、服务器、存储设备及网络环境等)建议或要求。

答复：满足。

投标方提出的配置清单中，应说明各功能模块的用途，并考虑安全性等方面

要求。

答复：满足。

本次系统所涉及的扩容软、硬件环境，若在中国电信集采目录中的，则由买

方提供。由投标方根据建设需求，提供详细软硬件配置建议c

答复：满足。

4.3平台要求

4.3.1大数据处理子平台要求

4.3.1.1多租户能力要求

4.3.1.1.1平台安全要求

1.系统采用KDC(KeyDistributionCenter)安全认证中心实现用户安全访

问。

答复：满足。

2.系统提供统一用户管理，包括操作系统用户管理、云平台用户管理和数据访

问控制(Token),如下图所示：

(/、

■访I班制(Token)

统

一

用

云平台用户管理户

管

理

操作系统用户管理

答复：满足。

3.为保证平台安全，名称节点采用双机热备HA方式工作。

答复：满足。

4.3.1.1.2平台资源管理要求

1.系统支持基于多租户的资源管理，可以为每个租户分配独立的存储空间(HDFS)

和计算资源(MRSlot),实现资源独立，如下图所示：

统一人数据平台，参租户隔离共享

答复：满足。

2.HDFS管理,可以配置用户的HDFS信息。HDFS信息包括:

1)文件数限额。

2)可用文件数

3)空间限额

4)可用空间

5）用户目录

6）目录数

7）文件数

8）文件总大小

答复：满足。

3.MapReduce管理，可以增加、删除或修改队列信息。队列信息包括：

1）队列名

2）容量设置

3）可用容量

4）最大容量

5）是否支持job优先级

6）用户资源百分比限制

7）用户可占队列容量系数

8）队列中并发task上限值

9）每个用户并发task上限值

10）每个队列中可容纳job总数的系数

11）初始化后并发执行的job数

答复：满足。

4.资源套餐管理，系统可以没置资源套餐，套餐内容包含存储空间（HDFS）和计

算资源（MRSlot）。用户开通业务时，只需选择相应的套餐即可。

答复：满足。

4.3.1.1.3平台数据授权要求

系统提供基于多租户的数据授权，可以控制各租户的数据访问权限，包括:

>hive表数据访问权限

>hbase表数据访问权限

＞字段级访问权限

答复;满足。

4.3.1.1.3.1Hive表权限控制

Hive表权限管理内容包括：

•系统可以设置用户的HIVE表访问权限，并允许用户访问授权的HIVE表,

用户不能使用非授权的HIVE表。

答复：满足。

・用户没有创建/删除HIVE表的操作权限。HIVE表只能由系统管理员统一

创建/删除。

答复：满足。

•用户可以增加/修改/删除HIVE表里的字段，也可以增加/修改/删除HIVE

表里字段的内容。

答复：满足。

•HIVE表权限管理内容包括：

1）表名

2）所属数据库

3）操作权限，包括八种权限：

一Alter（修改表结构）

一Update（修改数据）

一Create（创建）

—Lock（锁定或解除表）

一Select（访问数据）

—Drop（删除）

一Index（创建索引）

一ShowDataBase（查看可用数据库）

答复,满足。

4.3.1.1.3.2Hbase表权限控制

Hbase表权限管理内容包括：

•系统可以设置HBASE表的访问权限，并允许用户访何授权的HBASE表。

用户不能查看Hbase中非授权表的内容。

答复：满足。

•多个用户可以同时操作同一个指定的表；

答复：满足。

•用户没有创建/删除HBASE表的操作权限。HBASE表只能由系统管理员统

一创建/删除。

答复：满足。

•用户可以增加/修改/删除HBASE表里的字段，也可以增加/修改/删除

HBASE表里字段的内容。

答复：满足。

•Hbase表权限管理内容包括：

1）表名

2）colFamily列表

3）操作权限，包括四种权限：

-R（只读）

W（可写）

C（创建修改删除）

A（控制）

答复：满足。

4.3.1.1.3.3字段级权限控制

系统通过授权文件Token可以实现字段级控制，如下图所示:

Token

444

SourceRequestDestinatio

RecordIDTimestampMDNRefererUserAgentCookie

IPURLnIP

DP购g2012080113524938180.153.5.httpy/61.152.108ckl=;

17012961NoDefueweb

09:13:00163Ill/.66tg«O：

答复：满足。

4.3.1.1.4平台统一管理要求

4.3.1.1.4.1集群参数配置

集群参数包含：

-集群名称

—ganglia地址

一备机名称

—备机IP

—hadoop配置文件路径

—hbase配置文件路径

-hive配置文件路径

一Zookeeper配置文件路径等信息。

答复：满足。

4.3.1.1.4.2节点参数配置

节点参数包含：

■节点名称

-节点地址

—NameNode角色服务启动

—DataNode角色服务启动

—Zookeeper角色服务启动

一网卡设备

—网卡IP

一掩码Mask

—广播地址Beast

—网卡MAC

一状态等信息。

答复：满足。

4.3.1.1.4.3组件参数配置

组件参数包含：

一组件配置类型选择，提供Hadoop,Hbase,Hive,zookeeper组件配置。

-组件配置文件选择等信息。

答复：满足。

4.3.1.1.4.4用户管理

平台用户管理包含用户管理和群组管理，可以增加删除hadoop用户群组信息

和用户信息。

Hadoop用户群组信息包括：

1）用户名称

2）群组名称

hadoop用户信息包括：

1）基本信息

2）用户名

3)所在用户组

4)HDFS配置

5)文件数限额

6)空间限额

7)MapReduce配置

8)所属队列

答复：满足。

4.3.1.1.5集中监控告警管理要求

4.3.1.1.5.1节点运行状态监控

通过图形化界面直观显示节点运行状态和性能数据，包括节点负荷、存储能

力、业务性能。

节点负荷包括：

一1分钟负荷

一5分钟负荷

—15分钟负荷

—CPU使用率

一内存使用率

—硬盘使用率。

答复：满足。

4.3.1.1.5.2HDFS组件监控

HDFS组件监控内容包括：

1)查看HDFS概况，包括：

状态：当前集群的HDFS运行状态。

总容量：当前集群的HDFS配置的数据存储空间的总容量。

剩余容量：当集群HDFS处于运行状态时显示，记录当前集群的剩余数据存

储空间或剩余空间的百分比0

-数据节点：当前集群的HDFS配置的总数据节点数量及当前正在运行的数据

节点数量。

答复：满足。

2）HDFS浏览器，包括：

—浏览HDFS文件系统

-显示HDFS文件系统的文件参数（名称/用户/组/权限/文件大小/修改日期/

数据块/数据分布机器）

答复：满足。

4.3.1.1.5.3MapReduce组件监控

MapReduce组件监控内容包括：

-显示任务（Job）的信息列表，包括任务编号、优先级、用户、任务状态、

任务开始时间、Map进度、Reduce进度。

-双击任务查看任务详细信息，包括作业类型、作业进度、作业数、待执行的

作业、正在执行的作业、完成的作业、终止的作业、失败、终止的作业尝

试。

答复：满足。

4.3.1.1.5.4HIVE组件监控

HIVE组件监控内容包括：

1）查看HIVE概况，包括：

显示HIVE运行状态

显示HIVE数据库列表

答复：满足。

2）业务表浏览

—显示HIVE表的信息列表，包含表名和状态。

一双击表名查看该表的字段定义信息。

-直接提交SQL查询语句，并返回执行结果。

答复：满足。

4.3.1.1.5.5HBase组件监控

HBase组件监控内容包括：

显示HBase表的信息列表，包含表名和状态。

-双击表名查看该表的数据源信息，包括数据源名称、部署机器、起始键值、

结束键值、状态、分割根、分割。

答复：满足。

4.3.1.1.5.6告警管理

平台提供告警面板功能，可以实时监测整个平台的各种故障信息，告警内容包括：

1）节点磁盘空间不足：系统在出现某个节点磁盘空间不足的情况报警。

2）群集HDFS磁盘不足：群集中单个节点空间足够，但群集HDFS磁盘空间不足时

报警。

3）节点CPU负载过高：节点在CUP负载异常情况下报警,

4）节点内存不足：节点在内存不足情况报警。

5）服务异常告警：监测HDFS,HIVE,HBASE,Zookeeper等各个关键服务的运行状

态，如果发现异常，将输出告警信息。

6）节点失效故障：当名称节点与数据节点之间的网络异常，超过心跳维持的时间,

将判定该节点已经失效，退出服务。

7）网络故障告警：当发现某些节点的网络连接异常，将输出网络故障信息。

答复：满足。

平台发生故障时，系统将产生告警，而且输出告警的信息和告警类型，同时包含

多次告警的时间等，根据电信维护流程的要求，需要维护人员确认告警，并按照流程

正确处置告警信息。

答复：满足。

4.3.1.1.6可视化业务管理组件

4.3.1.1.6.1客户管理

系统提供图形化客户管理功能，包括客户注册、登录、产品订购、token管理、服

务申请、服务开通等。

答复：满足。

4.3.1.1.6.2合同管理

系统提供图形化合同管理功能，包括：

1）合同基本信息管理合同信息录入、查询、合同相关的业务信息关联、合

同审批、合同生效时间、合同终止时间等。

2）合同附件信息管理合同附件的查询、上传、更新、审批等。

3）合同执行情况管理合同执行状态、合同执行进度、合同执行偏差评估等。

答复：满足。

合同录入完成后通过接口直接导入CRM数据库。

答复：满足。

4.3.1.1.6.3基础产品管理

基础产品配置包括以下产品类别：

1.数据出售类产品通过对电信数据资源进行脱敏、加工、提炼后的数据进

行出售。这类数据产品根据数据所涉及的地理属性，分为全国性数据和

省数据。

答复：满足。

2.数据咨询类产品通过对数据的分析、挖掘，面向不同的行业提供咨询类

报告，这些报告所用的数据也分全国性数据和省数据。

答复：满足。

3.数据能力产品这类产品通过能力平台提供实时API接口数据查询和大数

据作业服务。

答复：满足。

4.解决方案产品这类产品只面向合作伙伴，因为解决方案类产品需要结合

行业合作伙伴，整合自有数据、自有渠道、合作伙伴渠道等提供行业解

决方案。

答复：满足。

4.3.1.1.6.4结算管理

结算管理应涵盖以下功能：

1.外部结算管理对合作伙伴的结算管理，根据合同，收入完成情况等要素

对合作伙伴进行费用结算。

答复：满足。

2.内部结算依据考核计划、考核结果、关联收入完成情况、数据使用情况

等进行收入结算。

答复：满足。

3.结算包括现金结算、转账结算、结算公式管理、结算期限管理等。

答复：满足。

结算的费用种类包括了两大类：大数据平台查询服务费用结算和大数据平台资源

使用费用结算.

A大数据平台的查询服务可按照查询次数或者包月服务来计费；

答复：满足。

A大数据平台的资源使用包括了存储、运算和数据三类，其中数据资源根据字

段和使用记录数来计费，存储和运算资源则可以采用租费的结算方式。

答复：满足。

4.3.1.2标签服务要求

4.3.1.2.1支持同步标签

1.宽带DPI数据流经过实时数据处理后，支持多个同步标签的服务程序。

答复：满足。

2.同步标签数据处理支持优先级设置，通过优先级决定同步标签服务程序的执

行顺序，可以支持并发执行和顺序执行；

答复：满足。

3.可以通过数据的URL、关键字、关键字段设置数据处理的范围，从而满足不

同的同步标签处理要求。

答复：满足。

4.3.1.2.2离线标签

1.宽带DPI文件和3GDPI文件经过数据处理后，支持多个离线标签的服务程序。

答复：满足。

2.离线标签数据处理可灵活设置各厂商作业执行时间。

答复,满足。

3.通过字段级Token控制，实现离线标签数据处理可以访问的字段类型，从而

实现灵活的数据访问控制功能。

答复：满足。

4.离线标签提供厂商性能优化功能，以保证各厂商作业在规定的时间内完成。

厂商7

答复：满足。

4.3.2数据汇聚子平台要求

4.3.2.1宽带DPI数据采集清洗

1、浙江电信11个地市的宽带DPI数据通过CN2网络汇聚到大数据平台。如下

图所示:

答复：满足。

2、支持宽带DPI文件汇聚。

答复：满足。

3、支持宽带DPI数据流实时汇聚。

答复：满足。

4、宽带DPI数据流输出要求:

大数据平台实时采集清洗宽带DPI数据流，处理流程如下图所示:

同步标签

Storm

实时入库三凭f离线标签

StormKettle

处理流程说明如下：

1.Kafka消息系统实时接收前端宽带DPI数据流；

2.Kafka消息系统将接收到的宽带DPI数据流分发至同步标签和实时入库

两个模块；

3.同步标签模块采用Storm组件实时处理宽带DPI数据流，为宽带DPI数

据流打上标签。

4.实时入库模块采用Storm组件将宽带DPT数据流以文件形式写入云平台

HDFS,后续可以对宽带DPI文件进行离线标签处理。

答复：满足。

4.3.2.23GDPI数据采集清洗

1、3GDPI数据采集清洗网络架构如下:

答复：满足。

2、系统通过FTP方式采集3GDPT文件。

答复：满足。

3、3GDPI文件清洗流程如下：

•将3GDPI文件的zip压缩格式转成gz压缩格式。

•对3GDPI文件进行数据清洗，包括加协议号，过滤重复的记录，文件加

密。

•输出正常文件和重单文件写入HDFS。

答复：满足。

4.3.2.3AAA数据采集清洗

城域网中获取到HTTPGET报文数据中用户标识是TP地址，由于每次用户登录拨

号IP地址均可能不同，在进行用户分析时用户的标识应该为AD帐号。需要获取Radius

数据，将用户上网拨号AAA过程中IP和AD信息的导入，匹配用户上网行为记录中的

IP地址和AD账号的数据原始信息，完成用户上网记录身份的辨识。

答复：满足。

实现独立运行的AAAradius解报文模块,实时提取AAA报文中的AttributeValue

Pairs中的对应报文段，将其User-NameFramed-IP-AddressAcct-Status-Type

并组合当前的系统时间戳形成一条完整的用户身份配对的拨号上下线状态数据的记

录，用于与伪CDR数据进行匹配。

答复：满足。

4.3.2.4OIDD数据采集清洗

1、OIDD数据采集清洗网络架构如下:

答复：满足。

2、系统通过FTP方式采集OIDD文件。

答复：满足。

3、OIDD文件通过分布式ETL工具Kettle写入HDFS

答复:满足。

4、OIDD数据接口

1)OIDD数据表一：sada_ticket,表结构如下：

hive>descformattedsada_ticket;

OK

#col_namedata_typecomment

prod_inst_numstringNone（用户号码）

start_timestringNone（开始时间）

base_stationstringNone（基站）

power_flagstringNone（上电标记）

#PartitionInformation

#col_namedata_typecomment

datelabelstringNone

loadstampstringNone

#DetailedTableInformation

Database:oidd

答复：满足。

2）OIDD数据表二:sada_oidd_day,表结构如下:

hive>descformattedsada_oidd_day;

OK

#col_namedata_typecomment

prod_inst_numstringNone（用户号码）

start_timestringNone（开始时间）

base_stationstringNone（基站）

sectorstringNone（扇区）

power_flagstringNone（上电标记）

#PartitionInformation

#col_namedata_typecomment

datelabelstringNone

loadstampstringNone

#DetailedTableInformation

Database:oidd

答复：满足。

4.3.2.5ODS数据采集清洗

1、ODS数据采集清洗网络架构如下:

答复：满足。

2、系