大数据运营平台技术投标方案（纯方案147页）

1、目录 TOC o 1-5 h z HYPERLINK l bookmark257 o Current Document 一、综述5二、技术规范书点对点应答6技术规格偏离表应答6 HYPERLINK l bookmark288 o Current Document 总那么6 HYPERLINK l bookmark290 o Current Document 1规范定义6 HYPERLINK l bookmark312 o Current Document 2投标方所提供的所有系统设备（包括软、硬件）应满足以下技术标准要求7 HYPERLINK l bookmark337 o Current D

2、ocument 3对投标方的建议书要求8 HYPERLINK l bookmark0 o Current Document 4配置原那么10 HYPERLINK l bookmark2 o Current Document 5报价要求10 HYPERLINK l bookmark25 o Current Document 6其他要求11 HYPERLINK l bookmark69 o Current Document 3工程概述12 HYPERLINK l bookmark71 o Current Document 1工程背景12 HYPERLINK l bookmark73 o Curre

3、nt Document 3.2工程目标12 HYPERLINK l bookmark101 o Current Document 4总体技术要求13 HYPERLINK l bookmark103 o Current Document 1总体要求132系统要求144.2 基本要求14 HYPERLINK l bookmark159 o Current Document 2.1. 1功能性要求15 HYPERLINK l bookmark161 o Current Document 2.1. 2系统应具备高可靠性16 HYPERLINK l bookmark163 o Current Docum

4、ent 2.1.3系统应具备平安性17 HYPERLINK l bookmark165 o Current Document 开放性要求18 HYPERLINK l bookmark167 o Current Document 2.1. 5系统应易于使用18 HYPERLINK l bookmark169 o Current Document 2.1. 6系统可维护性要求19 HYPERLINK l bookmark171 o Current Document 27. 7系统完备性要求20 HYPERLINK l bookmark173 o Current Document 2.1, 8系统可

5、测试性要求20 HYPERLINK l bookmark175 o Current Document 2.1. 9系统易安装性要求21 HYPERLINK l bookmark177 o Current Document 2.1. 10设备其他要求21 HYPERLINK l bookmark179 o Current Document 2.1. 11网管要求21 HYPERLINK l bookmark181 o Current Document 设备平安性要求22 HYPERLINK l bookmark183 o Current Document 2.1. 13设备供 也及运行环境23

6、HYPERLINK l bookmark185 o Current Document 5详细技术要求24 HYPERLINK l bookmark187 o Current Document 1技术要求24 HYPERLINK l bookmark189 o Current Document 5.2方案要求26 HYPERLINK l bookmark191 o Current Document 5. 3平台要求27 HYPERLINK l bookmark193 o Current Document 大数据处理子平台要求27 HYPERLINK l bookmark243 o Current

7、 Document 数据汇聚子平台要求40 HYPERLINK l bookmark265 o Current Document 外部服务能力子平台要求55 HYPERLINK l bookmark275 o Current Document 534信息推送子平台要求58 HYPERLINK l bookmark298 o Current Document 其他要求677.投标方应在建议书中列出提供的书面技术资料详细目录清单。答复：满足。配置原那么投标方在进行系统设备配置时应遵循以下原那么：(1)投标方应以技术先进、平安、稳定、经济合理，并有利于今后开展的原 那么进行本系统的优化和硬件设备的配

8、置。答复：满足。(2)根据招标方的建设需求，投标方应向招标方提供优化的设计方案。答复：满足。(3)本技术规范书应视为保证本工程所涉及系统及网络平安运行所需的最低 要求，如有遗漏，投标方应予以补充。答复：满足。报价要求(1)产品报价应以人民币为单位，并按软件或功能模块类型分别报出单价和 总价。答复：满足。(2)报价应尽量详细，软件应报出各项基本模块的费用。报价应提供汇总表。 此外还应报出安装、调测、培训、资料、折扣等的费用，报价还必须包含系统集 成工作费用(含硬件总集成和软件总集成)。答复：满足。一 显示HIVE表的信息列表，包含表名和状态。 双击表名查看该表的字段定义信息。一直接提交SQL查询

9、语句，并返回执行结果。. HBase组件监控HBase组件监控内容包括：一 显示HBase表的信息列表，包含表名和状态。 双击表名查看该表的数据域信息，包括数据域名称、部署机器、起始 键值、结束键值、状态、分割根、分割。.告警管理平台提供告警面板功能，可以实时监测整个平台的各种故障信息，告警内容 包括：1）节点磁盘空间缺乏：系统在出现某个节点磁盘空间缺乏的情况报警。2）群集HDFS磁盘缺乏：群集中单个节点空间足够，但群集HDFS磁盘空间不 足时报警。3）节点CPU负载过高：节点在CUP负载异常情况下报警。4）节点内存缺乏：节点在内存缺乏情况报警。5）服务异常告警：监测HDFS, HIVE, H

10、BASE, Zookeeper等各个关键服务的 运行状态，如果发现异常，将输出告警信息。6）节点失效故障：当名称节点与数据节点之间的网络异常，超过心跳维持的 时间，将判定该节点已经失效，退出服务。7）网络故障告警：当发现某些节点的网络连接异常，将输出网络故障信息。平台发生故障时，系统将产生告警，而且输出告警的信息和告警类型，同时 包含屡次告警的时间等，根据电信维护流程的要求，需要维护人员确认告警，并 按照流程正确处置告警信息。J.6可视化业务管理可视化业务管理包括客户管理、合同管理、基础产品管理和结算管理。.客户管理系统提供图形化客户管理功能，包括客户注册、登录、产品订购、token管 理、服

11、务申请、服务开通等。.合同管理系统提供图形化合同管理功能，包括：1）合同基本信息管理：合同信息录入、查询、合同相关的业务信息关联、 合同审批、合同生效时间、合同终止时间等。2）合同附件信息管理：合同附件的查询、上传、更新、审批等。3）合同执行情况管理：合同执行状态、合同执行进度、合同执行偏差评估 等。合同录入完成后通过接口直接导入CRM数据库。.基础产品管理基础产品配置包括以下产品类别：1）数据出售类产品：通过对电信数据资源进行脱敏、加工、提炼后的数据 进行出售。这类数据产品根据数据所涉及的地理属性，分为全国性数据 和省数据。2）数据咨询类产品：通过对数据的分析、挖掘，面向不同的行业提供咨询

12、类报告，这些报告所用的数据也分全国性数据和省数据。3）数据能力产品：这类产品通过能力平台提供实时API接口数据查询和大 数据作业服务。4）解决方案产品：这类产品只面向合作伙伴，因为解决方案类产品需要结 合行业合作伙伴，整合自有数据、自有渠道、合作伙伴渠道等提供行业 解决方案。.结算管理结算管理应涵盖以下功能：1）外部结算管理对合作伙伴的结算管理，根据合同，收入完成情况等要素对合作伙伴进行费用结算。2）内部结算依据考核计划、考核结果、关联收入完成情况、数据使用情况 等进行收入结算。3）结算包括现金结算、转账结算、结算公式管理、结算期限管理等。结算的费用种类包括了两大类：大数据平台查询服务费用结算

13、和大数据平台 资源使用费用结算。A大数据平台的查询服务可按照查询次数或者包月服务来计费；A大数据平台的资源使用包括了存储、运算和数据三类，其中数据资源根据字 段和使用记录数来计费，存储和运算资源那么可以采用租费的结算方式。4. 2. 2标签服务4. 2. 2.1同步标签服务宽带DPI数据流经过实时数据处理后，支持多个同步标签的服务程序。同步标签数据处理支持优先级设置，通过优先级决定同步标签服务程序的执行顺序，可以支持并发执行和顺序执行；可以通过数据的URL、关键字、关键字段设置数据处理的范围，从而满足 不同的同步标签处理要求。4. 2. 2.2离线标签服务宽带DPI文件和3GDPI文件经过数据

14、处理后，支持多个离线标签的服务程 序。离线标签数据处理可灵活设置各厂商作业执行时间。通过字段级Token控制，实现离线标签数据处理可以访问的字段类型，从 而实现灵活的数据访问控制功能。离线标签提供厂商性能优化功能，以保证各厂商作业在规定的时间内完成。4. 3数据汇聚子平台4. 3.1宽带DPI数据采集清洗浙江电信11个地市的宽带DPI数据通过CN2网络汇聚到大数据平台。如下列图所示:大数据平台不仅支持宽带DPI文件汇聚，同时支持宽带DPI数据流实时汇 聚。 宽带DPI数据流实时汇聚大数据平台实时采集清洗宽带DPI数据流，处理流程如下列图所示：消息分发 KafkaDPI数据实时入库 Storm同

15、步标签 Storm离线标签Kettle处理流程说明如下：. Kafka消息系统实时接收前端宽带DPI数据流;. Kafka消息系统将接收到的宽带DPI数据流分发至同步标签和实时入库两个模块；.同步标签模块采用Storm组件实时处理宽带DPI数据流，为宽带DPI数据流打上标签。.实时入库模块采用Storm组件将宽带DPI数据流以文件形式写入云平台 HDFS,后续可以对宽带DPI文件进行离线标签处理。 宽带DPI数据清洗宽带DPI数据清洗主要是针对两类流量进行清洗： 一类是非浏览器发起的 请求；另一类是浏览器发起的非用户点击请求；最终清洗后留下的url为用户的真实点击；宽带DPI数据清洗规那么要求

16、如下：可以实现“用户有效点击”的 Get的实时提取。（此处“用户有效点 击”的定义为：用户在浏览器输入的有效网址，点击浏览器书签，用户在网页中 发起的任意主动点击行为）。通过清洗规那么的设定，实现“用户有效点击”的 Get的实时提取。规那么库1:.根据后缀过滤图片、脚本等针对单条url的规那么。.对应现象：图片、脚本等页面元素。规那么描述：一般非页面资源的文件后缀名有一定规那么可循，后缀满足匹 配指定字串，那么被识别为非页面请求而被过滤去除。特征字符串可配置添加，例如如下：redis-cIi sadd bIockedurIpatterns2.js? . jpg . jpeg . png . g

17、i f . css . swt规那么库2:过滤带有指定特征字符串的url针对单条url的规那么。.对应现象：广告、框架、广告联盟。规那么描述：一般广告、图片服务或框架页面会带有固定的特征字串，选 择可靠的字串可以排除大量的非页面请求URLo 如下规那么可配置添加：red is-cI/ sadd b/ockedur I pat ternsa/ lyes, comcpro. ba/du. comncache, google, com admaster. com. onrr i frame n cjhq. ba /du. com/quotenew 规那么库3:过滤重复包针对多条URL请求的规那么对应

18、现象：一个缓冲区域长度内的重复包。规那么描述：在缓冲内判断是否有重复请求出现，如有那么只提取第一个规那么库4:识别非页面类型请求（包含Js发出的请求）针对单条URL的规那么对应现象：浏览器与Js脚本发出非页面类型的请求。规那么描述：浏览器与Js脚本发出的非页面类型请求有一定特征，其中主 要是Accept字段值，一般非页面的请求，如图片请求那么会包含“image/ 字串，这类请求一般不属于页面类型。当 Accept 字段值中不包含“text/html 或 app I i cat i on/xhtm I +xm I v 子串并不能识别该请求是不是页面请求，因此而保存下来。规那么库5:保存白名单中的

19、请求针对单条URL的规那么对应现象：有些URL的特征设定为白名单项规那么描述：设置白名单直接放行已明确需要的URL请求，这样就不会浪 费实时计算资源而做进一步判断，提高了系统的吞吐量。白名单可以配置，例如如下：red is-d i sadd a 11 owedur I patterns :/ baidu. com/s? :/cn. bing. com/search? w. google. com. hk/search?114. 3. 23G DPI数据采集清洗系统通过FTP方式采集3G DPI文件，3G DPI数据采集清洗网络架构如下:外部环境3G DPI数据采集清洗软件3G DPI接口服务器

20、千兆千兆交换机超髭3G DPI接口服务器千兆千兆Hadoop大数据平台3G DPI文件清洗流程如下：将3G DPI文件的zip压缩格式转成gz压缩格式。对3G DPI文件进行数据清洗，包括加协议号，过滤重复的记录，文件加 密。输出正常文件和重单文件写入HDFS。4. 3. 3AAA数据采集清洗城域网中获取到 GET报文数据中用户标识是IP地址，由于每次用户登 录拨号IP地址均可能不同，在进行用户分析时用户的标识应该为AD帐号。需要 获取Radius数据，将用户上网拨号AAA过程中IP和AD信息的导入，匹配用户 上网行为记录中的IP地址和AD账号的数据原始信息，完成用户上网记录身份的 辨识。实现

21、独立运行的AAA radius解报文模块，实时提取AAA报文中的Attribute Va I ue Pairs 中的对应报文段，将其 User-Name Framed-1 P-Address Acct-Status-Type并组合当前的系统时间戳形成一条完整的用户身份配对的拨 号上下线状态数据的记录，用于与伪CDR数据进行匹配。4. 3. 40IDD数据采集清洗系统通过FTP方式采集0IDD文件。0IDD数据采集清洗网络架构如下:外部环境OIDD数据采集清洗软件start_t imestr i ngNonebase_stat i onstr i ngNonepower_fIagstr i ng

22、None码)（用户号（开始时间）（基站）（上电标记）# Part i t i on # col_nameInformat i ondata_typecommentdate IabeIstr i ngNoneIoadstampstr i ngNoneOIDD文件通过分布式ETL工具Kett Ie写入HDFS。 OIDD数据接口OIDD数据表一,： sada_t icket,表结构如下: h i ve desc formatted sada_t i cket;OKcol_name data_type comment prod_i nst_num str i ng NoneDeta iIed Tab

23、 Ie Informat i on Database:o i ddOIDD数据表二：sada_oidd_day,表结构如下:h i ve desc formatted sada_o i dd_day;OK# co I namedata_typecommentprod_i nst_num start_t ime base_stat i on sector power_fIagstr i ngNone（用户号码）str i ngNone（开始时间）str i ngNone（基站）str i ngNone（扇区）str i ngNone（上电标记）# Partition# col_nameInfor

24、mat i ondata_typecommentdate IabeIstr i ngNoneIoadstampstr i ngNone# Deta iIed Tab Ie Informat i onDatabase:oidd4. 3. 50DS数据采集清洗系统通过FTP方式采集ODS文件,ODS数据采集清洗网络架构如下:外部环境ODS数据采集清洗软件ODS设备千兆ODS接口服务器千兆交换机千兆ODS接口服务器千兆Hadoop大数据平台ODS文件通过分布式ETL工具Kettle写入HDFS 0DS数据接口ODS 数据表：rpt_te Iecom_user_info,表结构如下: hive des

25、c formatted rpt_teIecom_user_i nfo;OK# col_namedata_typecommentwb_i sp_acnt_numstr i ngNone（帐号加密）user_agestr i ngNone（用户年龄）user_sexstr i ngNone（用户性别）user_typestr i ngNone（用户类型）a_connect_coI lege agrmnt_const_exp_dtcommentNoneNone None None None None None None None None None None None None Noneuserar

26、ea desc_cost wb_access_tp act_op_rate prom_group guangwang_fIag ba Iancep i_sub_stat_tp update_status Ist_update_tmpI atIngPart i t i oncol_namedate IabeIstr i ng str i ng str i ng str i ng str i ng str i ng str i ngstr i ng str i ng str i ng str i ng str i ng str i ng str i ngInformat i ondata_type

27、str i ng（用户所属区域） （费用范围描述） （宽带访问类型） （活跃操作频度） （套餐类型）（是否光钎标记） （）（协议有效日期）（余额）（是否在用） （更新状态）（最后更新日期） （纬度）（经度）# Deta iIedTab Ie Informat i onDatabase:ods4. 3. 6数据脱敏数据脱敏也被称为数据混淆、数据保密、数据消毒、数据扰频、数据匿名 化和数据认证。采用数据脱敏技术，可以帮助大数据平台提高平安性和保密等 级，以防止其数据被滥用，同时满足集团对数据平安性的规范要求，以及由管 理/审计机关所要求的隐私标准。从实现手段上看，针对不同的数据内容，会有多种数据脱

28、敏方式。在Hadoop 平台上，利用采集清洗及流处理的功能，可以实现对各个字段，针对性的脱敏 处理，并且保证在数据进入hadoop之前已经是脱敏之后的数据。另外针对AD的脱敏尤为关键，AD是唯一能将DPI数据关联到ODS客户数 据的字段，我们对所有进入大数据平台的AD都统一采用sha-1的加密方式， 转换成只有大数据平台能够认识的客户唯一标示。需要进行脱敏处理的信息如下:(3)投标方应承诺当本工程所购置功能模块、license数量发生变化时，保证 所提供的价格折扣水平、技术服务等方面的各种优惠条件不变。答复：满足。(4)投标方提供的所有软硬件必须是最新开发的全新成熟产品。所有必须组 件都应包括

29、在报价中。投标方应提供所有软硬件系统的数量和配置说明，且应保 证软、硬件的品种、数量准确无误。答复：满足。(5)本技术规范书应视为保证系统运行所需的最低要求，如有遗漏，投标方 应予以补充，否那么一旦中标将认为投标方认同遗漏局部并免费提供。答复：满足。(6)投标方应承诺在工程终验后五年内，买方在后续工程及相应产品的备品 备件的设备定货时，同一类型的软、硬件设备价格至少不高于本次合同的价格。答复：满足。2.6其他要求(1)买方在任何时候保存和拥有对本文件的解释权和修改权。买方有权在签 定合同前，根据需要修改和补充本技术规范书，修改补充后的最终技术规范书将 作为合同的附件。答复：满足。(2)投标方除

30、以下情况外，非经中国电信股份浙江分公司书面许可, 不得将本文件的任何内容透露给除中国电信股份浙江分公司以外的第 三方。经中国电信股份浙江分公司书面许可，应标商才允许将本文(限 于必要局部)透露给其合作伙伴，并保证其合作伙伴不将本文透露给其它人。未 经书面许可将本文件透露给第三方的应标商，将被剥夺中标资格。需脱敏字段描述脱敏前脱敏后Ad宽带设备号实际adsha加密结果（该算法不可反解）user_age用户年龄实际年龄年龄段信息，如5年一段，取起始 数值显示，如25表示25-29address用户地址实际地址，精确到户小区、楼盘或商圈信息，如武林商 圈1at&lng位置经纬度实际经纬度精确到0.0

31、01,约1000平方米， 注：I ng* I at =0. 001*0.001 （度）二约 95. 18 米*111.32 米user_name用户姓名实际姓名仅保存用户姓氏desc_cost用户消费情况实际消费金额每150元一档：0 （表示0749）, 150, 3004. 3. 7数据加密大数据平台以HDFS为基础，利用HDFS驱动提供的Format功能，实现 hadoop云平台系统级、业务级数据加密。HDFS数据加密原理图如下：数据加密不修改HDFS内核，不影响将来HDFS的升级维护。数据加密后，保证HDFS数据透明访问，同时支持SQL查询服务。3. 8数据ETL处理平台采用ETL工具实

32、现高速ETL处理，处理效率强。功能包括：ETL作业GUI设计器的功能。ETL作业自动调度器的功能。ETL作业多路并发提取的功能。ETL作业多路并发转换的功能。ETL作业多路并发加载的功能。ETL作业管理功能。ETL作业日志管理功能。3. 9作业智能排队调度.作业灵活调度系统可以制定作业调度计划进行作业调度。对于临时出现的需要紧急运行的作业，可以灵活调整作业调度计划保证紧急 任务优先执行。.资源智能调整系统保证每个作业都能获得相应的系统资源，同时对于临时出现的需要紧急 运行的作业，可以灵活调整资源配置保证紧急任务优先执行。当一个队列空闲，其系统资源可以被其他队列抢占使用。一旦空闲队列有作 业提交

33、时，会返回该队列的系统资源，直到满足该队列最低配置，甚至抢占其他 队列资源。系统可以动态增加队列，并且新提交的队列会慢慢满足最低资源配置，甚至抢占其他队列资源。4. 4外部服务能力子平台4. 4.1标签查询服务分布式K-V数据库采用分布式K-V数据库，主要用于存放标签结果数据，并支持以下基础功能:.数据查询接口以API的方式提供通用的根据key查询value的高速查询接口。.数据加载支持数据直接以文件或者分布式文件系统批量导入的方式，并提供导入的API 接口。另外除了数据追加的方式，还需要支持数据的删除或修改功能。.分布式模式数据存储采用类似HDFS的分布式存储模型，另外计算资源也需要采用分布

34、 式集群调用的方式以此来保证数据的可靠性和系统的可扩展性。.统一的元数据管理对元数据进行统一的存储和管理。并提供访问API供业务管理平台调用。.系统管理提供集群监控、服务管理、日志管理、监控报警等一整套系统管理功能。高并发查询服务该模块基于nginx+Apache MINA的框架开发。其中nginx提供高并发的对外 服务，而Apache MINA是一个高性能和高可用性的网络应用框架。可以完成以下 功能：.基于token的用户平安认证采用基于Token （令牌）的用户身份验证机制，使用户在访问受保护的服 务资源时仅需提供Token,而不需要提供用户名和密码。Token是包含用户名、 有效期和某些

35、专有信息并通过共享密钥加密的信息字符串。对于通过Web Appl ication访问查询服务的用户来说，这种认证方式可以有 效防止服务器的用户账户泄露。对于已经授权访问服务的用户，获取和使用Token的总体流程：1）用户凭借自身的账户向电信申请和获取Tokeno2）携带已获取的Token查询有权限的数据标签Token的生成除了需要获取Token时用户输入的信息外，还需要服务器端指 定的加密密钥。系统管理员可以对生成Token的加密密钥进行配置。.用户访问权限控制基于K-V数据库的元数据管理，增加用户对元数据的权限信息，查询访问的 时候首先进行用户识别，然后根据用户的元数据权限信息进行访问控制。

36、.高并发低延时的查询接口采用web服务的方式封装K-V数据库的高速查询接口，并提供短连接和长连 接两种方式。需要支持对K-V数据库的接口分发功能。.查询缓存服务对一些访问热度较高的数据或表通过缓存的方式提高查询响应效率，并减少 FI ash卡访问频率，增加寿命。4. 2DSP厂商程序接入系统允许每个厂商程序导入独立的Cache。系统支持多个厂商程序算法模型 加载和数据访问。系统支持多租户作业的统一任务调度。用户提交业务应用作业 申请，云平台统一封装各业务应用作业。如果用户网络时延较大，可以有以下两种方式实现实时数据查询：1）羽1 K/V内存数据库安装于用户端。2）系统进行数据分发。4. 3厂商

37、作业性能优化3.1SQL语句优化系统支持SQL语句优化，可以解决数据倾斜的问题。系统提供MapReduce定制服务，当SQL语句效率不高时，可以将SQL语句转 化成高效的MapReduce作业直接执行。4. 3. 2MapReduce 定制服务我们提供MapReduce定制服务，当SQL语句效率不高时，可以将SQL语句转 化成高效的MapReduce作业直接执行。SQL语句会产生大量的中间数据，从而影响作业执行效率。MapReduce不产 生中间数据。MapReduce作业和SQL语句相比拟，作业执行效率可以提高37倍。4. 4交互式SQL查询用户可以通过图形化界面定义查询参数，执行自己的查询

38、任务。系统接口如下：系统兼容标准的SQL语法，可以通过SQL语句访问查询。系统支持JDBC连接方式，适合JAVA应用。系统支持ODBC连接方式，适合WIN应用。系统提供CLI命令接口，适合UNIX应用。系统支持Corba协议，适合IDL服务对象接口。系统支持SOAP协议，适合远程RPC调用。4. 5在线报表系统提供丰富的报表展现形式，支持表格、饼图、柱状图、折线图，用户可 以自由选择报表展现形式。报表的定义和配置都要求可视化的灵活操作，要求可见即可得，且结果能够 灵活导出。生成的报表可输出各种文件格式，如EXCEL、HTML、XML、RTF等。信息推送子平台流量分发模块可以控制流量的转发，判断

39、流量能否进行广告投放，可以精确控制符合业务 需要的流量，转发到服务器上，启动广告投放计划。具体的流量控制转发规那么可 以灵活的配置。流量分发规那么系统提供统一的规那么配置，根据广告投放的策略可以灵活的修改。支持的流量分发规那么包括：域名、URL规那么设置能控制流量只转发到指定的域名或者URL的报文。控制流量分发总量可以控制转发流量的总流量大小。譬如对搜狗流量，我们可以控制其搜索的 流量只转发多个个CPM到指定的服务器上。3、频次控制可以设置对用户广告推送的频次控制，每个用户与其IP地址、ADSL账户关 联。通过限制IP、ADSL的频次控制用户流量转发到服务器的频次。4、地域定向规那么可以根据I

40、P地址判断用户所在地区，可以只将特定地区的用户流量进行分发。如武汉某企业用户可能只希望了解湖北地区的网民搜索、访问行为，可以对 地域设置只转发武汉的流量到企业的服务器上进行数据分析，一方面减轻了下游 企业的服务器压力，另一方面最大限度保护了其他地区的用户隐私，降低运营商 数据的流量浪费。5、黑名单控制对一些特定的群体投放广告会产生各种风险问题的，系统提供黑白名单控 制，将具体对象的IP或者ADSL账户设置为黑名单。禁止向这些用户推送广告。 以此提升用户整体的体验效果，降低用户的投诉。广告提单管理广告主账户信息管理系统提供对广告主账户信息的管理，可以分级授权，超级管理员可以管理系 统中所有的广告

41、，通过系统配置授权给广告主，这些广告主可以获取账户和密码 登录系统对个人的广告策略进行管理。网址充值付费 :/开通平台没有账号的广告主需要在官网点击右上角“注册”按钮，填写相关信息申请 注册。首页动念定IRJ洞察产品案例提供数据技术关于我们提交申请专业咨询邮箱 I邮箱作为账户名联系人：联系人姓名手机j手机号码QQQ竭码验证码 fcW 青不清也可通过广告平台登陆页面的“新用户注册”按钮到官网申请注册。用户名f I用户名密码:密码登录首页新用户注册密码找回动态定向洞察产品案例提供数据技术关于我们4.1.3. 2.广告提单投放管理在投放管理模块，可上传创意，对通过审核的创意组建立推广单元进行广告投放

42、。创意组管理通过投放管理一创意组管理，进入创意组管理页面。创意组列表显示的信息 包括序号、创意组名称、所选模板、尺寸（已上传尺寸数和未上传尺寸数）和审核状态，可按创意组名称和审核状态查询。创目组名称|市核状态| 座号创意组名称所选模板尺寸市核状态掾作1隼支新宣传默认模板已上传：2未上, 2个尺寸局部通过局部通过设查|鹿涔|弄求投球单元2然事8默认模板已上传：10未上传：21未通过汾置|删除3集M宣传默认模板已上传：1未上传：30局部通过金置|删除|夺建投球单元4式3组A默认模板已上传:6未上传:25局部通过设置|删除|拜理扮成单元当丽第1页.每页皇示10条，共4条下一页上一页 1在创意组列表可

43、点击创意组名称可查看该创意组信息；将鼠标放到指定创意 组的审核状态上，显示该创意组创意审核情况；点击指定创意组右侧的“设置” 按钮进行创意组设置；点击指定创意组右侧的“删除”按钮删除该创意组，如果 正在投放的创意组被删除，该创意组对应的推广单元变为暂停状态；对于已经通 过审核的创意组，可点击该创意组右侧的“新建投放单元”进入新建推广单元页面对该创意组新建推广单元设置投放策略。投放管理通过投放管理-投放管理，进入投放管理页面。在投放管理页面可按时间维 度查看到推广单元趋势图和推广单元列表，时间维度包括今天、昨天、本周、上 周、本月、上月和近30天，也可点击时间对话框通过时间控件点击指定日期自定义

44、查看单元列表信息。2014-12-15 - 2014-12-17桢 JS本月 上月从 2014-12-15从 2014-12-15到 2014-12-17十二月 2014 )周日周一周二周三周四周五周六十二月 2014 )周日周一周二周三周四周五周六30714 212841813222952916233063101724317411182518512192629十二月2014 )周日周一周二周三周四周1周六3012345678910111213141516K31819202122232425262728293031123456789106132027 310推广单元趋势图可通过下拉框选择全部推

45、广计划或者指定某个推广单元，还 可定义趋势图表展示的指标，包括花费、展现数、点击数、平均点击率和平均点击本钱。推广单元列表展示该指定时间内的所有推广计划，包括推广单元名称、状态、上月 1622014-11-23 - 2014-12-22赵劳国表指示：码 C展现数O点击数。平均点击至。平均点击本钱推广单元列表推广单元：全部卷广单元本周 上周 本月有效期、每日预算、展现数、点击数、点击率、总费用、平均本钱、本页总计和 全部总计，可输入指定推广计划名称进行查询。鼠标放到推广单元名称上，点击 出现的“铅笔”图标可在弹出的对话框中修改推广单元名称和出价；点击推广单 元名称可查看该投放单元对应的创意组创意

46、列表，也可对该创意组进行编辑；点击某个属性右侧的上下列图标使推广单元列表按照该指标的升序或者降序进行排 列。1新增广单元ifi百推广单元良制推广单元启用日子SS请输入推广华速称S3 推广单元有效期默认出价每H演算展现数点击数点击率总费用平均点击本钱Io默认的单元没育今曰排期2014-12-20-2014-12-311.5030.003825.26%0.010.01O1219测试地域投放用户音停2014-12-19形5束时间2.00100000-0 00-o1219玩一玩用户智停2014-12-19无结束时间22.003.0000-0.00-O1220测试标及投放用户暂停2014-12-20形5

47、束时间3 0010 0000-0 00-1220测试标筌投放_用户暂停20141220穆东时间1.005.0000-0.00-O1220测H式 CPC用户暂停2014-12-20穆束时间1 005 0000-0 00-12201555CPC 新测试CPC12201606设置小额点用户暂停2014.12-20根束时间1.005.0000-0.00-O击垄价用户暂停2014-12-20穆束时间0 605 0000-0 00-本页息计全部总计-38926235.26%0.010.010.01-在该推广单元列表中，可对推广单元进行新增、设置、复急I、启用、暂停和删除归档操作,还可点击列表下方的“查看已

48、归档的推广计划”按钮查看已归档的推广计划。4.1.3. 3.数据统计报表可在首页，或者通过进入“数据中心-投放统计”查询广告投放统计报告。 可通过“昨天”、“本周”、“上月”和“本月”按钮快捷查询对应时间范围内 的数据报表，也可按自定义时间维度查询广告投放数据报表。自定义时间需点击 时间对话框，选择起止时间后点击确定即可。能查看的数据指标包括：展现数、点击数、平均点击率、平均点击单价、总花 费、胜出率、到达率、注册数、平均注册单价（CPA）和注册转化率。答复：满足。(3)在技术谈判的各个阶段，买方将要求投标方对有关问题进行进一步的技 术澄清，投标方应给予应答。答复：满足。3工程概述3. 1工程

49、背景随着移动互联网、云计算、物联网技术和业务的开展，数据呈爆炸性增长， 全球进入数据ZB时代，2010年全球数据量到达1.2 ZB, 2011年全球数据量达 到1.8ZB,到2020年，将到达35 ZB。电信运营商与互联网公司等产业上下游 企业激烈竞合，产业格局正在重塑，传统电信运营商面临低值化、管道化，在新 的产业链中需要谋求新突破。为了应对移动互联网时代的挑战，中国电信正在向 “智能管道的主导者、综合平台的提供者、内容和应用的参与者”的新三者战略 转型。根据集团大数据业务规划，大数据运营以“一点管控、集约运营”为原那么， 通过大数据的挖掘分析，一方面可形成对内数据运营，为精确管理和精确营销

50、提 供服务，另一方面可形成对外数据运营，直接向外部合作伙伴提供大数据服务， 进一步挖掘数据资产的商业价值，探索基于大数据的新型应用与商业模式，实现 企业数据价值变现答复：满足。3.2工程目标构建大数据运营平台，实现数据价值变现：平台可支撑向行业用户、外部合 作伙伴提供数据出售、数据咨询、数据能力和数据解决方案等四种业务形态的数 据服务。通过对外合作的模式，可融合合作伙伴的数据内容，根据合作伙伴和客 户的需求，将电信的数据资产进行包装，向合作伙伴提供数据服务。2014-10-27-2014-11-02昨天 本周上周 本月上月321 、一.十月 2014 _ 寸I解赠!哥特1|C32829I 30

51、12345678910111213I 141516171192620 2/*222923302431212345678从到2014-10-282014-10-28价拜2852930123467891011131415161712223242129303113456781219262统计报表提供六种查看方式，点击即可切换查看，报表以图形和表格形式展 现，图形报表包括柱状和线状，可选择柱状和线状代表的指标通过图形报表直观 展示特定指标数据趋势；图形报表按照指定的查看方式（6种之一）罗列具体数据。媒，果总览定向效果总览创意效果总览关键词效果总览柱状指标：展现数表格形式展现的数据，可通过点击对应指标右

52、侧的上下箭头按钮按照该指标 的上升或者下降顺序进行排序。的单元展现数点击数平均点击率平均点击单价总花费注册数CPAaffluxgj360-IT2-C779373790.486%0.45171 465254%0 000%0融360视频2-C789683720.471%0.48178.785.727%0.000%0融360-汽车1-C735593720.506%0.47173.993.590%0.000%0-图形报表支持更改展示形式，可通过点击右上角按钮设置为数据展示、双线 形展示、双柱状展示、还原，还可点击最后一个按钮进行图形报表截图。BI区位CO数据总览直观显示广告主按时间筛选查询后，当前投放

53、所花费的金额、点击价格、注 册数、CPA、注册转化率，让广告主对目前的投放状况一目了然融360融360总花费平均点击价格注册数CPA注册转化率263.250.32 ：0推广效果总览按投放单元查看数据，便于比照各不同投放单元的效果。推广单元取现数点击数平均点击率平均点击单价总花费CPA注册转化率8J360-IT2-C1608138200.510%0.48395.677 031%0.000%0-融3602频 2C1912918100.423%0.59 474.547.509%0.000%0-融3604 区 1C1626008010493%0 52417667 865%0 000%0-广告投放统计报

54、表下载点击“报表下载”按钮,即可将当前按照时间、和六种查看方式查询出来的数据结果导出excel到本地。文件- 受保护的视图-Microsoft Excel开始 播入页囹布局公式 数君 五阅 视图ABCDEFGHIK12创意名称展示效点击数平均点击率平均点击单价总花费跳出率到达率注册数CPA注册转化率34527%0.08274.018.448%0.000%-4酷狗繁星四373%0.08271.818.591%0.000%-5酷狗繁星三643%0.07269.448.632%0.000%-6酷狗繁星一图142608360

55、52.528%0.08271.688 757%0.000%-7浅多多114239535462.490%008271 078 623%0.000%.8福特移动banne505%0 08270 148 724%0 000%-9好借好还二期2)114216438292 693%0 07270 698 712%0.000%-10慈格-中秋节114216138242.690%0.07270 048712%0.000%-11好借好还2版30492%0.08268.388.689%0.000%-12HRS_南桥绿地出520479571.839%0.1094

56、.697.635%0.000%-0 受保护的视图 此文件源自Internet位置,可能不安至.请单壬查看详的S息.启用编事(E)A1广告引导管理通过对接DPI底层数据，可以获取用户上网请求的 GET报文，对报文 进行分析，在分析的同时，在请求中，添加JS代码，置换到原有请求中的JS代 码。新的请求会连同报文发送到客户端，客户端会解析执行JS代码，这个时候 会触发推送平台的后端策略控制，匹配与用户兴趣相匹配的广告计划，将正确的 广告素材推送到用户面向进行展示。整个业务流程中，系统会根据配置规那么，对JS代码会进行策略性的添加和执 行。系统提供面向用户的黑白名单配置规那么，可以配置面向用户推送广告

57、的频 率，可以根据用户的IP与ADSL账户等控制对用户的流量的引导。除面向用户做策略配置外，可以针对一些特别的媒体网站做策略性的JS代码 置换，譬如一些企业门户网站、政府国家机关网站等。可以限制在这些网站上做 广告的投放。广告计划检索广告选择广告计划检索，可以对广告推送平台中的所有的广告计划资源建立检索机 制。并能时时更新。广告计划创立后，会建立各种创意组，形成不同的广告执行策略，包括广告 投放的排期、时间段、地域、广告状态及展现的形式等。在用户发起访问请求， 触发广告投放机制时，系统提供的检索机制能根据设置好的各种规那么，层层过滤。 将合适的广告在合适的时间投放给合适的人。2.人群标签管理人

58、群标签管理支持私有人群（访客找回）的管理，包括查询、新建和编辑操 作。提供人群标签的导入接口，能对接外部标签数据。执行广告计划前会启动人 群标签数据的匹配机制，完成广告投放人群策略的匹配检索。人群列表进入人群标签库一人群列表页面，人群列表显示的信息包括人群名称、年龄、 规模、热门度、地域、偏好等。可在搜索框输入人群名称进行搜索。点击指定人群右侧“编辑”按钮可对该人群进行编辑操作。新建人群在人群标签列表点击“新建人群”或者从右侧菜单人群标签库一新建人群进 入新建人群页面，填写人群标签库名称和人群标签描述，定义访客行为：多少天 内访问过（或未访问过）模糊匹配（或者完全匹配）某个url的人群，选择“

59、或“ 或者“和”条件再点击“添加另一个人群筛选条件”为人群添加多个筛选条件。 设置完成点击“提交”完成私有人群的新建。人群*人群库用途：重走向群库名称：|访客行为：访客行为：认群库描述：l天内访问过y 模糊匹配7O或Cffl添加另t人群蕊选条件提交取至内部业务支撑推送平台除了面向外界提供广告推送投放服务，还可以支持运营商内部的业 务营销。内部业务支撑，主要在两方面：1、可以为用户提供时时的提醒服务，提升客户的服务体验用户在使用各种流量套餐包的过程中，在使用浏览器上网过程中，当用户剩 余流量低于阀值或将用尽时，推送平台可以Toolbar,弹窗等各种形式提醒用户。可以配置的流量包推送规那么包括：

60、不含流量套餐用户提醒当客户使用的套餐包中不包括任何流量业务优惠包的时候，平台会给客户推 送各类上网资费标准及套餐的信息。便于用户直接选择订购。套餐使用信息提醒当用户在使用流量套餐的过程中，根据后台用户流量使用数据，平台可以时 时推送流量消耗的各种信息，如流量剩余量、套餐流量预警、套餐使用完等。2、个性化套餐分析推送：结合用户流量套餐使用历史数据与当前使用情况。 对数据展开分析统计，对用户的消费偏好做统计分析。在合适的时候给用户推送 合适的套餐业务。四、产品配置清单1、大数据处理子平台大数据处理子平台产品配置清单如下:编号产品名称产品描述1宽带DPI数据采集清洗支持文件方式和数据流实时处理方 式