基于大数据的安全分析及溯源技术-技术规范及评分标准

1、“移动互联网系统与应用安全国家工程实验室”基于大数据的安全分析及溯源技术技术规范2015年9月目录一、 项目背景3二、 项目建设目标3三、 总体架构4四、 本期采购内容6五、 主要采购需求61. 供应商资质71) 注册资金72) 投标方产品案例73) 投标方服务案例74) 第三方资质75) 信誉要求72. 功能需求81) 流量数据解析模块82) 数据清洗及去重模块83) 报文信息及协议解析模块84) 数据入库模块95) 分析算法库96) 挖掘算法库97) 恶意特征库108) 趋势预测模型模块109) 数据脱敏及模糊化模块1010) 信息生命周期管理模块1111) 日志审计模块1112) 网络及

2、移动数据隐私防泄漏模块113. 性能需求121) 流量数据解析122) 数据清洗及去重123) 数据入库124) 分析算法库125) 挖掘算法库126) 恶意特征库137) 数据隐私保护及审计13六、 招投标评分表131、 项目背景 国家发改委于2013年11月4日正式批复（发改办高技20132685 号文）中国电信建设“移动互联网系统与应用安全国家工程实验室”（下称国家实验室），中国电信确定由上海研究院为主承建。为进行实验室建设，中国电信下达了“中国电信 2014 年移动互联网系统与应用安全国家工程实验室建设工程”、“中国电信 2014 年移动互联网系统与应用安全国家工程实验室配套工程”等项

3、目，搭建移动互联网与业务安全研发实验平台，端到端的安全测评和仿真实验平台，移动互联网安全技术应用示范平台等三大平台。2、 项目建设目标国家实验室的已建成网络信息的大数据采集套件、大数据分析系统软件，主要着眼于移动互联网信息内容安全方面的研发。本期采购1套第三方软件，在国家实验室现有基础上增加算法特征库、网络及终端数据保护等工具，完备国家实验室在“基于大数据的安全分析与溯源”方向的研发环境，并利用大数据在“移动互联网系统与应用安全”方面进行技术研究及突破，构建“大数据安全分析及溯源示范过程”，主要以实现：1) 面向智能终端用户及应用开发商的移动互联网仿冒应用识别及渠道监测能力：通过对海量数据进行

4、分析，对主流移动互联网应用进行快速抽取及比对，进行仿冒移动互联网应用的识别、警示以及应用发布渠道的监测；2) 面向监管部门及移动互联网应用商城的结合大数据安全分析的移动互联网应用检测能力：通过对应用层协议的上下文会话数据提取及深度分析能力，对移动互联网应用进行深度挖掘分析，结合移动互联网应用特征库及应用检测技术对应用App所包含的恶意代码、木马病毒特征等进行发现；3) 面向政企用户的网络威胁情报分析服务：利用流式计算和大规模并行计算等技术进行实时分析及深度挖掘等，通过流量对进行历史分析、回话关联对如APT（高级可持续性）攻击等进行检测；4) 面向后端运维部门的恶意行为发现及溯源服务：对数据进行

5、安全元数据的提取，结合恶意地址、恶意行为特征进行监测发现，可为移动互联网应用等后端的服务器提供注入攻击监测、XSS攻击监测、远程命令执行监测等的能力；5) 面向国家安全部门提供移动互联网安全态势分析能力服务：主要结合海量数据的分析挖掘技术对恶意行为进行发现、事件反查溯源、传播预测/预警、系统漏洞发现及挖掘等；项目建设的预期主要指标如下：l 端对端采集清洗输出延迟 < 800ms l 系统采集有效数据包丢包率 < 0.01% l 实时清洗率 > 97%；l 支持分布式白名单；l 恶意特征库动态加载，生效延迟 < 0.5s l 支持分布式旁路分析及挖掘算法库；l 系统支持分

6、布式负载均衡；3、 总体架构“基于大数据的安全分析与溯源”平台整体架构如下图所示：其中绿色部分为国家工程实验室现有基础，主要为实现移动互联网信息内容安全方面的分析与溯源；红色为本期采购涉及内容，蓝色部分为实验室自主研发部分。目前所具备的的主要数据源如下：1) 与IT部大数据平台互通，主要获取固网DPI、C网DPI、LTE DPI等数据：中国电信信息园区 B12 1 楼实验室机房新增 1 根专线连接北泰(/云莲)机房；2) 通过端口镜像使用分流采集设备，以1对多的输入、输出获取IDC流量：信息园区 B2 IDC 2-1 机房 A13 机架至信息园区 B12B国家工程实验室机房；3) 承接集团公司

7、信安部对国家实验室开展大数据安全及大数据安全分析科研的要求，与上海CU平台对接，获取本地IDC CU平台数据：新桃浦 3 楼 IDC B21 机架至信息园区 B12B 国家工程实验室机房；4) 以FTP或离线数据导入方式不定期从集团“移动用户上网日志留存”平台获取电信移动用户上网留存日志；4、 本期采购内容本期主要采购的功能模块如下：1 流量数据解析模块2 数据清洗及去重模块3 报文信息及协议解析模块4 数据入库模块5 分析算法库6 挖掘算法库7 恶意特征库8 趋势预测模型9 数据脱敏及模糊化模块10 信息生命周期管理模块11 日志审计模块12 网络及移动数据隐私防泄漏模块5、 主要采购需求本

8、期采购需求分为：供应商资质、模块功能、模块性能三部分，具体如下：1. 供应商资质1) 注册资金投标人注册资金情况，注册资金1000万元人民币以上；2) 投标方产品案例应具有为省部级或以上单位成功案例3个以上，须采用大数据分析技术进行数据挖掘或流量分析；应具有近2年内合同金额大于200万的运营商大数据平台建设或数据处理分析服务案例；应提供该案例的合同或立项证明，并提供该案例的完整技术方案；3) 投标方服务案例近两年内：应具有为省部级以上单位提供大数据安全管理软件或平台服务的案例；应提供相应的合同或协议证明；4) 第三方资质对投标方所获得的第三方资质要求，如：CMMI3级及以上资质、通信信息网络系

9、统集成企业资质”丙级及以上或“计算机信息系统集成企业资质3级及以上，满足ISO9001质量管理体系认证；5) 信誉要求投标人不得存在下列情形之一：u 投标人被责令停业或破产状态的；u 投标人被暂停或取消投标资格的；u 投标人财产被重组、接管、查封、扣押或冻结的；u 投标人在最近三年内（2012年至今）有违法行为或被媒体曝光且在社会上造成恶劣影响的；u 投标人在最近三年内（2012年至今）严重违反合同约定的；u 投标人在最近三年内（2012年至今）有骗取中标的；u 投标产品在使用过程中出现过重大质量问题且未妥善解决的；2. 功能需求采购内容功能需求如下，其中带*号项为需求关键项。1) 流量数据解

10、析模块* 需能够支持解析pcap、netflow、sflow等大规模流量格式；* 需可还原Http类型的IP包头和内容，包括源IP、源端口、源所在地、目标IP、目标端口、目标所在地、协议、威胁等级等；* 需可支持全球数据解析定位，获取所在的的经纬度；2) 数据清洗及去重模块* 需能确保实现数据的一致性：当原始数据源更新时，清洗和去重后的数据能反应变化和联系；* 具备分布式实时清洗技术；需能够有效防止数据污染，对收集数据中的副作用数据进行识别和过滤，以及有效避免数据遭受入侵、篡改和替换；需能根据平台需求将来源不同的数据进行标准化处理，统一为同一种待分析数据；需能根据平台分析的需要，进行必要的降维

11、处理，以聚焦主要指标分析，通过相关性分析进行降维；3) 报文信息及协议解析模块* 需可支持Http类型TCP协议解析，支持到链路层、传输层、会话层、应用层等协议识别和解析；需可支持各类工控协议的解析识别和移动应用Http类型的协议的解析识别；需可支持标记未知的应用层协议；* 需可支持网页、Webmail等内容的解析。* 需可将解析的内容进行重组再现，以直观进行展现。4) 数据入库模块* 具备数据处理过程的智能调度；* 支持针对结构化和非结构化协议报文数据的入库接口。* 数据入库接口需支持HDFS、HBase、Hive等非结构化数据存储平台。5) 分析算法库* 需可支持进行分析算法自定义，从而快

12、速进行分析算法的扩展；* 需支持基于安全元数据的共性计算特性，包括基于共同属性的关联分析，以及异构数据源之间的元数据关联分析；* 需可支持Web应用层Http类型的协议的上下文会话数据提取、深度分析能力；* 支持恶意应用、恶意代码、恶意攻击者、恶意网址URL的溯源分析能力；* 应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的分析算法库免费更新；* 需可提供进行二次开发Restful API接口；6) 挖掘算法库* 需可支持进行分析算法自定义，从而快速进行挖掘算法的扩展；* 需支持针对Webshell、XSS、SQL注入、爬虫、扫描攻击等的大规模离线和实时

13、混合分析与检测机制，并生成拦截过滤规则；支持基于大规模移动应用Http类型流量的聚类分析功能；支持基于大规模普通Web流量的聚类分析功能；* 实现基于Http请求包的深度安全检测能力，能够检测潜在的恶意攻击行为和窃密行为等；* 提供的各类挖掘算法应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的挖掘算法库免费更新；* 需可提供进行二次开发Restful API接口；7) 恶意特征库* 需可支持通过ioc等脚本工具查找某一类的恶意文件、网站、代码等；* 需可根据用户需求自定义恶意特征库；* 应支持包括Hadoop、Spark、Storm等平台；* 需支持本地

14、部署，以及至少3年的挖掘算法库免费更新；* 需可提供进行二次开发Restful API接口；8) 趋势预测模型模块* 可提供针对移动平台的应用传播趋势预测模型；* 可提供针对移动平台的恶意应用增长趋势预测模型；* 提供针对普通Web应用的恶意攻击增长趋势预测模型；可提供针对漏洞和0Day的传播趋势预测模型；* 需可支持运行于分布式数据库之上，以适用于进行海量数据的分析；* 需可进行预测模型可定义，以预测模型的修改和扩展；* 应支持包括Hadoop、Spark、Storm等平台；* 需支持本地部署，以及至少3年的预测模型库免费更新；* 需可提供进行二次开发Restful API接口；9) 数据脱

15、敏及模糊化模块* 需可支持敏感数据脱敏需满足PII（个人可识别信息）定义，即脱敏后数据不能包含可识别或者定位个人的信息集；。* 需可支持对需要统计的精确数据支持模糊化处理能力；* 需可支持进行数据脱敏规则的自定义；需支持针对脱敏后的数据进行审计，防止未脱敏数据外泄；* 需支持本地部署，以及至少3年免费的脱敏库更新服务；* 需可提供进行二次开发Restful API接口；10) 信息生命周期管理模块* 需可支持对平台内安全元数据、帐号、应用等进行全流程生命周期管理；* 需可支持针对不同权限和用途的账号进行全流程控制管理；需可支持针对信息和用户的管理规则自定义；需可针对生命周期管理进行定期审计；1

16、1) 日志审计模块* 需可支持分布式日志数据的高性能采集、格式化、存储和管理，并且与平台业务相互隔离；* 需可支持提供日志范式化和详尽的日志分类；* 需可支持大规模部署和功能扩展；能够以可视化的方式展现日志审计的结果，并至少标注出可疑日志、入侵行为日志等，为不同层级的用户提供多视角、多层次的审计视图；支持日志数据的离线和在线备份、确保具有合适的容灾恢复能力；需可支持日志等级设置，可提供不同的人员进行审计或者故障排查、定位；* 需支持日志记录格式、路径常规等设置；12) 网络及移动数据隐私防泄漏模块* 需可支持隐私数据规自定义，可根据业务灵活增删改隐私数据；* 需可针对系统内的数据进行隐私审计，

17、支持正则表达式定义，以实现模糊审计；* 需可具有近似实时检测网络中敏感数据内容的能力，并能标记和存储；需可具有近似实时检测、标记网络中威胁的能力，支持阻断、提醒、告警和加密等功能；* 需提供全业务流程的安全访问控制和授权机制，防止账号被滥用、冒用；并支持基于账号权限对不同层次的敏感信息进行屏蔽；* 需可支持网络数据平台的所有输入输出操作都有日志记录功能、文件泄露可以快速定位泄露源头；需支持备份数据的加密机制，并建立数字水印，确保备份数据的可追踪；需支持对平台的扫描、监控和预警模块，以保护平台及内部数据的安全；3. 性能需求采购内容性能需求如下，其中带*号项为需求关键项。1) 流量数据解析* 需

18、可支持峰值10Gbps的Http流量数据还原解析；* 数据还原准确率需至少90%；2) 数据清洗及去重* 需能够有效甄别不完整数据项、去除重复数据，确保数据的精确性至少95%以上；* 需保证数据处理后的冗余率在1%以下；3) 数据入库* 需支持在采用万兆网卡的情况下，最大存储速度可达至少1G/S；4) 分析算法库*支持TB级别数据10秒内单关键字查询和检索操作。*支持TB级10秒内的单个元数据查询操作。*支持TB级10秒内的单个元数据增删改操作。5) 挖掘算法库* 需支持至少10种的挖掘算法；* 支持TB级别单条数据的10秒内级查询和检索操作；需支持5种及以上聚类分析算法；需支持5种及以上安全

19、挖掘算法；6) 恶意特征库* 提供不少于5000万的恶意URL数据库；* 提供不少于2000条的Web应用层指纹数据库；* 提供不少于20万的恶意移动应用标识数据库；提供不少于5000千万的恶意攻击溯源IP数据库；提供不少于200条的恶意访问请求拦截规则库；支持TB级别数据的10秒内单个数据的查询、匹配操作；7) 数据隐私保护及审计* 脱敏准确率需要达到95%以上；支持实时数据隐私审计效率500Mbps，及10秒内操作响应；支持日志记录能力1000条/秒以上；需支持当数据外泄时，10秒内进行提醒并同时挂起数据传输进程；6、 招投标评分表配分类别配分内容配分1、报价相关评分计算货物投标总价时,以

20、货物到达买方指定交货地点的交货价为依据。评标工作小组对各投标人的投标价格逐一审核并修正得出修正后的投标价,修正后的投标价指修正错误并统一以人民币表示的投标价。在进行价格评审时,将只考虑人民币报价。1.1保修期后维保年费率评分（未报以0分计算）：根据投标人所报的保修期后维保年费率依次排序。51.2报价评分： 根据符合招标文件要求的投标人的开标价依次排序，如投标人的有效投标报价小于等于5家，以最低价和次低价的平均价作为基准价。如投标人的有效投标报价大于5家小于等于10家，则去除所有报价中最高和最低报价后，取余下有效报价中的最低价和次低报价的平均价作为基准价。如投标人的有效投标报价大于20家以上，则去除所有报价中3个最高报价和3个最低报价，取余下有效报价中由低至高排名有效报价总数20%处（向上取整）的报价作为基准价。202、技术评分设备和技术方案设计的合理性、先进性和对需求的满足情况2.1设备或产品的功能满足情况需能够有效防止数据污染，对收集数据中的副作用数据进行识别和过滤，以及有效避免数据遭受入侵、篡改和替换需能根据平台需求将来源不同的数据进行标准化处理，统一为同一种待分析数据需能根据平台分析的需要，进行必要的降维处理，以聚焦主要指标分析，通过相关性分析进行降维需可支持各类工控协议的解析识别和移动应用协议的解析识别需可支持标记未知的应用层协议支持基于大规模移动应用http