可信大数据软件研究

1、中科院计算所可信大数据软件研究2主要内容n鉴定/验收的代表性成果n科研基地进展n学术活动n结论与研究点思考3鉴定/验收的代表性成果n天玑大规模网络信息处理系统n“973” 课 题“ 基 于 Internet 超大规模知识检索的算法及应用”（课题编号：G1998030413）n“973” 课 题“大规模文本内容计算”（课题编号：2004CB318109）n“863”计划“大规模网络内容安全监控关键技术与示范系统研究（课题编号：2006AA01Z452）”n“863”计划子课题“CNGrid 网格软件测试及工程化”（课题编号：2005AA119010）n进展n系统在高维稀疏特征的精准分析、多元异构

2、数据融合的深度挖掘、跨尺度演变的聚集行为发现和海量数据的分布式存储管理等四个方面的关键技术上取得了重要突破。4鉴定/验收的代表性成果n项目所形成的技术成果发表学术论文356余篇，SCI收录 60余篇，被包括Nature、Physics Reports、IEEE汇刊等SCI学术刊物引用 183 次。n申请发明专利20项，授权12项，软件著作权16项。n该系统在由美国国防部高级研究计划局（DARPA）、美国国家标准技术研究所（NIST）等机构主办的国际权威评测中，有4 项技术获得国际排名第一。n所提出来的分布式数据存储结构（RCFile）技术系国际首创，被Apache Hive、Pig 等主流开源

3、软件采纳，已成为国际上分布式离线数据分析系统中存储结构的事实标准。5鉴定/验收的代表性成果系统结构框图6鉴定/验收的代表性成果n基于虚拟机架构的可信计算环境与可信软件设计 n国家自然科学基金重点项目（编号为 90718040），于 2011 年 1 月通过国家基金委验收，验收结果为“优秀”n进展n在平台基础设施方面，对虚拟计算资源的建模、分配与隔离、有效利用与管理等方面进行了深入的研究，并按计划书要求构建了TRainbow 可信虚拟计算平台系统。在此平台基础上，重点对虚拟集群的可信增强技术、信任链构建机制、虚拟平台的可靠机制、虚拟监控器的可信机理等进行了研究。n实现了包括 TRainbow 可

4、信虚拟计算平台、TMemCanal 内存全局优化系统、VMGuard管理域完整性检测系统、VSchecker 虚拟存储完整性透明检测工具、Luvalley 虚拟机监视器等多个虚拟机架构下的可信保障及增强系统，为后续研究工作提供了平台和基础。7鉴定/验收的代表性成果n项目发表学术论文 31 篇；申请国家发明专利14 项，已授权 3 项；申请软件登记 2 项，1 项已登记；培养博士 9 名、硕士 16 名；有 10 人次参加国际学术会议。VMGuard ：一种面向管理者虚拟机的完整性检测系统VSchecker ：透明的虚拟存储完整性检测工具8鉴定/验收的代表性成果n基于云计算的海量数据挖掘n国家基

5、金重点项目（课题编号：61035003），起止时间是 2011 年 1 月至 2014年 12 月。项目组按计划进行深入研究，圆满地完成了 2013 年的工作n进展n提出基于云计算的海量数据挖掘方法和算法。n提出海量数据预处理方法。n提出面向海量数据挖掘的云计算模式。n提出基于云计算的海量数据挖掘按需服务。n提出云计算海量数据挖掘引擎。9鉴定/验收的代表性成果n2013年度发表专著3本，发表国际期刊论文35篇，其中SCI收录25篇，EI收录10篇，发表国际会议上论文33篇，其中EI收录19篇，在国内重要期刊发表(含录用)文章14篇，其中EI收录5篇，参加国际会议特邀报告2次，国内会议特邀报告7

6、次。n申请国家专利11项，已有2项获得正式授权。n获软件著作权4项。n课题负责人史忠植获得2013年中国人工智能学会吴文俊人工智能科学技术成就奖。10科研基地进展n中科院网络数据科学与技术重点实验室n2013 年 4 月中科院批准成立n是我国首个专门研究网络大数据的省部级重点实验室n建设目标n推动网络数据学科发展，突破 ZB 级网络数据感知、传输、存储、管理与分析体系架构，研究网络数据界的溯源、定位、预测与控制方法，支撑安全大数据、情报大数据、金融大数据、商业与媒体消费大数据等系列应用。n学术成果n发表论文近 70 篇，专著 1 部，译著 1 部，文章总数比去年增长 16%。其中，发表在 Pl

7、os One 等A 类期刊上的论文有 9 篇，发表在 WWW、SIGIR等 A 类会议上的论文有 13 篇，A 类会议文章增长 46%。11科研基地进展n在网络数据平台建设方面n面向高端数据分析、金融数据工程、互联网信息监测、商业智能等应用，积累数据的规模持续增长；n建成了数千个计算节点，PB 级存储容量，Gbps级互联网带宽和大量群体合作的网络爬盟与网络感知；n达到百万领域信源入口；n积累了带标签的百亿级网页、百亿级消息文本信息、每天千万级消息更新。n在重要项目争取方面“网络大数据计算的基础理论及其应用研究”n由中国科学院计算技术研究所牵头，华云生作为首席科学家；n联合清华大学、北京大学、中

8、国人民大学、公安部第三研究所等单位共同申报并获得立项的973计划项目12学术活动n中国大数据技术大会（Big Data Technology Conference，BDTC）n目前中国规模最大、最具影响的大数据领域技术盛会n从2009年就开始举办，一年一届，计算所为主要组织者n共设立“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据研究与发展”，“大数据基准测试”五大技术分论坛n2014中国大数据技术大会n12月12-14日在北京新云南皇冠假日酒店顺利召开n本次大会由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，由中科院计算所与CSDN具体组织n主旨在于推进大数据科研、

9、应用与产业的发展13学术活动nBDTC 2014特邀近百位来自全球大数据产业界知名学者、企业领军人物、行业资深专家、一线实践技术代表n演讲内容涵盖：nHadoop、YARN、Spark、Tez、HBase、Kafka、OceanBase等开源软件的最新进展nNoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势nOpenStack生态系统对于大数据计算需求的思考n大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用14学术活动n中国大数据技术与产业发展白皮书（2014）n2015大数据十大发展趋势预测n中科院计算所网络数据科学与技术重点实验室主任程学旗研究员作为CCF大数据专家委员会秘书长发布；n代表了百余位业内专家在大数据典型应用现状、大数据技术体系现状、大数据IT产业链与生态环境、大数据人才资源、大数据发展趋势与建议等方面的深入思考；n为企业制定大数据战略规划提供了极具价值的参考建议。15结论与研究点思考n在大数据概念兴起之前，中科院计算所围绕大规模信息处理已经开展了多个国家项目的研究，并研制了天玑系统、海云系统等等。n近年来随着大数据技术的流行，计算所成立了网络数据科学与技术重点实验室，在A类期刊和会议上发表了20多篇论文。计