数据时代的情报方法体系

数据时代的情报方法体系数据时代的情报特点数据时代的情报理论情报方法体系的逻辑架构面向情报流程的方法体系1234小数据情报分析实例数据D1:elevendoneonetoomany信息IF1:某间谍身上搜索到的火柴盒上印有elevendoneonetoomany字样知识K1（常识知识）：31是荷兰的国际电话区号知识K2（专家知识）：键上的首字母代替数字是加密方式的一种知识K3（专家知识）：英文单词的拆分与组合也是加密方式的一种，如done=d+one,根据K2得出d是3，根据语言知识库得出one是1，因此doneone对应着31策略1：用什么样的线索，分析目标是什么情报IT1：elevendoneonetoomany的明文一个荷兰的一个电话号码，大数据情报分析案例爱德华·斯诺登美国“棱镜”计划数据基础：Google、微软等用户数据分析：序列分析、模式分析结果：恐怖活动预测与监测、重点国家竞争目标任务恐怖主义和恐怖分子的关系、活动、联络、意识形态宗教文化变迁的战略影响中国与发展中国家的科学技术与军事转型能源和环境压力对国家安全的影响战争发动投票支持的监控与拉拢国家和区域谈判合作支撑新兴经济增长点探寻数据来源数据类型数据时代的情报分析流程任务分解与需求定义多源信息融合与清洗信息检索与数据采集信息分析与内容挖掘信息展现与情报提炼报告撰写与情报传递分析方法分析方法模式分析时序分析网络分析关联分析演化分析对比分析异常分析大数据情报的新特点需求敏感性数据多源性分析智能性服务嵌入性服务嵌入性嵌入式

情报服务嵌入式学科情报服务嵌入式决策支持情报服务嵌入式竞争情报服务嵌入式行业知识服务大数据情报的新功能数据智慧地计算情报需求、用数据智慧地描述当前形势、用数据智慧地分析竞争环境、用数据智慧地感知动态变化传统谍报人员特质身体好，有独特气质技术多面手，如开锁、破译密码、截获信号方法灵活多变，心理素质过硬大数据时代情报人员的特质对信息高度敏感具有专业检索技能善于综合运用多种分析方法掌握系统的情报工作流程与方法知其情、报其告、防止对手先知道情报分析人员的三个愿望知晓一切得到信任对政策施加积极影响如何应对大数据？大数据大数据大数据大数据大数据方法工具情报化柏林数据时代的情报方法体系数据时代的情报特点数据时代的情报理论情报方法体系的逻辑架构面向情报流程的方法体系1234数据时代的情报理论数据、信息、知识、情报概念关系情报的本质究竟是什么信息的类型数值型信息文本型信息图形图像信息音频信息视频信息数值型信息数值型信息以数据库信息为主，如科技统计数据、经济统计数据、调查问卷统计结果其他数值数据数值型信息实例：根据文章编号推算录用比例2007年1月11日投稿编号为2007-0051，2007年5月11日投稿编号为2007-0776也就是四个整月的时间编辑部收到725篇，月均180篇，2007年2-5月共刊登83篇文章，月均21篇由此可以推出《现代图书情报技术》的录用率在1：9左右。文本型信息文本型信息以人类自然语言为主要描述方式，重点体现在图书文献领域，属于非结构化的信息，例如期刊论文、专利说明书、政府报告等。2.中国知网的招聘信息图形图像信息图形信息是由各种各样的符号组成的，图像信息是通过照相设备对客观事物外观的捕获所获得的平面反映，大家常把图形与图像信息放在一起，统称为图形图像信息。图像信息在医学、地理科学等领域应用较多大庆油田案例时间：1966年人物：日本情报专家来源：1966年7月的某期《中国画报》信息：关于王进喜的封面照片情报：判定中国油田位置位于北纬46度至48度的区域，即中国东北的北部寒冷地区。信息F1信息F2信息F3信息F4信息F5情报T1：位置油田位于东北大庆情报T2：规模油田覆盖四百公里情报T3：能力日炼油100万千升情报T4：机遇中国需要购买轻炼油设备知识K1知识K2知识K3知识K4视频信息视频信息是随着时间变化连续记载的可以通过听觉与视觉感知的信息，在传媒、交通等领域应用较多。中央电视台新闻联播举例信息链的金字塔结构数据信息知识情报激活了、活化了的知识，反映人们如何运用知识去解决实际问题。对信息进行加工、分析、提取、评价的结果，反映事物运动状态的规律及状态变化的规律有意义的数据，数据在媒介上的映射，反映事物运动的状态及状态的变化。数据是事实的数字化、编码化、序化化、结构化。?信息链的线性结构数据信息知识情报?数据、信息与情报的转化模型数据信息情报知识知识数据加工信息分析科技情报工作实例期刊论文会议论文专利数据······

数据情报

研究快报研究报告

······检索某主题的数据集合分析信息检索知识分析知识从数据到信息的转化信息数据情境化处理有效化处理归一化处理细分化处理精练化处理…归一化加工把“北大”与“北京大学”统一为“北京大学”，

把“网络蜘蛛”、“爬虫”、“爬行器”、“抓取器”等归一为“爬行器”把英文、法文、日文等不同语种文献资料翻译成中文数据拆分化柏林包昌火;谢新洲;包昌火谢新洲资源整合;数字图书馆;数字资源;网络爬虫资源整合数字图书馆数字资源网络爬虫/about/lrxz/lrxz03.jsp#cyphttpabout/lrxz/lrxz03.jspcyp从信息到情报的转化情报信息去伪存真型差异对比型由此及彼型化零为整型见微知著型…对比分析型情报的关键：知彼知己、敌我对比情报的方法：SWOT、定标比超等报告的形式：三段论对比分析型机构：美国中情局（CIA）时间：1986年3月报告：《苏联激光化学研究与应用》信源：苏联科学家发表在公开出版物上的文献，结论：“我们确信苏联在激光化学领域的基础研究水平与美国相当或超过美国”化零为整型信息综合与汇聚啤酒与尿布，根据零散的销售记录统计汇总发现共被购买的规律德国记者根据零散的新闻报道汇总敌军将领名单评审专家名单汇聚化柏林情报：情况之报告问：情报究竟为何物？答：情况之报告，是既有知识与新信息融合所形成的新认知。从情报起源看情报本质《孙子兵法》：“知彼知已，百战不殆”《辞海》(1915年版)：军中集种种报告，并预见之机兆，定敌情如何，而报于上官者；《辞海》(1939年版)：战时关于敌情之报告，曰情报强调了三点，即情报的核心是情况，情报的重点在于他方，情报的形式是报告（并不限于纸版报告）。情况之报告本方情况他方情况过去情况现在情况将来情况总结与评价预测与预见监测与跟踪过去情况《CIA’sAnalysisofChinaFromNationalismtoMao（1948-1976年）》、《中美科技关系三十年——从冷战时期的科技外交到网络化世界中的伙伴关系》、《英国情报学研究进展五十年》监测跟踪现在情况及时采集、定时跟踪、实时监测。情报采集通过实时地自动运行，可以在运行时不断地观察信息源的变化和更新，把新的或更新过的信息采集下来，并进行分类、标引等分析，并形成简短的报告，定期或不定期地推送给相关人员阅读参考。监测跟踪现在情况美国佐治亚理工学院的阿兰·波特教授及其研究团队长期研究文本挖掘的技术情报功能，他们在针对领导需求做出快速反应方面迈出了一大步。预测预见未来情况预测包括两个方面，一是预测已出现事物的发展趋势，也称为趋势挖掘。如趋势外推法、时间序列法、平滑移动平均方法等。二是预见未出现的事物，称为技术预测或技术预见。对尚未出现的事物能够有一种预判，判断其出现的时间、形势与力量等。也有一些专门的方法，如Backcasting场景预测，空白点分析法等。预测预见未来情况中情所于20世纪80年代就撰写了《2000年的中国》国务院发布的《国家中长期科技发展规划纲要(2006－2020)》对未来的科技发展应达到的情况进行了预测与规划，例如到2020年，本国人发明专利年度授权量和国际科学论文被引用数均进入世界前5位。预测预见未来情况机构：美国著名非营利机构巴特尔纪念研究所和《研发》杂志报告《2014年全球研发投入预测》内容：亚洲成为研发重地，中国研发投入将于2022年超过美国，跃居世界第一。

全球研发投入将小幅增长至1.62万亿美元，美国研发支出将温和增长，而中国在研发投入上继续保持增长势头。

2014年研发投入模式没有显著改变，但正发生区域性改变，亚洲占全球研发投入的比例继续增加，以中国、日本和朝鲜为主要代表国，而美国和欧洲研发投入比例呈现下降趋势。根据目前的研发投入增加趋势，中国的研发总投入将于2022年超越美国。化柏林数据时代的情报方法体系数据时代的情报特点数据时代的情报理论情报方法体系的逻辑架构面向情报流程的方法体系1234基于多维视角的情报方法体系领域视角学术视角应用视角基于学科来源的方法体系基于方法结构的方法体系基于方法属性的方法体系科技情报方法体系商业情报方法体系军事情报方法体系公安情报方法体系面向操作对象的方法体系面向应用主体的方法体系面向情报流程的方法体系面向问题任务的方法体系基于学科来源的情报方法体系基于学科来源的方法体系情报学方法簇图书馆学方法簇管理学方法簇经济学方法簇计算机科学方法簇数学方法簇哲学方法簇其他学科方法簇基于术语结构的方法体系基于术语结构的方法体系一元结构方法簇二元结构方法簇三元结构方法簇多元结构方法簇基于方法属性的方法体系基于方法属性的方法体系结构化方法簇半结构化方法簇非结构化方法簇可验证方法簇非验证方法簇统计方法簇规则方法簇参数方法簇非参数方法簇监督方法簇半监督方法簇无监督方法簇开放式方法簇封闭式方法簇量纲方法簇非量纲方法簇定性方法簇定量方法簇面向操作对象的方法体系面向操作对象的方法体系面向数据的方法簇面向知识的方法簇面向情报的方法簇面向信息的方法簇基于应用主体的方法体系基于应用主体的方法体系国家情报方法簇行业情报方法簇组织情报方法簇个人情报方法簇面向情报流程的方法体系面向情报流程的情报方法体系信息融合方法簇数据清洗方法簇信息分析方法簇情报研究方法簇情报收集方法簇情报传递方法簇面向情报任务的方法体系面向情报任务的情报方法体系情报分析挖掘方法簇情报跟踪监测方法簇情报预测预见方法簇情报评价研判方法簇化柏林数据时代的情报方法体系数据时代的情报特点数据时代的情报理论情报方法体系的逻辑架构面向情报流程的方法体系1234军事谍报与科技情报的过程共性信息获取信息分析情况报告通过窃听、监测、收买等方式获取对方的保密信息通过解密、破译等方法进行分析通过检索、采集、购买等方式获取对方的公开信息通过计量、汇总、比较等方法进行分析结果为领域、行业、学科、产业等方面的报告结果为政治、军事、国防、安全等方面的报告情报工作流程信息搜集信息分析情报传递化柏林

信息搜集与获取方法信息分析与处理方法情报研究与传递方法过程型方法体系情报需求定义方法情报任务类型判别情报任务主题识别情报任务情境感知情报用户分析建模信息采集与获取方法化柏林

搜索引擎方法网络数据库检索方法站内检索方法页内检索方法防拷贝网页信息获取方法IP翻墙技术与方法密码破译技术与方法单站信息批量获取方法定题信息采集方法网络信息监测方法网页内容获取方法网页垃圾信息过滤方法网页信息抽取技术与方法PDF文件内容抽取方法

查找信息

下载信息

提取信息信息分析与处理方法化柏林

多源数据融合方法异构数据融合方法多语数据融合方法

数据融合

数据清选

信息分析计量分析方法聚类分析方法路径分析方法关联分析方法共现分析方法奇异值分析方法可视化分析方法数据去重方法重名区分方法别名识别方法数据过滤方法数据降维方法棱镜计划中的多源融合通过Google的检索日志可以获取用户关注信息的兴趣点以及关注热点的变化，通过Facebook、paltalk等社交网站可以了解用户的人际网络与活动动态，通过微软、yahoo可以掌握人们联机工作的时间、方式以及内容等。而把这些信息融合到一起，可以较为全面地认识并掌握某个用户或某类群体的信息行为特征科技情报的异构信息融合期刊论文学位论文专利信息著作信息项目信息会议信息多源数据同型异源信息期刊论文：知网、万方、维普图书：国图、超星、卓越、当当专利：标准：报告：招聘信息：多源信息融合多源信息融合同型异源信息异质异构信息多语种信息竞争情报的多源信息融合多源数据购买合作数据企业自有数据公开信息源行业协会竞争对手政府机关新闻媒体ERP系统CRM系统财务系统人事系统专利数据库论文数据库标准数据库政策法规库产品市场库多源融合交叉印证案例根据丹麦癌症登记局提供的统计数据，截止到2002年，在42万人中有14249人被确诊患癌症。而根据流行病学的预测，这样的人口规模癌症发生率应该有1.5万例。这也意味使用手机与癌症的发生毫无关联，特别是大家最担心的脑癌、颈癌、眼癌以及白血病的罹患风险并未增加。根据世界癌症研究基金会的数据，全球前十名癌症发病率（每十万人）的国家为：丹麦(326)；爱尔兰(317)；澳大利亚(314)；新西兰(309)；比利时(307)；法国(301)；美国(300)；挪威(299)；加拿大(297)；捷克(295)”。14249/42万=3.4%326/10万=0.33%政府综合治理中的多源数据融合市属垂直系统双向更新移动终端采集社区基础台账空间数据平台共享平台交换网络信息采集多源数据电子商务的多源信息融合浏览数据检索日志上网行为地址信息注册信息历史交易多源数据数据融合线上数据线下数据历史数据实时数据数据融合外部数据内部数据数据融合数据融合多源信息融合方法多源信息字段映射异构加权数据滤重字段拆分数据融合清洗数据统一标识数据更新与同步数据交换与共享数据清洗与比对数据记录滤重字段映射与互补元数据统一描述异构数据加权机构规范问题类别示例原始机构名规范化机构名机构改名南京大学信息管理系南京大学信息管理学院中国科学院研究生院中国科学院大学机构挂靠上海交通大学情报科学技术研究所上海交通大学图书馆武汉大学信息资源研究中心武汉大学信息管理学院机构书写

不规范中国科技信息研究所中国科学技术信息研究所北京工业大学经管学院北京工业大学经济管理学院机构描述层次过细南开大学商学院信息资源管理系南开大学商学院国家图书馆数字资源部中国国家图书馆化柏林情报分析方法方法类别常见方法热点监测方法爆发词探测方法聚类分析方法分层聚类法、迭代聚类法、核聚类法、密度聚类法网络分析方法关联性分析、中心度分析、凝聚子群分析、结构对等性分析演化分析方法技术路线图方法、空白点分析方法、未来技术机会分析方法、关键技术分析法关联分析方法关联规则挖掘方法、链接分析、非相关文献知识发现方法等。共现分析方法共词分析、共句分析、合著分析、共引分析、共被引分析、共链分析等奇异值分析方法孤立点分析法、噪声分析法、新颖性探测方法聚类分析方法聚类分析方法按照聚类的步骤分为分层聚类法、迭代聚类法等，按照聚类元素的关系分为核聚类、密度聚类等，这些方法常用于文献聚类、主题聚类、作者聚类、用户聚类等。聚类的模式主题聚类结构聚类特征聚类网络分析的应用信息检索与推荐：链接网络与共词网络等计量分析：作者合作网络、期刊引文网络等竞争情报：机构合作网络、人际网络等专利分析：技术合作网络、同族专利网络等信息传播与知识扩散研究：社会关系网络、知识转移网络等网络的类型网络节点的角度说，网络分为同质网络与异质网络。从网络节点关系的角度说，网络可分为规则网络、小世界网络与随机网络。网络分析的形式网络分析往往通过可视化技术手段进行展现，包括网络关联图、地形图、雷达图、谱系图等。网络分析的内容网络的几何性质，网络的形成机制，网络演化的统计规律，网络上的模型性质，以及网络的结构稳定性，网络的演化动力学机制等问题，都是网络分析研究的重要内容。网络分析的功能静态属性：网络分布密度、网络群聚系数、网络直径、关联性分析、中心度分析、凝聚子群分析、结构对等性分析方法动态属性：网络关系变迁、演化特征。利用静态属性可以寻找网络中的重要节点、主要关系，发现网络规律；利用动态属性可以预测新兴产业与热点主题，捕获潜在机会与有利战机。演化分析的应用演化分析厘清发展脉络识别关键技术捕获重要机会发现重要情报演化分析的三个阶段过去对过去的发展变化进行梳理总结现在对当前的最新动态进行跟踪监测将来对未来的发展趋势进行前瞻预测演化分析中的方法梳理总结过去：时序分析、生命周期分析、老化分析等方法，通过引文时序分析挖掘学科结构及发展变化规律通过生命周期分析探测产品或领域发展轨迹。监测当前动态：突增分析、渐变分析等方法例如通过爆发词分析来监测研究热点，通过“领头羊”分析来监测网络舆情变化等。预测未来发展：趋势外推、场景预测等方法例如用Backcasting方法来判断，不同的未来场景对于今天的决策意味着什么。演化分析的信源单点信息只能进行跟踪，多点信息连成线后，才能窥见演化踪迹从单篇科技报告可以看出某个问题的技术方案，但把同一问题或同一领域的所有报告聚类在一起，或许可以看出技术方案的演化、技术参数的变化，从中便可探寻演化规律，通过规律对未来的发展进行前瞻预测演化分析的目标企业核心技术剖析、战略新兴产业选择、技术机会分析、合作关系变迁预测通过演化分析，不仅看出企业、行业、国家的技术演进方案，还可以分析其战略部署，把握主要趋势与次要趋势，厘清长期战略与近期目标从而实现趋势判断、动向感知、前瞻预测、前景研判等把情报功能从战略支撑扩展到战略引领。化柏林演化分析技术预测研究领域最主要的代表是乔治亚理工学院的AlanPorter带领的技术政策与评估中心所做的工作。该组织在20世纪90年代初就联合其他公词、组织开发技术机会分析(TOA)软件，采用文本挖掘方法，对大型科技文献数据库的主题词进行时间序列分析、聚类分析等各种自动分析，以发现科研的热点领域和前沿领域，监测科技活动、预测技术发展、评估新兴技术所蕴含的机会。关联分析方法论文市场专利供货库存销售