大数据对产业竞争情报工作的影响

大数据对产业竞争情报工作的影响

2012年3月，美国洛马政府宣布了“大数据研究和开发计划”，大力推动和完善大数据收集、组织、分析工具和技术，促进大数据从商业行为向国家战略的转变。这表明大数据正式更新到战略层面，大数据在经济和社会领域开始受到关注。在我国,大数据也逐渐得到关注。最近在媒体上也广泛关注大数据的使用,研究大数据的学者也越来越多。在图书情报领域,主要针对大数据的情报分析相关业务。本文主要从产业竞争情报的角度出发,分析大数据时代产业竞争情报服务所具有的机遇和挑战,希望以此有助于拓展情报学科的研究视野,为产业间的竞争提供情报支持。一、大数据的概念和特点(一)产业竞争情报产业竞争情报是“以提升一个国家或地区某特定产业整体竞争优势为目的,关于产业竞争环境的动态性、应对性的情报。产业情报概念主要源自西方发达国家的国家竞争情报体系,主要是指以产业链中的群体企业为主要服务对象,在政府的支持下,由行业协会、科技情报服务机构、公共科研机构、专业咨询机构等开展的一系列满足产业内群体企业需求的竞争情报。”因此,产业竞争情报的供给主体是多元化的,主要有政府直接供给、第三方专业机构供给、产业技术联盟供给;产业竞争情报的需求则主要为政府、企业等,其产品的公共属性决定了必须要有政府的参与。产业竞争情报也是竞争情报的一种,所以它也具有竞争情报所具有的一般内在属性,如决策价值、经济价值、战略价值,但是它又有一些与竞争情报不同的性质,即作为服务产业层面情报的一些特殊性,这是与它所供给对象、情报来源、情报搜集机构决定的。产业竞争情报的主要服务对象是以产业链中的群体企业为主要服务对象,它不同于竞争情报仅仅服务于单体企业;产业竞争情报的搜集主要是在政府的支持下,由行业协会、科技情报服务机构、公共科研机构、专业咨询机构等开展的,因此,产业竞争情报主要有政府、第三方专业机构、产业技术联盟等;情报来源渠道主要是政府宏观政策、产业政策动态和公开的信息源等。以上内容决定了产业竞争情报具有自己特有的一些属性,如公共物品属性、非竞争性、可排他性、正外部性。(二)大数据的概念大数据尚未有一个公认的定义,比较有代表性的是3V定义,即认为“大数据需满足3个特点:规模性(volume)、多样性(variety)和高速性(velocity)。”除此之外,还有提出4V定义的,即尝试在3V的基础上增加价值性(value),大数据的价值往往呈现出稀疏性的特点。而IBM认为大数据必然具有真实性(veracity)。维基百科对大数据的定义是“大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。”维克托·迈尔-舍恩伯格博士在《大数据时代》一书中归纳大数据有三个主要的特点,分别是全体、混杂和相关关系。首先是全体,即去收集和分析更多的数据。第二,混杂,即接受混杂。在小数据时代人们总试图收集一些非常干净的数据、高质量的数据,花费很多金钱和精力来确定这些数据是好数据,是高质量的数据。可是在大数据时代,就不用去追求那种特别的精确性。第三,相关关系。因为更加混杂,因果关系转向相关关系,关注的是什么,而不是关注为什么。也有学者认为大数据需满足3个特点:规模性(volume)、多样性(variety)和高速性(velocity)。除此之外,还有提出4个特征的,即尝试在3个的基础上增加价值性(value)。二、大数据的发展为两大发展提供了基础大数据之所以成为一种大趋势,是多方因素促成的。首先是数据本身,随着信息采集技术的发展与大规模推广应用,加上近几年社交网络异军突起,带来了最活跃的数据源,其中新增部分绝大多数都是非结构化的数据,给大数据的产生提供了基础;其次,一些信息技术部门在物联网、商务智能以及云计算等信息采集、信息分析和分布式并行处理方面取得了很大的突破和进步,为大数据的产生和提供了工具;另外就是需求的拉动。面对21世纪的经济危机,原有的信息技术已经不能很好的推动产业和社会的发展,大数据前所未有的数据处理和分析能力正适应了这种需求,这也是大数据得到发展的主要推动力。政府、科技和企业的努力,媒体以及“智慧地球”和“智慧城市”等系列智慧产品应用和推广,也给大数据的迅速普及,提供了更多的可能。在大数据环境下,产业链上所有参与数据生产和采集的组织都是大数据的数据资源。如果能够将这些数据集合进行整合,就能够为整个产业链上的用户提供全面的大数据服务,在某种程度上数据的分析效率和结果准确度更高,降低单个组织的投入,并促进大数据技术全面应用的进程。从产业竞争情报和大数据的特性看,二者有不谋而合的地方和属性,这为二者的相互作用提供了基础。具体可以从以下几点展开:(一)竞争态势、竞争环境以及产业反应能力一方面是全面、社会化的即时数据有利于提高竞争情报的真实性和精准性。社会化的数据使得竞争情报人员有机会收集产业内外的最新信息,这些不同来源的数据也反映着本产业链内外竞争对手、竞争环境以及产业链内企业自身的方方面面,为整个产业的发展提供了关于竞争态势、竞争对手的动向以及自身优劣的情报资源,并能提高竞争情报的时效性和整个产业的反应能力;另一方面,“产业竞争情报机构需要对海量数据进行高速的捕获、理解和分析,情报人员可以采用云计算架构对海量数据的存储服务、分析服务和共享服务进行管理,并为其提供具有足够灵活性、扩展性和高并发能力的分布式架构。”(二)解竞争环境和有效竞争分析对大数据进行产业信息分析,可以更全面的制定产业政策、了解竞争环境和有效的竞争对手分析。传统的竞争情报研究从单一领域研究单体企业,而针对大数据的产业竞争情报研究应该转向全领域情报研究、综合利用多种数据源、注重新型信息资源。(三)智慧基础设施的概念依托大数据、云计算及移动互联网技术,创新产业竞争情报服务方式,为产业竞争情报实现实时服务提供了更为广阔的渠道。“智慧地球”就是依托这些新技术实施起来的。IBM提出的这个项目的目标就是“让世界的运转更加智能化,使在这其中的个人、企业、组织、政府、自然和社会之间的互动更加高性能、高效率,把商业系统和社会系统与物理系统融合起来,形成一个全新的智慧基础设施,让各行各业都'智慧'起来,最终实现经济的繁荣、信息传递的便利、无障碍的沟通、随需应变的企业、更方便的生活等等”产业竞争情报机构也可以借助“智慧地球”以及“智慧城市”的力量来发展自己,创建新的服务方式。(四)业竞争情报需要的人才数据是冰冷的,只有专业人才能使数据有生命有利用价值,研究新的教育和人才培养方法,培养适合基于大数据的产业竞争情报方面的数据科学家和工程师人才,为产业竞争提供所需的高质量产业竞争情报,是目前情报工作急需解决的问题。大数据时代,产业竞争情报需要有以下能力的人才:(1)专业领域知识,对某行业及其数据非常了解;(2)有创造力和求知欲的数据科学家;(3)有极强的文字和语言表达能力,能将隐藏在数据背后的复杂内容用简练的语言表达出来;(4)项目管理能力,保证顺利实现目标;(5)有法律和道德意识,保护个人数据的隐私。美国国家科学基金会开展了一系列关于大数据的计划,其中包括获取数据的新方法、搭建数据所需的基础设施、寻找大数据教育和队伍建设的新途径,培养适应大数据时代的数据科学家和工程师。例如“向加州大学伯克利分校提供1000万美元的资助,将机器学习、云计算、众包三种方法整合起来,用于将数据转变为信息等与教育行业有关的六条措施。在此计划背景下,美国有数十所大学纷纷开办了大数据及其分析等相关专业的硕士研究生课程。”三、产业竞争情报大数据使用存在的问题尽管大数据技术在世界范围内的很多领域开始应用,但大数据技术的应用还存在很多现实的困难,针对产业竞争情报的大数据使用,存在以下几个方面的问题:(一)改变存储的数据的存储和分析的模式,建立以中小型企业为大数据技术对绝大多数企业和机构的计算能力、存储能力和数据分析能力提出了极高要求。对全面的数据进行存储和分析的代价极高,未来也仅有少数企业有能力建立超大规模的数据中心对大数据资源进行处理,应对从PB(1024TB)到ZB级别(10243TB)数据量的存储和计算。这些超大规模数据中心除需要巨额建设投资外,运营成本也十分高昂。(二)重新认识的困难大数据时代产业竞争情报来源多种多样,而传统的信息分析主要是针对结构化的数据进行数据挖掘,很少针对主要对象为非结构化或半结构化的大数据,这种变化给情报分析带来了很大的困难。另外传统的数据挖掘算法对于半结构化或者非结构化的数据也显得力不从心,不仅数据分析效率很低,还有可能遗失非结构化数据隐含的关系,以至于增加分析结果的不确定性和不准确性。(三)美国需要研究人才培养大数据蕴含着巨大的商业价值,要有通晓大数据工具使用的专业人才来处理和分析大数据,帮助企业在大量数据中挖掘有价值的信息。“2011年麦肯锡全球研究所发布的《大数据:下一个创新,竞争和生产力前沿》预测,至2018年美国需要44至49万大数据深入分析人才,存在14万至19万缺口;需要400万名具备基于大数据分析而且能熟练并进行决策的经理和分析师,这一类人才缺口2018年将达到150万人。”同时,还需要大规模数据中心专业管理人员。因此,短期内建立起强大能力的大数据技术体系,非常全面地收集海量、各种类型的内部和外部数据,合理的对大数据进行整理和分析,都面临诸多困难。(四)大数据时代隐私保护的现状首先,大数据包含了大量的个人隐私信息,如何能够防止这些信息不被竞争对手或不法分子滥用;其次,产业竞争情报的公共产品属性使得大数据的保存和破坏愈加困难。大数据时代信息传播的速度极快,大量的移动媒体在任何时间都能将企业的信息发布到世界各个角落,如果是企业的核心信息,就给企业造成巨大的影响。数据时代的隐私保护面临着技术和人力层面的双重考验.数据公开与隐私保护的矛盾变得愈来愈严重。因此,如何通过正当的、合法的手段积极保护企业的核心信息而又能推动整个产业的发展,成为产业竞争情报面临的又一个难题。提升服务能力,为产业发展贡献自己的力量大数据时代已经来临,并且人们