两种视角的大数据思维

两种视角的大数据思维一、迷雾中的大数据望文生义的大数据大数据是当今最热门的词汇，也是概念最混乱的词汇，基本词汇在不同场合出现时会有不同含义，澄清基本概念的含义及其含义变化的规律对于深入探讨大数据机会是非常必要的。用耳熟能详的词汇代表一个全新的概念很容易造成理解上的混乱，人们太容易望文生义，以自己原有的理解去想象新概念而不去了解该词汇此时的新含义，望文生义是阻碍人们学习新知识的大敌，研究大数据必须先忘掉大数据习俗概念，从”大数据”形成的背景研究开始观察。清晰概念的两条路径清晰一个概念通常有两条路径，一条是查阅各种文字解释，不同的解释有助于形成概念的整体印象，若要领悟概念的精髓，还得走另一条路，即需要重复新概念形成的思维过程，要从对背景与大量案例的观察入手，从具体事例中抽象出新概念，反复用新事实考验自己的概念，使概念的内涵更加丰富。后一种方式虽然耗费时间，但能提高概念举一反三的创新能力，因为从文字解释获得的理解只能返回到文字中去，而从大量场景实例中抽象出来的概念很容易返回到应用实践中，这对于提高应用创新能力极为重要。理解新名词背后的故事仅靠名词解释学习新名词的重大缺陷是会忽视该名词的成语含义，当一个名词成为舆论热点时它已经有了自己的故事，变成了一个成语，已增添了时代背景赋予的新含义，这种新含义不是名词解释所能囊括的，而这个新含义正是我们理解新概念的关键。在大数据出现之前，我们已有海量数据之称，仅从字面解释两词差别不大，但联想其出现背景可知两词含义大不相同，海量数据仅仅是形容数据量大并无新的内涵，而大数据不同，它代表着一个新时代的到来，史无前例的数据规模充斥着人类社会各个方面，意味着社会生产力发展的巨大机会。从应用出发的大数据理念使新理念成为社会热点的动力是利益，大多数人是从新理念能否为自己带来效益的视角决定是否欢迎这种理念。不同行业、不同背景的人对大数据理解的重点有所不同的，如IT技术部门理解的大数据是现有数据处理技术所处理不了的数据规模是大数据，这种视角有利于宣传技术优势；政府部门的大数据概念更多强调政府数据的综合应用，因为这是政府部门数据应用最迫切的课题；在工业领域中，大数据与智能化紧密联系在一起，典型如自动驾驶汽车等，与数据挖掘类的大数据应用的模式很不相同，智能设备直接依据数据操作，没有信息提取概念。准确理解不同用户不同场景下的大数据含义非常重要，这不仅有利于与不同的用户准确对话，也有利于发现不同场景下的大数据创新应用机会。二、大数据的技术背景数据充斥的新时代与数据库时代海量数据只集中于大型机相比，互联网时代大规模数据已无处不在：人人都有手机，时刻处于连接，GPS随时定位，网上查询、购物、聊天、游戏不停，银行卡、交通卡、门禁卡不停地刷，视频监控、ETC等时刻记录过往车辆，智能化设备已经穿戴在身上，一切智能设备都是数据设备，当今时代不仅是数据爆炸时代，也是智能设备遍布各个角落的时代。大数据时代是信息技术发展的必然结果，新技术出现不是人所能控制的，机会成熟了新技术将应运而生，你不发明别人会发明，技术就像生物，只要环境适当就会自然生长，大数据时代的到来不可抗拒。摩尔定律缔造基础与其说大数据是一种技术，不如说大数据是一种环境。大数据应用不是靠某项发明，而是社会信息环境的变迁的结果。大数据概念代表着社会性，没有信息技术大普及不可能生成如此多的数据，没有计算机存储能力的指数增长，大数据将无处存放，数据量的膨胀速率与摩尔定律是一致的。摩尔定律的贡献不仅是计算机硬件功能的指数增长，还使硬件成本的急剧降低，使智能手机迅速普及，使传感器成本极大下降，进而使自动化数据收集成本趋于微不足道，从而迎来大数据的爆发，摩尔定律是推动大数据的一大功臣。网络推动了大连接推动大数据时代的另一大功臣是通信的大发展，互联网与移动互联网的贡献甚伟。高速互联网连接了全球计算机设备，物联网将这种连接扩展到智能终端，一台台智能设备与整个互联网连接，自由地交换数据，将单台设备的数据能力升级到全球网的层次上，极大地提升了系统的智能潜力。高效的通信网实现了更多的连接，梅特卡夫定律指出网络的价值与参与者的平方成正比，连接的增加就是机会的增加，也是全社会数据利用能力的增加，更是提高生产力机会的增加。软件与新技术的创新大数据应用的核心技术是软件，大数据的技术定义是”现有数据处理技术所不能胜任的大规模数据”，此话引申含义是：大数据处理新技术是大数据应用的关键，没有新处理技术的大规模的数据只能是一堆垃圾，是软件技术的新发展才使垃圾变废为宝。软件的作用不仅仅是大数据资源的数据挖掘，还是智能技术集成创新的粘合剂，将硬件设备、网络资源、传感器、控制器与数据组织成为能够实现目标的智能系统靠的就是软件，软件是智能系统的灵魂，软件工程的发展与软件工具的积累为大数据智能系统的大量涌现奠定了基础。大数据生态环境大数据所体现的已经不是一项一项的孤立的信息技术，而是多种信息技术共生的新生态环境。这些新技术包括传感器、高速网络、移动互联网、智能终端、云平台、大数据处理技术、地理系统技术等等，这些基础技术的出现为新技术、新应用的创新提供了良好的机会，我们知道，新技术出现的基本渠道是已有技术的集成创新，积累的技术越多创新机会就越多，这是一个正反馈循环，大数据时代是数据大爆发的时代，也是智能系统大爆发的时代。三、信息驱动的大数据视角互联网巨头的大数据理念大数据概念的出现来自互联网巨头业务的推动，史无前例的庞大数据急剧地向谷歌、亚马逊、百度、阿里、腾讯等互联网巨头集中，几乎要撑爆一切现有的数据存储系统，互联网巨头们疯狂地扩充服务器数目（已达百万级），其数据量还在指数增长，如何利用如此庞大的数据成为一个新课题，由此产生了大数据最原始的定义：现有信息技术所不能处理的大规模数据称为”大数据”。史无前例的数据规模推动了大数据技术的发展，这种新的处理技术使得互联网巨头聚集的大规模数据成为重要的资源而不是垃圾。这种超大规模的数据资源的利用改变了人们从数据中获取信息的理念，促成了大数据应用理念革命。大数据理念革命《大数据时代》作者迈尔-舍恩伯格将大数据理念革命的精髓概括为三点：（1） 不是抽样数据，而是全部数据；（2） 不是精确数据，而是模糊数据；（3） 关注相关性，而非追究因果性。迈尔-舍恩伯格对大数据应用归纳的新理念入木三分，对长期处于小数据统计分析的人员如醍醐灌顶，大数据提供了一种挖掘信息的新思路，对于利用大数据资源获取信息的应用非常重要，大数据思维为科技探索提供了新模式。信息驱动的大数据应用特点迈尔-舍恩伯格的观点代表了最纯正的大数据理念，是真正拥有超大规模数据资源的机构需要认真体会的，对国内如BAT类互联网巨头们如何利用好自己的数据资源有着重要的指导意义，也是很多希望利用大数据资源获取信息的政府部门需要认真学习的。迈尔-舍恩伯格描述的大数据理念是大数据的信息应用视角，关注的是如何从大数据中挖掘出更加准确、更加丰富的信息，目的是利用这些信息来指导和改进人们的工作，提高决策的水平，这是为人脑服务的大数据应用。人是靠信息决策的，这类大数据应用的目标是提取信息，可称之为信息驱动的大数据应用。政府部门的大数据应用大都是信息驱动型大数据应用，它与传统的统计数据处理的目标是一致的，都是要从数据中提取信息供决策使用，都是面向人脑用户的大数据应用。信息驱动的大数据应用难点信息驱动型大数据应用的主要困难是缺乏可用的大数据资源。在传统的统计调查中，统计调查是由信息需求者设计的，调查得到的数据与所需要的信息密切相关，信息浓度高且容易处理。大数据应用尽管有很多优点，但却不可能为了获取信息而去设计大数据收集系统，因为其成本太高。大数据应用只能使用业务系统积累的数据资源（收集成本由业务系统承担），大数据应用是业务数据的副产品，信息使用者找到适用的业务数据资源并不容易。目前拥有大数据的部门大都利用用户数据来优化本公司的销售业务，如亚马逊的商品推荐，电信部门的套餐推荐等等，但对没有大数据的企业要利用他人的数据注意还是很困难的，一是合适的数据资源并不好找，二是利用这些资源的成本并不低，是否值一做仍是一个问题，只有那些管理已十分精细的企业才有兴趣利用外部大数据资源改进自己工作。四、政府官员心目中的大数据政府官员心目中的大数据人们对概念的理解与其工作背景密切相关，不少政府官员将大数据的理解为统计数据处理概念的延伸，对大数据与海量数据不加区分，他们认为将政府数据资源整合起来就是大数据，政府数据集中在一起就是大数据，大数据应用不过是政府数据资源的整合应用。从多数部门目前的实际工作看，一时也没有区分大数据与海量数据必要，但是从长远来看区分两种概念还是必要的，海量数据的思维会把政府的数据视野局限在传统数据渠道之内，而大数据思维会引导政府拓展数据渠道，利用企业大数据、传感器数据、互联网数据等等，并向非结构化数据应用拓展，政府会考虑与外部机构的大数据合作，开放的思维能够提高政府的信息能力。大数据并不适合大决策利用大数据资源改善政府的信息能力提高决策水平是很多政府的目标，但是决策水平的提高是很复杂的事情，大数据能发挥作用有限，不能期望大数据能全面提高政府决策水平。大数据的长处是对具体业务进行改进，擅长解决的是小问题而不是大决策，它只对业务管理已经走上正轨的部门有所帮助，对于管理不善的部门无能为力。大数据对重大决策帮助不大的原因来自以下两点：（1） 影响政府决策的重要因素大都是无法精确数字化的，例如整体形势、公众舆论、传统习惯、干部水平、社会需求等等都难以数字化；（2） 大数据只能产生于特定的环境中，其结论必然带有局限性，庞大的数据规模会诱使人们夸大其在决策分析中的权重，反而增加了片面性。决策依赖于多方面信息的综合，大数据只是提升政府信息能力的工具之一，不能期望仅靠一项工具就能解决政府决策的诸多问题。德鲁克反思IT对高层决策的影响上世纪末，德鲁克在《21世纪的管理挑战》一书中对信息技术对高层决策的影响进行了反思，•胡小明德鲁克写到：在信息化的初期，包括自己在内的专家们都认为信息技术”最大和最初的影响会是在企业的政策、策略的决定上。对此我们实在是大错特错，到目前为止，电脑最大的革命性影响却是我们都未曾预期到的，它的影响原来是在日常的运作方面'。德鲁克认为信息科技只是制造数据而非制造信息，信息科技的发展对企业管理本身来说几乎毫无帮助。德鲁克反思提醒人们注意，IT对高层领导与基层人员的使用效果是不一样的，高层决策主要面对不确定性环境，需要广阔的视野与丰富的经验，这些都是IT无法满足的，IT最有效的应用是在基层业务的规范处理上，基层业务的改进才是大数据应用的重点。小数据的整合应用是当务之急当前对于多数地方政府整合应用好各部门小数据才是当务之急。经过十余年的电子政务建设，地方政府大都实现了部门数据的计算机收集，现在的任务是对各部门的数据进行整合分析，这些部门数据长期以来一直未有效地整合过，综合利用这些数据，可以更有效地改进政府的管理与公共服务，增加对公众的个性化服务，将会受到各方面的欢迎。政府数据开放有助于大数据应用的发展，但政府能够开放的大数据资源不多，气象数据、交通数据、视频监测数据是人们谈论较多的资源，更多的大数据资源在大企业手中，政府主要是小数据资源的开放，这些数据虽然够不上大数据，但是与居民的日常生活密切相关，这些数据开放更有价值。政府首先应把小数据的工作做好，包括利用好与对外开放，小数据的成功应用是大数据应用的不可或缺的基础。政府可以与企业合作，利用企业的大数据资源与分析能力，改进政府的工作。五、技术驱动的大数据视角面向机器应用的大数据信息驱动的大数据应用是面向人脑的大数据应用，技术驱动的大数据应用是面向机器的大数据应用。机器使用数据与人脑使用数据的模式不同，人脑不能消化大规模数据，必须先从中提取信息（或者说是数据挖掘，即浓缩数据或可视化），组织成便于人们理解的形式，人脑理解了的东西才是信息，才能够用于决策。机器不懂什么信息，没有信息概念，机器只认数据，直接依据数据操作，软硬件技术的改进使得计算机能够高效处理大规模数据，面向机器的大数据应用是一个智能化系统，其数据来自传感器和网络，智能大数据应用因没有人的介入，可以十分高效，大数据天然是为机器准备的。面向机器的大数据应用的典型例子是无人驾驶汽车，汽车对周边环境的感知都是靠传感器、GPS定位系统及互联网数据确定的，这是一个典型的大数据系统，同时它也是一个智能化系统，智能系统与大数据越来越不可分离。智能系统升级到大数据阶段信息技术大发展促进了智能系统的升级，传感器的大发展和互联网数据连接能力极大地提升了智能设施的感知能力，加之软件、算法的同步发展，使智能系统升级到大数据阶段。早期的智能系统是局部性系统，信息连接的范围很小，控制能力有限，智能完成简单的自动化任务，但是在大数据的环境下，在物联网的连接中，智能覆盖的范围将大得多，通过云的支持，可以利用更多的数据与知识，使系统可凝聚的智能大幅度地增长，实现智能化生产、智能化服务，开辟智能化社会新纪元。这也成为工业智能设备与系统发展的大趋势。集成创新的大趋势技术的发展是社会共同创造的成果，技术创新主要是已有技术的集成创新，信息技术大发展成为技术集成创新的重要条件。软件与通信是连接各种基础设备、设施强有力的工具，如果没有软件在其中进行组织上的连接与协调，诸多的设备、工具是无法形成有统一目标的智能系统的，软件成为复杂系统的粘合剂，是智能系统的灵魂。我们看到，软件等信息技术使复杂的新技术的出现成为可能，未来一切复杂的技术都离不开软件的连接。智能化是人类应对不断增长的复杂性的主要武器，为了适应环境智能系统必须准确地感知、紧密地内外连接，交换数据，因此大部分智能化的系统都将成为大数据应用系统，随着智能技术、智能设备的发展，技术的集成创新将进入一个高速发展的良性循环，智能化大数据应用将成为常态，尤其是未来的物联网应用环境，更是大数据应用的世界。连接比数据规模更重要面向机器的数据应用对数据规模不甚敏感，因为机器不需要从数据中淘取信息，自动化数据系统鲜有处理速度瓶颈，智能系统关注的是数据的连接渠道，数据是来自传感器还是物联网，及如何对数据及时有效地处理。因此智能产业不需要按数据规模定义大数据，凡自动化信息渠道来的数据，一律视为大数据。随着物联网的发展，连接的增长必然带来数据的增长、智能的增长，机器学习、自然语言对话、人像识别等新型数据处理的规模都会急剧膨胀。在智能大数据的理念中，连接是比数据更重要的概念，为了共享知识与数据，智能系统与云平台的连接会越来越多，智能系统的后台支持成为大数据应用的重要内容。六、中小企业的大数据机会中小企业的大数据视角多数中小企业对信息驱动的大数据关注度不高，大数据提供的信息对企业的经营管理会有改进，考虑到应用的时间与成本并不低，企业对信息需求的紧迫性并没有那么高，多数企业会望而却步。企业碰到的困难多是执行中的困难，把尿布和啤酒摆在一起可以增加啤酒销量，但多数企业对此类细微改进不感兴趣，它们有更急迫切的事情需要做，轮不上大数据来锦上添花。大多数中小企业对于智能化发展方向会更加关注，包括智能产品的开发、智能化生产线的建设、服务的智能化等等，工业智能化趋势对企业的冲击更大，智能化对企业已不是细微的改进，而是关乎未来生存的大事情，在经济发展低潮时期，产品换代、技术更新、提升智能化水平成为迫切的任务。智能化、数据化、精确化是一脉相承的，智能化就是大数据化，将大数据与智能化结合起来对企业的发展会有更大帮助。智能化时代中小企业的机会信息技术大发展为中小企业提供了无限的技术创新机会，这些技术如宽带网络、传感器、软件（包括嵌入式软件）、物联网、云平台、3D打印等等，使得企业的技术创新成本越来越低，创新的产品越多，进一步的集成创新将更方便，互联网推动了信息民主化，信息技术与物联网将推动制造业创新的民主化，智能化时代就是技术大创新时代。处于这一时代的中小企业可以充分利用良好的智能化生态环境进行创新。每一个固定的产品都有市场饱和之时，但创新永远不会饱和，因人的个性化需求无穷尽，产品与服务的个性化创新也无穷尽，智能技术大普及有助于中小企业去利用这种机会。智能大数据思维对中小企业的意义中小企业的发展最重要的是寻找创新机会，制造业智能化的趋势提供了巨大的发展空间，智能大数据思维有助于发现与认识机会。机会不是现成的事实而是创新思维的成果，是人们想象力的作品。之所以看不出机会是因知识背景与思维方式束缚了想象力。在智能大数据时代，智能大数据的悟性是发现机会的关键，这种悟性会引导人们的注意力投向大趋势的方向，即机会更多的方向。机会的发现是一种创新思维，多视角思维会提升机会的敏感性，创新本身就是不同概念之间的连接，多角度观察会增加概念连接的机会，大数据与智能化的连接是一种新视角，对企业在新形势下创新有益。七、工业大数据的全球竞争制造业的全球大数据竞争全球制造业的发展趋势就是智能化、大数据化、物联网化，全球制造业未来的竞争就是智能大数据的竞争。在全球制造业领域中，中国、美国、德国扮演着最重要的角色，美国占有着信息技术与网络优势，德国有全球最先进的制造业技术与微观信息化应用优势（如嵌入式软件、自动控制），中国有全球最大的制造业规模和门类最齐全的生产布局与庞大的应用市场。为取得未来全球制造业领域的优势，中、美、德都在积极规划未来的发展，《中国制造2025》、《工业互联网》、《工业4.0》就是各国提出的竞争战略。工业4.0的大数据理念工业4.0是德国利用互联网、物联网、大数据等先进技术改造传统制造业的方案，其目的在于推进生产与服务模式由集中式控制向分散式增强型控制的转变，实现灵活的、个性化、数字化生产与服务。工业4.0计划由德国工程院、弗劳恩霍夫协会、西门子联合发起，被认可为国家的发展战略。工业4.0强调信息技术的现场应用，强调生产过程的智能化，以CPS（信息物理系统）为核心，使工厂成为实现自律分散型系统的”智能工厂”，使云计算成为使用工具而非控制制造的中枢。德国的优势是在智能制造的基础层面（如嵌入式工业软件技术等），工业4.0从德国的优势出发，自下而上地提出工业智能化的战略，以抵抗美国的网络优势。使德国成为新一代工业生产技术的供应国和主导市场的能力提升国家竞争力。工业互联网的视角工业互联网是美国利用物联网、大数据等信息科技振兴制造业的战略，由 GE、AT&T、IBM、Cisco、Intel等公司发起，成立联盟共同推动工业互联网的发展，参与机构由发起时的86家发展到目前的200多家。工业互联网是物联网的升级，其核心目标是推动物联网的标准化，形成全球化的工业网络，实现通信、控制和计算的结合，建立工业互联网在设计、研发、制造、营销、服务的融合能力，振兴美国的制造业。工业互联网认为，物联网与互联网的本质区别在于数据的来源，互联网的数据是由人产生的，物联网的数据是由机器产生，物联网数据的海量化是大量带有传感器的智能设备接入的结果，物联网的数据处理是流程自动完成的，其规模必将远远超过互联网，物联网是另一种大数据应用模式。4.《中国制造2025》与大数据2015年5月18日，国务院正式发布了《中国制造2025》，将智能制造作为未来主攻方向。规划的实质是要从资源驱动变为信息驱动，利用现代信息技术和网络，推动物理世界和信息世界以信息物理系统（CPS）的方式相融合。希望能够科学的编排生产工序、提高生产率，实现个性化定制生产，节约资源降低能耗。《中国制造2025》给出了智能大数据在制造业中的应用大方向，对中小企业的大数据应用更有指导意义。《中国制造2025》更靠近德国的思路，被称为中国的工业4.0方案，中国的问题是产业基础差距很大，只是制造业大国却远非制造业强国，多数企业急需工业2.0、工业3.0的补课，产品质量和产品价值仍是很多企业的大问题。中国企业的智能化建设必须与工业2.0、3.0补课一并进行，大数据宣传的核心是培养企业的数据意识与精准文化，理念的现代化才能促进中国制造业跟上发达国家制造业智能化的步伐、进而赶超先进国家。八、消除大数据浮躁大数据应用无需一窝蜂•胡小明目前，大数据发展最大的危险是一窝蜂，将大数据视为解决一切问题的灵丹妙药夸大宣传，各种管理不善都想靠大数据来解决实在是本末倒置。大数据只会锦上添花从不雪中送炭。地区社会经济管理只有发展到高水平时大数据才能发挥作用。不要相信什么”没有掌握大数据就没有明天”，严酷的事实是：不解决好当前的问题连今天就过不去。大数据应用只能因地制宜，不能一刀切。以信息挖掘为中心的大数据应用，即使在北上广深这样的一线城市也只是少数机构有条件做，多数机构缺乏条件。一个更实际的问题是：机构有太多更重要、更急切的问题要解决，大数据能够解决的只是小问题，目前排不上日程。在智能化大数据领域企业界会看到更多的发展机会，能够因地制宜地发展。不同的城市，大数据应用应有不同的取向，深圳就不必学京沪模式，以智能大数据应用为中心的模式更适合深圳的特点。新技术应用不存在捷径狂热的大数据宣传是发展焦虑症的表现，官员急于有所作为，学者急于塑造专家形象，媒体急于耸人听闻。但大数据应用的发展是一项知识工程，知识积累需要循序渐进，没有捷径可寻，大数据”弯道超车”不可行。大数据技术只是一项工具，工具没有解决问题的能力，工具不可能解决人都没有想清楚的问题，解决问题的办法必须靠人脑去想，人想清楚的处理流程可由信息系统重复运作，提高效率。如果自己还没有想清楚的事情大数据非但不能帮忙而会把事情搞得一塌糊涂。提高全社会的数据意识虽然中国在经济总量上排到全球第二，但