大数据应用方向思考

大数据应用方向思考RFID世界网2017-07-1911:57一、警惕大数据过热1.1过热产生盲目性国内大数据的宣传早已过热，很多区县级政府也在考虑成立大数据局，政府对大数据热几乎没有抵抗力，企业没有紧跟就对了，在大数据高潮中反省政府的大数据行为、冷静一下头脑是有益的，毕竟大数据应用是一个经济问题，一窝蜂地大数据会使人犯“大炼钢铁”一类的错误。1.2大数据应用效益存在问题大数据最积极的推动者是政府，但是政府工作如何从大数据应用中获益一直没有清晰的答案，有效的大数据应用集中于互联网企业和金融领域并非政府工作，迄今一本像样的政府大数据应用案例都编写不出来，这种情况下推力政府大数据应用会带有很大的盲目性，这是技术导向而不是问题导向，技术导向必然会造成浪费。1.3大数据不是包治百病的神药现在对大数据的宣传已经远远胜过对城市问题的探讨，问题还没搞清药方就先开出来了，大数据药方再灵也不可能解决自己都没有诊断清楚的问题。任何技术都有其长处和短处，大数据也是一样，都有其能解决与不能解决的问题，各地政府首先要明确要问题是什么，然后再审视大数据技术能否发挥作用，不能反过来先定大数据再去找问题，政府工作明确目标永远比搞清技术更重要。二、大数据源自互联网的推动2.1大数据是如何产生的?任何有社会影响力的新名词都不是望文生义可以解释的，这些名词都被赋予了成语含义，“大数据”便是其一。历史上超大规模的数据很多却不被称为大数据，是因为单纯数据量增长并没有形成巨大社会影响力。大数据概念是大的数据量与现代信息技术环境相结合涌现的结果，因此引发了巨大的效益机会，“大数据”一词的发明与宣传是为了抓住这个新机会。2.2没有互联网便没有大数据任何资源的价值展现都离不开特定的环境，互联网前的海量数据因缺少规模化的社会应用而不为人们重视，互联网创造了大数据应用的规模化环境，大数据应用成功的案例大都是在互联网上发生的，互联网业务提供了数据，互联网企业开发了处理软件，互联网企业的创新带来了大数据应用的活跃，没有互联网便没有今天的大数据产业。2.3大数据是“大智移云物”的共同产物如果没有汽车与高速公路石油产业不会那么重要，同样，没有互联网、云计算、物联网、移动终端与人工智能组合的环境大数据也没那么重要。大数据的价值并非与生俱来而是应用创新之结果，价值是由技术组合创新涌现出来的。离开环境的支持大数据毫无价值，就像离开了身体的手不再有手的功能一样。五、没有人脑参与系统才能高效与智能5.1人脑使用数据模式的效率制约为人脑决策使用的大数据应用模式存在两点不足：一是效率上不去，大数据分析结果一旦交付大数据应用就结束了，无法形成连续服务型业务，信息的进一步应用是领导的事情，与大数据处理无关了，人脑决策的慢节奏抵消了大数据快处理的价值。其次是大数据信息决策的效果的不确定性，决策质量与领导人的知识、思维方式、决策风格密切相关，决策效果又与执行团队的能力相关，涉及的不确定因素太多。人脑使用数据的模式无法实现数据应用效果的确定性。5.2电脑使用数据模式的效率优势电脑使用数据的模式排除了人脑的参与，系统完全是由事先编写的软件直接处理数据，排除了人脑介入有两点好处：一是运行速度快，信息技术的速度优势得以充分发挥;二是保证了结果的确定性，系统的行为是可预测的，这将有利于系统可成为可组合、可叠加的功能模块，能够被集成为更复杂的系统。5.3智能大数据应用可形成连续性业务排除人脑参与的数据应用模式是信息技术的自动化应用，这种模式可综合使用各种技术资源(包括云平台、物联网、移动终端、人工智能等等)建立高速、流畅连续型服务，进入智能服务的新阶段，常见的互联网搜索、电子商务、移动支付、摩拜单车、蚂蚁金服无一不是这类的智能大数据应用，这种持续的智能大数据服务更受公众欢迎、社会影响力也更大。六、智能大数据应用的发展空间6.1所有的智能应用都是大数据应用大数据是机器与机器对话的语言，只有机器与机器的高速对话才能产生如此规模的大数据。物联网、云平台、宽带网、移动终端等设施要发挥作用都要依赖机器与机器的对话，随着信息技术的大发展，机器与机器的对话速度越来越快、范围越来越广、规模越来越大，系统也越来越智能化，所有的智能数据应用都属于大数据的应用范围。6.2智能化的作用是提高执行的效果虽然大数据可以用于改进决策，但智能化的目标是提高执行的效果。计算机系统的作用是使规范性、可重复的工作做的更快。对于需要创造性的、非重复性的工作信息技术是依然无能为力的，人们发现几十年来计算机对于人脑决策能力的提高始终不大，智能化应用机会还是集中在对规范业务的改进，规范业务是确定性的服务，远比充满不确定性的决策业务更能让计算机发挥作用。6.3操作型大数据应用的智能化趋势以提高执行效率为目标的大数据应用将向智能化发展，以互联网为基层的现代信息技术的大发展已经为服务的智能化创造力良好的条件，早期由于通信与网络能力的限制只能在一台设备上存储自动处理系统被称为自动化处理阶段，今天自动处理系统可以综合应用网络通信、云平台数据与软件、物联网感知数据与机器学习来实现更有效的自动管理，则被称为智能化服务阶段，排除了人脑参与的大数据应用进入智能化服务没有任何障碍，大数据应用智能化成为必然趋势。七、智能大数据应用的活力7.1鲜活的数据智能化应用中的大数据资源与信息决策中的数据资源的重大不同在于前者是动态形成的，其数据环境是不断变化、不断更新的，很多数据是在运行中自动生成的，数据资源与智能系统共生，这种数据资源很难转让，数据与服务系统是统一的生命体不能单独存在的，离开了系统的数据可以用来分析但失去了原来的意义，如同离开了人体的手再也没有原来的功能了。7.2实时的处理在智能系统中的大数据应用是实时处理，面向信息决策中的大数据应用是批处理。实时处理能够确保及时性，这对于提高服务效率、保持业务的连续性很重要，现在强调“一号一窗一网”式的为民办事离不开对数据的实时处理。而信息决策类大数据应用则并不需要这种高效。7.3持续高效的服务智能化的大数据应用排除了人脑的干预，全部流程都是由电脑对电脑一气呵成，这样就能够达到很高的运行效率，而这是智能化系统巨大的优势，也是智能服务系统得以生存的原因，不论是搜索、购物还是其它自动化的服务，人的耐心都是很有限的，处理慢一点人们就会弃之而去。在信息决策大数据应用的结果是供人脑一次性使用的，处理速度就不那么重要了。7.4不断积累的智慧能够不断积累智慧的业务更有活力，易于修改是以软件为基础的业务的极大优点，这使得软件系统成为积累智慧最方便的工具，信息系统的高速发展也得益于系统智慧积累的能力。一项可持续的智能化业务系统始终处于不停的改进、完善与扩展之中，不断推出新版本的过程是智慧积累的过程，智慧的不断积累增添了系统的服务能力与可持续性。信息决策大数据应用则不具有这一优势，其业务不连续很难推出一个又一个的新版本，智慧积累效率就慢多了。八、小数据服务决定大数据中心的生存8.1数据资源的时效性数据资源像蔬菜一样有保鲜期，极少有越老越值钱的数据。数据集中存储很容易，由此而来的数据质量维护却是一大难题。数据生成得快贬值也快，很多数据往往还来不及处理数据就失效了，反而是那些变化稍慢、稳定期稍长的数据容易得到较多用户且服务也容易开展，这类数据大部分是小数据。不同的数据使用方式对数据质量有不同的要求，面向操作的应用则对数据质量非常敏感，例如证照库若不能及时更新就无法使用。信息决策类应用对数据的敏感性会差一些，大数据中心应当使数据的时效性与应用需求同步，要根据需求的价值有重点有选择地组织好数据质量的维护。8.2大数据交易中心的困难大数据交易中心与成为建设热点，在大数据应用刚刚开始，人们还没搞清大数据交易是什么概念时就建交易中心实在太早了。实时服务的智能大数据应用的数据是鲜活的、是服务中自动生成的动态数据，要交易的是动态数据流还是截取的静态数据，动态的大数据交易很难，不仅谈判难处理也难，用户需要建立动态数据的实时处理系统。静态的大数据交易更可行一些，但数据资源与应用需求并不容易匹配，这将会限制交易数的增长，另一困难是隐私权保护问题，数据需要脱敏，未脱敏的数据交易会受到限制，交易中心将长期面对交易稀缺的局面，经营很不容易。8.3小数据服务需要补课发达国家是在小数据充分应用之后才开始应用大数据，国内是在小数据应用还很不足时跨越式应用大数据。小数据应用补课是各地大数据中心必须重视的问题。要看到越是简单的东西应用面越广，小数据的应用空间比大数据大得多，尤其是整合后的小数据服务，极可能成为的数据中心最火的业务。政府服务的精细化依赖的主要是小数据，把小数据的整合服务做好，大数据中心的工作即完成了90%，千万不能轻视小数据服务，大数据中心的立身之本恰恰是小数据整合服务。8.4大数据中心的经济价值大数据中心的生存本质上是一个经济问题，人们想做交易中心也是希望能够在经济上更节约、更有效益，但是效益的基础是应用规模，只有大量重复性、相似性的工作才有可能利用平台与工具来提高服务效率创造用户价值，目前小数据服务更能够满足规模经营的条件。政府公共服务的支柱还是小数据，单独成规模的大数据服务不多，各种数据资源的综合使用会有更大的创新机会，地理数据与政府服务相结合、推动政府服务的连线化动态化可能提升用户价值，大数据中心要发展必须全力创造用户价值，唯有用户价值才能支撑大数据中心生存。九、拓展视野，推动大数据应用创新9.1理念创新，积极宣传智能大数据应用首先要拓展大数据应用理念，不能将大数据应用局限在政府信息决策的狭窄领域之中，而要看到智能大数据应用的广泛空间，将智能大数据应用与大众创业万众创新结合起来，将一切智能化应用都归入大数据应用的范围，大数据概念越广阔应用越繁荣。利用大数据改善政府决策是大数据应用的重要方面，过去已强调得很多了，现在需要强调的是政府公共服务的智能化、精细化。大数据不仅能改善决策还能改善服务，改善服务有着更广阔的发展空间，公众的获得感更好。9.2为大数据应用创造良好的基础环境对大数据应用最给力的推动是提供优良的通信环境和完善的信息基础设施。大数据应用的基础是超强的通信能力，通信能力影响全社会大数据应用的成本，包括用户的时间成本与服务商的开发与服务成本，降低通信成本是对大数据应用创新极大的支持，土壤肥沃庄稼才能茂盛。政府数据开放是推动大数据应用的措施之一，可为