信息技术 第二册（五年制高职）教案 9.1.6 大数据的定义与主要特征

.1.6大数据的定义与主要特征1.大数据的定义大数据研究专家维克托·迈尔-舍恩伯格曾经说过：世界的本质是数据。在他看来，认识大数据之前，世界原本就是一个数据时代；认识大数据之后，世界不可避免地分为大数据时代、小数据时代。随着社会不断发展的脚步，各类数据不断累积，如果说小数据时代的各类分析调研更多的是靠样本采集，那么现在，不管从数据的维度还是层次来看，数据体量的累积已经到了一个非常夯实的阶段。在这两个时代的过渡中，人们也自然而然地从先前的样本思维转变成大数据时代需要具备的整体思维，以更好地运用大数据，或者说，抽样调查将成为过去时，对所有数据进行分析处理才是大数据时代应有的思维方式。对于大数据的具体定义和价值，大多数人都停留在知其然而不知其所以然的阶段。但这也并不妨碍大数据这一词汇在大众心中的高度，它代表着先进，代表着高科技，代表着不可预知但可以预见的未来世界。麦肯锡最早提出了大数据时代的到来：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”对于大数据的定义，权威机构们给出了不同的表述。世界知名咨询企业Gartner给出的定义是：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。还有一些是这样表述的，大数据是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。大数据的主要特征不管是信息资产还是数据集合，这些定义无不在昭示着大数据对于人们未来社会的价值。（1）大数据的特征一：规模性随着信息化技术的高速发展，数据开始爆发性增长。大数据中的数据不再以几个GB或几个TB为单位来衡量，而是以PB（1千个T）、EB（1百万个T）或ZB（10亿个T）为计量单位。（2）大数据的特征二：多样性多样性主要体现在数据来源多、数据类型多和数据之间关联性强这三个方面。①数据来源多，企业所面对的传统数据主要是交易数据，而互联网和物联网的发展，带来了诸如社交网站、传感器等多种来源的数据。而由于数据来源于不同的应用系统和不同的设备，决定了大数据形式的多样性。大体可以分为三类：一是结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强；二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；三是半结构化数据，如HTML文档、邮件、网页等，其特点是数据间的因果关系弱。②数据类型多，并且以非结构化数据为主。传统的企业中，数据都是以表格的形式保存。而大数据中有70％—85％的数据是如图片、音频、视频、网络日志、链接信息等非结构化和半结构化的数据。③数据之间关联性强，频繁交互，如游客在旅游途中上传的照片和日志，就与游客的位置、行程等信息有很强的关联性。（3）大数据的特征三：高速性这是大数据区分于传统数据挖掘最显著的特征。大数据与海量数据的重要区别在两方面：一方面，大数据的数据规模更大；另一方面，大数据对处理数据的响应速度有更严格的要求。实时分析而非批量分析，数据输入、处理与丢弃立刻见效，几乎无延迟。数据的增长速度和处理速度是大数据高速性的重要体现。（4）大数据的特征四：价值性尽管企业拥有大量数据，但是发挥价值的仅是其中非常小的部分。大数据背后潜藏的价值巨大。由于大数据中有价值的数据所占比例很小，而大数据真正的价值体现在从大量不相关的各种类型的数据中。挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，并运用于农业、金融、医疗等各个领域，以期创造更大的价值。（5）大数据的特征五：真实性真实性是指数据的质量和保真性。大数据环境下的数据最好具有较高的信噪比。信噪比与数据源和数据类型无关。大数据的类型传统企业数据（Tradi\o"TI社区"TIonalenterprisedata）：包括CRMsystems的消费者数据、传统的ERP数据、库存数据以及账目数据等。机器和传感器数据（Machine-generated/sensordata）：包括呼叫记录（CallDetailRecords）、智