大数据：商业革命与科学革命课件

1、大数据：商业革命与科学革命什么叫大数据？“大数据”是“数据化”趋势下的必然产物！数据化最核心的理念是：“一切都被记录，一切都被数字化”，它带来了两个重大的变化：一是数据量的爆炸性剧增，最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和；二是数据来源的极大丰富，形成了多源异构的数据形态，其中非结构化数据（包括语音、视频、图像等）所占比例逐年增大。什么叫大数据？牛津大学互联网研究所维克托迈尔-舍恩伯格教授指出，“大数据”所代表的是当今社会所独有的一种新型的能力以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见。这种“前所未有的”巨大价值和深刻

2、洞见，并不仅仅来自于单一数据集量上的变化，而且是不同领域数据集之间深度的交叉关联，可称之为“跨域关联”。什么叫大数据？譬如微博上的内容和社交关系，Flickr上的图片共享，手机通讯关系，淘宝上的购物记录等数据通过同一个用户关联起来；又如移动手机定位的移动轨迹，车载GPS的移动数据，街旁上的签到数据，顺丰物流的递送数据，智慧城市中的文本描述等数据通过同一个地点关联起来。跨域关联是数据量增大后从量变到质变的飞跃，是大数据巨大价值的基础。什么叫大数据？大数据会给整个社会带来从生活到思维上革命性的变化：企业和政府的管理人员在进行决策的时候，会出现从“经验即决策”到“数据辅助决策”再到“数据即决策”的变

3、化；人们所接受的服务，将以数字化和个性化的方式呈现，借助3D打印技术和生物基因工程，零售业和医疗业亦将实现数字化和个性化的服务；什么叫大数据？综上，大数据不是数据量的简单刻画，也不是特定算法、技术或商业模式上的发展，而是从数据量、数据形态和数据分析处理方式，到理念和形态上重大变革的总和大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总和。大数据的战略地位大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。云计算和大数据共同引领以数据为材料，计算为能源的又一次生产力的大解放，甚至可以与以蒸汽机的使用和电气的使用为代表的第一

4、次工业革命和第二次工业革命相媲美。大数据的战略地位与环境问题相关的全球气候及生态系统的分析，局部天气及空气质量预测；与医疗卫生相关的个性化健康监护及医疗方案，大规模流行病趋势预测和防控策略；与人民幸福生活相关的个性化保险理财方案，智能交通系统等等。数据储备和数据分析能力将成为未来新型国家最重要的核心战略能力。大数据的战略地位2012年3月29日，美国政府宣布了“大数据研究和发展倡议”，来推进从大量的、复杂的数据集合中获取知识和洞见的能力。2012年5月，我国召开第424次香山科学会议，这是我国第一个以大数据为主题的重大科学工作会议。2012年9月13日，北京航空航天大学联合英国爱丁堡大学、英国

5、利兹大学等共同组建大数据科学与工程国际研究中心。大数据的战略地位2012年12月13日，在“中关村大数据日”活动会上，由宽带资本、百度、北京大学、阿里巴巴、腾讯等企业、高校共同发起成立了大数据产业联盟。2013年3月5日7日，国家自然科学基金委于在同济大学举办了第89届“双清”论坛，论坛的主题是“大数据技术与应用中的挑战性科学问题”，与会的有近十名院士。2013年6月30日，中国信息化百人会以“大数据：挑战与机遇”为主题，在上海召开第四次专题研讨会。大数据商业革命在商务智能时代积累起来的和数据打交道的经验既是大数据新商业模式技术和理念的基础，又有可能束缚大数据商业革命，因为有经验的商务智能人士

6、会不自觉地把大数据分析庸俗化，认为只是传统商务智能针对更大规模数据集的一种平凡推广。大数据商业模式也可以粗略地分为1.0版本，2.0版本和3.0版本。大数据商业革命大数据1.0追求从数据到分析，从分析到更多更好的数据，再到更深入分析这样的正向循环。它是指：企业自身的产品和服务产生了大量的数据，通过对这些数据进行深入的挖掘分析，改进自身业务，改进后的业务吸引更多用户或客户，产生更大量的数据，形成正向的循环。大数据商业革命这些精准的个性化服务的背后，是非常复杂的算法和实时大数据处理能力。个性化推荐算法大大提高了用户的黏度和企业的销售额，从而产生了更多有价值的数据，这些数据又帮助亚马逊和百分点把分析

7、做得更深入，进一步提高自身或客户的访问和销售量，产生更多高质量的数据。大数据商业革命大数据2.0强调的是数据的外部性。它是指：企业用自身业务产生的数据，去解决主营业务以外的其他问题，获得重大的价值；或者引入非企业自身业务的外部数据，来解决企业自己遇到的问题。大数据商业革命谷歌（Google）曾利用网页搜索词的记录，来预测流感爆发后随时间变化的新增病例数以及实时电价。显然，预测流感趋势和实时电价这些需求并不包含在记录网页搜索词的初衷中。淘宝的销售记录可以用来估计消费价格指数（CPI），手机移动轨迹数据可以用于交通预报和交通规划，等等。大数据商业革命大数据3.0是一个尚在探索中的商业形态。首先要求

8、政府和行业，对数据质量、价值、权益、隐私、安全等产生充分认识，出台量化与保障措施。在此基础上，数据运营商出现，提供集成数据和存储、计算的平台。最后，形成了以加工粗数据和已有数据产品，产生新的数据产品为主要活动的数据客（Dacker）。大数据商业革命个人、团队和企业通过数据API接口或其他方式付费使用数据产品，数据客、运营商和被加工原料所有者共同分享数据产品的利益。数据市场也可能应运而生，数据和数据产品有可能像今天淘宝集市上的商品被售卖交换。于是，一种以数据/数据产品为输入，数据/数据产品为输出的新商业模式诞生，这种模式不同于2B（to business）和2C（to customer）的模式。

9、大数据商业革命譬如一款精确位置告知实时空气质量的API接口（应用程序接口），既可能被企业和政府使用，也可能被个人使用。为了区分，称这种模式为2D（to data）的商业模式。新商业模式的直接后果，就是促进学术团体、企业和政府通过大量异质数据和数据产品产生科学、社会、经济等方面的新价值。大数据科学革命以前基于实验室小规模控制实验的半定量甚至以定性为主的学科分支将走向基于大规模非控制数据分析的定量科学，其中社会学、心理学和管理学首当其冲。通过数据分析，我们可以在数千万甚至上亿样本的规模下研究宗教问题、亚文化问题、信息传播轨迹、社会流动性问题等，而这在以前的社会科学中是绝对不可想象的。大数据科学革命

10、首先，数据给我们提供了一个解释现象的新颖视角。最近的一项研究另辟蹊径，科学家分析了320万手机用户4.89亿条短信和19.5亿条通话记录，根据通信频繁程度，找出了每个人的第一好友、第二好友等。大数据科学革命有趣的是，男性尽管在30多岁的时候表现出对同龄异性特定高关注度的快速下降，但是在进入中老年后对配偶的依赖性远远高于女性。这样的研究当然不能严格证明任何演化生物学的假说，但是却给出了一种研究这类问题的有趣而新颖的视角。大数据科学革命2010年科学家通过对全英32482个行政区6500万人口通话关系的研究发现，电话联系人多样性越强的行政区，其经济社会发展水平也越高，从一个侧面证明了社会资本等价于

11、经济资本。通过对8498份菜谱的分析，证明了地理文化因素比气候因素对于饮食结构的形成作用更大，挑战了“气候决定饮食结构”这一广泛为人们接受的常识。大数据科学革命其次，数据给我们提供了一个绕开理论直接走向应用的新途径。Google分析了5000万搜索词，从中找到所有和流感传播趋势有关的搜索词，又通过其中相关性最强的45个词，利用线性回归模型，预测流感的染病人数。 Google的预测非常准确，并且能够比疾控中心早一周对实时染病情况进行预报。大数据科学革命通过分析了包括亚马逊和Netflix在内的4个网站上数百万用户对各种商品的评分数据，发现用户的评分存在明显的锚定效应，也就是说，用户在给出一个高分

12、之后，下一次评分也偏高，在给出一个低分之后，下一次评分也偏低。大数据科学革命这和我们常识中看过一部烂片之后下一部片子无论如何都不错正好相反我们甚至可以推论，如果你的前任是极品，你的现任恐怕要受前任连累，而不是从中获益，当然，这还需要大数据科学的验证。进一步的研究显示，如果去除掉这些心理的偏差，对于用户的评分预测和推荐会变得更加精确。大数据科学革命可以看到，Google并没有给出从搜索词到疾病预测之间的某种严谨的理论，另一个例子也没有对人们评分的心理行为给出任何理论解释，但是通过海量数据分析得到的这些研究结果已经可以应用于实际了。大数据科学革命大数据带来了很多新的重要的科学问题，其中最重要的是预

13、测。预测问题主要可以分为两类，一是趋势预测，二是缺失信息预测。趋势预测是指通过事物的一些基本属性信息和早期的态势分析，预测事物发展的轨迹和最终影响力。大数据科学革命譬如通过分析社交网络中注册一个月的用户的行为以及这些用户与其他用户的互动，预测哪些用户将来会成为很有影响力的用户；通过用户商品两部分图中产品的早期表现，例如一首新歌或一个新歌手上线一周的情况，来预测这首歌或者这个歌手有没有可能走红；通过一条信息早期数小时在微博网络上的传播情况，来预测这条信息最终的影响力等等。大数据科学革命缺失信息预测假设我们观察到的信息只是全部真实信息的一部分，在这个基础上探讨如何利用当前信息去预测未观察到得信息。

14、譬如我们现在通过实验所知道的蛋白质之间的相关作用关系只是全部关系中很小的一部分，但是实验验证费用昂贵。通过预测，预先判断哪些蛋白质之间可能有相互作用并以此指导实验，能够大大节省实验成本。大数据科学革命又比如，新浪微博上的关注对象推荐是一种典型的缺失信息预测，因为做出推荐的基本假设是“某甲应该关注某乙，只不过现在还没有关注”。在可预期的未来，绝大部分深入的大数据应用，都可以转化为某种预测问题。大数据时代大数据的风险和现存问题大数据与数据挖掘。第2章 条码技术条码的应用过程 物品的编码 条码的生成与印制 条码识读 条码质量检测 条码防伪技术 条码的应用过程 企业要使用条码来标识自己的产品，必须按照

15、国家规定向国家物品编码中心申请 。申请条件企业义务注册程序厂商代码维护厂商代码编码物品的编码按照代码的特性，企业需要为每一个产品编制一个唯一的代码。物品的编码厂商识别代码由710位数字组成，中国物品编码中心负责分配和管理。前3位代码为前缀码，国际物品编码协会已分配给中国物品编码中心的前缀码为690695。商品项目代码由25位数字组成，一般由厂商编制，也可由中国物品编码中心负责编制。校验码为1位数字，用于检验整个编码的正误。申请到厂商代码后，企业就可以为自己的每一种产品编制商品项目代码了。条码的生成企业为自己的产品编制好唯一的代码后，下一步的工作就是把代码转换为条码。依照标准自行编制：依照相关条

16、码标准，按各种码制的编码原则、符号标准等，用户可以自己编制条码生成软件。条码的生成商业化的编码软件可以让用户很方便地制作各类风格不同的证卡、表格和标签，具有强大数据库功能，能够实现图形压缩、双面排版、数据加密、数据库管理、打印预览和单个/批量制卡等功能，可以生成各种码制的条码符号。同时，可以向应用程序提供条码生成、条码设置、识读接收、图形压缩和信息加密等二次开发接口（用户自己可以替换），还可以向高级用户提供内层加密接口。条码的印制条码是一种比较特殊的图形，生成技术要靠印制来实现。印制时必须严格按照其编码规则达到印制质量标准及技术指标的要求。由于条码是通过条码阅读设备来识别的，这就要求条码符合光

17、电扫描器的某些光学特性。条码在印制方法、印制工艺、印制设备、符号载体和印制涂料等方面都有一些特殊要求。条码的印制条码的印制是条码技术应用中一个相当重要环节，也是一项专业性很强的综合性技术。它与条码符号载体、所用涂料的光学特性以及条码阅读设备的光学特性和性能有着密切的联系。想要制作出高质量的、设计新颖的条码符号印刷品，必须了解条码印制中的一些特殊要求。条码的印制条码的印制方式基本有两大类：一是预印制（非现场印制），即采用传统印刷设备大批量印刷制作，它适用于数量大、标签格式固定、内容相同的标签的印刷，如产品包装等。二是现场印制，即由计算机控制打印机实时打印条码标签，这种方式打印灵活，实时性强，可适

18、用于多品种、小批量、需现场实时印制的场合。条码的印制预印制：需要大批量印制条码符号时，应采用工业印刷机用预印制的方式来实现，一般采用湿油墨印刷工艺。尤其是需要在商标、包装装潢上将条码胶片、商标图案等制成同一印版，一起印出时，可大大降低成本和工作量。预印制按照制版形式可分为凸板印刷、平板印刷、凹板印刷和孔版印刷。条码的印制现场印制：一般采用图文打印机和专用条码打印机来印刷条码符号。图文打印机常用的有点阵打印机、激光打印机和喷墨打印机。这几种打印机可在计算机条码生成程序的控制下方便灵活地印刷出小批量的或条码号连续的条码标识。专用条码打印机有热敏、热转印、热升华式打印机，因其用途的单一性，设计结构简单、体积小、制码功能强，在条码技术各个应用领域普遍使用。印刷载体 通常把用于直接印制条码符号的物体叫符号载体。常见的符号载