大数据小数据介绍

大数据（bigdata）正酣，小数据（iData）又来！主题概述：

(一)小数据介绍和定义

(二)小数据产生原因

(1)大数据对隐私无止境侵犯和个体对主动保护隐私需求。

(2)对统一全方面管理分析个人数据巨大需求.

(三)小数据特征和大数据对比

(四)小数据发展宽广前景。

(五)小数据发展最需处理三个大问题.蔡凯龙：

大家好，我是蔡凯龙，很高兴也很感激秘书长易欢欢，让我有机会和大家一起在互联网金融千人会举行早餐会来交流体会和心得。我这次主题是:小数据（iData)大时代：数据革命下一个前沿阵地。每一小节我都会预留点时间，欢迎大家提问题，让我们交流碰出思想火花吧。刚才开车回来，在路上bloomberg广播，说美国大IT行业，谷歌.FacebookTwitter,Apple.Microsoft.AOL,Linkedlin,Yahoo联名给国会和总统写信。要求制订政府窃取个人隐私详细策略，而且要求有独立第三方来监督，这个呼吁是跟Snowden泄露棱镜计划关于，因为在他泄露计划里曾经说到美国政府公开或者非公共入侵全部美国大科技企业数据库，监控全部信息。美国总统今天出来讲话，说政府不会偷看美国公民个人信息，只是为了反恐和监测海外活动，不会违反宪法，一定会尽力保护美国公民隐私。他提到个人隐私，和我今天要和大家交流小数据关于。(一)小数据介绍和定义数据革命最终目标，就是给每个人都配置类似于美国总统白宫级别服务。这不是科幻，这是数据革命即将开创另一个前沿阵地，小数据大时代。小数据(iData),指是围绕个人为中心全方位数据，及其配套搜集，处理，分析，和对外交互综合系统。人一举一动，一分一秒，产生数据，包含生活习惯，身体情况，社交，财务，喜好，情绪，行为等等，全部被搜集和利用和分析，并对外形成一个富有个人色彩数据系统，统一执行交换数据，保护隐私等多项对外功效。小数据跟大数据根本区分在于，小数据以单个人为唯一对象，重点在于深度，对个人数据全方位全天候深入精准挖掘利用，大数据则侧重在某个领域方面，大范围大规模全方面数据搜集处理分析，侧重在于广度。小数据只有围绕一个人，你就是小数据世界里美国总统，小数据就是你白宫办公室，它听命于你，搜集关于你全方位信息，提供给你最贴心最完整数据服务，同时担任对外界大数据唯一接口。小数据并不是大数据老酒装新瓶，把大数据思维操作模式简单套在小数据上并不适用。接下来我详细从小数据成因，特征，发展前景和问题，这四个方面来谈谈小数据是怎样作为大数据互补和延伸。(二)小数据产生原因1.大数据对隐私无止境侵犯和个人对主动保护隐私需求。1993年《纽约客》发表了一副漫画：标题是：“互联网上，没有些人知道你是一条狗”。经过互联网，移动互联网和社交网络以及大数据快速发展，我们已经毫无隐私成为透明人了。现在这句话应该改成：“不要说互联网另一端是一个人，即使是一条狗，我甚至能知道它身上有没有跳蚤”。在数据为王时代，个人隐私遭到肆意践踏和侵犯。你上网买个东西，或者在社交网上发个言，很简单一个动作，瞬间同时在政府网络监控，电话上网企业，买东西网站，社交网，搜索网站，信用卡银行，还有专门搜集资料爬虫系统。。等等，留下你详细个人资料。更可怕是，这些都是永久，任何时候都不知道会被谁调用，会被人肉搜索到。大数据基因里有对数据无限渴求。所以以企业为主大数据，在追求最大商业利益同时，是不可能主动保护个人隐私。能够说，大数据和个人隐私保护是天生不可调和根本矛盾。伴随隐私被侵犯弊端逐步出现，各国都有不一样程度立法来保护个人隐私。不过至今为止，实际收效甚微，我们对隐私大规模被侵犯依然束手无策。不过想想连德国总理默克尔，这么一个大国最高领导人手机都会被窃听，我们这些普通大众隐私在国家利益和商业利润面前，又怎么能够被真正被保护呢？难怪StevenRambam,一个互联网隐私教授曾经说过一句让人很绝望话："Privacyisdead---getoverit."“隐私已死，爱怎么着怎么着吧”这时候，迫切需要从技术上，让个人主动而不是被动保护自己隐私。小数据就能很好处理个人隐私和大数据矛盾。小数据对内是一切个人数据集合，对外是个人数据唯一接口。任何对外数据输出，都需经过预先设定授权程序。而外面大数据其实不是真对你隐私感兴趣，就比如说大数据要分析用户对一个新车市场，他需要同时知道你年纪性别收入等等，不过大数据最终目标不是要拿这些隐私，而是拿这些作为大数据分析模型必须素材，最终分析出你喜欢或者不喜欢这辆车。其实小数据在这方面更有优势，甚至细微到主人喜欢什么颜色，买车主要目标是上班还是休闲等，只要把小数据分析结果而不是隐私内容，通知给大数据。这么既能保护个人隐私，又能提供大数据最准确信息。完美处理大数据和隐私之间矛盾。同时小数据还能在保护隐私监控上掌握主动。我们都知道，注册登记任何社交网，都要求你同意密密麻麻天书通常法律条文。我相信没有些人会真正认真去看这些条文，因为用脚后跟想都知道，里面法律术语艰涩难懂，看懂了你又能怎么样，还不得乖乖"IAgree"我同意。这都是企业正当用你数据资料同时，用来躲避法律责任保护伞。这可是企业雇佣庞大律师团体花巨款写出来，我们个人在保护隐私上完全被动而且势单力薄。假如有了小数据，这下我们从被动变主动。你企业要用我小数据，好，没问题，数据是我，我控制能给你什么，不能给你什么。比如你问我喜不喜欢这辆新车，我告诉你我喜欢，但我不告诉你我年纪和家里存款。同时外部使用我小数据是有前提，假如医疗健康类企业，要知道我身高体重，没问题，需要依照我制订规则办事，你要"IAgree"我数据使用条款，不能四处传输。同时，还要求使用时间和使用范围，比如给你3个月只能用于某个特定医疗设备研究，用完就得永久删除，不然被我小数据监测到，能够依照里面法律条文，咱们法庭上见。小数据让个人作为个体信息真正拥有着，经过小数据，制订个人信息使用范围和授权，以及监督机制。任何企业组织甚至政府，都要事先同意恪守我定规则才能使用。构想有个名人想要美国总统奥巴马约个吃饭时间，他该先和白宫办公室联络，同意白宫办公室条件：不能和外界事先透露总统行踪后。同时，白宫只能跟回答比如说晚上7点总统有没有空，喜不喜欢吃牛排，而不是把总统全部行程安排包含总统吃什么药片都告诉对方，这个可是最高国家机密。小数据让你享受总统待遇，你个人信息就是你小数据王国里最高国家机密。小数据还能做到绝对隐私，比如那天你累了想彻底清净一段时间，或者你要和情人老婆老公有私人空间，你跟小数据系统下指令，彻底停顿全部个人数据监测，这下就清净了，你在数据世界就真有一段时间人间蒸发了。2.对统一全方面管理分析个人数据巨大需求。小数据产生还有一个主要原因，对统一全方面管理分析个人数据巨大需求。信息时代，我们被铺面而来信息狂轰滥炸，我们面正确问题是信息太多，不是太少。我们最大挑战是怎样能快速，方便，一目了然定位有用信息，怎样从纷繁复杂数据中提炼出有价值信息，从而真正解放个人，让自己多点时间去思索，去创作，多陪小孩家人，多去体验生活。小数据经过对个人信息全方面搜集，反馈，整理，分析，能提供最贴心数据服务，提供最有价值决议支持，甚至比你还了解你自己。你问问奥巴马谁最了解他，答案不是他太太还是他父母，一定是白宫工作人员。我举个亲身体会很小例子来说明未来小数据价值。纽约这边水表都实现电子自动读数，隔几个小时家里水表自动发送数据到自来水企业，能够上网查看。这个是个很原始很简单数据，看起来没有任何价值。有天，我突发奇想，用大数据思维，把这些数据下载下来，结合我家出行旅游时间统计，发觉了个问题。这水表显示没人在家时候继续不停地用水，3年来一直如此。我深入挖掘，把家里天天使用水大约时间拿来对照，最终断定，一定是某个地方悄悄连续漏水。经过排查，终于在不经常去地下室洗手间里抽水马桶盖子里，找到一个阀门没旋紧，从这里漏水直接进下水道。3年多来从来没被发觉。假如没有数据分析，这么隐蔽地方不可能被发觉。我计算一下，这3年来这个阀门浪费了600多美金水费，假如我在这里住，这个简单数据分析就能省下我美金无故水浪费。这个就是小数据个一个很简单案例。我深入把我能够找到个人数据：当地温度历史，电气水历史用量，财务数据，健康数据，统统有机结合起来（当然数据搜集废了好一番功夫）。这个很原始小数据给我展现出我从来没有看到过一面，在我决议过程中提供非常多有价值分析。而这只是一个雏形，一个开始，假如有成熟小数据系统，真正全方面把个人全部数据有机结合起来，其能发挥潜在价值不可估量。(三)小数据特征和大数据对比小数据和大数据有者本质区分，即使以创造数据价值为目标思维和大数据是相类似，不过在详细方式上，还有以下几点不一样1.数据处理方式：大数据强调标准化，只有数据标准化，才能大规模采集，以后数据处理概率统计才有了可能。可是数据一标准化，就失去了其数据产生时特征和背景。而小数据用户数据最大特点，就是起源和使用者是同一个人，只不过存和取时间和背景不一样而已，这就让数据标准化失去存在理由。为何要用标准化来抹去我对数据主观色彩呢和背景呢。比如我说“喜欢吃这家店臭豆腐”。这个信息，存在我小数据数据库里，不能单单只存标准数据：比如时间，臭豆腐形状臭豆腐店地址等。这些还不够，还要把我喜欢程度和主要性：是非吃不可不然活不下去呢，还是通常喜欢过两天就忘记了。还有当初语境：是我陪老婆去吃她喜欢我也跟着喜欢，还是我恭维臭豆腐店老板，因为他是我一个朋友呢。这些都是小数据需要处理信息，而大数据标准化方式是无法做到。

国外这方面已经有初步研究，Dr.OferBergman在最先提出“用户主观方式”（UserSubjectiveApproach)来存放个人信息。他在这方面开创性研究在美国信息技术学院(AmericanSocieityforInformationScienceandTechonology)一发表取得极大轰动。被美国图书馆协会（TheAmericanLibraryAssociation)评为当代十大科技前沿研究方向之一2.人作用：在大数据模式下，数据从人身上产生被搜集后，接下来数据处理分析，就再也跟数据主人无关了。而在小数据里，全部数据都是围绕一个人，所以人在系统发挥中心作用。就比如说白宫团体再怎么庞大，都要依照总统旨意，很多主要决议，还得总统拍板定夺。即使小数据里不可防止要使用人工智能来提供帮助，不过人工智能如今发展还没有大跨越，远远不能胜任代替人脑作用。这个有利有弊，坏处就是人还要不时参加决议。好处就是，使用者比较放心，因为这些数据就是你全部信息，你放心让一个人工智能代替你做主要决定吗？要我选，我还真不放心，我选择后者。

3.其余数据性质区分：比如是小数据数据量相对比大数据数据量小。小数据对数据不全部需要快速反应，比如说你胆固醇，一个月搜集分析一次就够了，而大数据对数据反应要快。小数据愈加重视非结构化数据之间关联，重深度挖掘，而大数据重在包容全部个体数据重在广度。总而言之，小数据不是简单大数据小型化，而是大数据补充和延伸（四）小数据发展宽广前景小数据处理大数据无法克服保护个人隐私矛盾。在主动保护个人隐私同时，小数据提供给大数据最直接数据传输，防止了大数据重复搜集和含糊预测，提升数据使用效率和价值。同时小数据利用全方面个人数据优势，结合外部大数据，提供给个人最个性化，最独特，最有价值数据服务。Amazon名言“最成功书籍推荐应该只有一本书，就是用户要买下一本书”，即使大数据先行者如Amazon，预测用户要买下一本书并不轻易。它最多能依照你在amazon交易统计，和有限片面个人信息来含糊预测。假如有小数据，身为最了解主人个人数据系统，amazon只要跟个人小数据接口查询：”你主人最有可能买下一本书是什么？”小数据先查查主人设定，是否同意和amazon交流，在不泄露个人主要隐私前提下，做完个人分析，看看主人最近最关心什么，最需要什么类知识，列出主人最有可能买1本书，告诉amazon。第二天，主人一开门，发觉门口摆了一本自己最需要书，上面写着：“Amazon经过和您小数据系统交流，得知您最可能需要这本书，把书给您送来了，需要就拿去，我会跟你小数据系统结账。"多方便，多友好一个过程啊。再拿一个大数据里被津津乐道一个案例来说，Target超市用孕妇怀孕可能购置商品用户购置统计，经过构建模型分析购置者行为相关性，能推断出孕妇详细临盆时间。这是在大数据模式下。假如大数据和小数据配合，小数据在主人授权下，直接把主人临盆告诉Target大数据不就得了，Target能够依照接收小数据临盆时间，加上小数据愿意透露主人年纪和对商品个人偏好，能愈加准确无误预测个体购置情况。这其实已经超越预测，应该叫洞察了把。大数据很多时候被利用在广告投放目标客户分析上：到底这个广告对这个人来说，是雪中送炭还是让人讨厌。大数据时代这只能从用户以往购置历史，旁敲侧击。然而在小数据时代，小数据直接告诉大数据，主人喜欢这个品牌那个颜色，假如不是符合主人口味广告，就不要来骚扰。在这种精准无误洞察，就好比给决议者一个清楚透视未来水晶球。用户，企业和政府能够最大程度利用大小数据配合，进行全部数据活动：个人财务投资分析，个人健康监控，个人疾病治疗，企业策划营销，企业战略分析，政府宏观调控，公共卫生安全防范，预防犯罪等等。小数据和大数据完美结合，必将让市场营销人员，理财投资分析师（对不起啊，我同行们,:-))，房地产中介，医生,律师等等专业服务人员全部失业。能够这么说，大小数据，双剑合璧，天下无敌。小数据还有一个意想不到，却让人想想就睡不着觉用途：数字永生！小数据精准统计从出生到死亡，无时不刻，细致入微全部细节，它就是数字化你，是你在虚拟世界最真实数字投影。你世界被数据化了，所以复制你世界成为可能。这就包括到人类永恒梦想：永生。肉体永生还有待科技水平提升，不过数字化个人永生，在小数据时代就变成可能。你小数据，就是你在数字世界里最真实载体，即使肉体消失，你小数据还能依据一生数据历史分析，能够对外界信息做出反应（当然这个反应只能是依照历史，不能主动创新，不然就可怕了）。对于他人来说，你数据载体，将永恒停顿在肉体消失一刻。假如思念一个逝去亲人，你能够和她留下来小数据聊天，问她问题，向她倾诉，听她讲她过去，小数据会依照历史统计，最完整展现出逝去亲人一举一动一颦一笑，包含她所说和所做，甚至推断出她所想。假如未来机器人和人体仿生深入发展，制造出一个一模一样人作为小数据物理载体也不是不可能。这个是不是想想就让人激动不已！（五）小数据发展最需处理三个大问题：1.个人数据处理深入研究和开发。即使“用户主观方式”（UserSubjectiveApproach)来存放个人信息是一个重大突破，但其研究也只是理论上初步构架，到真正实现还要有一段时间，需要科学家深入探索和完善，加紧其现实利用。同时，国家要把小数据和大数据一样，作为国家战略关键资产来投入和研发，并在法律法规上保驾护航。2.安全保护，小数据假如安全不到位，这个问题大了，这个好比在数据世界被人绑架了。所以小数据对安全级别要求很高，这不是一个企业组织有足够信誉和能力能做到，需要提到国家层面，需要国家统一规划。不过即使在很高级安全保护算法里，只要是算法，都会有漏洞，所以，人参加就成了拟补算法漏洞法宝。3.人工智能在小数据系统里占有至关主要作用，在白宫里地位相当于总统办公室主任，整体处理白宫各个方面大小事务。人工智能发展至今裹足不前，需要国家把它提升为战略地位进行科研开发和投入。人，是一切数据存在根本。人需求是全部科技变革发展动力。能够预见，不远未来，数据革命下一步将进入以人为本小数据大时代。

==========现场讨论集锦===============

@蓝天：今天这个论题很好，有力度，有厚重，值得学习和研究。感激蔡凯龙。也感激欢欢引介。小数据概念和小数据原因与隐私保护和小数据利用分析，很好。谢谢。

@蔡凯龙：谢谢大家，插播一句话，大数据里国栋兄是权威，我只不过把一些想法，可能比较前卫想法写出来，欢迎大家探讨。

-----------------

@老牛：这个视角非常独特。之前我把这些通归于大数据。

@邹学勇（用友）：大数据关键：实时、在线、互动、全貌8字

@蔡凯龙：大数据方式没法处理个人隐私。就像@邹学勇（用友）所列出，大数据关键，必将涉猎到很多个人隐私。而且大数据标准化，让数据个人色彩和语境无法伴随数据，对于数据全部者来说，在一定语境下主观色彩才比枯燥单调数据形象生动，价值高多了。

--------------------

@吴甘沙：现在问题是小数据与大数据混在一起，也没有对小数据全生命周期管理，我以为后者还是很有做头。把个人分布在互联网各个地方数据管理起来，明晰各数据使用方许可权，并审计他们使用情况，能够撤消或转移数据。

@蔡凯龙：对，这个和小数据对个人隐私保护思维是一致。把全部个人信息搜集起来，谁是拥有者呢，政府监管部门吗？我以为最有动力去保护就是隐私拥有者，即个人。

@吴甘沙：个人一定是小数据拥有者，这需要法律上产权明晰，在此之前，各互联网服务提供者必须修改termofuse和privacy条款

@风吹江南：我貌似在写支付革命就提出不谈大数据只谈小数据章节。硬生生被删除了

@蔡凯龙：为何被删除？

@风吹江南：说实话你是我见过第一个谈小数据概念人。他们估量也是认为不够切合大数据热点吧。我倒以为小数据更现实和有意义。大数据构建成本极高。小数据都挖掘处理不好焉谈大数据。

-------------

@吴甘沙：蔡兄，有两个问题：1.JaronLanier一直在推进大企业对小数据使用必须付出micropayment，但应者寥寥，您怎么看；2.加州议员推进RighttoKnowAct，但被技术企业lobbyist挡回去了，下一步怎么发展？

@蔡凯龙：这两个问题问非常好。1.小数据让个人成为主动，掐住大数据侵犯隐私喉咙，这显著不会被企业所轻易接收。而且要付费，要接收监管，要收限制，哪有现在这么自由。企业反对也是一大问题，所以我在下面讲小数据问题时候，有提到需要政府在法律法规上保驾护航。2.议员推进法案被科技企业挡回去，这个原因和1一样，企业不愿放弃已经有对个人隐私侵犯。接下来怎样走，我预见是，伴随大企业和政府对个人隐私不停侵犯，民众个人隐私保护意识越来越强，到一个临界点，出个比如加拿大女孩因为个人照片隐私被侵犯而自杀轰动事件，就会成为导火索，假如民众意识崛起，选民压力达成了一定程度，科技企业再牛也无法lobby议员，毕竟选民投票决定议员位置。

@老牛:怎样实现呢？这是整个数据机制改变，是对大数据正向抑制或抵消力量，符合《动物精神》中观点.

@蔡凯龙：实现还很遥远，我在最终一节有提到小数据发展3个必须处理问题，可能这些问题处理了，离实现就愈加靠近了。

@吴甘沙:现在问题是个人awareness不够，看了现在可穿戴计算设备termofuse，基本上都是要把数据给第三方，或不确保数据保密性和安全性。用户也无奈接收了

@蔡凯龙：个人穿戴设备条款已经是抵达入侵个人隐私极限，所以愈加显示出以后对隐私保护主要性，相信很快伴随个人穿戴设备普及，这个必将成为热点。

----------

@吴甘沙:Target这个案子除了隐私之外，我认为还有数据使用伦理问题。它个人刻画能够发觉怀孕情况，也应该能发觉是未成年人，如此就不该向未成年人发关于怀孕定向广告.

@蔡凯龙：这点提好.Target应该无法从销售数据查出年纪，最少在美国对年纪这种个人隐私还是很保护，全部只能靠大数据和小数据配合，才能防止给未成年人发放怀孕广告。

----------

@曾光光:大数据是通往奴役之路.各种数据孤岛会由点到线，最终自组织自演化成网，每个人都在网中，享受数据便利同时，数据隐私无处可逃。就像matrix.脱离这张网就无法生存.

@蔡凯龙：对，以后数据革命是越来越让人像在matrix里，不过我们对隐私被侵害并不是无能为力，这点我没有那么消极。呵呵。

@吴甘沙:担心是机器革命.[微笑]

@蔡凯龙：机器革命等人工智能产生大飞跃才有一丁点可能，我并不担心啊，假如那天机器人能画出梵高《星空》，那时候我一定吓得半死。。。

------------

@吴甘沙:蔡兄，有个问题请教，现在大小数据是不分家，大数据由小数据聚合而成，只不过一个强调集合价值（知著），一个是强调个人价值（见微）。假如分家了，大数据又从何而来呢?

@蔡凯龙：大小集合现实状况有很多弊端，比如隐私，比如强化个人数据服务。所以发开是一个进化。即使分开了，大数据也有它宽广空间，大数据在广度分析上小数据无法做到。几比如说你小数据有你从出生到现在全部健康统计，你去看医生（假如医生这个职业还存在话）。那大数据就会把你全部健康统计，去和全世界病患案例对比，分析，参考全部医疗研究结果，帮你找出最适宜治疗方案。

@谢涛令海博智能:我有个问题，小数据能否作为大数据不可分割一部分来处理？就像宏数据（metadata）？这么能够用大数据上花巨款劈开市场之路，而不用再为小数据开另外市场之路。我一直在思索研究大数据溯源问题，以为独立地去用小数据这个词儿有些困难，所以有此问。以为把小数据从大数据分隔出来也很困难。

@谢涛令海博智能:@吴甘沙交叉信息。我们说得是一个意思。大小数据分开会造成很多概念问题，我一直没能想透彻。

@蔡凯龙：我同意，分离出来要面对很多难题，关键是，大数据，或者说Metadata是否能处理两大小数据最关键功效：主动保护隐私，和个人全方位个性服务。假如Metadata在这两方面有飞跃，那小数据没有存在必要了。不过现在我还看不出来。

------------

@赵国栋:看到最终，发觉你不是在说小数据，而是在谈个人agent,这个agent是个人再网络时空存在。

@蔡凯龙：能够这么了解吧，个人agent应该属于白宫总管，也需要对个人数据融合，

@赵国栋:在有些场景中这个实现成本太高啦。轮询全部agent才能得到隐私回复

@蔡凯龙：这个实现能够愈加简单，国家针对全部隐私制订各种级别，对大数据利用也分类，而个人，在小数据中能够大致设定一个对应类级别。详细大数据和60亿个小数据交换信息，这个现在应该几秒钟事情吧。

@赵国栋:agent思想难处是采集到全部小数据，要求和全部端程序有接口。假如有个人爬虫，或许能够处理小数据源问题

@蔡凯龙：个人爬虫是个人隐私泄密帮凶，赵兄怎样让个人爬虫预防隐私泄密呢？

@赵国栋:也是。没想到啥好方法！-----------

@曾光光:@蔡凯龙“我总结下：人，是一切数据存在根本。人需求是全部科技变革发展动力。能够预见，不远未来，数据