大数据与人工智能

1、大数据与人工智能提纲什么是大数据大数据系统从数据获取价值大数据驱动智能什么是大数据什么是大数据老生常谈的4个V第五个V: Value10秒的iPhone视频1980 x1080 x25x10=518,400,000像素是大数据吗？一个Excel表，10,000行用户A，用户B，转账金额是大数据吗？大数据的价值来源：全数据维度时间、空间维度跨界举个例子个人健康数据McKinsey, Big data: The next frontier for innovation, competition, and productivity, 2011大数据的价值体现：小数据知识决策（1bit）精确（概率）举

2、个例子极致的个性化推荐大数据的价值潜力：智能语言视觉预测举个例子语音识别样本量：3千小时10万小时识别率：80%90%图片识别样本量：几万十亿识别率：70%95%（大）数据从哪里来传感器制造业、公共事业手机、PC、手环摄像头带宽40 kbps (2G) 15GB/年20 Mbps (4G)计算Moores Law存储TB级SSD大数据系统如何处理海量数据一个关于屏保的的真实的故事2003年的知春路MPI分布式系统的前世今生应用驱动数据硬件驱动突破约束人的驱动聪明人懒人高效、容错、易用1980s，个人电脑普及分布式系统采用Client-Server架构分布式SQL数据库(1979)网络文件系统(

3、1984)1990s，数据中心提供商业化系统部署解决方案P2P分布式架构网格计算2000s，社交网络的盛行，海量数据和日志分布式编程模型MapReduce(2004年)分布式系统，如Hadoop (2006), Spark (2012) , Hive (2013)NoSQL数据库流行，如Cassandra (2008)2010s，随大数据和人工智能的发展分布式机器学习系统广泛应用分布式图数据库被用于大数据知识图谱的处理和分析大数据系统是一个“操作系统”数据存储2个CPU1-4块硬盘数据分析统计数据存储100+ CPU800+ 硬盘数据分析统计资源管理计算、存储、IO文件管理相同的操作逻辑从文件

4、系统到对象存储海量非结构化数据文本、语音、图片（分布式）文件系统目录结构支持大文件元数据服务器成为瓶颈对象存储去中心化Key-Value 架构支持小文件分布式元数据存储数据分析SQL语法相同具有同样的可视化及分析能力大数据怎么玩从数据获取价值大数据的价值获取Human analytics Machine analytics数据转换整合存储呈现知识洞察交互式查询呈现决策预测数据ETL和清洗HDFS大数据洞察：群体和个体大数据洞察：生态和信息传播设备画像用户画像应用画像核心算法 文本挖掘 机器学习 知识图谱交互式数据洞察超越传统BI报表的形式动态、变化的需求数据组织形态实时响应从文本提取结构化知识

5、“北京时间8月15日凌晨，2016年里约奥运会跳水女子单人三米板比赛中出现了浪漫的一幕。获得亚军的中国美女何姿在颁奖仪式后收到了男友秦凯的求婚。今天的比赛中，施廷懋以总分406.05分获得冠军，在帮助中国队实现该项目八连冠的同时，何姿以387.90分遗憾获得银牌”。何姿秦凯男友获得亚军/银牌求婚大数据的可视化呈现挑战更大更易用更丰富更灵活动态信息的可视化波士顿的地铁运输系统地铁列车在凌晨5：00开始服务，平均每8分钟有一辆列车驶出。在工作日的早高峰8:00，列车分布更加密集，发车频率降低至3分钟。*这是gif，放映可见*这是gif，放映可见时空数据的交互式可视化Uber每天收集上亿级别的车辆位

6、置发现供需关系了解该城市的市场活动挖掘数据中的商业价值。*这个gif，放映可见数据驱动的决策个性化营销城市规划更精确的度量成本收益数据驱动的预测需求政策走势故障和维护历史会重复大数据驱动智能什么是智能语言逻辑推理理解记忆判断学习想象情感The true sign of intelligence is not knowledge but imagination. - EinsteinIntelligence has been defined in many different ways including as ones capacity for logic, understanding, se

7、lf-awareness, learning, emotional knowledge, planning, creativity and problem solving.什么是机器智能数据+模型+计算力人记忆经验学习发现因果设计机器计算机更强的记忆基于数据做预测统计学习关联/使用因果?人计算机因果与关联 - 天气预报因果关系用方程表达严谨准确专业什么是关联闪电与雷声用简化模型去近似方程式因果不明，或关联关系太过复杂时运动方程式(风场)热力方程式水气(物质)方程式连续方程式(质量守恒)五分钟设计“大数据云计算人工智能” 系统问题描述8:10am9:10am数值化可计算性?预测模型从死记硬背开始：机器学习模型结合人的智慧：因果模型行业专家 vs.数据科学家天气预报流感传播股票交易业务逻辑业务经验因果模型小数据数据逻辑跨界经验关联模型大数据机器智能还可以做什么医疗健康社会服务教育金融交通公共安全环境基础建设机器智能还可以做什么医疗健康社会服务教育金融交通公共安全环境基础建设机器智能的军备竞赛数据算法/人才计算力NASDAQ:NVDA机器智能的发展趋势更大的数据更复杂的模型更好的算法机器