“大数据”及其在排水领域的应用1128

1、1 “大数据大数据”及其在排水领域应用的及其在排水领域应用的 思考思考 2015.12 2 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人 数？ Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？ Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾 病爆发或控制流感蔓延？ 3 每个问题都是重要的世界性难题， 但美国人解决的方案都用到了。 大数据！大数据！ 4 什么是大数据？ Q4：大数据的就是数据多、数据大？ Q5：数据多大算大？ Q6：excel算一算，画画图表算不算大数据？ 5 什么是大数据？ 定义定义3：“大数据大数据”是需要新处理模式才能具有更强的决策力、洞察发现力

2、和流程是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产。优化能力的海量、高增长率和多样化的信息资产。-“大数据大数据”（Bigdata）研究）研究 机构机构Gartner 定义定义1：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产：以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产 品和服务，或深刻的洞见。品和服务，或深刻的洞见。 6 大数据时代的到来 区别一：区别一：数据采集变得更容易 通讯记录；上网记录；信用卡消费记录；手机定位信息；各种传感器；各种手环 区别二：区别二：网络升级，光纤，数据传递变得高效容易

3、移动2G的理论网速48Kb/s 移动3G的理论网速350Kb/s 移动4G的理论网速12.5M/s 区别三：区别三：单位数据存储成本大大降低 7 大数据时代的到来 8 大数据时代的到来 区别五：区别五：计算能力得到飞速发展，云计算，廉价，10万亿次/秒 区别四：区别四：统计学、应用数学和计算机科学的大发展 A/B Testing；关联规则分析；聚类分析；遗传算法；神经网络；预测模型；模 式识别；时间序列分析；回归分析；系统仿真；机器学习；优化；空间分析； 社会网络分析；自然语言分析 9 大数据时代的到来 u小大数据时代解决一些相关问题更多依靠部分样本调查方法，在处理很 多问题时有局限性，大数据

4、时代全样本分析变得可能 u庞大的数据库有着小数据库所没有的价值 u大数据时代是一个有海量数据的时代，应用数学已经取代了其他的所有 学科工具。而且只要数据足够，就能说明问题。 10 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2 011 会议中，EMC 抛出了Big Data概念 大数据时代的到来 11 21世纪是数据信息大发展的时 代，移动互联、社交网络、电子商务 等极大拓展了互联网的边界和应用范 围，各种数据正在迅速膨胀并变大。 互联网（社交、搜索、电商）、移动 互联网（微博）、物联网（

5、传感器， 智慧地球）、车联网、GPS、医学影 像、安全监控、金融（银行、股市、 保险）、电信（通话、短信）都在疯 狂产生着数据。 “大数据”的诞生： 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的 程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学 和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域 中。 大数据时代的到来 12 4V 体量Volume 多样性Variety 价值密度Value 速度Velocity 非结构化数据的超大规模和增长 总数据量的8090% 比结构化数据

6、增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能 (咨询、报告等） 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 大数据的特征大数据的特征 13 大数据的价值和潜力 p 大数据将是下一个社会发展阶段的“石油石油”和“金矿金矿”。 p 无论是个人、企业还是国家，谁能更好地抓住数据、理解数据、分析数 据，谁就能在下一波的社会竞争中脱颖而出。 p 关于数据的知识，将成为个

7、人知识结构中的必备要素和基础。 14 大数据如何解决问题？ 美国交通事故死亡分析报告系统（Fatal Analysis Reporting System）：分析全 美所有交通事故发生时间、地点、天气和原因，统计伤亡人员性别和年龄，发现 问题并针对性地采取措施。 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ 15 大数据如何解决问题？ p午夜酒驾是最主要原因，需要首先从严整顿。 p发现各州安全带执法方式不同死亡率降低不同，调整执法方式。发现其 他更多细节和问题。 p死亡人数从1966年的5万人降低到2013年的30057人。 p一些结论：18:0021:00是交通事故的最高发时段

8、；2534岁的人群居交 通事故死亡人数之首；行人总是交通事故的牺牲品；男女因交通事故死 亡的比例很稳定，为7:3。 Q1：如果你是市交通局长，如何降低40%的交通事故死亡人数？ 16 大数据如何解决问题？ Q2：如果你是市公安局刑侦队长，如何降低80%的犯罪率？ n纽约市探长JackMaple通过分析全市所有犯罪案件发生的时间和地点，预测未来案 件发生的地点，将有限的警力提前布置，在此基础上1994年诞生了CompStat 。 n1990年凶杀案2245宗，1994年启用 CompStat ，持续降低到2009年的466 宗，创下50年之最低。 nCompStat现已在全美推广使用。 n199

9、6年，CompStat获得了哈佛大 学的美国政府创新奖。 JackMaple/杰克杰克梅普尔梅普尔 17 大数据如何解决问题？ Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病 爆发或控制流感蔓延？ l2009年甲型H1N1流感在短短几周之内飞速传播开来，短时间研发不出疫苗。 l公共卫生专家只有先知道这种流感出现在哪里才能控制减慢它的传播。 l感染信息采集有一两周的延迟，数据统计汇总还需要时间。 l谷歌通过观察人们在网上的搜索记录和检索词条发明了预测方法，并在流感爆 发前几周预测冬季流感的传播，论文发表在自然杂志上。 18 大数据如何解决问题？ l谷歌为了测试这些检索词条，总共处理了4

10、.5亿个不同的数学模型亿个不同的数学模型。再将得出的预 测与2007年、2008年美国疾控中心记录的实际流感病例进行对比后，谷歌公司发现 ，他们的软件发现了45条检索词条的组合，将它们用于一个特定的数学模型后，他 们的预测与官方数据的相关性高达97%。 Q3：如果你是全省或全国的疾控中心主管，如何实时监控疾病 爆发或控制流感蔓延？ 19 大数据如何解决问题？ 大数据和云计算大数据和云计算 白云下面数据跑 蓝蓝的天上白云飘 大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的 一角，绝大部分都隐藏在表面之下。而发掘数据价值、征服数据海洋 的“动力”就是云计算。 -维克托教授 20 大数据

11、如何解决问题？ ETL 数据众包 （CrowdSouring） 结构化、非结构化 和半结构化数据 分布式文件系统 关系数据库 非关系数据库 （NoSQL） 数据仓库 云计算和云存储 实时流处理 A/B Testing 关联规则分析 分类 聚类 遗传算法 神经网络 预测模型 模式识别 时间序列分析 回归分析 系统仿真 机器学习 优化 空间分析 社会网络分析 自然语言分析 MapReduce R语言 标签云 （Tag Cloud） 聚类图 （Clustergram） 空间信息流 （Spatial information flow） 热图 （Heatmap） 21 大数据如何解决问题？ 马云成功预测

12、2008 年经济危机 “2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑， 欧美对中国采购在下滑。海关是卖了货，出去以后再获 得数据；我们提前半年时间从询盘上推断出世界贸易发 生变化了。” 通常而言，买家在采购商品前，会比较多家供应商的产 品，反映到阿里巴巴网站统计数据中，就是查询点击的 数量和购买点击的数量会保持一个相对的数值，综合各 个维度的数据可建立用户行为模型。因为数据样本巨大, 保证用户行为模型的准确性。因此在这个案例中，询盘 数据的下降，自然导致买盘的下降。 其他案例其他案例 22 大数据如何解决问题？ u通过记录和分析北京市出租车两年的GPS数据，微软亚洲研究院的谢幸及其同事

13、 可以向司机提供不同时段的最佳出行路线。 u挪威耶维克大学的研究人员和Derawi Biometrics公司联合为智能手机开发了一款应 用程序，可以分析人走路时的步伐并将其作为手机解锁的安全系统。 u日本先进工业技术研究所根据人体对座位的压力差异识别出乘坐者的身份，准确 率高达98%，据此开发的防盗骑车座椅具有防止汽车被偷的功能。 其他案例其他案例 23 排水和大数据结合？ u充分利用和挖掘数据中蕴藏的信息来辅助决策，人类理性的范围将会 扩大，提高决策的质量。 u不为了使用大数据而制造大数据，为解决问题而有意识地收集并分析 数据。 u黑猫白猫，能抓老鼠就是好猫。首先应尽可能寻找问题最简单的解决

14、方 案。不必在乎方法手段是不是高级，能解决问题的方法就是好方法。 必要性 24 排水和大数据结合？ p通过统计塑料管检测数据预测哪个品牌的管材质量更容易出问题； p通过分析多个水样中各种重金属之间的相关性确定Zn为水样中重金属特征 指标，可以减少重金属检测指标和工作量； p淹易淹易涝区域风险评估及改造方案：运用管网、下垫面和降雨等大量基础数 据，通过径流模拟算法、管流模拟算法和二维地表漫流模拟算法，运算量大。 我们正在有意识无意识地运用大数据思维解决遇到的问题。 25 排水和大数据结合？ 气象数据 水文数据 防汛监控调度指挥系统的大数据 管网数据 泵站运行数 据 仅采 集和 统计 数据 ，还

15、要挖 掘数 据潜 在价 值。 数据 大还 不够 ，离 大数 据还 有距 离。 26 排水和大数据结合？ 其他可能的应用 p 通过分析污水厂多年的进水水质变化（如C/N变化）分析和居民生活习 惯的改变有关系，进而预测进水水质的变化 p 通过设备维修记录中的故障原因统计提前做好维护计划； 27 排水和大数据结合？ 其他可能的应用 p 通过分析泵站经济性报表中的单耗来查找高能耗泵站及其原因，采取措 施降低能耗； p 估算市区的雨污水管网总长度？ p 提高管网养护的效率，优化清淤养护计划：相同的清淤量，清淤管道优 先级更高；相同的人和设备，年度清淤量上升15%？ 智慧排水智慧排水 28 我们应该采取的

16、行动 1、加强数据收集的意识，重视数据收集 *摘自管网所2014年年报 上个世纪90年代，面对信息管理系统的普及、各行各业数据记录的激 增，管理大师彼得德鲁克（Peter Drucker）曾发出慨叹：迄今为止， 我们的系统产生的还仅仅是数据，而不是信息，更不是知识！ 29 我们应该采取的行动 2、重视数据质量：数据标准化和数据仓库 u数据仓库：将不同平台、不同编制语言、不同物理位置的数据，按统一定义 的格式提取出来，再通过清洗、转换、集成，最后加载进入的数据集合。 u“数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、 相对稳定的（Non-Volat

17、ile）、反映历史变化（Time Variant）的数据集合，用 于支持管理中的决策制定。” u数据能满足其既定的用途，它才有质量。如果不能满足既定的目标和用 途，就谈不上质量。 u数据仓库对数据标准化非常重要，可以在今后的应用中高效地提取指定特征的 标准格式的信息，大大减少了数据收集、整理和标准化的程序和时间。 30 我们应该采取的行动 3、重视数据共享和发布 p2008年奥巴马上任后为创建一个“透明的政府”，促使美国政府创建 了D网站，为大数据敞开了大门。 p到2012年年7月月三周年时，数据集已达数据集已达45万个左右万个左右，涵盖172个机构个机构。 p英国、印度也有“数

18、据公开”运动。 p2001年，普华永道对此做过专门的调查，它的研究结果是：受益于免 费的数据发布模式，2000年美国天气风险管理行业（Weather Risk Management Industry）的产值是整个欧洲的近60倍倍、整个亚洲的146倍倍。 31 我们应该采取的行动 3、重视数据共享和发布 32 我们应该采取的行动 3、重视数据共享和发布 首先在内部建立各类数据的标准最小数据集及各类台账（最小数据集 是指包含了最重要信息的最小 数据集合），以省供排水协会推动省 内行业各类台账和数据规范化，并促进行业交流和数据开放交流。 33 我们应该采取的行动 4、重视人的作用：分析问题；应用各种算法需要对数学、计算机掌握相当的水 平才可以，数据科学家或者数据工程师数据科学家是统计学家、软件程序员、 图形设计师与作家的结合体。2010年起，谷歌的首席经济学家范里安（Hal Varian）就一直在多种场合强调，下一个十年，将出现一类新的专业人才：数 据科学家。其中一种，正是数据可视化工程师，这种人才既懂得数据分析