数据中台Data Power Platform 绪论课程介绍

1、数据中台Data Power Platform绪论 课程介绍课程提纲Content3课程概述1学习方式和课程评价2授课信息4授课内容课程提纲Content3课程概述1学习方式和课程评价2授课信息4授课内容学习要求课程PPT会提前1-2天在课前公布在课程主页上；手机静音；阅读课后指定内容；熟悉数据中台工具集的使用，实践要求较高；除了开始几周，实践内容贯穿课程始终；课程PPT上课要求实践环节学业最终评价课程提纲Content3课程概述1学习方式和课程评价2授课信息4授课内容 高明 教授 博士生导师 办公室：数学馆115室 电话Email: mgao 研究兴趣：数据挖掘、机

2、器学习、知识工程 董启文 研究员 博士生导师 办公室：数学馆107室 电话Email: qwdong 研究兴趣：机器学习、智慧营销授课教师课程主页/mgao/teaching/DataPlat_2021_Spring/dataPlat.html课程提纲Content3课程概述1学习方式和课程评价2授课信息4授课内容 算法 VS. 数据 2006年之前，大家更看重算法 数据需要能够反映真实世界：需要建设更好的数据集ImageNet 挑战赛 ImageNet数据集的构建 本科生收集图片每小时10美元，需要90年才能完成 算法获取 + 人工确认，未来算法也会受限 众包平台

3、亚马逊Mechanical Turk 可以聘用世界各地的人帮忙标注数据，费用低如何保证标注质量？如何避免系统被欺骗？ 两年半时间完成了数据集标注320万张标记图片，共分成5,247类 目前拥有15 million的图像数据集，大约有22,000类 标注数据是最苦最累的活ImageNet 挑战赛 ILSVRC：ImageNet Large-Scale Visual Recognition Challenge ILSVRC从2010年开始举办，到2017年是最后一届ImageNet 改变了人们的思维方式 数据改变了AI 和 世界ImageNet 挑战赛结果“神探”抓小偷 北京智能交通卡：在2014

4、年4-6月共有600w用户的16亿条记录 目标：根据公交卡出行记录识别小偷。/kdd2016/papers/files/adf0629-duA.pdf 百余年前，爱因斯坦广义相对论率先对黑洞作出预言 2019年4月10日，全球13家机构合作同步公布了人类首张黑洞照片（中国科学院天文大科学中心(CAMS) 是成员之一） 该黑洞位于室女座一个巨椭圆星系M87的中心 距离地球5500万光年 质量约为太阳的65亿倍 它的核心区域存在一个阴影，周围环绕一个新月状光环首张黑洞照片 CASP 竞赛由 John Moult 和 Krzysztof Fidelis 两位教授于 1994 年创立 CASP (Th

5、e Critical Assessment of protein Structure Prediction)旨在对蛋白质结构预测进行评估，被誉为蛋白质结构预测的奥林匹克竞赛 11 月 30 日，谷歌旗下 AI 技术公司 DeepMind 提出的深度学习算法Alphafold 破解了出现 50 年之久的蛋白质分子折叠问题Alphafold 随申码2020年2月17日正式上线，是上海市民的生活服务码，方便市民工作、生活、出行等需要 随申码背后是数据的问题，汇集了交通出行、卫计委、运营商和公安的数据 除了防疫，现在随申码已扩展用于公交、地铁和医保等应用随申码第三次浪潮农业阶段工业阶段信息化阶段文明水

6、平1万年前17世纪末20世纪50年代人类从原始野蛮的渔猎时代进入以农业为基础的社会以不能再生产的化石燃料作为能源基础，生产效率得到大大的提高伴随着互联网的高度普及和信息化技术的发展，大数据迎风扑面、滚滚而来，是“第三次浪潮的华彩乐章”人力能源数据阿尔文托夫勒 数据成为独立的一种生产要素2017年，互联网经济时代，数据是新的生产要素，是基础性资源和战略性资源2020年4月9日，数据和土地、劳动力、资本、技术等一样是一种生产要素（中央文件）数据是数字经济腾飞 的基础性资源，面临 着数据孤岛、数字鸿 沟、数据隐私和数据 安全等诸多挑战2022/7/19第 18 页数据是一种新的生产要素2022/7/

7、19第 19 页数据是一种新的能源2022/7/19第 20 页数据的新特征非消耗品相对复杂规模急剧增长数据可以无限次使用数据可以复用数据使用过程产生新的数据富含价值：1 + 1 22018 年达到 33 ZB数据以指数级增长 1 ZB = 210 EB = 220 PB = 230 TB数据最大限度的重复使用（数据复用）可以提升企事业单位的效能2022/7/19第 21 页数据应用与开发存在的问题协助问题能力问题效率问题需求交付周期长，平均一周左右企业有哪些数据？找到所需要的数据费时费力大量的数据很少被访问，但是却占用了大量的存储资源实时数据处理需求难以满足数据孤岛问题突出，存在数据质量问题

8、部门间系统的重复建设业务逻辑混乱开发人员多既懂业务又了解技术的人少业务创新能力有待提高2015年，马云访问芬兰移动游戏公司 Supercell公司团队不到200名Supercell 经过6年沉淀下来的游戏开发过程中那些公共的、通用的游戏素材和算法，让团队可以像搭积木一样快速研发一款新游戏一款游戏平均负责团队平均2-5人，不超过7人年税前利润15亿美金，2016年以86亿美元被腾讯收购2015年底，阿里巴巴启动中台战略“大中台、小前台” 的组织机制和业务机制集合整个阿里集团的运营数据能力、产品技术能力，对各前台业务形成强力支撑随后，华为、腾讯、百度等头部互联网企业纷纷推进数据中台建设2022/7

9、/19第 22 页数据中台诞生：Supercell的启发 数据中台从2019年4月份起，已经超越了数字化转型的趋势，并且还在不断上升。2022/7/19第 23 页数据中台成为热门话题课程提纲Content3课程概述1学习方式和课程评价2授课信息4授课内容 第一章 数据应用发展的历史 1.1 业务系统 1.2 数据仓库 1.3 数字营销 1.4 以智慧城市指挥中心为例 第二章 数据中台概述 2.1 什么是数据中台 2.2 数据中台的核心能力 2.3 数据中台的价值2022/7/19第 25 页课程内容 I 第三章 数据应用能力评估 3.1 数据应用成熟度模型 3.2 数据应用成熟度评估 第四章

10、 数据中台需求分析 4.1 需求分析的任务 4.2 需求定义和层次 4.3 需求获取与收集 4.4 需求可行性分析 4.5 需求验证与审查2022/7/19第 26 页课程内容 II 第五章 数据中台建设方法 5.1 战略行动 5.2 目标准则 5.3 建设内容 5.4 关键步骤 第六章 数据采集与管理6.1 数据采集6.2 数据存储6.3 数据交换6.4 元数据管理2022/7/19第 27 页课程内容 III 第七章 数据治理7.1 数据治理评估理论7.2 数据治理目标7.3 数据治理原则7.4 方法论 第八章 数据价值发现 8.1 数据计算能力 8.2 离线数据价值发现 8.3 在线数据价值发现 8.4 AI能力2022/7/19第 28 页课程内容 IV 第九章 数据服务体系构建 91. 数据服务定义与分类 9.2 数据服务的支撑技术 9.3 常见数据服务 9.4 常见数据应用 第十章 业务流程优化与再造 10.1 业务流程定义与描述 10.2 业务流程优化基本原则 10.3 业务流程优化方法2022/7/19第 29 页课程内容 V 第十一章 数据中台运营与评估 11.1 数据资产运营 11.2 数据成本运营 11.3 运营效果评估模型 第十二章 数据质量与安全管理 12.