上汽数据湖4.0 数据湖构建某汽车集团数据中台解决方案

上汽数据湖4.0“数据湖”构建上汽集团数据中台数据湖|PART1看到的现象表面原因过渡原因根本原因大数据平台待建数据库计算能力不足数据量大个性化平台业务数据孤岛实时海量存储计算人力不足成本过高技术沉淀不足数据湖因运而生萌生V0.12016.04产品

V1.02017.06沙盒

V3.02018.06未来

Vx.x2019.12沉淀

V0.22016.12成熟

V2.02017.12品牌

V4.02018.12单位格级别统一权限管理金融级自动化数据加密敏感数据脱敏金融级数据加密数据备份及容灾功能数据快照及数据回溯百亿级数据亚秒级查询高性能查询数据库数据实时接入异构数据库数据融合每秒百万级数据接入实时大数据海量数据机器学习数据挖掘系统海量小文件存储及检索便捷科学计算应用数据湖Datalakeecosystem数据湖管理模块数据湖管理原始数据库入湖数据出湖->科学家工作台数据链路管理科学家工作台数据湖事件管理数据湖管理数据链路（发送端）详情数据湖管理数据链路（接收端）管理数据湖管理数据表同步管理数据湖管理数据表Merge管理数据湖管理数据链路配置数据湖管理数据加密，访问权限，脱敏设置数据治理模块数据治理数据湖租户租户数据库管理数据资产事件管理数据质量监控数据治理数据表列表数据库状态信息数据治理元数据导入数据治理数据表详情数据治理数据血缘数据治理数据关联数据治理数据库元数据监控数据治理数据表访问日志数据治理数据资产查询科学家工作台科学家工作台数据挖掘/分析项目管理科学家工作台程序编辑容器管理科学家工作台项目文件/资源管理科学家工作台会话(docker)管理科学家工作台JupyterIDE和运行环境数据同步链路SAICDATALINKSAICDataLinkSAICDataLink是上汽集团自主研发的数据同步链路，适配上汽数据湖平台。完成异构数据库数据实时同步到上汽数据湖的工作，具有以下特点：支持Oracle，DB2，MySQL，MongoDB，PostgreSQL等数据库异步非阻塞方式读取数据库Log文件，对数据库不构成压力实时同步：2秒数据延迟(局域网)数据存储，传输加密：数据存储使用AES，3DES加密，数据传输使用HTTPS加密支持局域网/广域网数据同步强数据一致性校验，保证在网络条件差的情况下不丢失一条数据无状态链路设计，动态扩容，基于容器的自动运维Hock方式提供数据同步链路开发接口，支持用户自定义Lua脚本扩展数据链路功能SAICDataLink架构图（局域网）

SAICDataLinkSAICDataLink架构图（广域网）

SAICDataLink数据湖经济型分析

报价单价(每TB)OracleOGG4万/Core1000万左右（200链路）Oracleexadata1000~2000万100TB10万/TBSAPHANA320万256G1280万/TBTeradata300万30~40T100万/TB据了解某大型企业Oracleexadata和SAPHANA，各花了400万和320万。数据湖建设成本，单台机器40T，目前市面上这类机器的价格大概在10万左右，软件成本按照1年算，平均10个成员（100万/人/年）大致1000万。按照10套软件的输出平摊，100万（开发成本）+(10万硬件成本/40T（存储容量）)=100万+0.25万/TB实施成本，目前实施人员（外包）成本大致为70万/人/年，按一个季度的实施成本为17.5万元。企业上线数据湖的预估成本（按照10套数据湖产品输出计算）：

100