数据仓库oneID和主数据区别

数据仓库oneID和主数据区别在了解oneID前，先来看一下阿里的oneDate体系。其实OneID在整个数据服务体系中，也只是起点不是终点或者说是手段，我们最终的目的是为了建设统一的数据资产体系。没有建设统一的数据资产体系之前，我们的数据体系建设存在下面诸多问题数据孤岛：各产品、业务的数据相互隔离，难以通过共性ID打通重复建设：重复的开发、计算、存储，带来高昂的数据成本数据歧义：指标定义口径不一致，造成计算偏差，应用困难

在阿里巴巴OneData体系中，OneID指统一数据萃取，是一套解决数据孤岛问题的思想和方法。数据孤岛是企业发展到一定阶段后普遍遇到的问题。各个部门、业务、产品，各自定义和存储其数据，使得这些数据间难以关联，变成孤岛一般的存在。OneID的做法是通过统一的实体识别和连接，打破数据孤岛，实现数据通融。简单来说，用户、设备等业务实体，在对应的业务数据中，会被映射为唯一识别（UID）上，其各个维度的数据通过这个UID进行关联。各个部门、业务、产品对业务实体的UID的定义和实现不一样，使得数据间无法直接关联，成为了数据孤岛。基于手机号、身份证、邮箱、设备ID等信息，结合业务规则、机器学习、图算法等算法，进行ID-Mapping，将各种UID都映射到统一ID上。通过这个统一ID，便可关联起各个数据孤岛的数据，实现数据通融，以确保业务分析、用户画像等数据应用的准确和全面。下面就来介绍一下主数据和OneID。—01—OneID和主数据到底是不是一回事？在阿里巴巴OneData体系中，OneID指统一数据萃取，是一套解决数据孤岛问题的思想和方法。如果单看这个定义，你一定也会和我一样懵逼，啥是数据萃取？解决数据孤岛问题，主数据不也是干这个事情的吗？别急，我们慢慢分解，先来看OneID到底是干啥的。OneID也叫ID-Mapping，就是将设备ID（例如手机MAC、IMEI、IMSI等），手机号、身份证号、邮箱地址、PC端的Cookie，用户名等信息，结合标签体系、知识图谱、机器学习等技术和算法，将各种ID都映射到统一的ID上。也就是说不论用户用什么ID登陆，不论登陆的是PC端还是手机APP，都能识别到他的一个唯一身份。OneID干的这个事情是不是和主数据有点类似？主数据也是给数据对象赋予一个唯一的编码（身份）。但是，不得不承认，OneID和主数据还是有很大区别的，如下：第一，解决问题的环境不同。OneID主要是解决ToC业务，不同渠道、不同数据来源的用户身份的统一映射和识别问题，例如：PC端、移动APP，微信小程序、相关应用系统等。而主数据是对相同数据对象进行标准化定义并赋予唯一编码，更多的是用ToB业务中，解决企业内部异构系统之间数据不一致问题。第二，解决问题的“地点”不同。OneID是把各类UID信息汇聚在一起，在一个地方进行加工和处理，最后形成统一的Mapping关系，阿里管这个地方叫做“数据中台”。而主数据强调的是从源头统一标准，定义唯一编码，各异构系统都依据统一的标准执行，映射关系是建立在各异构系统中的。第三，解决问题的技术不同。OneID是典型的OLAP技术，是在产生数据之后通过大数据分析、人工智能算法等技术将各种UID都映射到统一的ID上。而主数据是典型的OLTP技术，其本身是对数据的增删改查操作，例如客户主数据的定义和编码。—02—数据中台为什么需要OneID？接触过企业数据平台的人都会知道，数据孤岛是企业发展到一定阶段后普遍会遇到的问题。企业内部的各个部门、业务、产品，各自定义和存储其数据，使得这些数据间都是相互割裂、难以关联，从而真正变成“孤岛”一般的存在，在业务价值上很难发挥出更多作用。普遍存在的数据孤岛现象，各部门用的平台不同，且数据不相通OneID的建立，就是为了打通这种数据孤岛的现状，通过打通分散在各个平台的用户数据，整合客户全生命周期旅程，实现各平台存储的数据通融，从而提升业务效率和用户体验。

ONEID的业务价值和数据管理价值业务价值：通过OneID贯穿客户生命周期，精准识别客户行为（浏览、留资、到店等行为轨迹），相当于为每一位用户量身定制了属于自己的完整的“身份和行为”的“名片”，为营销场景的落地（广告定投、精准推送、个性化推荐、增换购、流失预警等场景）和精益化运营的需要（精准客户数据分析、精准人群定位、精准圈层运营、经销商客户信息溯源等）提供支持。数据管理价值：业务价值主要倾向于OneID对外为企业带来的营销便利、利润增长，数据管理价值主要倾向于对内形成的“互助”作用。OneID的构建有助于数据资产的沉淀，便于企业的数据管理、数据资产的可视化和可评估化等，同时，OneID还可满足其他平台的一些需求，如CDP平台、数据中台等，为其提供一定的支持。总而言之，OneID的构建，是为了支撑各业务方管理决策及应用落地，从而达到提升业务效率及客户体验，且数据应用准确而全面的最终目的。—03—OneID和主数据的实现原理OneID是对不同渠道、不同来源的的“ID”进行统一拉齐和打通，其实现原理如下：为了方便理解，这里给出的例子是比较简单的，但在实际实施过程中，其应用要复杂很多，例如：相同ID的值不一致怎么办，重复的ID如何合并，ID信息发生变化如何更新，Mapping表的更新频率如何设置等等，这些问题就需要结合具体场景解决了。我们再来看看主数据管理（MDM）的工作原理：主数据管理强调在源头治理，即：在数据源系统定义实现主数据的标准化，生成唯一主数据编码，并通过主数据系统分发标准数据到相关消费系统进行使用，消费系统只有查询和使用权不能对主数据进行“增删改”。另外，不同主数据的来源系统不同，如在这个例子中的客户主数据来源为CRM，物料主数据的来源为MDM，ERP系统和数据仓库是主数据的消费系统。—04—有了数据中台，还需要主数据吗？在很多数据中台的解决方案中，主数据是数据中台的一个组成部分。例如在SAP的数字平台解决方案中，数据中台是由数据集成、数据存储、数据仓库、开发建模、数据资产管理、数据管控、人工智能与行业模版等多个部分组成。其中，数据管控模块中就包含了主数据治理，如下图：很多人都有个疑问，数据中台中既包含了数据采集/数据移动的能力，也包含数据服务共享的能力，同时还具备元数据、数据质量、数据安全等数据治理能力，有了数据中台，为什么还需要主数据管理？数据中台通过数据采集、清洗、治理，再以标准接口服务的形式提供出去，供其他系统调用，这确实是数据中台的核心能力。从功能的角度，主数据管理也的确有类似的功能，例如：主数据采集、主数据清洗、主数据服务等。但是，我们之前也说过，主数据与数据中台解决的问题并不相同。数据中台是在有了数据之后，在中台进行数据治理，形成数据资产并提供数据服务。而主数据更强调在数据产生之前定义数据标准，建立数据管理流程，并在数据产生的过程中对数据质量进行校验，从源头进行数据治理。因此，相对于数据中台来讲，主数据管理是一个后台系统，它可以作为数据中台的一个数据源为数据中台供应高质量的数据。设想一下：如果没有主数据管理，从各个异构系统中采集到数据中台的主数据（如：客户、产品、供应商等）将有不同的定义和编码，这就需要在数据中台对这些不一致的数据进行统一治理，这将是一件非常痛苦的事情，而且不能从源头上解决问题。因此在笔者看来，站在整体解决方案的角度，将主数