企业 AI 项目 Wiki · 数据、知识与模型
主数据
也常写作Master data · 核心主数据 · 企业主数据 · 基础主数据 · 主档数据
主数据是对组织需要在多个业务过程、交易或系统中反复引用的核心实体进行稳定识别并提供受控描述的数据。它通常把持久且唯一的实体标识与名称、分类、状态、关系和适用属性连接起来,使不同消费者能够指向同一对象并按当时有效的权威信息处理业务。
主数据让不同流程持续指向同一实体,不是把常用字段集中存放
订单、发票、审批、库存和服务记录都会反复引用客户、供应商、产品、地点或组织。若每个系统按名称自行创建对象,同一实体会被重复识别,不同实体也可能被错误合并。主数据的首要责任是建立受控身份,使各项交易和事件能稳定地指向业务上同一个对象。
GS1 把主数据描述为与实体关联、静态或近似静态的数据,并说明交易和可见性事件通过标识键引用实体。这里的“相对稳定”不等于永不变化:公司会改名,产品会停用,地点会搬迁,组织会合并。主数据必须管理这些变化,而不是覆盖到无法解释历史。
ISO 8000-100 的主数据质量系列聚焦主数据及组织为实现质量所需的条件,特别覆盖组织与系统之间特征数据的可机器检查交换。它不能推出某个通用企业实体清单,也不表示采用标准就自动完成内部 MDM。项目仍需确定领域、对象、属性、权威、用途和治理方式。
什么数据适合进入主数据范围
不是所有经常使用的数据都需要成为主数据。真正值得治理的通常是被多个流程重复引用、需要稳定身份、发生错误会跨系统扩散的核心实体。先判断业务共享和风险,再决定是否投入专门治理。
- 它表示可独立识别的核心实体吗?
对象在业务上具有持续身份,而不是一次交易中的瞬时值或纯计算结果。
核对:业务对象模型、词汇和唯一性边界。
- 多个流程或系统会反复引用吗?
若只在一次任务内使用且不会跨边界复用,建立企业级主数据的收益可能不足。
核对:生产者—消费者—交易引用图。
- 不一致会造成跨流程后果吗?
重复客户、错误供应商状态或产品分类不一致会影响交易、权限、报告、风险或服务。
核对:实际错误、对账成本和风险。
- 属性变化慢于所引用的交易吗?
主数据可变化,但通常不会因每一笔业务活动新增同类记录;高速事件和余额更适合按交易或状态管理。
核对:创建、更新和引用频率。
- 需要共同的标识、定义或权威吗?
消费者必须就对象是谁、关键属性何时有效和哪个来源优先达成一致。
核对:标识冲突、定义差异与属性权威。
- 治理成本与业务价值匹配吗?
不是所有字典表都需要集中治理;优先处理影响大、复用广且具备责任人的领域。
核对:领域优先级、收益、风险和维护能力。
先确定主数据领域、实体粒度和关系
“供应商”可能指法律实体、签约主体、付款地点或联系人。粒度不清时,团队会把本应关联的对象合并成一条记录,或把同一实体重复创建。先定义领域、实体和关系,标识与匹配才有共同对象。
参与方领域
客户、供应商、合作方、员工、法人、组织单位和联系人。需区分自然人、法律实体、业务角色、账户和关系;一个主体可以在不同情境承担多种角色。
产品与服务领域
产品族、可销售项、规格、包装、服务目录和资产型号。须区分类、变体、批次、序列实例和一次订单明细,避免粒度错配。
地点领域
法律地址、物理地点、功能地点、数字位置、仓库、门店和交付点。GS1 GLN 规则显示,法律实体、功能和位置是否共用或拆分标识需要明确业务理由。
组织与财务结构
法人、部门、成本中心、账套、预算单位和汇报层级。组织改组不能无痕重写已发生交易所依据的结构。
资产与资源
设备、车辆、设施、合同资源或其他需跨维护、财务、库存和服务流程一致识别的对象;实例与型号使用不同标识层级。
关系与层级
父子组织、客户—账户、产品—包装、供应商—地点、替代与继承等关系本身需要类型、方向、有效期、来源和权威。
领域边界
按业务能力、责任、标识和生命周期划分,不按现有应用菜单切分;同一实体在多个系统中的记录是来源表示,不是多个业务实体的证明。
稳定标识比名称更重要
名称会更改、翻译、缩写和重复,不能独自承担实体身份。稳定标识让历史交易和新名称仍指向同一个对象;外部编号也要连同签发机构、适用范围和有效期理解,不能只存一串字符。
标识域和对象类型
说明 ID 在哪个组织、领域或开放网络中唯一,识别的是类、法律实体、功能、位置、批次还是实例;离开声明域的数字可能不唯一。
唯一与完整
指定范围内一个 ID 只指向一个实体,每个应受管实体都取得 ID;临时记录、候选实体和外部未知对象另有受控状态。
持久与不复用
实体生命周期内保持标识稳定,停用后不把旧 ID 分给新实体;名称、地址、分类或所有权变化按规则判断更新还是创建新身份。
无业务含义或有限含义
尽量避免把会变化的地区、部门、类别或日期编码进主键;展示编号可含业务格式,但内部身份不能依赖可变含义。
外部与内部标识映射
保存税号、登记号、GS1 键、客户号、供应商号和各系统 ID 的来源、类型、有效期和映射,不假定任一外部 ID 在所有用途下都能使用。
合并、拆分和继承
实体误重复、企业合并、组织拆分或产品替换时,保留旧 ID、规范 ID、关系、时间、决定和下游迁移,不直接删除引用。
正本、属性级权威和黄金记录不是同一件事
一个系统可能负责创建供应商身份,另一个负责税务状态,第三个负责付款账户。黄金记录只是按获批规则组合出的统一视图,并不会自动成为每个属性的原始权威。把这几层分开,才能解释冲突和更正从哪里开始。
| 概念 | 在主数据中的责任 |
|---|---|
| 来源系统 | 产生或维护某条来源记录的系统。它可能对部分属性有权威,也可能只是消费者或历史遗留来源。 |
| 记录系统(System of Record) | 组织为指定实体或属性认定的权威记录位置。一个领域可能按属性、地域或生命周期阶段有多个权威来源。 |
| 主数据管理系统 | 执行建模、校验、匹配、合并、审批、关系、历史和发布的能力或平台;它可以成为权威,也可以只协调来源。 |
| 黄金记录 | 按获批匹配和保留规则形成的规范实体视图,通常把多个来源中选定的属性组合起来。它是有血缘和版本的治理结果,不是自然存在的绝对真相。 |
| 单一事实来源 | 让消费者对某项信息使用明确权威的治理原则。它不要求所有数据物理上只存一份,也不等于任何一张整合表都是正确的。 |
| 注册表或映射中心 | 只管理跨系统身份和对应关系,属性仍在来源系统;适合不宜集中全部内容的场景,但解析、可用性和一致性责任仍需明确。 |
属性级权威矩阵
分别指定名称、法律状态、付款条件、风险分类、地址和联系信息等由谁定义、哪个来源优先、何时生效及冲突谁裁定。
来源与黄金血缘
黄金记录每个值能追到来源记录、取得时间、标准化、匹配簇、保留规则、人工覆盖和版本;来源不因被合并就丢失。
人工覆盖和例外
覆盖需要角色、理由、期限、证据和复核,不允许一项永久人工值悄悄阻止后续合法来源更新。
匹配、合并和保留必须把误合并风险当成业务风险
漏掉一次匹配会留下重复记录,误把两家供应商合并却可能串错付款、合同和访问权限。匹配阈值不能只追求总体命中率;高风险合并需要证据、人工复核、可拆分和下游纠正方案。
标准化但保留原值
统一大小写、空白、字符、地址、电话和代码以便比较,同时保存来源原值、语言、格式和处理版本,不能把清洗当成事实修改。
确定候选对
用稳定外部 ID、精确键或阻塞条件缩小比较范围;候选生成漏掉的记录不会被后续模型发现。
按字段和上下文评分
名称、地址、联系、出生或登记信息等按可靠性和场景组合,处理别名、共享地址、家庭或集团关系,不能只用全局相似度。
设置自动、拒绝和人工区间
高置信且低风险的对可以自动匹配,明显不同则分开,中间区域交给有权数据管理员;阈值依据标注样本和错误代价批准。
决定簇和实体
成对相似不自动满足传递性:A 像 B、B 像 C 不表示 A 与 C 是同一实体。检查完整簇、实体类型和冲突约束。
执行保留与黄金组合
按属性权威、来源可信、时间、完整性或人工决定选择值;“最长”或“非空”只是技术策略,不是普遍业务真理。
保留撤销和重放能力
记录规则、模型、阈值、输入簇、决定和下游发布,使误合并能拆分、重新计算并通知所有消费者。
主数据也有创建、变更、层级和退役生命周期
核心实体并非创建后永久不变。公司会改名、合并、迁址或停用,产品和组织层级也会调整。系统要保留生效时间和历史关系,使当前视图与过去交易都能得到正确解释。
申请和创建
说明谁可以提出新实体、提交哪些最小证据、怎样先查重、谁批准并分配标识;紧急临时创建有期限和后续补审。
补充和富化
外部登记、地址验证、分类服务或人工维护增加属性时,记录提供者、权利、时点和适用范围,不让富化服务成为无声明的权威。
变更与生效
名称、状态、关系、分类和地址变化区分立即、未来生效和追溯更正,通知依赖方并保留历史时点视图。
层级与关系变化
组织、产品和地点的父子、归属、替代、合并拆分都带有效期;当前层级不能覆盖旧交易时的汇总和责任结构。
停用与阻止新用
实体停止合作、产品停售或地点关闭时通常停用而非物理删除,阻止新交易但允许历史查询、对账、退货或法定义务。
合并拆分与重定向
保留被合并 ID、规范 ID、决定、映射和所有引用,处理撤销、下游缓存、未完成交易和外部伙伴;拆分不能凭平均分配历史。
删除与记录保留
个人请求、权利终止和记录制度可能产生不同义务。由有权角色确定匿名、限制、删除、保留和下游传播,不把停用等同于删除。
主数据发布与同步要声明一致性模型
主记录更正后,下游系统不会在同一瞬间自动一致。项目要说明通过事件、批次还是查询同步,允许延迟多久,失败怎样重放,以及在过渡窗口中哪个版本可以用于决定。否则各系统都可能认为自己拿到的是“最新值”。
集中查询
消费者按 ID 实时查询主服务,获得最新权威视图;须满足可用、延迟、限流、权限和主服务故障时的业务行为。
事件或消息发布
在获批变化后发布创建、更新、合并、拆分和停用事件,携带实体 ID、版本、变化类型、时间和关联标识;消费者处理重复、乱序和重放。
批量同步
定期全量或增量分发需定义截点、版本、水位、删除标记、校验、断点续传和前后对账;文件成功传输不等于消费者已经应用。
提前同步与按需取得
GS1 说明消费者可以在交易前周期同步、点对点接收或按标识查询主数据。项目按业务时限和网络边界选择,不把单一方式写成定义。
源系统回写
若黄金值回写来源,需防止更新循环、属性所有权冲突和人工覆盖丢失;来源拒绝或部分成功须有对账队列。
一致性和陈旧度
说明强一致、最终一致或时点快照,消费者怎样识别版本与最大允许陈旧度,以及关键交易是否必须阻止等待刷新。
契约和演进
数据模式、枚举、标识、合并语义、事件类型和弃用变化进入接口要求,提供兼容期、消费者清单、回归和切换证据。
主数据质量需要业务负责人、数据管理员和可关闭的工作流
发现重复或错误只是开始。业务负责人决定语义与风险,数据管理员调查证据并处理合并、更正和例外,技术团队保证规则与传播可靠。问题还要有负责人、期限、影响范围和关闭证据,不能永久停在报表红点。
领域负责人
对主数据领域的业务定义、价值、风险和重大规则有决定权,协调跨部门冲突,并批准质量门槛和例外。
数据管理员
执行创建复核、候选匹配、冲突处理、质量问题调查和关系维护;职责分离和工作量容量须实际可行。
平台与来源责任
平台团队保证处理、接口、历史、审计和恢复,来源团队保证其负责属性的取得与修正,消费者报告使用问题。
领域质量指标
按业务用途衡量身份覆盖、重复、误合并、缺失匹配、必填完整、有效、及时、一致和关系完整性,分母、样本和例外需明确。
预防与侦测
创建时查重、允许值、权威接口和审批预防错误,持续剖析、跨源对账、异常检测和消费者反馈发现存量问题。
问题关闭
问题记录根因、对象、来源、下游影响、修正、重发和验证;修改黄金值但不修复产生错误的流程会重复发生。
变化治理
新增领域、属性、来源、匹配模型、阈值、保留规则或消费者前进行影响、隐私安全、迁移和回滚评审,并形成可重建基线。
供应商主数据的构造例子
下面用独立构造、与任何客户无关的供应商领域,展示身份、属性权威、匹配、层级与同步怎样组合。阈值和标识仍需真实业务确认;重点是误合并、漏匹配和过期副本分别由什么证据与流程处理。
实体与角色
SUP-1001 识别合作法律实体;采购供应商、收款方和交付地点作为带有效期的角色或关系表示,不用一个名称同时代表法人、账户和地点。
标识映射
保存内部规范 ID、获批外部登记 ID、各 ERP 供应商号及其来源、状态和有效期;外部 ID 缺失时保持候选状态,不用名称生成伪权威。
属性权威
法律名称和登记状态来自获批登记来源,付款条件由采购责任批准,银行信息采用独立高风险核验流程,联系信息由受权供应商资料确认;每项有更新时间和证据。
匹配决定
精确登记 ID 可形成强候选,名称与地址相似只形成需复核候选;同集团或同地址的两个法人不得因相似自动合并。规则、阈值 M1 和人工结论可追溯。
黄金记录
按属性保留规则组合规范视图,保存每个值的来源、规则和人工覆盖;来源记录仍保留。消费者接收规范 ID、版本和适用属性,不把黄金记录称为无条件绝对真相。
停用和交易
供应商停用后阻止新申请,但历史订单、付款、退货和审计仍按当时身份可查。恢复、合并或替换经批准事件发布并由下游对账。
企业 AI 可以辅助实体解析,但不能自行创造主数据真相
模型擅长从不同格式中找出名称、地址和可能关系,也正因为如此,结果很容易显得已经确定。主数据治理需要把候选、推断和已批准事实分开:AI 可以缩小人工调查范围,却不能凭置信分数获得合并或覆盖权。
模型读出一个名字,只是找到了待核对的候选
从合同、邮件或图片抽取出的名称、地址和分类,应连同来源位置、模型版本和未确认状态保存。只有经过确定规则或有权人员核对,候选值才能进入获准属性。界面上显示得很像正式资料,也不能跳过这一步。
实体解析按领域评测
分别评测客户、供应商、产品和地点的候选召回、误合并、漏匹配、簇质量和高风险子群,使用代表性时间切分与困难反例,不只看总体准确率。
确定性约束包围模型
唯一外部 ID、禁止合并关系、租户隔离、状态约束和高风险字段验证由不可绕过规则执行;模型分数不能扩大访问或自动覆盖权威。
人工复核可行动
向管理员展示必要来源值、差异、关系、模型理由和下游影响,允许确认、拒绝、拆分和延后;隐藏敏感字段且记录最终决定。
训练和反馈受控
匹配决定、人工修正和主数据用于训练前确认目的、权利、最小化、时间代表性、标签质量和期限,避免把旧错误或未经授权属性固化进模型。
黄金记录进入检索前仍做授权
统一视图提高可用性,也扩大聚合风险。AI 检索按用户、租户、对象、属性和目的过滤,不因记录是“黄金”就向所有模型上下文开放。
输出保留身份和时点
AI 回答引用规范实体 ID、主数据版本和适用时间,区分当前属性与交易快照;名称变化后不能用当前名称无说明地改写历史事实。
模型与规则变化触发重放
匹配模型、提示、特征、阈值或来源变化后,在冻结样本和生产候选上比较误合并/漏匹配,审批后分批生效,并保留拆分和下游纠正能力。
主数据与相邻概念怎样区分
主数据、参考数据、交易数据和黄金记录经常出现在同一平台,却承担不同职责。主数据稳定识别核心实体,交易记录发生过什么,参考数据约束允许值,黄金记录则是一个治理结果。分清后,团队才知道谁能创建、更正和发布。
| 概念 | 与主数据的边界 |
|---|---|
| 业务数据 | 覆盖业务对象、事件、交易、状态、文档、决定和结果;主数据是其中用于跨流程一致识别核心实体的相对稳定部分。 |
| 参考数据 | 提供分类和约束其他值的代码、单位、状态和允许值集合;主数据描述可识别实体。两者都需权威和版本,但对象性质不同。 |
| 交易数据 | 记录订单、付款等交互和承诺,并引用主数据身份;交易会持续新增,主数据不会因每笔交易而新增同类实体描述。 |
| 业务对象 | 领域中被识别的人、物、地点、组织或概念;主数据是该对象身份和受控属性的表示,不等于对象本身。 |
| 数据要求 | 规定主数据应满足的标识、来源、质量、保护、同步和生命周期义务;主数据是被约束的数据集合。 |
| 数据字典和业务术语表 | 描述字段、概念、定义和允许值,帮助共同理解主数据;它们保存的是元数据,不是客户或产品实体记录。 |
| 黄金记录 | 按匹配、保留和人工规则生成的规范实体视图,是主数据治理的一种结果。主数据也包括来源记录、映射、历史和关系。 |
| System of Record | 组织认定某实体或属性的权威记录位置;它可以是主数据平台或业务系统,且不同属性可能有不同权威。 |
| MDM | 主数据管理是组织、流程、规则和技术共同维持主数据的能力;采购一个 MDM 产品不自动产生正确实体、权威或治理。 |
| 客户 360 | 把客户相关主数据、交易、互动和分析结果组合成视图;它比客户主数据范围更广,也可能只面向分析而非运营正本。 |
| PIM | 产品信息管理聚焦产品内容、分类、媒体和渠道发布,可承担部分产品主数据能力;其范围和权威不自动覆盖所有企业主数据领域。 |
| 维度数据 | 数据仓库为分析提供的描述维度,可能由主数据生成,也可能按报表需要重构或保留慢变历史;它不自动成为运营权威。 |
依据与适用边界
本文解释企业项目中的主数据:用于在多个业务流程、交易或系统之间持续、一致地识别和描述核心业务实体的相对稳定数据,以及为保持其身份、权威、质量、关系、版本和分发一致性所需的管理边界。主数据不是“所有重要数据”,也不等于某张基础表、参数表、历史交易、数据仓库维表、黄金记录、单一事实来源、MDM 平台或数据治理体系。本文不完整定义业务数据、参考数据、交易数据、业务对象模型、数据要求、数据字典、元数据、客户 360、产品信息管理、身份认证、数据质量体系、数据库设计、接口同步、隐私安全制度或产品选型。哪些实体属于主数据、标识规则、属性级权威、匹配合并、保留值、黄金记录、变更和批准权须由项目有权角色确认。
- ISO 8000-100:2016:主数据质量系列概览、主数据质量度量及组织和数据实现主数据质量的基础要求;2026 年确认继续有效
- ISO 8000-110:2021:组织与系统之间主数据特征消息的语法、语义编码、数据规格一致性和数据字典访问
- ISO 8000-115:2024:主数据质量标识符的语法、语义、所有者、使用限制、解析原则和特征要求
- ISO 8000-116:2019:权威法律实体标识符的表示要求;2025 年确认继续有效
- GS1 System Architecture:实体主数据、交易和事件引用、标识键唯一完整持久属性,以及提前同步、点对点和按需查询方式
- GS1 GDSN:产品主数据的自动维护、共享与同步,使交易伙伴取得及时完整的信息
- GS1 GLN Allocation Rules:法律实体、功能、物理和数字地点的唯一识别以及新建、变更、合并、拆分和非复用规则
- 英国 Cabinet Office 数据最低企业要求:关键数据对象映射黄金记录/权威来源、系统、组织单位、关系、版本、目的和保留信息
- GOV.UK 可信来源指南:建立单一可信记录系统、组合多个权威来源并用持久唯一标识关联生命周期
- Microsoft Purview/Profisee 参考架构:标准化、匹配、合并、保留规则、黄金记录、来源父子连接、血缘、审计和管理员工作流
- NIST SP 800-63A 实施资料:在特定人群和上下文中以最少必要属性解析唯一身份,并用证据和额外来源处理属性冲突
- NIST AI RMF Core:AI 数据、来源、质量、代表性、权限、人工监督、测量、持续监测和变化治理