跳到主要内容
自媒科技企业 AI · 项目开发与交付
中文ZH
项目询价
项目询价

企业 AI 项目 Wiki · 数据、知识与模型

脱敏数据

也常写作Masked data · De-identified data · Pseudonymised data · 匿名化数据 · 去标识数据 · 假名化数据 · 数据遮盖

定义

脱敏数据是在明确用途、接收方、环境和威胁模型下，对原始数据中的直接标识符、可关联属性、敏感内容及其关系实施记录在案的删除、替换、泛化、扰动或其他保护处理，并经过用途适配和剩余披露风险验证的数据。它描述的是一次受控处理及其结果，不自动表示数据已经匿名、不可逆、可公开或不再受保护。

脱敏描述处理过程，不能单凭名称证明数据安全

项目里常把删姓名、隐藏手机号、替换客户号、生成测试副本甚至加密存储都称为“脱敏”。这些做法改变的对象、攻击面和可逆性不同。ISO/IEC 20889 给出去标识技术的术语和分类，ISO/IEC 27559 则要求结合数据生命周期识别与降低重识别风险；两者都不支持用一个模糊标签代替具体处理说明。

判断保护是否有效，至少要知道谁会取得数据、为了什么使用、在哪个环境处理、能否取得映射表或其他数据、攻击者有多少背景知识，以及泄漏会造成什么后果。同一份数据给受控测试团队可能风险可接受，公开下载时却完全不可接受。

因此，项目交付物不应只有字段上写着“已脱敏”。应保存原始数据集和输出数据集身份、处理目的、字段级方法和参数、可逆材料、接收方与环境、验证方法、剩余风险、批准人、有效期和销毁方式。

先确定保护对象、允许用途、接收方和攻击能力

同一份数据给内部测试团队、外包供应商和公开研究使用，所需保护并不相同。开始处理前要说明保护谁、保留什么用途、接收方还能接触哪些辅助资料，以及可能怎样重新识别。脱敏强度只能相对这个情境判断。

数据主体和业务对象

识别自然人、员工、客户、供应商、患者、设备、账户、合同、价格、凭据或商业秘密等保护对象。个人可识别风险和企业机密风险可以同时存在，但依据与后果不同。

获批用途

说明数据用于功能测试、性能测试、分析、模型训练、问题复现、演示还是跨组织研究，并证明每类字段对该用途的必要性；能删除的字段不因处理方便而保留。

接收者与权限

列出具体团队、供应商、租户、服务账号和自动化任务，可执行的查询、导出、联接和再分发能力，以及是否可能接触原始系统人员。

处理环境

说明数据进入开发、测试、分析、云服务、模型平台、日志或终端后的网络、存储、备份、管理员和跨境边界。低信任环境需要更强处理或更少数据。

可获得的辅助信息

评估接收方可能拥有的公开名录、社交信息、交易记录、内部通讯录、时间地点、其他数据集和查询接口；单独看不显眼的属性可能在联接后识别人。

威胁和后果

区分无意查看、内部滥用、外部入侵、映射表泄漏、穷举、频率分析、差分查询和模型抽取，并按身份暴露、歧视、欺诈、商业损失或安全事件评价后果。

要检查直接标识、组合标识、内容和关系，而不只是固定字段

删除姓名和手机号后，罕见职位、精确时间、地点、自由文本和关系网络仍可能指向个人。识别风险来自整条记录与外部信息的组合，因此结构化字段、附件、日志和元数据都要一起看。

直接标识符

姓名、证件号、账号、精确联系方式、生物特征或由制度赋予并可直接定位对象的唯一编号，通常需要删除、替换或严格隔离。

间接或准标识符

年龄、邮编、职位、组织、日期、地点、罕见事件等单独未必识别，但组合或连接外部资料后可能缩小到一个或少数对象。

敏感属性

健康、财务、薪酬、评价、申诉、交易、权限、合同价格或风险结论即使不含身份，也可能造成伤害；保护目标不能只设为隐藏姓名。

自由文本与文档

备注、邮件、工单、简历、合同和 OCR 文本中可能出现姓名、地址、签名、上下文身份线索和秘密。正则表达式只能发现已知模式，不能证明全部内容已经处理。

图片、音频与视频

人脸、声音、车牌、屏幕、背景地点、文件内嵌缩略图和医学影像标记都可能暴露身份或机密，需要媒体专用检测、编辑和人工抽查。

元数据与技术痕迹

文件作者、路径、设备 ID、时间戳、GPS、数据库键、日志关联 ID、版本历史和隐藏工作表可能绕过正文遮盖。导出格式和附件也必须纳入范围。

关系、频率与稀有值

唯一的上下级关系、罕见采购、极端金额、少数群体和事件时间序列会形成指纹。逐字段看似安全，不代表整行、整表或多表联接安全。

派生值和模型特征

评分、向量、聚类、嵌入和特征可能编码来源信息。删除原字段后，派生表示仍可能支持成员推断、属性推断或近似重建。

保护技术要按目标选择，并记录会损失什么

替换、泛化、扰动、截断和生成合成数据解决的问题不同，也会破坏不同用途。保护得越强并不总是越好：如果日期顺序、实体关系或边界值被破坏，测试就可能得出虚假结论。每项处理都要同时记录风险降低和效用损失。

删除与编辑遮盖

移除整列、整行、文本片段、图像区域或附件，适合用途不需要的内容；须防止原值残留在隐藏字段、修订历史、缓存和备份中。

固定或动态遮盖

固定遮盖产生经变换副本；动态遮盖只在查询结果显示替代值，底层数据仍是原值。后者主要限制日常显示，不应被当成原始数据已改变。

替换、洗牌与假名

用自建值、同类值、跨记录洗牌或稳定假名替代原值，可保留格式或跨表关联。稳定和可逆通常提高测试效用，也增加联接、频率和映射泄漏风险。

令牌化

以无业务意义的令牌代替原值，通过受控令牌库或服务恢复。保护强度取决于令牌生成、映射库、权限、隔离、审计、可用性和失陷响应，不等同于匿名化。

泛化与聚合

把精确年龄改为区间、精确地点改为区域、明细改为组级统计，以降低唯一性。区间、分组和最小单元须基于数据分布和攻击测试，不能照搬固定模板。

扰动与交换

对数值、类别、日期或记录关系加入噪声、取整、偏移或交换，降低精确关联；必须验证业务规则、总量、相关性、长尾和异常模式是否仍满足用途。

加密

保护数据在存储或传输中的机密性，并可在持有密钥时恢复原文。它不减少解密后处理者看到的信息，也不等于数据已去标识；密钥和访问控制是独立控制面。

合成数据

按规则或模型生成并非直接复制的记录，可以减少使用原始样本的需要，但普通合成数据可能记忆训练记录或保留稀有组合。只有经证据支持的机制才能声明相应隐私保证。

遮盖、假名化、去标识和匿名化不是通用的线性等级

这些词在不同标准和组织中含义并不完全一致。使用可逆映射的假名数据仍可能重新关联主体，匿名化则需要结合可用外部信息与合理手段评估。项目应描述实际处理和残余风险，而不是依赖一个听起来安全的标签。

处理状态能得出的有限结论
显示遮盖特定界面或查询结果不显示完整值；底层原值、其他查询、管理员和推断攻击可能仍可取得。
静态脱敏副本输出副本的指定字段经过变换；仍须检查遗漏内容、多表关系、外部联接、稀有值和转换可逆性。
假名化数据标识符被假名替换，附加信息可重新关联。英国 GDPR 语境下假名化数据仍属于个人数据；其他地区须按其制度判断。
去标识数据识别关联被移除或降低到规定目标；目标、接收方、攻击模型、度量和持续评估必须明确，不能只靠删除直接标识。
匿名数据这是适用制度和具体情境下关于可识别性的高门槛结论，不是技术按钮。保留可恢复映射的一方通常不能据此声称其持有的数据已匿名。
公开可发布数据需要面向不受控接收者、长期外部信息和无限复制重新评估。受控内部使用可接受，不代表适合公开。

从源数据到可用副本需要一条可复核的处理链

脱敏不是下载一份数据、运行脚本后随手上传。源范围、审批、处理环境、规则版本、质量验证、发布对象和到期销毁要形成连续链路，并避免原始数据与处理结果在临时文件和日志中泄漏。

  1. 1. 登记请求

    记录用途、字段、数据范围、接收方、环境、期限、业务负责人和不可使用低风险数据替代的理由。

  2. 2. 识别和分类

    盘点表、字段、关系、文档、媒体、元数据、派生值和秘密，确认个人、业务与安全敏感性以及权威来源。

  3. 3. 最小化范围

    删除与目的无关的记录、列、历史、附件和精度；抽样、聚合或生成数据足够时，不复制完整生产数据。

  4. 4. 建立威胁模型

    明确接收者能力、辅助信息、可查询次数、可逆材料、攻击路径和可接受剩余风险，由相应责任角色批准。

  5. 5. 设计字段和关系处理

    逐对象选择删除、假名、令牌、泛化、扰动或合成，并处理跨表一致性、业务约束、时间、自由文本和附件。

  6. 6. 在隔离区执行

    限制原始数据访问，固定工具、代码、规则和参数版本；中间文件、失败输出、日志与临时凭据采用同级保护并可清理。

  7. 7. 验证效用和风险

    先验证模式、关系和任务结果，再由不同于处理执行者的适当角色实施披露检查、联接测试、抽样复核和攻击测试。

  8. 8. 批准并封装交付

    只交付获批版本，附带用途限制、剩余风险、访问要求、校验和、有效期、禁止再识别与再分发条件及联系责任。

  9. 9. 监测、重评和销毁

    环境、接收方、外部数据、字段、模型或用途变化时重评；到期撤销访问并处理副本、缓存、索引、日志和备份中的可控残留。

每个脱敏版本都要有可重建的处理记录

两份都叫“已脱敏”的文件，可能使用了不同来源、规则和密钥。版本记录要让团队重建处理过程、知道谁能反向映射，并在源字段或用途变化后判断旧副本是否仍然合格。

  1. 数据集身份

    记录输出数据集 ID、版本、生成时间、源数据快照、选择条件、记录数和完整性校验。

    清单、快照 ID、查询或导出版本、校验和

  2. 目的与接收边界

    说明获批任务、用户和系统、允许环境、查询与导出能力、地域、期限和禁止用途。

    申请、审批、数据使用约定、环境清单

  3. 字段和内容规则

    逐字段及非结构化对象记录保留、删除、替换、泛化、扰动规则、参数和保持的关系约束。

    字段映射、规则库、文本/媒体策略、数据字典

  4. 工具与代码基线

    保存转换代码、工具版本、配置、依赖、随机种子或密钥引用，不在记录中暴露真实密钥。

    受控仓库提交、构建产物、配置摘要、密钥引用

  5. 可逆材料

    标明令牌库、假名映射、密钥或重识别服务的所有者、位置、权限、用途和销毁条件，并与输出隔离。

    密钥/映射登记、权限和审计记录

  6. 验证与剩余风险

    记录任务效用、遗漏扫描、唯一性和联接分析、攻击场景、发现的问题、接受的限制和复评条件。

    验证报告、样本复核、风险决定、问题关闭证据

  7. 批准与生命周期

    由业务、数据、隐私、安全和使用团队中实际承担责任的角色确认，记录发放、变更、接收、撤销和销毁。

    签署记录、分发台账、到期任务、销毁证明

验证必须同时回答数据还能不能用和还能不能识别

只检查敏感字段消失，可能得到无法测试的安全空壳；只检查业务流程能跑，又可能留下可识别线索。验证要用实际任务检查关系、分布和边界，同时从攻击者视角测试关联、推断与稀有组合。

结构完整性

核对类型、长度、格式、必填、唯一、外键、层级和多表引用，确认处理没有制造孤儿记录、无效枚举或无法装载的数据。

业务效用

用获批任务执行代表性测试，检查状态转换、规则组合、金额汇总、时间顺序、接口和异常路径；不能只比较均值或字段非空率。

统计保真

分析分布、相关性、稀有类别、极值、时间趋势和分组差异。若用途是性能或 AI 训练，还需验证记录密度、文本长度和困难样本是否保留。

内容遗漏

扫描自由文本、附件、媒体、元数据、隐藏字段、导出历史和错误日志，并对高风险样本人工复核；检测器的假阴性也需测量。

唯一性和小群体

检查属性组合能否缩小到单个或很小群体，尤其关注稀有职位、地点、日期、疾病、事件、金额和关系。风险阈值依据场景决定。

联接与推断攻击

模拟接收方使用可合理取得的内部或公开资料联接，尝试频率、字典、穷举、差分查询、成员和属性推断，而不是只检查姓名是否为空。

可逆控制

验证普通接收者不能访问密钥、令牌库或假名映射，授权恢复需强身份、最小权限、双人或工单控制、审计和告警。

独立复核和复评

高风险数据由未编写转换规则的合适角色复核。新增字段、接收方、数据源、外部可用信息或攻击方法出现后，原结论需要重新评估。

脱敏不能替代访问、密钥、环境和生命周期控制

风险降低后的数据仍可能敏感，也可能在和映射表、旧版本或外部资料结合后重新识别。它仍需要最小访问、隔离、审计、密钥管理、复制限制和到期删除，不能因为文件名带“masked”就进入开放共享盘。

原始区和处理区

原始数据只向获批处理身份开放，处理作业在隔离区执行；禁止把原始快照下载到个人设备或通过普通协作工具传递。

映射与密钥分离

假名映射、令牌库和解密密钥与输出数据分开管理，权限不由同一个通用账号同时拥有；访问、恢复和导出均可审计。

最小访问和用途限制

接收者只取得任务所需字段、记录和时间，限制批量导出、跨库联接、复制和再分发；动态遮盖同时配置行列权限、审计和查询防滥用。

供应商和云服务

确认供应商是否保存输入、训练服务、生成日志、允许子处理或跨区传输，以及删除和事件通知能力；“上传的是脱敏数据”不能替代审查。

版本与变化

每次源模式、规则、工具、参数或用途变化产生新版本，旧批准不自动覆盖新字段和新接收方；转换失败必须停止交付并保留问题证据。

泄漏与重识别事件

建立错误发放、规则遗漏、映射泄漏、异常查询和再识别发现的停止、隔离、撤销、调查、通知、修复和重发流程。

到期和退役

按批准期限删除或归档输出、中间文件、模型输入缓存、搜索索引和可控备份，撤销账号、令牌和密钥；保留依法或依约必须保留的审计证据。

采购流程测试副本的构造例子

下面用独立构造、与任何客户无关的采购测试副本，展示字段替换之外还要怎样处理时间、关系、自由文本和映射权限。目标是在保留测试所需业务结构的同时，明确仍然存在的识别风险和使用边界。

用途与范围

目标是在隔离测试环境复现申请、审批、ERP 提交和对账，只选取经批准时间段与状态的必要申请，不复制无关历史、邮箱或全量供应商库。

人员与组织

员工姓名和联系方式替换为一致的自建值，内部身份改为稳定测试假名以保留本人、代理和审批关系；组织层级泛化到测试所需层次，假名映射不交给测试团队。

供应商与付款信息

供应商法律名称和登记号替换，银行账号全部使用不可支付的测试格式；真实付款凭据、税务附件和高风险联系内容删除，不以局部星号遮盖后继续使用真实账号。

金额与日期

按获批方法偏移或分段金额并保持币种、税额、审批门槛上下关系；日期一致平移以保留顺序与周期。处理后重新验证汇总、边界和异常案例。

文本与附件

备注、合同和发票先由检测规则标记，再人工抽查高风险内容；测试只需文档结构时用同格式编造附件替代，清除作者、路径、缩略图和修订历史。

验证与交付

验证多表引用、审批路径、金额对账、ERP 幂等和恢复场景，同时尝试用内部通讯录、时间和稀有组合联接。交付数据版、规则版、效用结果、剩余风险、访问期限和清理任务。

企业 AI 的脱敏边界要覆盖训练、检索、模型、日志和输出

AI 数据会在训练集、向量库、提示词、工具、日志和人工反馈之间流动。只在上传模型前遮掉几个字段，无法控制嵌入泄漏、自由文本秘密、输出重组和下游副本。团队要沿数据路径逐站处理，而不是只保护入口。

按数据路径建图

分别盘点预训练或微调数据、检索知识、嵌入与向量库、提示和会话、工具输入输出、人工反馈、评测集、运行日志、缓存和监控，不只处理上传前的结构化表。

训练材料处理过，不代表模型以后不会泄露线索

模型可能记住罕见片段，也可能把多个看似无害的属性重新组合成可识别信息。即使源数据经过处理，仍要测试成员推断、属性推断和训练内容抽取，并限制模型、日志和输出的使用。脱敏是风险控制的一层，不是模型安全证明。

检索前执行确定性授权

不要先检索全库再让模型删敏感内容。应在检索前按租户、用户、对象、属性和用途过滤，返回最少片段，并防止提示注入绕过权限或诱导工具导出。

文档脱敏要保留证据关系

替换姓名、编号和组织后，问题、答案与证据仍需一致；若同一实体每次随机替换，可能破坏跨段推理，稳定假名又会增加关联风险，需要按评测目的选择。

嵌入不是匿名副本

向量仍可能泄漏原文主题、成员或敏感属性，并通过相似检索暴露片段。向量库沿用来源权限、删除、租户隔离、版本和事件响应控制。

提示与日志单独处理

用户可能在自由文本中输入个人资料、合同、秘密和凭据。进入第三方模型、遥测或人工反馈前执行最小化和可验证编辑，并记录失败时停止、隔离或人工处理。

输出检测不是唯一防线

输出过滤可发现部分格式化标识和秘密，但无法证明模型没有推断或改写敏感事实。高风险场景结合来源授权、工具最小权限、内容策略、抽取测试和人工接手。

保护和效用共同评测

按语言、文档类型、稀有实体、攻击提示和用户角色测试漏删、误删、回答质量、证据一致、工具动作和延迟。处理规则、模型、提示、知识和检测器变化后重新回归。

删除要传播到派生资产

源记录到期或撤回后，评估并处理数据集、索引、嵌入、缓存、评测集、反馈和可控模型派生物；无法精确删除时应事先说明能力、替代控制和重建条件。

脱敏数据与相邻概念怎样区分

遮盖、假名化、去标识、匿名化与合成数据都可能降低识别风险，但目标、可逆性和法律含义不同。脱敏数据这个宽泛称呼最好只作入口，项目仍要说明实际方法、攻击假设、残余风险和允许用途。

概念与脱敏数据的边界
数据遮盖是一类改变显示或副本中数据值的技术；脱敏数据是结合目的、技术、验证和治理形成的处理结果，遮盖本身不证明保护充分。
去标识以降低数据与身份之间的关联为目标，并要求评估重识别风险；中文“脱敏”还常用于商业秘密和凭据，不应默认两词法律等价。
假名化以假名替换标识，借助另行保存的附加信息仍可恢复关联；它适合保留纵向或跨表关系，但需要映射隔离和持续保护。
匿名化是在适用制度和具体情境下对不可识别性的结论，门槛通常高于内部受控脱敏或假名化；不能由项目团队仅凭方法名称宣布。
令牌化用令牌及受控映射服务代替原值，是可逆保护机制之一；令牌格式、库、权限和联接行为决定风险。
加密用密钥保护存储或传输并允许解密恢复，主要解决未授权读取；授权处理时仍可见原文，不自动降低可识别性。
编辑删除从文本、图片或文档中移除敏感片段，属于局部处理技术；上下文、元数据和遗漏仍需验证。
合成数据由规则或模型生成的数据，不必逐条对应源记录；它可以降低真实数据使用，但不自动提供匿名或形式化隐私保证。
数据最小化从源头限制取得、使用和保留的数据范围；通常比复制后再脱敏更直接，脱敏不能成为过度收集的理由。
访问控制决定谁能在什么条件下访问数据；它与脱敏互补。受控访问不足不能靠弱遮盖补救，脱敏也不能取消最小权限。
测试数据按测试目标准备的输入、状态和参照数据；脱敏副本只有在具备测试追溯、覆盖、预期结果和重置方法后才是合格测试数据。

依据与适用边界

本文解释企业项目中的脱敏数据：为了降低个人、组织或业务敏感信息被不当识别、读取、关联或滥用的风险，对数据副本、查询结果或数据流实施受控变换后形成的数据。中文“脱敏数据”是项目工作用语，不对应一个全球统一的法律或技术状态。数据遮盖、编辑删除、假名化、去标识、匿名化、令牌化、加密、泛化、扰动和合成数据具有不同目标、可逆性与剩余风险，不能只凭“已脱敏”标签互相替代。本文不完整定义适用法律下的匿名认定、隐私影响评估、信息分类、访问控制、密码方案、数据防泄漏、合成数据方法、测试数据、数据治理或安全体系。具体数据能否使用、共享或降低监管义务，须按适用地区、行业、合同、接收方、处理环境和可合理获得的外部信息另行判断。