跳到主要内容
自媒科技企业 AI · 项目开发与交付
中文ZH
项目询价

企业 AI 项目 Wiki · 需求与业务场景

数据要求

也常写作Data requirement · 数据需求 · 数据需求项 · 数据规格要求 · 信息数据要求

定义

数据要求是对指定系统或过程在明确业务目的、主体、状态、时间和运行条件下必须使用或产生哪些数据,以及数据的定义、来源、结构、质量、血缘、访问、保护、交换和生命周期必须满足什么条件所作的规范性陈述。它把业务、系统、风险和合规需要转成可设计、可验证、可追溯的数据义务。

数据要求规定数据必须满足什么,不是先画表结构

数据要求先回答业务和系统为何需要某项数据、由谁产生、谁是权威、在什么状态使用、必须达到何种质量和保护条件,再决定怎样建模、存储或传输。直接从数据库字段开始,容易把当前实现误当成正确业务定义,也会遗漏人工材料、文件、消息、外部主数据和派生结果。

数据要求既可以作为系统或软件要求的一类,也可以形成受控的数据要求集合。NASA 的软件要求规格指导把内部数据、数据库、输入输出、验证和错误处理列入要求内容;软件数据字典则承载变量、格式、单位、范围和结构等定义。前者规定义务,后者是表达和维护定义的一种信息项。

一项业务结果通常跨越多类要求。例如“可靠创建采购申请”不仅需要功能和接口行为,还要确定申请编号的权威来源、金额和币种语义、供应商身份、缺失冲突处理、状态历史、审计血缘、保留和删除条件。数据要求不能替代其他要求,但应与它们相互追溯。

先建立数据对象、来源和责任边界

同一个“客户状态”可能来自 CRM、合同系统和人工备注,更新时间与负责人也不同。项目先确认业务上讨论的是哪个对象、哪个来源有权、谁能纠正,之后才适合决定字段和存储位置。否则结构设计得再整齐,也可能稳定保存错误含义。

数据对象与粒度

列出业务实体、事件、状态、文档、消息、参考数据、配置、日志和派生结果,说明一条记录代表什么、按何种键识别、允许怎样拆分或聚合。

产生者、责任人和使用者

区分提供数据的人或系统、对定义和质量有决定权的业务责任人、技术保管方以及获权消费者,避免把数据库管理员误写成业务数据所有者。

权威来源和副本

指出每个属性或状态以哪个系统、文件或有权决定为准,副本何时同步、冲突怎样裁决、缓存和报表在哪个时间点有效。

原始、校准、转换和派生

保留原始输入与清洗、标准化、聚合、评分或人工修订结果之间的关系,明确哪一层能用于业务决定。

系统边界与外部依赖

识别客户提供、第三方获取、本系统产生和对外输出的数据;许可、可用性、格式变化与终止供应不能隐含在接口实现中。

敏感性与适用范围

按项目和有权制度识别个人、商业、凭证、安全、受限或公开数据及适用地域、租户、角色和用途;分类结果连接相应控制。

一套完整数据要求通常覆盖哪些维度

字段类型只解决数据长什么样,不能说明能否取得、是否足够新、谁可使用、多久删除,以及发生错误怎样回溯。完整数据要求沿用途和生命周期看这些维度,使数据既能服务任务,也不会脱离权利与责任。

定义与业务语义

名称、含义、业务规则、枚举、单位、精度、时区、语言、代码表、有效期和同义词;相同词在不同上下文含义不同时必须分开。

结构与关系

类型、长度、基数、必填条件、键、实体关系、层级、顺序、文件或消息布局和完整性约束;逻辑要求不必预先限定某种数据库产品。

来源、采集与校验

采集渠道、身份、授权、时间、证据、允许格式、验证规则以及无效、重复、迟到、冲突和资料不足的处理。

质量与适用性

按具体用途规定准确、完整、一致、及时、唯一、有效或其他适用特性,附范围、样本、测量、阈值、严重等级和不合格动作。

时间与状态

事件时间、记录时间、生效失效、版本、当前与历史状态、迟到修正和时间顺序;避免用一个更新时间替代所有时间语义。

血缘与可追溯性

记录来源、采集、转换规则、处理版本、人工修改和输出去向,使关键结果能解释、复现、纠错和评估影响。

访问、使用与保护

规定谁因何目的可以读取、创建、修改、批准、导出或删除,怎样隔离、最小化、脱敏、加密、审计和处理越权;具体控制由安全隐私设计落实。

交换与互操作

数据方向、触发、格式、语义、单位、版本、批次、确认、错误、重复和兼容条件,详细传输责任连接接口要求。

容量与性能条件

数据量、增长、峰值、文件大小、历史深度、查询和批处理窗口,以及这些假设变化时的容量复核触发。

保留、归档、迁移与处置

依据有权政策确定保留起点、期限、法律保全、归档可读性、迁移对账、删除传播、销毁证据和例外,不凭技术习惯设置永久保存。

一条数据要求怎样写到可判断

“保证数据准确完整”无法直接执行,因为不同用途对准确和完整的要求不同。可判断的写法要指出数据对象、使用场景、来源、质量规则、时间与例外处理,并说明由谁用什么证据确认。

稳定 ID、主体和目的

标出承担义务的系统或角色、数据对象和获批业务用途;同一数据用于不同目的时可有不同质量、权限和期限。

条件、动作与规范结果

写明触发、状态、输入条件以及必须采集、产生、验证、保持、拒绝、转换或处置的结果,避免“支持数据管理”等空泛表述。

受控定义引用

引用数据字典、代码表、模式、接口、分类和规则的明确版本;引用不存在或未批准时标成有负责人和期限的未决项。

质量与时间判据

说明适用记录范围、测量窗口、统计口径、阈值、允许例外和失败等级。未知数字以 Q1、T1 等待定参数记录,不伪造行业默认值。

异常、冲突和安全状态

规定空值、重复、非法、过期、来源冲突、迁移差异和依赖不可用时是阻止、隔离、标记、回退还是转人工,不让实现自行猜测。

来源、理由、负责人和验证

连接业务规则、系统要求、风险、合同或有权制度,记录定义和批准责任,并预先指定检查、分析、演示或测试及所需证据。

追溯与变更影响

连接产生和消费该数据的功能、接口、报表、模型、测试、迁移与运营控制;定义、来源或用途变化时可定位所有受影响对象。

数据质量必须针对用途,血缘必须支撑追责和纠错

一个地址用于寄送合同和用于城市级统计,所需精度并不相同。质量要围绕具体决定和错误后果定义;血缘则回答这个值从哪里来、经过什么转换、影响了哪些结果,使错误能够被定位、更正并传播下去。

ISO/IEC 25012 把数据质量理解为数据特性在指定条件下满足明确和隐含需要的程度。因此“高质量数据”不是独立判据:地址用于寄送、去重、区域统计或身份核验时,需要的完整性、及时性和准确程度并不相同。要求应写明使用场景和错误后果,再选择特性与门槛。

NIST Research Data Framework 强调元数据、来源、生命周期和适用性。来源记录不能只停留在一张源表名称;关键数据通常要能回答由谁或哪个系统在何时取得、依据哪个版本和转换规则处理、经过哪些人工或自动变更、产生了哪些下游输出。

质量问题还需要可执行处置:阻止高风险动作、隔离记录、保留原值、发起修复、通知责任人、重新处理下游、接受有权例外或撤销结果。只做质量仪表盘而不连接业务动作,不能证明数据要求得到满足。

  1. 指标是否对应明确用途?

    每个质量指标说明对象、场景、测量范围、窗口和错误影响。

    核对:用途—质量特性—判据映射。

  2. 结果能否追到来源与处理版本?

    关键字段和派生结果保留足够来源、规则、时间和操作者信息。

    核对:抽样重建与影响分析。

  3. 失败会触发正确业务动作吗?

    不同严重度对应阻止、隔离、告警、修复或有权接受。

    核对:异常路径测试与关闭记录。

从取得到删除,每个生命周期阶段都要有责任和证据

数据进入系统时合法,不代表可以永久保留或换用途复用。取得、校验、共享、归档、更正和删除各有不同责任;项目还要确认缓存、索引、备份和下游副本是否跟随变化。

取得与授权

确认来源、取得方式、用途、通知或许可、最小字段、初始质量和接收证据;可技术访问不等于可用于新目的。

存储与使用

规定权威副本、隔离、访问、变更、并发、一致性、审计和允许分析,测试、支持和报表环境也在范围内。

共享与发布

限制接收方、字段、用途、地域、格式和再传播,记录传递、确认、拒绝和撤回条件;开放性由授权决定。

保留与归档

由业务、记录管理、合同和法律等有权来源确定期限、起算事件、暂停删除和归档格式,定期证明仍可查找、读取和解释。

迁移与合并

定义源目标映射、范围、清洗、重复和冲突规则、前后计数与金额等对账、抽样、失败回退、批准和旧系统冻结。

删除与退役

覆盖生产、副本、缓存、索引、导出、日志和第三方可控范围,说明不可立即删除的备份或法定记录、访问限制、自然过期和完成证据。

数据要求怎样推导、验证和受控变化

数据要求从业务决定、规则、功能、风险和接口共同产生。团队要用数据剖析和代表记录验证假设,再把发现的问题反馈到规则与流程。来源或用途改变时,也要评估下游报表、模型、接口和保留政策,而不是只改一张表。

从业务决定和结果反推

逐项询问作出决定、执行交易、证明合规和支持运营需要哪些事实,谁有权确认,错误、缺失或过期会造成什么后果。

从流程状态与接口推导

沿正常、异常、撤销和恢复流程识别每个输入输出、状态历史和对账数据;接口交换双方必须共享语义和版本。

从风险与制度推导

把欺诈、越权、隐私、安全、记录和业务连续性需要转成最小化、保护、血缘、保留、停止和证据要求,结论由有权角色确认。

验证定义和结构

通过评审、模式检查、代码表核对、样本和边界值证明定义唯一、类型关系一致且消费者共同理解。

验证质量和转换

用获批代表样本、已知答案、对账、统计和重放验证规则、阈值及异常动作;区分源数据缺陷和处理缺陷。

验证权限和生命周期

按角色、用途、租户、地域与状态测试允许和禁止路径,并证明归档、迁移、保全、删除和第三方传播符合已批准要求。

控制变化

定义、代码表、来源、模式、质量阈值、用途、权限或期限变化须分析生产者、消费者、历史数据、接口、模型、报表、测试和迁移影响后批准。

采购申请数据要求的构造例子

下面用独立构造、与任何客户无关的采购数据,展示用途、权威来源、质量、保留和删除怎样组成可验证要求。Q1、R1、M1 等继续作为待确认参数,因为真实阈值必须由业务、风险和数据责任者依据证据批准。

DR-ID-201:申请身份

正式申请应具有由申请服务产生的全局唯一且不可复用标识,并分别保存用户可见编号;草稿、正式记录和 ERP 记录之间的映射可追溯,不用显示编号推断内部身份。

DR-MD-202:供应商权威

提交时供应商标识与有效状态应来自获批主数据版本 M1;名称只作展示快照。无唯一有效匹配或主数据不可用时保持草稿并记录原因。

DR-SEM-203:金额语义

每个金额保存币种、是否含税、精度与舍入规则及适用汇率来源和时间;总额必须能由受控明细规则重算,差异超过待批容差 Q1 时阻止提交。

DR-STATE-204:状态历史

每次状态变化记录前后状态、业务事件时间、记录时间、获权主体、原因和规则版本;更正以新事件关联原记录,不无痕覆盖已批准历史。

DR-PROV-205:材料来源

附件和抽取字段保存来源文件标识、内容校验值、取得渠道、抽取或人工录入方式、处理版本和确认状态,使决定能追回原始证据。

DR-MIG-206:迁移对账

迁移批次应按批准映射保留源标识和转换结果,并以计数、状态、金额汇总和风险抽样对账;未解释差异关闭前不得切换权威来源。

DR-LIFE-207:保留和处置

申请及关联证据按获批记录类别和 R1 起算规则保留;保全中的记录暂停删除。期限到达后按批准流程覆盖可控副本并留下不含原文的处置证据。

企业 AI 要分别规定训练、检索、推理、评测、反馈和日志数据

“AI 数据”这个统称很容易掩盖用途变化。用户问答可能只为当次推理提供上下文,也可能被写入日志、交给人工复核,甚至进入后续评测或训练。每向下一种用途移动,都需要重新确认权限、期限、最小化和退出方式。

按数据用途分账

训练或微调语料、检索知识、实时提示与上下文、工具输入输出、评测集、人工反馈和运行日志分别定义来源、用途、权限、期限和禁止复用,不能统称“AI 数据”。

来源、权利和版本

记录数据集、文档或记录的来源、许可或授权依据、取得时间、处理步骤、版本和适用范围;第三方模型是否保留或用于训练也须有明确约束和证据。

代表性和任务适用性

质量判据连接具体任务、语言、角色、时间和风险场景;代表性不足、标签分歧和覆盖空白作为已知限制管理,不用总记录数代替适用性。

检索证据与新鲜度

知识条目保留权威来源、版本、生效失效、访问范围和索引状态;回答所用片段可追溯,过期、冲突或无足够资料时触发限制或人工处理。

最小化、隔离和提示注入

只向模型和工具传递任务所需字段,按用户、租户和用途执行访问控制;把外部内容和模型输出视为不可信数据,不让其中指令改变授权。

用户留下的对话和修正,不会因为有价值就自动成为训练材料

生产日志首先服务于运行、安全和问题调查,其中可能包含个人信息、合同内容或临时上下文。若要把对话、人工修正或失败记录用于评测和再训练,需要重新说明用途、取得授权、筛选脱敏并形成独立版本;“以后也许能改进模型”不能成为无限保留的理由。

合成与生成数据标识

标记生成方式、源数据关系、模型和提示版本、审核状态及允许用途,防止生成内容被当成独立真实事实或无意循环训练。

更正、删除和下游传播

定义源资料撤回、个人请求、权利到期或错误修正时怎样更新索引、缓存、评测和可控衍生物,并记录不能逆转的模型影响及补偿决定。

组合版本与持续监测

把数据集、切分、标签、知识快照、模型、提示和规则版本关联到评测和生产结果;分布、来源或用途变化触发质量、偏差、安全和权限复核。

数据要求与相邻概念怎样区分

数据模型、数据库结构、质量规则和隐私政策都可能实现或约束数据要求,却不是同一层。数据要求先说明业务需要什么数据以及必须满足什么条件,后续设计再选择怎样组织和存储;这样换平台时,真正的数据责任不会一起消失。

概念与数据要求的边界
业务数据是业务活动中使用或产生的事实与记录;数据要求规定这些数据在特定系统和目的下必须满足的义务。
数据模型或数据库设计说明实体关系、模式、表、索引和物理实现怎样组织数据;它实现数据要求,但设计选择不能代替业务语义、质量、权限和生命周期依据。
数据字典是受控记录名称、定义、类型、格式、单位、范围和关系的信息项;它可承载部分要求定义,文件存在不等于来源、用途和生命周期义务完整。
数据库要求聚焦数据库需要存储的信息、访问、容量、完整性和保留等,属于或支持数据要求;数据要求还覆盖文件、消息、人工材料、外部来源和非持久输入输出。
数据质量要求是针对用途规定准确、完整、及时等质量特性与判据的一类数据要求;完整数据要求还包括语义、来源、关系、权限、交换和生命周期。
元数据与数据血缘元数据描述数据,血缘记录来源与处理路径;它们是满足发现、理解、追溯和影响分析要求的重要数据,不代表全部数据要求。
主数据是跨流程共享且需一致识别的核心实体数据;主数据治理确定权威与协同方式,项目数据要求引用其身份、版本、质量和使用规则。
接口要求规定边界两侧怎样交换数据及双方责任;数据要求规定交换内容自身的定义、质量、权威和生命周期,两者须互相引用。
测试数据用于执行验证的输入、状态和预期结果,需代表要求并受保护;它不是生产数据要求本身,也不能未经授权直接复制生产数据。
训练数据用于训练或调整模型参数的数据集,是 AI 数据用途之一;数据要求还覆盖检索、推理、评测、反馈、日志和普通业务数据。
隐私与安全要求规定处理个人或受保护数据的风险、权利和控制义务;数据要求承接适用于具体对象、用途和生命周期的部分,但不能自行给出法律结论或完整安全方案。
备份是恢复和连续性设计的一种副本机制;数据要求应说明恢复点、完整性、访问、保留和删除边界,但备份不能代替权威数据、归档或迁移定义。

依据与适用边界

本文解释企业系统、软件和 AI 项目中的数据要求:对项目必须接收、产生、识别、校验、转换、交换、存储、保护、保留、迁移、归档和处置的数据,以及这些数据必须具备的语义、来源、质量、时间、血缘、权限和生命周期条件所作的可验证规定。本文不完整定义业务数据、数据模型或数据库设计、数据字典、主数据治理、元数据管理、接口要求、数据质量管理体系、隐私或安全制度、备份方案、测试数据、训练数据、文档模板或具体法律义务。具体数据对象、权威来源、质量阈值、合法依据、地域、保留期和批准权须由项目有权人员确认。