企业 AI 项目 Wiki · 数据、知识与模型
知识库
也常写作Knowledge base · KB · 企业知识库 · 内部知识库 · AI 知识库 · 文档知识库 · 知识库系统
知识库是一个有明确业务范围和责任边界的受控知识集合及其提供能力。它保存或连接经批准的知识来源及其可用表示,记录内容身份、结构、含义、版本、有效时间、来源链、访问权和质量状态,并让用户或系统能够检索、定位、引用和维护这些知识。
知识库把知识组织成可查、可判、可维护的内容,不是把文件集中上传
把 5 万份文件放进一个目录,只能说明内容集中存放。若用户不知道哪些文件有效、某条规则适用于哪里、历史版本怎样找、冲突听谁的、无权内容怎样隔离,仍然不能可靠回答业务问题。知识库要在内容之外保存身份、结构、责任、权限、时间和来源关系。
知识库既可以由文档、FAQ 和术语表构成,也可以连接业务记录、主数据、规则表、知识图谱和外部来源。它不要求所有知识复制进同一个产品;关键是通过统一登记、治理和访问方式,让每项知识可定位到获准来源和有效状态。
NIST 把 RAG 描述为模型与独立检索系统或知识库配合:查询先找到相关信息,再作为上下文交给模型。这说明知识库可以不含生成模型,而 RAG 也不能仅靠建一个向量索引完成。
先确定知识库服务谁、回答什么、不能做什么
同一批资料给客服查流程、给合规人员判断规则和给客户公开查询,允许的内容与答案责任都不同。知识库先定义用户、问题范围、时点和禁止用途,才能决定该接入哪些来源以及何时必须说不知道。
业务目的
明确用于员工查询、客服答复、技术支持、销售资料、操作指导、合规查阅、项目交接还是 AI 助手,不以“沉淀知识”代替具体结果。
用户与系统
列出员工、供应商、客户、管理员、检索服务、AI 应用和自动化流程,分别说明身份、权限、语言、设备和使用情境。
可回答问题
建立代表性问题清单,标明每类问题需要的来源、时间口径和答案形态,如事实、步骤、规则、定义、比较、引用或人工渠道。
禁止结论与动作
明确哪些问题不能靠知识库决定,例如实时账户状态、未经批准的法律判断、高风险自动批准或超出权限的跨租户信息。
业务边界
限定组织、法人、部门、地区、产品、客户、流程、语言和历史区间。知识库名称写“全公司”并不能证明内容覆盖全公司。
错误后果
区分答错一般说明、使用过期流程、泄漏机密、误导合同义务和触发错误系统动作的后果,据此决定权威、复核和停止要求。
成功定义
用完成任务、找到正确来源、减少转交、检索覆盖、引用质量、权限零泄漏、更新时效和内容维护成本共同评价,不只统计文档数或问答次数。
完整知识库通常包含原始内容、可用表示和管理信息三层
原始文件保留证据,解析后的片段支持查找,元数据与权限让系统知道内容怎样使用。三层需要互相连接但不能混为一体;否则团队既无法回到原件,也难以删除或更新所有派生表示。
来源连接层
连接正式文档库、业务系统、主数据、规则、记录、专家确认和外部来源,保存原始位置、快照、取得方式和责任,不把个人下载件当唯一原件。
原始或受控内容层
保存获准原件或稳定引用,包括正文、表格、图片、附件、记录和 API 结果;原件与解析、翻译、摘要等派生物分开。
结构化知识层
把术语、实体、属性、关系、分类、状态、规则、问答和步骤转成可明确查询的对象,适合确定性回答、过滤和复用。
检索表示层
包含切分片段、全文字段、关键词、实体标签、嵌入、向量和重排特征;这些是为检索生成的表示,不自动成为新的权威来源。
管理元数据层
记录来源 ID、标题、主题、语言、所有者、版本、有效期、权限、质量、来源链、处理状态、保留和撤回标志。
引用与定位层
让检索结果和答案能够回到原文页节、表格、记录、时间点或稳定锚点,并在内容变化后识别引用是否失效。
反馈与运行层
保存无结果、低质量结果、用户纠正、内容问题、权限拒绝、更新任务和事件证据;用户反馈是改进输入,不经确认直接变成正式知识。
文档型、问答型、规则型、图谱型和混合知识库解决不同问题
长文档适合保留完整解释,问答适合稳定高频问题,规则结构适合确定判断,图谱擅长实体关系。形式应由任务和证据选择,不是因为某种技术更热门就把所有内容强行改造成同一种表示。
| 形态 | 适合的内容与限制 |
|---|---|
| 文档型 | 保留政策、手册、合同、说明和报告的完整上下文,适合查阅和引用;需要解析、分段和版本治理,长文档不能直接保证检索命中。 |
| 问答型 | 为高频、边界清楚的问题准备经批准答案,响应直接;容易把复杂规则过度简化,须连接完整来源、适用条件和维护责任。 |
| 术语与分类型 | 用受控词表、分类和同义关系统一说法,适合筛选、导航和查询扩展;SKOS 这类模型组织概念,不自动断言全部业务事实。 |
| 规则与决策型 | 把条件、结论、优先级和异常写成可执行结构,适合稳定判断;只有获准规则可进入,复杂制度解释和事实输入仍需其他来源。 |
| 知识图谱型 | 用实体和关系表达跨来源联系,适合关系查询、影响分析和多跳问题;建图不自动消除实体冲突、缺失事实或来源责任。 |
| 案例型 | 保存问题、情境、处理和结果,支持相似案例查找;过去做法不一定是当前规则,个案还可能包含敏感信息和偶然决定。 |
| 混合型 | 组合原文、结构化事实、规则、术语、图关系和检索索引,通常更符合企业实际,但必须统一身份、版本、权限和来源链。 |
知识模型和元数据决定内容能否被正确理解和过滤
两个标题相似的制度可能分别适用于不同地区、产品和日期。没有对象类型、版本、生效期、所有者和权限标签,检索只会看到文字相似,无法判断哪个内容适用于当前问题。
- 知识对象
定义文档、章节、记录、事实、术语、实体、关系、规则、问答、步骤和案例的稳定 ID 与颗粒度。
对象目录、ID 规则、例子记录
- 业务语义
记录正式名称、同义词、定义、范围说明、单位、状态和关系方向,避免不同部门用同一词表达不同对象。
术语表、分类方案、语义映射
- 来源和责任
每项知识连接来源版本、产生或转换活动、内容所有者、批准者、维护者和冲突裁定人。
来源链、角色台账、批准记录
- 时间和状态
区分创建、发布、批准、生效、失效、取得和索引时间,以及草稿、有效、替代、撤回和归档。
有效区间、状态事件、版历史
- 适用和权限
记录组织、地区、产品、流程、角色、语言、密级、租户、允许用途和禁止输出,使过滤在检索前执行。
范围标签、访问策略、权限测试
- 结构和定位
保留标题层级、页节、表头、附件、记录键、锚点和相邻上下文,使片段能够被理解和引用。
解析结构、定位器、原文回链
- 质量和生命周期
记录完整、当前、一致、可解析、已知空白、复核状态、到期日期、替代项和处置要求。
质量结果、问题、复核与退出任务
知识库建设从业务问题开始,经过接入、组织、验证再发布
先上传所有文件再寻找用途,通常会得到规模很大却无法负责回答的仓库。建设应从高价值问题出发,确认合格来源与判定方法,再接入、组织、验证和逐步发布,让每批内容都能证明服务了什么。
1. 确认可回答范围
按用户任务建立问题、正确答案形态、来源、权限、历史口径、错误后果和人工接手要求。
2. 盘点并批准知识来源
识别正式内容、记录系统、专家和外部来源,确认所有者、权利、适用范围、版本和质量,不把所有可访问资料都接入。
3. 设计知识对象和元数据
确定哪些内容保留原文、结构化成事实或规则、建立术语关系,统一 ID、版本、权限、来源链和定位字段。
4. 建立安全取得通道
使用受控连接、导出或事件取得内容,保存快照、校验和和失败记录;原始区、中间区和发布区分离。
5. 转换和组织
解析、OCR、清洗、翻译、分类、实体解析、规则结构化和切分均产生可追溯派生版,异常内容进入人工处理。
6. 建立索引和访问服务
按问题选择全文、结构化查询、关键词、向量、图查询或混合方式,并在检索前应用权限、状态、时间和范围过滤。
7. 分层验证
分别验证来源和转换、知识对象、权限、检索、引用、最终回答或操作,使用正常、边界、冲突、资料不足、撤回和恶意内容。
8. 有权确认后发布
内容、业务、数据、安全和使用团队确认范围、空白、风险和维护安排;索引构建成功不等于知识库可上线。
9. 监测和持续维护
记录无结果、错误来源、过期、权限拒绝、反馈和成本,按变更重处理并保留版本,达到退出条件时撤回和清理派生物。
知识库需要内容、业务、技术和使用责任共同维护
内容负责人确认含义,业务负责人决定用途和风险,技术团队维护接入与检索,用户反馈真实问题。没有清楚分工时,过期资料会无人下架,检索失败又容易被当成模型问题。
业务负责人
决定知识库服务的业务结果、风险、优先领域和不能自动回答或执行的事项,并协调跨部门冲突。
内容所有者
确认某类知识的正式状态、适用范围、版本、解释和变更,批准或撤回内容;不能把这项责任交给检索算法。
数据与记录责任
确认结构化事实的权威、质量、血缘、保留和正式记录地位,保证历史事实和当前知识不被混淆。
知识管理员
维护分类、术语、元数据、连接、质量问题、审阅队列和内容台账,使知识对象在各来源之间一致可找。
技术团队
负责连接、处理、存储、索引、查询、权限执行、监控、备份恢复和变更回滚,不替代业务含义确认。
安全、隐私和法务
评估机密、个人数据、许可、外部服务、提示注入、跨境和事件响应,并批准相应限制和控制。
使用团队
提供真实问题、验证答案和流程影响、报告空白与错误,确认界面和人工接手可执行;反馈进入审核而非直接改写知识。
变化委员会或裁定角色
处理跨来源冲突、高影响规则、结构和模型变化、例外与下游影响,形成可追溯决定和生效时间。
权限必须从来源贯穿到片段、检索结果、引用和缓存
一份受限文档被切成片段后,原来的访问边界不能消失。权限要随派生物进入索引、结果、引用和缓存,并在用户、租户、对象或用途变化时重新判断;相关性高不代表有权看。
身份和最小权限
按真实用户、服务身份、租户、角色、对象、属性和用途授权;管理员能维护索引不代表可以查看全部原文。
检索前过滤
先按权限、来源状态、有效期和地域缩小候选,再做全文或向量相似搜索。检索后删除敏感结果已经让无权内容进入上下文。
多租户隔离
明确独立存储、独立索引、共享索引带强过滤或混合方案,验证身份映射、缓存键、日志、备份和运维权限不会跨租户。
秘密和敏感内容
凭据、私钥、一次性令牌不进入普通知识库;个人和商业机密按目的最小化、脱敏或隔离,引用本身也不能泄漏标题、路径或人员。
不可信内容
外部网页、邮件、附件和用户上传可能包含恶意指令、脚本或污染内容。扫描文件,把内容与系统指令分离,限制代理工具权限并保留来源。
完整性和审计
保护原件、元数据、权限和索引免受未授权修改,记录接入、批准、查看、导出、更新、拒绝、撤回和管理操作,并让事件可追查。
供应商和数据路径
确认解析、嵌入、搜索、模型和监控服务是否保存或训练内容、使用子处理方、跨区域传输、支持删除和事件通知。
知识库验收要分开验证内容、检索、回答和权限
回答错误可能是源文件本身有误、解析丢失、检索没命中、模型错误组合或权限过滤失败。分层验证才能找到责任位置,也避免用一个总体问答准确率掩盖严重泄漏或来源缺口。
内容正确性
抽查原件身份、版本、适用、完整、解析和结构化结果,特别检查表格、图片、否定、例外、公式、附件和 OCR 错误。
覆盖率
用已登记问题检查是否存在合格来源和答案依据,按主题、用户、地区、语言、正常、异常和高风险分段,不用文档数量代替覆盖。
检索质量
为测试问题标注相关内容和不应返回内容,测 Precision@K、Recall@K、首个正确结果排名、无答案查询和过滤后覆盖。
来源与引用质量
验证结果来自允许的正确版本,引用能到具体位置且忠实、完整、充分,不由过期或低权威片段支持高影响结论。
最终任务结果
检查用户能否完成查找、判断或操作,AI 回答的正确、相关、完整、基于来源和拒答,以及工具动作是否符合确定性控制。
权限和安全
测试本人、代理、跨部门、跨租户、离职、撤权、分享链接、缓存、导出和恶意文档,任何越权命中或引用泄漏都不能用平均指标抵消。
时效和变化
测来源变化到知识库生效的时间、旧版停止当前检索、历史版仍可追溯、删除传播和失败告警。
可运营性
验证所有者收到任务、问题可关闭、处理可回放、备份可恢复、索引可重建、成本和延迟可监测,接手团队能独立维护。
知识库不能隐藏来源冲突,也不能把空白变成答案
知识库的价值不只是能回答,还包括知道何时不能回答。来源冲突、旧版仍在、附件缺失或没有合格资料时,系统要返回明确状态和负责路径,而不是让生成模型用常识把空白补满。
保留冲突
不同来源的值、规则或解释各自保留身份、范围和时间,进入冲突状态;不得在清洗、建图或索引时静默覆盖。
按问题执行裁定规则
当前制度、历史记录、属性记录系统、合同和解释材料的作用按具体问题预先批准,规则本身有所有者、版本和生效时间。
停止高风险结果
冲突影响金额、权限、合规、身份或外部动作时,系统停止确定性答复或工具操作,展示可公开差异并交有权角色处理。
标记资料不足
缺来源、有效版、附件、权限、地区覆盖或足够证据时,记录缺项和责任人;返回“无法根据当前知识库确认”,而不是用模型常识补齐。
区分没有命中和没有知识
检索无结果可能来自查询、切分、索引或权限问题,也可能确实没有来源。系统先诊断环节,再决定改写查询、补内容或人工接手。
关闭问题并传播
裁定或补充后修正来源或知识对象,重新生成派生内容和索引,回归受影响问题,并记录既有错误答案、通知和下游修复。
知识库从接入到退出都要管理版本和派生物
一份文档下架后,解析文本、片段、向量、缓存和评测题可能仍然存在。生命周期管理要沿所有派生物传播新增、修订、撤回和删除,并保留必要历史,使当前回答和过去证据都能解释。
新增
新来源、新主题和新用户先经过范围、权利、质量、权限和容量评审,再接入受控发布区。
更新
来源变化触发重新取得、解析、结构化、切分、嵌入和索引,比较新增、修改、删除和权限差异并执行回归。
版本并存
当前问题使用生效版,历史问题可定位当时版。DCAT 等模型表明资源版本和生命周期需要明确表达,不能只覆盖一个文件。
撤回
真实性、权利、完整性、安全或业务批准失效时停止新检索,隔离片段、索引和缓存,评估既有回答和操作影响。
删除与保留
按记录、合同、隐私和审计义务处理原件、派生物、反馈、查询和日志;来源删除须传播到可控索引、向量、缓存和评测集。
重建和恢复
保留来源清单、代码、配置、模型、规则、权限映射和处理版本,使索引损坏或平台迁移时可从获准来源重建,而非依赖不可解释的现存向量。
退役和移交
停用时说明替代渠道、导出内容和元数据、保持来源链与权限、撤销连接和密钥、处理供应商副本,并移交未关闭问题。
采购知识库的构造例子
下面用独立构造、与任何客户无关的采购知识库,展示制度、授权表、流程说明和实时业务数据怎样分开保存又共同回答问题。重点是每类内容的权限、版本、更新和停止条件,而不是选用哪一种数据库。
范围
第一期服务采购申请人和审批人,回答申请资料、审批规则、状态含义、异常处理和联系渠道;不直接决定法律问题或自动批准付款。
内容组合
流程制度和授权表保留原文及有效期,供应商和组织身份连接主数据,申请事实通过受权接口实时查询,高频问题形成带来源的批准问答。
知识对象
建立申请、供应商、组织、角色、状态、规则、资料项、异常和处理步骤,使用稳定 ID 连接原文件条款、系统字段和历史版本。
权限
普通员工查看公开流程和本人申请,代理按有效委托查看,审批人按组织职责查看,敏感银行和合同内容不进入通用检索上下文。
冲突与不足
授权表与培训资料不同以已批准规则处理并登记冲突;地区细则缺失或接口状态未知时明确停止,不生成门槛或业务状态。
验收
使用当前与历史门槛、正常/超额申请、资料不足、职责冲突、无权限、规则更新、撤回文档和接口失败问题,检查来源、引用、回答、拒答和人工接手。
交接
移交来源与对象目录、元数据、权限矩阵、连接和处理配置、测试集、质量结果、监控、备份重建、更新流程、所有者和未解决空白。
企业 AI 可以使用知识库获得依据,但仍需检索、生成和操作控制
知识库提供可管理的材料,AI 仍要决定查哪个集合、取哪些片段、怎样组合并是否调用工具。每一步都可能选错或越权,因此“知识库内容正确”不能替代整条 RAG 与智能体链路的验证。
知识库不是模型记忆
内容在外部受控集合中更新,不需要重训模型即可改变可检索知识;模型预训练知识无法替代项目来源、权限和版本。
知识库不是完整 RAG
RAG 还包含查询理解、来源或工具选择、检索、重排、上下文组装、提示、模型生成、引用和评测。知识库正确不代表链路其他步骤正确。
按问题选择知识集合
一个助手可能分别查询制度库、产品库、实时业务工具和案例库。工具说明要写清范围、输入、输出、权限、时间和不可回答事项,避免代理搜错库。
上下文只取必要内容
在权限和有效期过滤后取得足够且不过量的片段,保留标题、位置、表头、定义、例外和来源标签,避免长上下文带来噪声或敏感暴露。
检索内容视为不可信输入
来源里的指令不能修改系统规则或驱动越权工具。模型只能使用标明的数据区,工具参数和高风险动作由确定性验证与人工确认约束。
回答逐项基于来源
区分直接事实、规则、组合和推断,为每项重要主张连接可访问的具体证据;来源冲突、过期或不足时展示限制并停止。
端到端评测
除检索 Precision/Recall 外,评测正确、相关、完整、grounded、引用忠实、拒答、权限泄漏、恶意内容、工具选择、副作用、延迟和成本。
一次点赞或人工修改,不能直接变成下一次回答的正式知识
用户反馈、客服改写和模型摘要可以帮助发现缺口,但它们首先只是候选内容。内容负责人需要核对来源、适用范围和表达后再发布;如果系统把每次修改自动写回知识库,一个偶然错误会在后续检索中不断获得新的可信外观。
组合版本可回放
保存来源、原件、派生物、索引、嵌入模型、检索配置、提示、生成模型、权限策略、工具和评测集版本,定位错误发生在哪一层。
知识库与相邻概念怎样区分
共享文件夹保存文件,数据库保存结构化记录,向量库支持相似检索,RAG 则是一整条回答链。知识库可以使用这些组件,但它的核心是受控内容、语义、权限和维护责任,不能由某一种存储技术单独定义。
| 概念 | 与知识库的边界 |
|---|---|
| 知识来源 | 是知识内容的原始或认可起点;知识库组织、连接和提供一个或多个来源的获准内容及派生表示。 |
| 知识管理体系 | 覆盖组织怎样创造、共享、应用和改进知识的目标、文化、人员、流程和治理;知识库只是可能使用的一项能力。 |
| 文档库/文件夹 | 主要保存和协作文档;加入来源范围、结构语义、版本有效期、统一权限、检索验证和维护责任后,才可能构成知识库的一部分。 |
| 内容管理系统 | 管理内容创建、审批、发布和展示流程,可作为知识来源或承载知识库;产品功能本身不保证知识正确和可回答。 |
| 数据库 | 按模式存储和查询数据,是知识库可能使用的存储或事实来源;数据库不自动包含业务含义、来源责任、文档知识和检索体验。 |
| 搜索引擎/搜索索引 | 提供匹配和排序能力,索引是来源的检索表示;知识库还包含获准内容、语义、权威、权限、版本、质量和维护。 |
| 向量数据库 | 存储并相似检索向量,适合语义召回;它不自动完成内容接入、关键词精确查询、权限、来源链、引用、冲突和生命周期。 |
| 知识图谱 | 以实体和关系表达知识,可作为知识库的结构化层或一种形态;知识库也可以主要由文档、规则和问答组成。 |
| RAG | 是检索外部信息并作为上下文辅助生成的系统模式;知识库常提供检索内容,但 RAG 还包括检索与模型调用的完整链路。 |
| 模型训练语料 | 用于调整模型参数,通常不能在回答时逐项更新、过滤和引用;知识库在模型外部受控,可独立更新和执行权限。 |
| FAQ | 是问题与批准答案的结构化内容类型,可以组成知识库的一部分;单独 FAQ 常缺少复杂来源、规则、历史和跨对象关系。 |
依据与适用边界
本文解释企业软件和 AI 项目中的知识库:为了让获准用户或系统能够查找、理解和使用组织认可的知识,把来源内容、结构化事实、业务规则、术语关系、元数据、来源链、权限和版本按明确范围组织起来,并通过受控方式提供查询或检索的集合与服务。知识库不是共享文件夹、文档管理系统、数据库、搜索引擎、向量数据库、知识图谱、模型训练语料、模型参数或 RAG 系统的同义词;这些对象可以成为它的来源、表示、存储或使用方式。本文不完整定义知识管理体系、内容管理产品、数据库或图谱设计、文档切分、嵌入、向量检索、混合检索、搜索排序、提示词、模型选择、完整 RAG/Agent 架构、版权与隐私法律意见或行业档案制度。知识库收什么、回答什么、谁能访问、哪项内容有权威、怎样更新和验收,须由项目有权角色按用途和风险确认。
- ISO 30401:2018:组织知识管理体系的目标、实施、维护、评审和持续改进要求;已发布版本处于修订流程
- ISO/IEC 5392:2024:AI 知识工程的角色、活动、构造层、组件、系统关系和共同术语参考架构
- ISO/IEC 42001:2023:AI 管理体系的政策、责任、风险、数据治理、透明度、监测和持续改进框架
- ISO/IEC 5259-2:2024:面向分析与机器学习、适用于结构化和非结构化数据的用途适配质量模型与可测特性
- W3C SKOS Recommendation:以概念、首选/替代标签、分类层级、关联和说明表示可交换的知识组织系统,并区分概念组织与正式事实断言
- W3C PROV-O Recommendation:以实体、活动、主体及产生、使用、派生、修订和责任关系表达来源链
- W3C DCAT 3 Recommendation:资源目录的标识、版本、生命周期、来源链、质量、引用、数据服务和责任关系
- NIST RAG 定义:生成模型与独立信息检索系统或知识库配合,从库中找到相关内容并作为生成上下文
- NIST AI RMF Core:AI 数据、第三方来源、角色责任、文档、风险、测量、监测和全生命周期治理
- NIST AI 600-1:生成式 AI 的数据与内容来源链、事实核查、第三方数据、隐私安全和持续评测
- NARA 可信记录指南:可靠性、真实性、完整性、可用性,以及保存内容、上下文和结构的重要性
- Microsoft Azure RAG 设计与评测指南:内容准备、切分、增强、嵌入、索引、检索、上下文、生成和分阶段评测
- Microsoft 输入、上下文和检索安全指南:权限感知索引、文档级访问、元数据过滤、来源引用、不可信内容和提示注入防护