跳到主要内容
自媒科技企业 AI · 项目开发与交付
中文ZH
项目询价

企业 AI 项目 Wiki · 数据、知识与模型

检索

也常写作Information retrieval · IR · Search · 信息检索 · 内容检索 · 知识检索 · 搜索检索

定义

检索是根据一个明确的信息需要,在指定且获准访问的内容集合中生成查询、执行必要过滤和匹配、形成候选、计算或合并相关性、排序并返回可定位结果的过程。一个受控检索结果至少应能说明查询、集合与版本、用户权限、命中对象、位置与来源、分数或排序依据、过滤和拒绝状态以及执行时间。

检索回答“从允许的集合中先找哪些内容”,不是直接生成最终答案

用户问一句话,系统首先要判断去哪里找、找哪些候选,以及哪些结果有权返回。检索负责把可能有用的证据送到下一步,但相关并不等于正确,更不等于证据已经足够支持结论。

用户问“采购超过某金额怎样审批”,检索先要确定应查当前制度、授权表还是历史记录,再找到包含门槛、适用组织、例外和有效时间的内容。返回这些候选并不等于完成业务判断;最终回答还要核对证据是否充分、来源是否冲突以及能否由当前用户查看。

信息检索处理的是信息需要与内容对象之间的相关关系。查询只是用户需要的一种表达,同一句话可能包含多个子问题、缩写、错别字、时间范围和隐含对象;同一个词在不同部门也可能代表不同事物。检索质量因此不能只看关键词是否出现或向量距离是否接近。

NIST 对 RAG 的定义明确区分独立检索系统或知识库与生成模型:系统先找相关信息,再作为上下文交给模型。检索可以独立服务企业搜索,也可以进入 RAG;无论是否生成自然语言,它都要对集合、权限、版本、排序和结果负责。

检索契约先规定输入、集合、约束、输出和失败状态

如果只写“输入问题、输出结果”,检索链出了问题就很难判断责任。一个能验收的契约还要说明允许查哪些集合、应用哪些时间和权限约束、返回什么证据,以及找不到时怎样明确停止。

  1. 信息需要

    说明用户要找事实、定义、规则、步骤、比较、案例、历史状态、证据集合还是可继续操作的对象。

    问题分类、任务说明、样本查询

  2. 查询表示

    保存原始查询、语言、时间、会话范围,以及改写、扩展、实体解析、子查询和过滤条件;区分用户文字与系统生成内容。

    查询日志、改写链、解析字段

  3. 目标集合

    明确知识库、数据源、索引、字段和版本,说明当前版、历史版、地区、产品和租户范围,不用“搜全库”掩盖边界。

    集合目录、索引版、路由规则

  4. 身份和权限

    使用可信用户或服务身份,在候选召回前执行租户、对象、属性、用途和内容状态限制。

    身份上下文、过滤策略、拒绝记录

  5. 候选和排序

    记录使用的精确、结构化、全文、稀疏、密集向量、图或组合方式,候选数、融合、重排和最终数量。

    检索配置、分阶段结果、分数

  6. 结果对象

    返回内容 ID、标题、片段、来源版、位置、适用时间、访问标签、相关性信息和可打开引用,不只返回无法追溯的正文。

    结果模式、来源回链、引用测试

  7. 失败状态

    区分无相关内容、被权限排除、索引未更新、查询无法理解、来源冲突、资料不足、依赖失败和超时。

    状态码、用户提示、告警与接手

先理解信息需要,再决定是否改写、拆分或扩展查询

用户的原话不一定就是最合适的检索式。“我这个月还能报多少”同时涉及身份、时间、额度定义和已用金额;系统需要保留原问题,再把必要条件补齐,而不是自由改写成另一个意思。

原始表达

保留用户原话、语言和输入渠道。纠正错别字、同义词或缩写时记录改写,不静默改变金额、时间、组织和否定条件。

意图与对象

识别查询是在找人员、产品、制度、交易、状态、定义还是操作步骤,并把名称映射到稳定实体 ID;实体不确定时保留候选或询问。

时间与范围

“现在”“当时”“本地区”“我的申请”等需要从可信时间、身份和业务上下文形成过滤,不能交给相似度模型猜测。

查询扩展

用受控同义词、别名、术语层级和拼写变体扩大覆盖,同时保留原词和扩展来源;泛化过度会引入另一个业务对象。

查询拆分

把包含多个独立条件或证据类型的问题拆成子查询,例如分别查制度规则、实时申请和供应商主数据,再按批准逻辑组合。

多轮澄清

当对象、时间、地区或目的会实质改变结果时,先询问用户;把默认假设写进检索并展示,不能用高相似度结果掩盖歧义。

查询安全

限制查询语言、字段、正则、脚本和过滤表达式,防止注入、越权枚举、资源耗尽和错误访问;模型生成查询也经过确定性校验。

检索只能在已接入、已索引且当前允许查询的集合中工作

文件存在于企业网盘,不代表它已经进入当前搜索范围;进入索引,也不代表版本和权限仍然有效。先列清集合边界与同步状态,才能解释为什么某条内容被找到或没有被找到。

集合覆盖

登记内容类型、来源、组织、地区、语言、时间和已知空白。相关内容根本未进入集合时,调排序模型不能产生正确结果。

检索单位

文档、内容块、记录、实体、规则、表行、图片和多模态对象可使用不同单位;一个统一向量字段不能自动适配全部对象。

索引字段

区分可搜索正文、标题、关键词、实体、结构、稀疏和密集向量,以及用于过滤、返回、排序和引用的字段,避免把机密元数据暴露为搜索文本。

分析与语言

分词、大小写、词形、停用词、同义词和字符规范化影响精确与词项匹配。中文、英文、日文和混合技术词应分别验证。

版本和时效

索引保存来源、切分、嵌入、字段模式、权限快照和构建版。当前查询排除失效或未生效内容,历史查询仍能定位当时版本。

可重建性

保留获准来源清单、转换配置、索引模式和处理版,使索引损坏、模型更换或平台迁移时能够重建,而非依赖现存黑箱分数。

精确、结构化、全文、向量、混合和图检索解决不同问题

制度编号适合精确匹配,订单状态适合结构化查询,自然语言近义表达更可能需要向量检索。方法不是越新越好,关键是它能否稳定处理目标问题,并在必要时与其他通道互补。

方法适用问题与限制
精确标识查询按订单号、文档 ID、人员 ID 或版本取特定对象,确定性强;标识缺失或错误时不会靠语义找到近似对象。
结构化过滤与查询按字段、范围、时间、状态和关系查询业务记录,适合精确条件和计算;依赖明确模式和业务语义,不替代长文档搜索。
全文或词项检索利用倒排索引、短语、字段权重和 BM25 等相关性方法,擅长专有名词、代码、编号和精确表达;同义改写或跨语言语义可能漏检。
稀疏语义表示以高维稀疏词项或学习权重表示内容,保留较强词汇可解释性并扩展术语;仍受词项空间、模型和训练领域影响。
密集向量检索用嵌入捕捉查询与内容的语义相近,适合表达不同但意思相近的问题;可能错过精确编号、否定和细微规则,也不能承担权限。
混合检索并行使用词项和向量等多个召回通道,再归一或按 RRF 等方法融合;能兼顾精确和语义,但增加调参与诊断复杂度。
图或关系检索沿实体和关系查找连接、影响和多跳事实,适合结构化关系问题;图中缺失或错误关系不能由路径查询自动纠正。
多索引与工具路由按问题分别查询制度、产品、案例、实时业务系统或外部来源;路由错误会搜错集合,需明确工具范围和验证选择准确率。

权限、有效期和业务范围是硬过滤,不是相关性分数的加减项

一份高度相关但无权访问的文档,仍然必须排除;一条已经失效的规则,也不能因为语义更相似就排到前面。资格边界应先于相关性排序生效,并覆盖候选、缓存和最终上下文。

检索前授权

先用可信身份和策略缩小可访问候选,再执行词项或向量匹配。检索后删除结果已经让内容进入搜索、重排、日志或模型上下文。

文档和内容级权限

同一文档内部若有不同密级,权限须落实到可独立检索单元;父块或相邻扩展使用涉及内容中的最严格权限。

租户隔离

共享索引使用不可绕过的租户键与过滤,缓存键、分页、建议、计数、日志和运维工具同样隔离;高风险场景可采用独立索引。

时间与状态

按发布、生效、失效、撤回、草稿、历史等状态过滤。排序分数再高也不能让未生效制度回答当前问题。

业务适用

组织、地区、产品、客户、语言、角色和用途限制在召回前应用;需要跨范围比较时必须有相应权限和明确查询意图。

过滤后覆盖

过滤可能让可访问证据不足。分别测过滤前后候选和 Recall,向用户说明受限或不足,不能自动放宽权限来提高命中率。

审计

记录实际执行身份、策略版、过滤条件、候选数和拒绝原因,同时控制日志最小化,避免查询和命中片段在监控系统泄密。

候选召回、排序融合和重排是相连但不同的阶段

召回阶段宁可多带一些可能相关项,重排阶段再判断它们与具体问题的关系。把这些阶段分开记录,才能知道正确证据是根本没进候选,还是进了以后被融合规则压了下去。

  1. 1. 生成候选

    用一个或多个通道取得足够可能相关的内容,主要避免漏掉真正证据;候选可以比最终结果多,但始终受权限和范围约束。

  2. 2. 校准或融合分数

    不同字段、词项、向量和索引的原始分数通常不可直接比较。使用经验证的归一、加权、排名融合或规则,并保存每路贡献。

  3. 3. 去重与多样性

    合并相邻重复块、同一父块和近似版本,避免 Top-K 被同一证据占满;同时保留真正需要的不同来源、观点和历史版。

  4. 4. 重排

    用跨编码器、学习排序、业务规则或其他方法对有限候选进行更精细的查询—内容判断,提高前列精度;新增延迟、成本和模型风险。

  5. 5. 执行业务优先规则

    当前有效、正式批准或指定来源的优先关系应作为可审计规则,不让模型相关性自行宣布哪个来源更权威。

  6. 6. 形成最终结果

    按任务选择最终 N 项,返回分数、来源、位置和限制;面向生成时还要检查证据是否充分并为不同子问题保留内容。

Top-K 和最终上下文要按证据需要、噪声、成本和风险共同选择

多取几十条结果看似保险,却可能让重复、旧版和弱相关内容淹没关键条款。最终提供多少证据,应围绕问题需要、去重、完整条件、模型容量和响应成本共同确定。

结果数量

K 太小会漏证据,太大会增加噪声、延迟和 token。按问题类型、召回通道、重排能力和证据数量试验,不使用一个全局数字覆盖全部任务。

子问题覆盖

复杂问题先检查每个子问题是否至少有合格内容,不能让一个高分主题占满结果,导致另一项完全没有证据。

父块与邻居

小块用于命中后,可在权限和版一致的前提下展开父条款、相邻步骤、表头或定义。扩展内容与原始命中分开记录。

来源多样性

需要核对或比较时保留多个独立来源;只需要当前正式规则时,应避免相同内容的旧版、培训资料和转述稀释权威。

引用可用性

结果必须包含能够打开的原文位置。用户无权打开引用时,即使系统内部可检索,也不能把不可核对的来源呈现为公开证据。

上下文组装

去重、排序、分组、截断和格式化属于检索后的独立步骤,须保存选入、排除和截断原因,使错答能定位到检索还是组装。

无结果、低相关、权限排除、冲突和资料不足必须分开处理

界面上都可能表现为“没有答案”,背后的处理却完全不同。索引故障需要修复,权限排除不能暗示受限内容,资料不足要说明缺什么,来源冲突则要保留差异并交给相应责任人判断。

真正无内容

获准集合中不存在能回答该问题的来源,登记知识空白和内容责任人,提供有人渠道;模型不能用预训练常识伪装成库内结论。

检索失败

相关内容存在却未返回,可能来自查询、切分、字段、分析器、嵌入、过滤、召回或排序。用已标注相关项定位失败阶段。

权限排除

系统知道存在受限内容也不必透露标题、数量或原因细节。向用户返回适合公开的权限提示,并保留安全审计。

索引滞后或依赖失败

来源已更新但索引未生效、某通道超时或重排失败时标明结果不完整,按风险决定使用降级通道、重试还是停止。

来源冲突

同时返回不同版本、范围或权威来源时保留差异,不让排序静默选择事实。按已批准的时间、范围和来源规则裁定或交人工处理。

证据不足

命中相关内容不等于足以回答。缺少条件、例外、附件、另一子问题或实时事实时,明确可确认与不能确认部分并停止高风险动作。

低置信不能只靠阈值

分数分布随查询、集合和模型变化。阈值需按任务校准,并结合命中数量、来源、差距、证据覆盖和异常状态,不用单一相似度决定回答或拒绝。

检索既可能泄漏知识,也可能成为注入和资源攻击入口

风险不只发生在最终答案里。结果数量、标题片段、过滤差异和响应时间都可能泄露受限信息,恶意内容还可能借检索进入模型上下文,因此查询入口和结果出口都要受控。

查询隐私

查询可能包含姓名、账号、健康、合同或商业意图。限制采集、访问、保留和分析用途,在日志、评测和供应商链路中脱敏或隔离。

结果侧信道

结果数量、标题、自动补全、分数、响应差异和“存在但无权”提示都可能泄漏信息,需纳入越权与跨租户测试。

查询和过滤注入

参数化构造数据库或搜索查询,限制字段、操作符、脚本、正则和通配符;模型生成的查询不得直接绕过应用授权与资源限制。

恶意内容

检索到的网页、文档和用户内容可含提示注入、脚本和错误指令。把它们标为不可信数据,与系统指令分离,并限制后续 Agent 工具。

拒绝服务与滥用

对复杂查询、超大 K、多子查询、模糊和正则搜索、向量批量请求设置成本、超时、并发和配额控制,记录滥用但不泄漏敏感正文。

索引与供应链

保护索引、嵌入、同义词、排序模型和配置免受未授权修改,确认托管搜索、嵌入和重排服务的保存、训练、地域、删除和事件安排。

离线检索评测必须有查询、相关性判断和明确分母

“前十条里看到了答案”只是一次观察,不是稳定指标。评测要先定义哪些结果算相关、是否需要多份证据、有哪些已知相关项,再用相同版本组合比较召回、精度和排序变化。

代表查询集

从真实任务收集定义、精确编号、同义表达、过滤、历史、异常、资料不足、多跳和越权查询,按用户、语言、内容和风险分层。

相关性标注

为每个查询标明相关对象、相关等级、必须证据和禁止结果,保存判断人、指南、分歧和裁定。没有可审计分母就不能声称 Recall。

Precision@K

前 K 个结果中相关项的比例,回答前列是否干净;K、相关等级和去重口径必须明确。

Recall@K

全部已知相关项中进入前 K 的比例,回答是否漏证据;相关集合不完整时,数值只能解释为对现有标注的结果。

MRR 和排名质量

MRR 关注第一个相关项出现的位置;需要多个证据或分级相关时,可结合 nDCG、MAP、成功率和证据覆盖,不能只看首个命中。

负例和拒绝

对库中无答案、无权、歧义和恶意查询检查错误命中与泄漏。正例指标很高也不能证明系统会正确停止。

分段与误差分析

平均值按语言、文档类型、问题类型、地区、权限和风险拆分,逐例定位是集合、查询、切分、过滤、召回、融合还是重排问题。

固定组合版本

比较时锁定内容、相关性标注、切分、索引、分析器、嵌入、过滤、候选数、融合和重排版本,一次主要改变一个变量并保留结果。

上线后还要监测查询变化、索引新鲜度、权限和检索成本

离线题集不会自动覆盖新制度、新术语和真实用户的表达变化。上线后应把查询分布、同步延迟、无结果、权限拒绝、质量漂移和资源消耗放在同一张运行图景里观察。

用户任务结果

观察用户是否找到并打开正确来源、完成任务、改写查询或转人工;点击和停留只是行为信号,不能未经判断直接作为相关真值。

查询分布

监测高频、增长、无结果、长尾、语言和新术语,保护隐私并防止个别自动客户端扭曲统计;变化用于扩充评测集和内容,不直接自我训练。

新鲜度与同步

测来源变化到索引可检索的时间、失败积压、删除传播和权限同步。高影响来源超出时限时告警、隔离或停止相应回答。

质量漂移

用固定哨兵查询和抽样真实查询监测排名变化、无结果、重复、错误版本和权限拒绝;模型或索引更新后执行回归。

性能与容量

分别记录查询解析、过滤、各召回通道、融合、重排和结果组装的延迟、吞吐、错误、超时、索引容量和单次成本。

变化治理

内容、同义词、字段、分析器、嵌入、融合、权重、阈值、Top-K 和重排变化有负责人、理由、试验、批准、发布、回滚和影响记录。

重建与退役

保存来源与配置使索引可重建;替换或停用时迁移必要日志与评测,撤销连接和密钥,处理托管副本并确认旧索引不再服务查询。

采购知识库的检索例子

以下例子用于说明检索链怎样分工和验证,不代表客户知识库、真实查询、权限、相关性分数、阈值或技术选型。

问题范围

员工查询申请资料、当前审批规则、本人申请状态和异常处理;法律解释、他人敏感申请和自动批准不由通用检索决定。

集合路由

制度问题查当前或指定历史知识索引,供应商身份查主数据,申请状态通过受权实时工具,案例只作处理参考,不把所有内容混入一个向量库。

查询处理

识别地区、组织、申请类型、时间和“我的”身份,保留原问题;同时包含门槛和所需资料时拆成两个子查询。

召回与重排

精确词项通道查制度编号和术语,向量通道处理自然说法,在权限和有效期过滤后融合候选,并按问题—条款相关性重排。

结果与停止

返回当前条款、授权表行和具体位置;制度与培训资料冲突、附件缺失、实时接口失败、跨组织无权或证据不足时标明限制并停止结论或动作。

评测

使用精确编号、口语同义、错别字、当前与历史、不同地区、例外、无答案、越权和多证据问题,检查 Precision、Recall、首个结果、充分性、引用、权限和延迟。

交接

移交查询集和标注、集合与索引目录、字段和分析器、嵌入、过滤、融合、重排、阈值与 K、测试结果、监控、同步重建、权限回归和已知空白。

企业 AI 中的检索要为生成提供证据,也要能独立解释每一步

生成模型会让结果读起来更完整,也更容易掩盖检索阶段的缺口。先独立确认获准证据是否被找到,再检查模型怎样使用这些证据,才能区分检索失败、生成偏离和模型记忆碰巧答对。

标准与 Agentic RAG

固定 RAG 按预设索引、查询和结果数执行;Agentic RAG 可选择工具、拆分问题并多次检索。后者另需评测工具选择、调用次数、停止条件和端到端延迟。

一段流畅答案,不能替检索证明自己

模型可能凭训练记忆碰巧答对,也可能在正确证据已经找回后仍然忽略条件或例外。评测时先冻结生成结果,检查获准且相关的证据是否进入候选和最终上下文;再单独判断模型有没有忠实使用,两个环节才能各自改进。

来源选择受控

工具说明写清每个集合能回答什么、时间口径、输入输出、权限和不能回答事项;模型只能在允许候选中选择,不能凭名称搜索任意企业数据。

查询生成受约束

模型的改写、过滤、结构化查询和子问题进入确定性模式、字段白名单、权限与资源限制,保留原始查询和全部转换用于审计。

证据充分后再生成

按子问题检查结果是否包含事实、条件、例外和来源;相关但不充分、冲突或过期时要求模型说明限制或拒答,不让更多无关 Top-K 伪装完整。

检索内容不可信

内容中的提示不能改变系统规则或调用工具。引用与数据区明确分隔,高风险动作由确定性业务规则和人工确认控制。

组合版本可回放

保存用户身份、原查询、改写、集合、索引、过滤、嵌入、候选、融合、重排、最终上下文、提示、模型和工具版,定位结论来源和变化。

反馈经过审核

点赞、点击、人工改答和模型评价可产生候选标注,但受位置偏差、界面和错误答案影响,须经抽样和内容责任确认后进入评测或训练。

检索与相邻概念怎样区分

检索、搜索界面、数据库查询、RAG 和生成经常被混成一个词。明确它们各自的输入与输出,可以避免把“系统答错”笼统归给搜索,也方便为每层设置独立的验收证据。

概念与检索的边界
数据库查询按模式、键和条件得到精确记录、聚合或计算结果,是一种可组合取得方式;信息检索通常处理与自然语言信息需要的相关性和排序。
搜索日常用语可指界面、产品或整套能力;检索是其中根据查询从集合选择和排序内容的核心过程。
召回工程中常指初始候选生成阶段,目标偏向少漏相关项;Recall 也指评测指标。检索还包括过滤、融合、排序和结果表达。
排序按相关性或其他规则排列候选;没有集合、匹配和候选生成时,排序本身不是完整检索。
重排对较小候选集做更精细的二次排序,通常提高前列精度并增加成本;它不替代初始召回。
全文检索以词项、短语和倒排索引匹配文本,是检索方式之一;检索也可以使用结构字段、向量、图和多种组合。
向量检索按嵌入距离或相似度找邻近对象,适合语义匹配;权限、时间、权威、融合、重排和结果充分性仍属更完整的检索设计。
混合检索组合全文、稀疏、密集向量或其他通道并融合结果,是一种多通道检索策略,不等于所有检索。
推荐根据用户、对象和行为预测可能感兴趣的内容,通常不要求用户明确查询;检索以当前信息需要和查询为主要输入。
上下文组装在检索后选择、去重、扩展和格式化证据供模型使用;可改变最终内容,但不应隐藏原始检索结果。
RAG在检索结果基础上调用生成模型形成回答的完整模式;Retrieve 与 RetrieveAndGenerate 等接口也明确区分只取内容和取后生成。

依据与适用边界

本文解释企业搜索、知识库和 AI RAG 项目中的检索:针对用户或系统表达的信息需要,在获准查询的内容集合中识别、筛选并按相关性和业务约束返回候选对象及其来源信息的过程。检索不是数据库按主键取值、结构化查询、网页搜索产品、召回指标、排序或重排、全文检索、向量检索、混合检索、知识图谱查询、推荐系统、上下文组装、模型生成或完整 RAG 系统的同义词;这些可以成为具体方式、环节或相邻能力。不存在脱离内容、问题、语言、权限、时效和风险的统一相关性公式、分数阈值、Top-K 或“最佳检索算法”。本文不完整定义搜索引擎架构、倒排索引、BM25 数学推导、嵌入模型、向量数据库、混合检索、重排模型、查询语言、数据库优化、知识图谱、推荐算法、RAG/Agent 完整架构、隐私安全制度或具体产品配置。正式方案须由项目角色用获准内容和代表问题验证。