企业 AI 项目 Wiki · 数据、知识与模型
向量检索
也常写作Vector search · Vector retrieval · Dense retrieval · 向量搜索 · 相似度搜索 · 语义向量检索 · ANN 检索
向量检索是把查询转换成与已索引对象兼容的向量表示,在明确的集合、版本、权限和时间范围内,按规定的距离或相似度执行精确或近似最近邻搜索,返回带原对象身份、来源、元数据和检索记录的候选结果。一个可管理的向量检索版本至少要固定嵌入模型与任务模式、输入处理、向量维度与数值类型、归一化、距离函数、索引算法和参数、过滤方式、候选数以及原内容版本。
向量检索找的是表示空间里的邻居,不是直接判断事实与答案
向量检索擅长找到“说法不同、意思接近”的内容,因此很适合处理自然语言。但它计算的是表示之间的距离,不知道制度是否现行、数字是否正确,也不能单靠一个相似度决定能否回答。
一句“差旅报销需要哪些材料”和制度中的“费用申请须附行程及有效票据”没有重复词,却可能表达相近含义。嵌入模型把查询和内容转换成一组数值,使语义或其他训练目标下相近的对象在向量空间中较靠近;向量检索据此寻找邻近对象,再返回它们对应的文档、图片、商品或记录。
这里的“相近”只在一个确定的表示合同里成立。同一段文字换了模型、任务类型、截断方式、归一化或距离函数,坐标和顺序都可能变化。旧向量与新查询若不在兼容空间中,系统即使能算出一个数,也不代表结果有可解释的相关性。
最近邻也是候选生成,不是事实验证。一个错误、过期、无权访问或只谈相似主题的内容都可能很近;编号、金额、否定、例外和精确名称则可能在纯语义空间里被忽略。企业项目仍要执行权限、有效期、权威来源、必要关键词、重排、证据充分性和业务停止规则。
每条向量必须连回原对象和生成合同
向量本身只是一组数,离开原文和生成方式就难以解释。生产系统需要让每条向量回到具体内容、版本、字段、模型和处理步骤,才能更新、删除和复现。
对象与向量身份
为 source、文档、chunk、图片或记录分配稳定对象 ID,再为每个向量分配独立 ID;一对象可有正文、标题、图片、语言或任务不同的多个向量,不能只靠数组位置对应。
原内容位置
保存来源 ID、版、页节或记录键、标题路径、字符或元素范围、校验和及撤回状态。结果必须回到可读、可引用的原内容,向量本身不承担正文证据。
模型与任务模式
记录 provider、模型 ID 和确切版、query/document 或其他 task type、输入前缀、语言和模态。双编码器可对查询与文档使用不同指令,但两侧必须按模型合同配套。
输入处理
记录解析、清洗、标题拼接、摘要或上下文化文本、大小写与 Unicode、截断、tokenizer、最大输入和空值处理;云 API 的静默截断会让保存文本与实际 embedding 不一致。
向量格式
记录 dense、sparse 或 binary 类型、维度、float32/float16 或量化格式、归一化方法、零向量和无效值处理。索引字段维度必须与模型输出匹配。
检索配置
固定距离函数、exact/ANN 模式、索引类型与参数、分片副本、过滤时机、候选数、阈值、oversampling、原向量重算和 rerank 方式。
权限与时态元数据
与向量一起保存租户、组织、角色、对象权限、密级、地域、内容状态、生效失效和删除标记,并维护与来源相同的更新责任。
处理和发布时间
记录 embedding、写入、索引可见、删除传播和配置发布时间,区分内容已批准、向量已生成、索引已完成和检索已获准四种状态。
先确认查询与候选真的处于兼容的 embedding 空间
看起来维度相同的向量,也可能来自不同模型、任务前缀或归一化方式。把不兼容的表示放在一起比较,系统仍会返回结果,却没有可靠的距离含义。
同一模型版
通常不能把模型 A 生成的文档向量与模型 B 生成的查询向量直接比较。即使维度相同,坐标含义也可能不同;升级模型一般需要建立新索引并回归。
任务角色配套
部分模型分别优化 RETRIEVAL_QUERY 与 RETRIEVAL_DOCUMENT,或要求 query:/passage: 前缀。两端照同一说明生成并不等于输入字符串完全相同。
模态与跨模态
文本—文本、图片—图片、文本—图片只有在模型明确训练成共享空间时才能相互检索。把不同模态各自模型的向量放进同一字段没有可比基础。
语言覆盖
多语言模型可能把跨语言语义对齐,也可能在低资源语言、行业缩写或混写中退化。用实际语言对和业务术语验证,不能从“支持多语言”推断各语言等效。
维度与截断
降维或可截断 embedding 只有在模型允许并按规定归一化时使用;维度减少会改变存储、速度和质量,需要独立版本和评测,不是无损压缩。
分布变化
内容类型、长度、模板、语言、实体和查询分布变化会改变邻域。新增大量近似模板还会挤占前列结果,即使模型没有更新。
不可跨空间解释分数
不同模型、字段、集合或归一化设置下的 0.8 不具有同一含义。多通道合并应使用经验证的 rank fusion、校准或重排,而不是直接比较原始分数。
余弦、点积和欧氏距离必须与模型及索引保持一致
距离公式不是可随意替换的展示选项。模型怎样训练、向量是否归一化、索引怎样排序必须彼此匹配,否则同一批候选的顺序会改变,阈值也失去原来的解释。
| 度量 | 含义与使用边界 |
|---|---|
| 余弦相似度 | 比较向量夹角,弱化长度影响;常见范围为 -1 到 1,但产品可能把余弦距离转换成另一套搜索分数。阈值必须按实际返回语义确认。 |
| 点积/内积 | 同时受方向和长度影响。向量已做单位归一化时与余弦给出相同顺序;未归一化时,长度可能承载模型有意设计,也可能形成不希望的偏置。 |
| 欧氏距离/L2 | 测量坐标差向量的长度,值越小越近。单位归一化后它与余弦可产生等价顺序,但原始距离数值和方向仍不同。 |
| 其他度量 | binary vector 可用 Hamming 或 Jaccard,部分系统支持 L1。必须与数据类型、模型训练目标和索引算子配套,不能因产品支持就任意切换。 |
先分清距离和相似度
相似度通常越大越近,距离通常越小越近;有的数据库为排序返回负内积,有的搜索服务对距离做单调变换。接口字段名和显示分数必须写进合同。
不要把分数当概率
0.82 不是“82% 正确”或“82% 相关”。它是特定空间下的邻近信号,分布会随 query、集合规模、重复内容和模型变化。
阈值来自任务错误成本
用已标注的正例、困难负例、无答案和越权样本观察分数分布,再按漏检与误检后果选择阈值;对不同问题类型或集合可能需要不同规则。
近邻差距也有信息
第一名与后续候选几乎同分可能表示歧义、重复或多个解释;绝对分数高但有效来源冲突时仍不能直接决定。
精确 KNN 与 ANN 的区别是是否保证找到真正最近的 K 个向量
数据量增大后,逐个比较通常太慢,ANN 用少量召回损失换取速度和容量。这个取舍必须用精确 KNN 作为基准测量,不能因为延迟下降就默认最近邻仍然都在。
| 方式 | 适用与代价 |
|---|---|
| 精确 KNN/穷举 | 对允许集合中的全部向量计算距离并返回真实最近的 K 个,结果可作为小集合、高精度场景和 ANN recall 的基准;集合大、维度高或查询多时计算和带宽成本高。 |
| 近似最近邻 ANN | 用图、分区、量化或其他结构只检查部分空间,以少量近邻漏失换取更低延迟、更高吞吐或更小存储;近似程度取决于数据、过滤、参数、硬件和更新状态。 |
ANN 的“Recall”首先可以指它相对精确 KNN 找回多少真实近邻,这是算法层指标;业务检索的 Recall 则指相关证据有多少进入结果。一个 ANN 索引可以几乎完整复现 embedding 空间的最近邻,却仍因 embedding 不懂业务、切分错误或资料缺失而漏掉真正相关内容。
选择 exact 或 ANN 不能只看向量数。还要看维度、并发、过滤选择性、更新率、K、尾部延迟、内存、是否有 GPU/SSD、容许漏失和重建窗口。小而高度过滤的集合可能 exact 更简单;高吞吐大集合通常需要 ANN 或分层方案。
索引结构在召回、延迟、内存、构建和更新之间做不同取舍
索引结构决定系统怎样缩小搜索范围,也决定内存占用、增量更新和重建代价。选型应从数据规模、过滤方式和新鲜度要求出发,而不是只比较一次查询的速度。
Flat/brute force
保存原向量并逐个比较,不靠近似索引;实现和更新简单、结果精确,适合基准、小集合或强过滤后的子集,也可用批处理、SIMD 或 GPU 加速。
HNSW
把向量构成多层邻近图,从稀疏上层快速导航到密集底层。m、efConstruction 和查询候选宽度影响图质量、构建时间、内存、写入与 recall;高删改环境还要验证墓碑和图退化。
IVF/分区索引
先用聚类中心把向量分到多个 list,查询只探测部分近邻 list。list 数、训练样本和 probes 决定速度与漏失;数据分布变化或建索引时样本不足会降低质量。
Product Quantization
把向量拆成低维子空间并量化成短 code,用近似距离减少内存和带宽,常与 IVF 组合。压缩会损失信息,应通过 oversampling 和原始高精度向量 rescoring 验证是否可接受。
标量或二值量化
把 float32 降成更低精度数值或 bit 表示,节省内存与磁盘;节省比例取决于是否还保留原向量,质量取决于模型和数据,不能以压缩率代替检索评测。
磁盘与分层索引
内存保存导航或压缩结构、SSD 保存更多向量或原数据,可扩展容量但增加 I/O、缓存预热和尾部延迟问题;需要在真实冷/热状态测试。
多字段与多索引
标题、正文、图片或不同语言可建独立向量字段并并行查询;它们的分数不可天然比较,需明确候选预算、融合、去重和最终重排。
产品名称不是算法合同
同名 HNSW 或 IVF 在分片、filter、更新、量化、默认参数和硬件实现上行为不同。验收应固定产品版、API、索引定义和工作负载,而不是只写算法名。
元数据过滤既决定业务范围,也会改变向量召回
组织、语言、密级和有效期通常必须先限制候选范围。过滤越严格,可搜索集合越小,某些 ANN 策略也越容易找不满结果,因此权限正确性与召回表现要放在一起测试。
过滤字段
把 tenant、主体权限、组织、地域、语言、内容类型、状态、生效失效、产品和来源等级保存为可过滤元数据;不能指望 embedding 编码这些确定条件。
预过滤
在候选搜索期间只遍历符合条件的对象,可保证结果来自允许子集;选择性很高时图遍历可能扩大并增加 CPU 和延迟,需验证产品具体实现。
后过滤
先取无过滤 top-K 再剔除不合格项,延迟较可预测但容易少于 K,并漏掉虽符合条件却未进入原 top-K 的对象;提高候选数只能缓解,不能形成安全保证。
分区或独立索引
对稳定租户、地域或大类别使用分区、partial index 或独立集合,可缩小搜索和隔离影响;代价是更多索引、路由、容量碎片和重建责任。
过滤与 ANN 联合评测
分别用常见、稀有、交叉、无匹配和权限变化条件测结果数量、ANN recall、业务 relevance、P95/P99 延迟和资源,避免只测不带 filter 的理想查询。
安全过滤必须不可绕过
身份和对象授权是硬控制,应在数据访问和返回路径强制执行。向量候选 oversampling、rerank、缓存、父块展开和调试日志都要重复保持同一权限范围。
一条可审计的向量查询要经过范围、表示、候选和回源
从用户原话到最终证据,中间会经过查询处理、向量化、过滤、近邻搜索和原文回取。每一步都保留输入输出,才能解释一条内容为什么出现,也能发现错误发生在哪一层。
确认信息需要
保留原 query,识别对象、时间、语言、身份、精确编号、否定和期望证据;纯标识或严格字段问题应路由到 exact/structured/lexical 方法,不强行向量化。
选择集合和字段
按用途选择知识库、索引版和向量字段,先执行 tenant、权限、有效期与删除约束;多库路由错误会比距离参数造成更根本的漏检。
生成查询向量
按固定模型、task type、前缀、语言和输入限制生成,验证维度、归一化、空值、截断和服务版;保存 query hash、模型响应 ID 和时间,不把敏感原文任意写日志。
执行 nearest-neighbor
使用匹配距离函数和 exact/ANN 索引,记录 filter、K、搜索宽度、probes、分片、timeout 和降级;超时切换算法或集合必须成为可见事件。
扩大与重算候选
量化或子向量索引可先 oversample,再用原始全精度向量重算距离;这修正索引近似误差,不会自动修正 embedding 的业务误差。
融合与重排
按需要加入 lexical、规则或其他向量字段,通过 rank fusion 或经验证的校准合并,再用 cross-encoder、业务规则或人工复核精排;保留各阶段排名。
回到原对象
去重并展开父块、邻接内容或结构记录,重新检查权限和有效期,返回 source、版、位置、匹配单元和限制;向量数组与内部图节点不作为用户证据。
判断充分与停止
检查问题所需事实、条件、例外和来源是否齐全;邻近但不支持结论、来源冲突、资料不足、权限拒绝或链路异常时限制回答和外部动作。
Top-K 和相似度阈值控制候选量,不直接定义可回答性
相似度高说明表示接近,不说明事实完整;超过阈值也可能只命中问题的一半。候选数量与回答条件应分开管理,后者还要检查来源、时点、冲突和证据覆盖。
K 的两层含义
索引内部可搜索或 oversample 较大候选集,最终只交付较小 top-K。两者分别影响 ANN recall、重排成本、上下文噪声和延迟,必须分开记录。
阈值与排序
top-K 保证数量但可能返回不相关项;阈值限制最低邻近程度但可能返回不足 K。可组合使用,并为“无候选”设置明确状态。
去重与多样性
同一文档的重叠 chunk 或模板副本可占满前列。按来源、父对象或相似簇去重,并在多证据任务中控制来源和主题覆盖,不能仅保留最高分重复项。
父子展开
用于匹配的小 chunk 可在命中后展开为父条款或邻居,但展开内容必须继承同一来源、版和权限,并重新验证是否把无关或越权内容带入。
可比性限制
不同字段、模型、集合、距离、量化和产品转换后的分数不能直接设统一阈值;多路结果优先按 rank 或经标注校准融合。
业务停止另行定义
即使向量分数超过阈值,金额、授权、合规、人员身份和外部操作仍需结构化事实、规则或人工确认。可回答性由证据与风险决定,不由一个 cosine 值决定。
要把表示质量、ANN 近似、业务相关性和最终任务分开评测
最终答错并不能告诉你是嵌入不懂语义、ANN 漏了邻居,还是重排和生成出了问题。分层评测让每一项变化都有对应指标,也避免一个端到端分数掩盖互相抵消的错误。
评测快照
固定 source 内容、chunk、metadata、权限、embedding 模型和 task type、维度、归一化、距离、索引与参数;内容或模型变化后旧结果不再是同一实验。
ANN recall
以同一快照和距离函数的 exact KNN top-K 为真值,测 ANN 返回其中多少项;同时报告 K、filter、参数、硬件、并发和数据规模。
业务相关性
由有权领域人员对代表 query 的候选标注相关、部分相关、不相关、失效、越权或不足,使用 Precision@K、Recall@K、MRR、nDCG 和 evidence coverage;exact 最近邻也可能业务不相关。
困难与反例
覆盖同义改写、跨语言、行业术语、错别字、精确编号、否定、数值、时间、例外、相近但错误主题、重复模板、无答案和恶意 query。
过滤和隔离
在常见和高度选择性的 tenant、角色、地域、状态及时间 filter 下测召回、返回数和越权率;权限泄漏目标必须为零,不能用平均 relevance 抵消。
端到端任务
继续检查正确来源是否被引用、回答是否完整忠实、资料不足能否停止、人工接手和业务任务是否完成;把 embedding、ANN、rerank、context 和生成错误逐层定位。
外部 benchmark 的边界
ANN-Benchmarks 和十亿级挑战有助于比较算法的 recall—QPS 取舍,但公开向量分布、硬件和查询与本项目不同,不能直接当生产容量或质量承诺。
向量检索的性能是 recall、延迟、吞吐、内存、构建和新鲜度的共同边界
只追求毫秒级响应,可能牺牲召回或让更新长期积压;只追求召回,又可能超出成本和并发边界。性能验收需要在预期负载下同时观察质量、资源和数据新鲜度。
查询延迟
分别测 query embedding、路由、filter、ANN、重算、融合、rerank、回源和网络的 P50/P95/P99,区分冷启动、缓存命中、单 query 与 batch。
吞吐与并发
报告目标查询组合下的成功 QPS、排队、timeout 和降级,不用大 batch 的最高吞吐代表交互延迟;写入、重建和查询并行时也要测试。
搜索质量曲线
调节 efSearch、probes、搜索节点、候选数和 oversampling,绘制 ANN recall 与延迟/QPS 曲线;参数只在明确数据、K 和过滤分布下有效。
内存与存储
计入原向量、压缩向量、图边、聚类中心、metadata、对象副本、WAL/日志和重建双份空间。维度乘 float 字节只是下限,不是完整容量。
索引建设
测 embedding 生成、批量加载、训练、图构建、压缩、分片复制和验证时间,以及失败恢复;模型升级时可能需要新旧索引并存和切换窗口。
更新与新鲜度
从 source 变化到向量可查、删除或权限变化到所有副本不可见分别设 SLI;高写入、删除墓碑或分布漂移可能使索引质量和资源逐渐变化。
单任务成本
合并 embedding 调用、向量存储、内存/CPU/GPU、查询、重排、网络和运行维护成本,并联动成功任务和质量,不能只按每百万向量报价。
向量不是匿名数据,生产运营要保护内容、查询、索引和版本
原文转成数字后仍可能泄露语义、成员关系和敏感属性,查询日志也会暴露用户意图。向量、元数据、原文映射、凭证和备份都应按真实数据资产治理。
按原内容分类
embedding 会保留有用语义,研究已证明特定条件下可从文本向量恢复大量原文。不要把向量当脱敏结果;继承源内容的密级、地域、保留和访问限制。
保护 query
用户查询可能暴露病情、客户、交易或调查意图。最小化日志,分离调试与审计用途,限制 embedding provider、搜索服务和分析工具对原文与向量的访问。
租户和对象授权
身份在服务端解析,filter 由可信策略生成;索引、缓存、父块、备份和导出都保持隔离。共享 ANN 图还可能让租户数据分布影响他方 recall 与速度,应评估分区或独立索引。
内容完整性
恶意或错误文档进入向量空间后仍可被召回。保留来源校验、批准状态和不可信内容隔离,检索到的提示命令不得改变系统规则或触发工具。
秘密与密钥
不索引口令、token、私钥和无业务必要的敏感字段;embedding、存储和检索凭证按最小权限轮换,避免把管理 key 暴露到客户端。
删除与撤回
删除 source 时同时处理 chunk、向量、图节点、量化 code、cache、backup 和导出。记录传播时限并做 negative query 验证,不能以主表删除成功代替全链清除。
版本和变化
监测内容量、向量范数、语言、重复率、filter 选择性、ANN recall、无结果、延迟和权限拒绝;模型、输入处理、索引、参数或产品版变化都需新组合回归和可回滚发布。
可重建和退役
保存获准 source、处理配方、模型许可与版本、索引定义、参数、评测集和发布记录,使索引可重建;退役时停止流量、撤销连接、处置 provider 副本并移交已知限制。
采购知识库的向量检索例子
以下为说明检索合同和验证方法的架空例,不代表客户知识库、真实制度、模型、阈值、参数、性能或选型。
任务范围
员工用自然语言查找当前采购制度、操作手册和批准 FAQ;供应商 ID、本人申请状态和审批权从受权结构化系统查询,不把精确事实交给向量近邻决定。
向量对象
制度按条款父子块、手册按完整步骤、FAQ 按批准问答生成 document vector,分别保存 source、版、位置、有效期、组织、角色、语言和模型处理版。
查询处理
“外地出差买设备要什么附件”保留原文并解析地域、采购类型和附件意图,用 query task type 生成向量;同时把“外地”“设备”作为可解释 lexical 信号。
范围过滤
先限定本人组织、可见密级、当前有效内容和中文集合,再执行 ANN;高度选择性权限下与 exact filtered KNN 比较,防止 post-filter 少结果。
候选和重排
向量通道取 V 个候选,全文通道取 L 个候选,经 rank fusion 去重后用 query—条款相关性重排,并展开父条款的定义、前提和例外;V、L 和最终 K 均为待实验变量。
停止条件
命中只有培训旧版、制度与 FAQ 冲突、附件表缺失、来源过期、组织越权或证据不覆盖问题全部条件时,说明限制并停止确定性回答和采购提交操作。
评测
对口语、术语、错字、精确制度号、否定、历史版、例外、无答案、越权和相似错误主题,分别测 embedding relevance、ANN recall、filter、rerank、引用、回答、延迟和成本。
交接
移交 source/chunk/vector catalog、模型与 task type、输入处理、维度和距离、索引和 filter、K/阈值、exact 基准、相关性 label、性能容量、安全、重建、删除及已知空白。
企业 AI 和 RAG 用向量检索生成候选,但不能把相似度当证据
向量检索最适合扩大候选范围,让不同说法有机会相遇。到了生成阶段,系统仍需回到获准原文核对条件和例外;距离分数可以帮助排序,却不能替来源承担事实责任。
先路由再向量化
定义、解释和近义表达适合向量通道;订单号、金额、当前状态、计算和授权适合 exact、lexical、structured 或 live tool。Agent 应从获准工具中选择,不把所有问题塞进同一 vector store。
保留混合基线
专名、缩写、条款号、否定和稀有实体常需要 lexical 信号。向量、全文、稀疏、规则的组合在同一 query/label 上比较,不能把 vector-only 当默认先进方案。
分开诊断层级
先看正确对象是否在 source,再看解析和 chunk、embedding exact KNN、ANN 近似、filter、fusion/rerank、context,最后看模型生成;错误答案不能自动归因于模型或向量库。
上下文不等于 top-K
模型 context 应从候选中去重、展开父块、补充条件例外、按问题选择并保留精确引用。直接拼接前 K 个 chunk 会增加重复、噪声、越权和位置偏差。
很像,只能说明值得继续核对
一段内容可能与问题高度相似,却漏掉适用地区、有效日期或关键例外。生成前要回到原文逐项核对事实、条件、时点和来源;只覆盖部分问题、资料相互冲突或已经过期时,应明确不足并停止高风险结论与工具动作。
提示注入仍然存在
embedding 不会消除恶意文档中的指令。检索文本作为不可信数据与 system/tool 指令隔离,工具参数通过 schema、权限、业务规则和人工确认。
保存完整组合版
回放需包含原 query、改写、身份、集合、source/chunk、embedding、向量字段、距离、index/filter、候选、fusion/rerank、context、prompt、model 和 tool 版本。
持续评测变化
内容、chunk、embedding、索引、权限、reranker、模型或 prompt 任一变化都可能改变答案;使用独立测试数据回归 relevance、ANN recall、引用、拒答、安全、延迟和任务结果。
向量检索与相邻概念的区别
嵌入负责生成表示,向量数据库负责存取和近邻搜索,RAG 则还包含上下文与生成。把这些概念分开,才能针对模型、索引或回答各自定位问题。
| 概念 | 与向量检索的边界 |
|---|---|
| 嵌入/Embedding | 把对象转换成向量表示的模型和过程;向量检索还需要集合、距离、索引、过滤、候选和回源。 |
| 向量数据库 | 存储、索引、查询和运营向量及元数据的产品类别;向量检索也可由搜索引擎、数据库扩展或专用库完成。 |
| 语义搜索 | 按含义而非只按字面帮助用户找内容的能力,可使用向量、稀疏表示、知识图谱、query 改写或 reranker;不必等于向量检索。 |
| KNN | 给定 query vector 返回最近 K 个对象的问题或精确方法;向量检索还规定对象合同、权限、结果和业务使用。 |
| ANN | 通过只探索部分空间近似最近邻的一类算法,以 recall 换速度或资源;不是所有向量检索都必须近似。 |
| HNSW | 一种多层邻近图 ANN 索引;它不定义 embedding、业务相关性、权限、融合、重排或 RAG。 |
| Vector index | 支持相似度查询的具体数据结构和配置;原内容、向量和索引应分别管理,索引通常可以重建。 |
| 混合检索 | 组合向量与全文、稀疏、结构化或其他通道并融合结果;向量检索只是其中一个候选通道。 |
| 重排 | 对较小候选集使用更精细模型或规则重新排序,通常发生在向量 ANN 后;它不能找回未被候选阶段召回的内容。 |
| 相似度阈值 | 在一个固定空间和任务里筛选邻近候选的参数,不是正确率、可信度、授权或证据充分性阈值。 |
| RAG | 检索、上下文组装和生成模型结合的完整模式;向量检索常用但不是 RAG 的必要或充分条件。 |
依据与适用边界
本文解释企业搜索、知识库和 AI RAG 项目中的向量检索:把查询和候选对象表示为同一向量空间中的数值向量,按指定距离或相似度找出邻近候选的检索方式。它不是嵌入模型、向量数据库、语义搜索、近似最近邻、HNSW、混合检索、重排、文档切分、知识库或完整 RAG 系统的同义词;这些分别是表示方法、存储产品、用户能力、算法类别、索引结构、组合策略、后续步骤、内容处理、知识集合或完整应用。最近向量只说明特定模型、输入处理、距离函数和索引版本下的邻近关系,不证明内容真实、权威、获准、最新、充分或可直接用于决定。不存在跨模型、跨集合、跨语言和跨任务通用的相似度阈值、维度、Top-K、索引参数或“最佳向量数据库”。本文不完整定义嵌入训练、向量数据库产品架构、全文与混合检索、重排模型、GPU/CPU 内核优化、数据库调优、隐私安全制度或具体云产品配置,正式方案须用获准数据和代表任务验证。
- Google Cloud 文本嵌入:dense vector、语义匹配、归一化向量、任务类型、输入 token 限制与可关闭的自动截断
- Microsoft Azure AI Search 向量相关性:exact KNN、HNSW ANN、同一 embedding 空间、cosine/dot product/euclidean 与分数转换
- Microsoft Azure AI Search 向量过滤:pre-filter、post-filter、分片 top-K、选择性对 false negative、延迟和吞吐的影响
- Microsoft Azure AI Search 向量量化:scalar/binary compression、oversampling、保留原向量和 rescoring 以缓解有损压缩
- Amazon OpenSearch Service 向量搜索:embedding 相似度、exact 与 approximate k-NN、HNSW 及大规模语义检索
- pgvector 官方文档:exact nearest neighbor、HNSW、IVFFlat、距离算子、filter、iterative scan、multitenancy、量化和原向量重排
- Malkov 与 Yashunin HNSW 原始论文:多层邻近图、分层导航、候选连接和高 recall 近似最近邻
- Jégou、Douze 与 Schmid Product Quantization 原始论文:子空间量化、短 code、近似距离、inverted file 和十亿级向量
- Johnson、Douze 与 Jégou Faiss/GPU 原始论文:exact、approximate、product-quantized 相似度搜索和 GPU k-selection
- Aumüller、Bernhardsson 与 Faithfull ANN-Benchmarks 原始论文:统一数据、参数和质量—性能取舍评测
- NeurIPS 2021 十亿级 ANN 挑战结果:以查询吞吐约束下的 recall 比较十亿向量、过滤和流式等不同赛道
- Thakur 等 BEIR 原始论文:跨领域、query、corpus 和任务评测 sparse、dense、late-interaction 与 reranking 的 zero-shot 泛化
- Morris、Kuleshov、Shmatikov 与 Rush 文本嵌入反演原始论文:embedding 可能泄露和恢复原文及个人信息,不能视为匿名化