企業AIプロジェクトWiki · データ・知識・モデル
ベクトル検索
別名Vector search · Vector retrieval · Dense retrieval · Similarity search · ベクトル検索 · 意味ベクトル検索 · ANN 検索 · 向量检索
ベクトル検索とは、query を索引済み対象と互換な vector 表現へ変換し、明示した集合、版、権限及び時間範囲内で、規定した距離又は類似度による exact 又は approximate nearest-neighbour search を行い、元対象の ID、来歴、metadata 及び検索記録を伴う候補を返す処理である。管理可能な一版では、embedding model と task mode、input 処理、vector 次元と数値型、normalisation、距離関数、index algorithm と parameter、filter 方法、候補数及び元内容版を少なくとも固定する。
ベクトル検索は表現空間の近傍を探し、事実や回答を直接決めない
ベクトル検索は、言い方が違っても意味の近い内容を探すことに向く。ただし測るのは表現間の距離であり、規程が現行か、数値が正しいか、類似度だけで回答してよいかまでは判断しない。
「出張精算に必要な資料は何か」という問いと、「経費申請には旅程及び有効な領収書を添付する」という規程文は共通語が少なくても意味が近い。embedding model は query と内容を数値化し、学習目的上似た対象を vector 空間で近くする。ベクトル検索は近傍を探し、その背後の文書、画像、商品又は record を返す。
近さは確定した表現契約の中だけで成立する。同じ文章でも model、task type、truncation、normalisation 又は距離関数を変えると座標と順位が変わり得る。旧文書 vector と新 query vector が互換空間にない場合、数値を計算できても関連性を説明できない。
最近傍は候補で、検証済み事実ではない。誤り、失効、権限外又は似た主題だけの内容も近くなり得る一方、ID、金額、否定、例外及び正確な固有名は純粋な意味空間で弱くなり得る。企業検索には権限、有効期、権威情報源、lexical signal、rerank、証拠十分性及び停止規則が残る。
各 vector を元対象と生成契約へ結び付ける
ベクトル単体は数値列にすぎず、元情報と生成方法がなければ説明しにくい。本番では各ベクトルを具体的な内容、版、項目、モデル、処理工程へ戻せるようにし、更新、削除、再現を可能にする。
対象・vector ID
source、文書、chunk、画像又は record に安定 ID を与え、各 vector に別 ID を与える。一対象が本文、title、画像、言語又は task ごとの複数 vector を持てるため、array 位置だけで対応させない。
元内容位置
source ID、版、頁・節又は record key、見出し path、文字・要素範囲、checksum、撤回状態を保存する。結果は読めて引用可能な元内容へ戻り、vector 自体を本文証拠にしない。
model・task mode
provider、正確な model ID/版、query/document その他の task type、input prefix、言語、modality を記録する。dual encoder は両側で違う指示を使えても一つの互換契約に従う。
input 処理
parse、cleaning、見出し追加、summary・contextual text、大文字小文字・Unicode、truncation、tokenizer、input 上限、空値処理を記録する。API の silent truncation は保存文と実 embedding を食い違わせる。
vector 形式
dense、sparse 又は binary、次元、float32/float16 又は量化形式、normalisation、zero/invalid vector 処理を記録する。index field の次元は model output と一致させる。
検索構成
metric、exact/ANN mode、index 種類・parameter、shard・replica、filter 時機、候補数、閾値、oversampling、原 vector rescoring、rerank を固定する。
権限・時点 metadata
tenant、組織、role、対象権限、機密区分、地域、状態、発効・失効、削除 marker を vector と保存し、source と同じ更新責任を持つ。
処理・公開時刻
embedding、write、index 可視、削除伝播、構成公開の時刻を記録し、内容承認、vector 生成、index 完了、検索承認を別状態にする。
query と候補が本当に互換な embedding 空間にあるか確認する
次元数が同じでも、異なるモデル、タスク接頭辞、正規化方法から作られた可能性がある。互換性のない表現でも結果は返るが、その距離には信頼できる意味がない。
同一 model 版
通常、model A の文書 vector と model B の query vector は比較できない。同一次元でも座標意味は同じでない。model 更新は原則として新 index と回帰証拠を要する。
task role の組合せ
一部 model は RETRIEVAL_QUERY と RETRIEVAL_DOCUMENT を別最適化し、query:/passage: prefix を要求する。同一契約に従うことは両側の文字列を同じにすることではない。
modality・cross-modal
text—text、image—image、text—image は model が共有空間を明示的に学習した場合だけ検索できる。別々の modality model の vector を一 field に置いても比較可能にならない。
言語範囲
multilingual model も低資源言語、業界略語、混在表記で劣化し得る。実際の言語 pair と用語で検証し、「多言語対応」から同等品質を推定しない。
次元・truncation
次元削減又は truncatable embedding は model が許す方法と normalisation で使う。低次元は保存、速度、品質を変える独立版で、lossless compression ではない。
分布変化
内容種類、長さ、template、言語、entity、query 分布が変わると近傍も変わる。似た template の大量追加は model 不変でも上位を占有し得る。
空間間で score を比較しない
別 model、field、集合又は normalisation の 0.8 は同じ意味を持たない。channel 結合は raw score 直比較でなく、検証済み rank fusion、calibration 又は rerank を使う。
cosine、dot product、Euclidean 距離を model と index に合わせる
距離指標は表示上の選択肢ではない。モデルの学習方法、ベクトル正規化、索引の順位方式が一致しなければ、候補順が変わり、既存の閾値も同じ意味を持たなくなる。
| metric | 意味と境界 |
|---|---|
| cosine similarity | vector の角度を比べ magnitude 影響を弱める。数学上は通常 -1〜1 だが、製品が cosine distance を別 search score へ変換する場合があり、閾値前に返却値の意味を確認する。 |
| dot/inner product | 方向と magnitude の双方に依存する。unit normalised vector では cosine と同じ順位だが、未正規化時の長さは model の意図的 signal 又は不要 bias になり得る。 |
| Euclidean/L2 distance | 座標差 vector の長さで、小さいほど近い。unit vector では cosine と同順位になり得るが、raw 値と大小方向は異なる。 |
| その他 | binary vector には Hamming・Jaccard、一部 system には L1 がある。data 型、学習目的、index operator に合わせ、製品対応だけで切り替えない。 |
distance と similarity
similarity は大きいほど近く、distance は小さいほど近いことが多い。DB が順位用に負の内積を返し、検索 service が距離を単調変換することもある。API field と表示意味を契約へ書く。
score は確率でない
0.82 は「82% 正しい」「82% 関連」ではない。一空間の近傍 signal であり、query、集合規模、重複、model で分布が変わる。
task の誤差費用から閾値を導く
label 付き正例、hard negative、無回答、越権例の score 分布を調べ、漏検と誤検の影響から決める。query・集合分類ごとに異なる規則もあり得る。
近傍間 gap
一位と後続が同程度なら曖昧、重複又は複数解釈を示し得る。絶対 score が高くても有効 source が競合すれば決定できない。
exact KNN と ANN は真の K 最近傍を保証するかが異なる
規模が大きいと全ベクトル比較は遅いため、ANN は一部の再現率と引き換えに速度と容量を得る。その取捨は exact KNN を基準に測り、遅延が下がっただけで真の近傍が保たれたとは見なさない。
| 方式 | 用途と費用 |
|---|---|
| exact KNN/exhaustive | 許可集合の全 vector と距離を計算して真の K 最近傍を返す。小集合、精度優先、ANN ground truth に使えるが、規模、次元、query 数が増えると計算・帯域費用が高い。 |
| approximate nearest neighbour/ANN | graph、partition、quantisation 等で空間の一部だけを調べ、少数の近傍漏れと引換えに遅延、throughput、保存を改善する。近似度は data、filter、parameter、hardware、更新状態に依存する。 |
ANN recall は exact KNN の最近傍を何件再現したかを指す。一方、業務検索の Recall は関連証拠を何件返したかである。embedding 空間の最近傍をほぼ完全再現しても、embedding、chunk 又は source coverage が誤れば業務証拠を漏らす。
vector 件数だけで exact/ANN を選ばない。次元、同時 query、filter 選択性、更新率、K、tail latency、memory、GPU/SSD、許容漏れ、再構築 window を見る。小さく強 filter の集合は exact、大規模高 throughput は ANN 又は分層設計が適することが多い。
index 構造は recall、遅延、memory、構築、更新を異なる形で取捨する
索引構造は探索範囲だけでなく、メモリ、増分更新、再構築費用も左右する。単発照会の速度だけでなく、データ規模、絞り込み方、新鮮度要件から選ぶ。
Flat/brute force
原 vector を保存し全件比較する exact 方式。単純で更新しやすく、baseline、小集合、強 filter 後の subset に向き、batch、SIMD、GPU でも高速化できる。
HNSW
多層近傍 graph を作り、疎な上層から密な下層へ navigation する。m、efConstruction、query breadth が graph 品質、build、memory、write、recall に影響し、削除の多い運用では tombstone と graph 劣化も試す。
IVF/partition index
cluster center で vector を list に分け、query に近い list の一部だけを probe する。list 数、training sample、probes が速度と漏れを左右し、分布 drift や少ない build data は品質を下げる。
Product Quantization
vector を低次元 subspace に分け短い量化 code にし、memory・bandwidth を削減し、IVF と組み合わせることが多い。有損なので oversampling と原 full-precision vector rescoring で許容性を確認する。
scalar・binary quantisation
float32 を低精度値又は bit にし memory・disk を減らす。原 vector を残すかで節約量が変わり、品質は model・data に依存する。圧縮率を検索証拠にしない。
disk・tiered index
navigation・圧縮構造を memory、追加 vector を SSD に置き容量を増すが、I/O、cache warm-up、tail latency が加わる。実 cold/warm 状態で試す。
複数 field・index
title、本文、画像、言語を別 vector field として並列 query できるが score は自然に比較できない。候補 budget、fusion、dedupe、最終 rerank を定める。
製品名は algorithm 契約でない
同名 HNSW/IVF でも shard、filter、update、quantisation、default、hardware 実装が異なる。受入では製品・API 版、index 定義、workload を固定する。
metadata filter は業務範囲を決めると同時に vector recall を変える
組織、言語、機密、有効期間は通常、候補範囲を先に制限する。絞り込みが強いほど探索集合が小さくなり、ANN が件数を満たせない場合もあるため、権限正確性と再現率を一緒に試す。
filter field
tenant、主体権限、組織、地域、言語、内容種類、状態、発効・失効、製品、source 等級を filterable metadata にする。確定条件を embedding だけに符号化させない。
prefilter
候補 traversal 中に適格対象だけを探し、許可 subset 内の結果を得る。高選択 filter は graph 探索を広げ CPU・遅延を増やし得るため、製品実装を検証する。
postfilter
無 filter top-K 後に不適格を除く。遅延は予測しやすいが K 未満となり、原 top-K 外の適格対象を漏らす。候補増は緩和であって security 保証ではない。
partition・独立 index
安定 tenant、地域又は大分類を partition・別集合にすると範囲と影響を分離できるが、index 数、routing、容量断片、再構築責任が増える。
filter と ANN の共同評価
一般、稀、交差、空、権限変更条件で結果数、ANN recall、業務 relevance、P95/P99 遅延、資源を測る。無 filter の理想 query だけでは足りない。
security filter は迂回不可
本人性・対象認可は data access と返却で強制する hard control である。oversampling、rerank、cache、親展開、debug log も同じ範囲を維持する。
監査可能な vector query は範囲、表現、候補、回源を順に通る
利用者の言葉から最終根拠までには、問いの処理、ベクトル化、絞り込み、近傍探索、原文取得がある。各工程の入出力を残せば、なぜ内容が現れたか、どの層で誤ったかを説明できる。
情報要求を確認
原 query を残し、対象、時間、言語、本人性、exact ID、否定、必要証拠を識別する。ID・厳密 field 問題は exact、structured、lexical へ route し、無理に vector 化しない。
集合・field 選択
用途で知識ベース、index 版、vector field を選び、tenant、権限、有効期、削除範囲を適用する。誤集合検索は距離 parameter より根本的な失敗である。
query vector 生成
固定 model、task type、prefix、言語、input limit で生成し、次元、normalisation、空値、truncation、service 版を確認する。機微原文を不要に log せず hash、response ID、時刻を残す。
nearest-neighbour 実行
対応 metric と exact/ANN index を使い、filter、K、search breadth、probes、shard、timeout、fallback を記録する。timeout による algorithm・集合切替は可視 event にする。
候補拡大・再計算
量化・subvector index は oversample 後に原 full-precision vector で距離を再計算できる。これは近似誤差を直すが embedding の業務誤差は直さない。
fusion・rerank
lexical、規則、他 vector field を必要に応じ追加し、rank fusion 又は label 済み calibration で結合後、cross-encoder、業務規則又は人で精密順位を行い、段階別順位を残す。
元対象へ戻す
dedupe、親・隣接・構造 record 展開後に権限と有効性を再確認し、source、版、位置、match 単位、制約を返す。内部 vector array・graph node は利用者証拠でない。
十分性・停止
必要な事実、条件、例外、source を確認する。近いだけで結論を支えない、競合、不足、拒否又は chain 障害なら回答と外部操作を制限する。
Top-K と類似度閾値は候補量を制御し、回答可能性を決めない
類似度が高いのは表現が近いという意味で、事実の完全性ではない。閾値を超えても問いの半分しか扱わないことがある。候補量と回答条件を分け、後者では出典、時点、競合、網羅性も確認する。
K の二層
index 内部で大きい候補を探索・oversample し、最終は小さい top-K を渡せる。ANN recall、rerank 費用、context noise、遅延への影響が別なので分けて記録する。
閾値・順位
top-K は件数を満たすが無関連を含み得る。閾値は最低近傍度を課すが K 未満になり得る。組合せも可能で、無候補状態を定義する。
dedupe・多様性
overlap chunk や template 副本が全上位を占め得る。source、親又は similarity cluster で重複を除き、多証拠 task では source・topic coverage を制御する。
親子展開
matching 用小 chunk を親条項・隣接へ展開できるが、source、版、権限を継承し、無関係又は越権内容の追加を再確認する。
比較可能性
別 field、model、集合、metric、quantisation 又は製品変換 score に共通 raw 閾値を置かない。multi-route fusion は rank 又は label calibration を使う。
業務停止は別規則
vector 閾値超過でも金額、権限、compliance、本人性、外部操作には structured fact、規則又は人の確認が要る。回答可否は証拠と risk で決める。
表現品質、ANN 近似、業務関連性、最終 task を分けて評価する
最終誤答だけでは、埋め込みが意味を捉えなかったのか、ANN が近傍を漏らしたのか、再順位付けや生成が失敗したのか分からない。層別評価なら変更ごとに対応する指標を持てる。
評価 snapshot
source、chunk、metadata、権限、embedding model/task、次元、normalisation、metric、index、parameter を固定する。内容・model 変更後は別実験である。
ANN recall
同一 snapshot・metric の exact KNN top-K を真値とし、ANN が何件再現したか測る。K、filter、parameter、hardware、同時数、data 規模も報告する。
業務 relevance
権限ある専門家が関連、部分関連、無関連、失効、越権、不足を label し、Precision@K、Recall@K、MRR、nDCG、evidence coverage を使う。exact 近傍も業務無関連になり得る。
難問・negative
paraphrase、多言語、業界語、誤字、ID、否定、数値、時点、例外、似て誤った主題、重複 template、無回答、越権、悪意 query を含める。
filter・隔離
一般・高選択の tenant、role、地域、状態、時点 filter で recall、件数、越権率を測る。権限漏えいはゼロ目標で、平均 relevance で相殺しない。
end-to-end task
正しい source 引用、回答の完全性・忠実性、不足停止、有人移管、task 完了を確認し、embedding、ANN、filter、rerank、context、生成へ誤差帰属する。
外部 benchmark 境界
ANN-Benchmarks や十億規模 challenge は recall–QPS 取捨比較に役立つが、vector 分布、hardware、query が案件と異なり本番保証にできない。
性能は recall、遅延、throughput、memory、構築、鮮度の共同境界である
ミリ秒だけを追えば再現率や更新待ちを犠牲にし、再現率だけを追えば費用や同時実行限界を超え得る。想定負荷の下で品質、資源、データ鮮度を同時に確認する。
query 遅延
query embedding、routing、filter、ANN、rescoring、fusion、rerank、回源、network の P50/P95/P99 を分け、cold start、cache hit、単 query、batch を区別する。
throughput・同時数
対象 mix で成功 QPS、queue、timeout、degrade を報告する。大 batch の最大 throughput は対話遅延ではない。write・rebuild と query の同時実行も試す。
品質—速度曲線
efSearch、probes、visit node、候補数、oversampling を変え ANN recall と latency/QPS を描く。parameter は明示 data、K、filter 分布にだけ有効である。
memory・storage
原・圧縮 vector、graph edge、centroid、metadata、object 副本、WAL/log、rebuild 二重領域を含める。次元×float byte は下限にすぎない。
index 構築
embedding 生成、load、training、graph build、圧縮、shard 複製、検証、失敗復旧を測る。model 移行は旧新 index の並存を要し得る。
更新・鮮度
source 変更から検索可能、削除・権限変更から全 replica 不可視までを別 SLI にする。高 write、tombstone、drift は index 品質・資源を変え得る。
成功 task 単価
embedding call、vector storage、CPU/GPU/memory、query、rerank、network、運用を task 成功・品質と結合する。百万 vector 単価だけでは総費用でない。
vector は匿名 data ではなく、内容・query・index・版を保護する
文章を数値に変えても、意味、所属、属性の漏えい可能性は消えず、検索ログは利用者の意図を示す。ベクトル、メタデータ、原文対応、認証情報、バックアップを実データ資産として扱う。
source と同じ分類
embedding は有用な意味を保持し、研究では条件下で相当な原文が復元された。masking と見なさず、source の機密、地域、保留、access control を継承する。
query 保護
query は病状、顧客、取引、調査意図を示し得る。log を最小化し debug・audit 用途を分け、embedding provider、検索、分析 service の原文・vector access を制限する。
tenant・object 認可
本人性は server 側で解決し filter は trusted policy から作る。index、cache、親内容、backup、export も隔離する。共有 ANN graph は他 tenant の recall・速度へ影響し得るため partition・別 index を評価する。
内容完全性
悪意・誤文書も embedding 後に検索される。source checksum・承認状態を保ち、内容を不可信 input とし、検索命令に system rule 変更や tool call を許さない。
secret・credential
password、token、private key、不要な機微 field を索引しない。embedding、storage、search credential を最小権限で rotation し、admin key を client へ出さない。
削除・撤回
source chunk、vector、graph node、量化 code、cache、backup、export を処理し、伝播期限と negative query を確認する。主 table delete 成功だけで全 chain 消去としない。
版・変更
内容量、vector norm、言語、重複率、filter 選択性、ANN recall、未検出、遅延、権限拒否を監視する。model、input、index、parameter、製品変更は回帰済みで rollback 可能な組合せ版にする。
再構築・退役
承認 source、処理 recipe、model license・版、index 定義、parameter、評価 set、release 記録を残して再構築可能にする。退役では traffic 停止、接続失効、provider 副本処置、既知制限移管を行う。
調達知識ベースのベクトル検索例
以下は検索契約と検証を示す架空例で、顧客知識ベース、実制度、選定 model、閾値、parameter、性能又は標準技術案ではない。
task 範囲
社員が自然言語で現行調達制度、手順、承認 FAQ を探す。仕入先 ID、本人申請の live 状態、承認権限は受権 structured system から取り、vector 近傍で決めない。
vector 対象
制度は条項親子 chunk、手順は完整 step、FAQ は承認 Q&A を document vector にし、source、版、位置、有効期、組織、role、言語、処理版を保持する。
query 処理
「出張先で設備を買う時の添付は何か」は原文を残し、地域、購入種類、添付意図を解析して query task type で vector 化し、「出張」「設備」は lexical signal にも残す。
範囲 filter
本人組織、可視機密、現行内容、日本語集合へ限定後に ANN を行う。高選択権限は exact filtered KNN と比べ post-filter starvation を検出する。
候補・rerank
vector V 件、全文 L 件を rank fusion・dedupe し、query—条項関連で rerank 後、親の定義、前提、例外を展開する。V、L、最終 K は実験変数である。
停止条件
旧研修のみ、制度と FAQ の競合、添付表欠落、source 失効、組織越権、証拠が一部条件だけなら制約を示し、確定回答と申請操作を止める。
評価
口語、専門語、誤字、制度番号、否定、履歴、例外、無回答、越権、似て誤った query で embedding relevance、ANN recall、filter、rerank、引用、回答、遅延、費用を測る。
引継ぎ
source/chunk/vector catalog、model/task、input 処理、次元/metric、index/filter、K/閾値、exact baseline、relevance label、性能、安全、再構築、削除、既知空白を移管する。
企業 AI・RAG は vector を候補生成に使い、類似度を証拠にしない
ベクトル検索は候補範囲を広げ、異なる言い方を出会わせる用途に強い。生成時には許可された原文へ戻って条件と例外を確かめる必要があり、距離スコアは順位を助けても事実責任は負えない。
vector 化前に route
定義・言換えは vector、ID、金額、現状態、計算、権限は exact、lexical、structured、live tool に向く。Agent は承認済み tool から選び、全問を一 vector store へ入れない。
hybrid baseline を残す
固有名、略語、条項番号、否定、稀 entity は lexical signal を要する。vector、全文、sparse、規則を同一 query/label で比較し、vector-only を自動的な上位案にしない。
層別診断
source 内存在、parse/chunk、embedding exact KNN、ANN 近似、filter、fusion/rerank、context、model 生成の順に確認する。誤答を自動的に model 又は vector store 障害にしない。
context は raw top-K でない
候補を dedupe し、親を展開し、条件・例外を補い、問いごとに選び、精密引用を残す。K chunk の直結は重複、noise、越権、位置 bias を増やす。
よく似ているのは、確認を続ける理由にすぎない
問いと非常に近い文章でも、適用地域、有効日、重要な例外が欠けることがある。生成前に原文へ戻り、事実、条件、時点、出典を項目別に確認する。一部しか覆わない、競合する、失効している場合は不足を示し、高リスクな結論やツール操作を止める。
prompt injection は残る
embedding は悪意文書の命令を消さない。検索内容を system/tool 指示から隔離し、tool parameter を schema、権限、決定的業務規則、人の確認で制御する。
完全組合せ版
原 query、rewrite、identity、集合、source/chunk、embedding、vector field、metric、index/filter、候補、fusion/rerank、context、prompt、model、tool 版を保存する。
変化を継続評価
内容、chunk、embedding、index、権限、reranker、model、prompt の変更は回答を変える。独立 test data で relevance、ANN recall、引用、拒否、安全、遅延、task 結果を回帰する。
ベクトル検索と隣接概念の違い
埋め込みは表現を作り、ベクトルデータベースは保存と近傍探索を担い、RAG はさらに文脈と生成を含む。概念を分けると、モデル、索引、回答のどこに問題があるかを特定しやすい。
| 概念 | ベクトル検索との境界 |
|---|---|
| embedding | 対象を vector 表現へ変換する model・処理。ベクトル検索には集合、metric、index、filter、候補、回源も要る。 |
| vector database | vector・metadata を保存、index、query、運用する製品分類。検索 engine、DB extension、専用 library でもベクトル検索を実行できる。 |
| semantic search | 意味で内容を探す利用者能力で、vector、sparse 表現、知識 graph、query rewrite、reranker を使える。必ずしも vector と同じでない。 |
| KNN | query vector に最も近い K 対象を返す問題又は exact 方法。ベクトル検索は対象契約、権限、結果、業務利用も規定する。 |
| ANN | 空間の一部を探索し近傍 recall と速度・資源を取捨する algorithm 分類。全ベクトル検索が approximate である必要はない。 |
| HNSW | 多層近傍 graph による一 ANN index。embedding、業務 relevance、権限、fusion、rerank、RAG を定義しない。 |
| vector index | 類似度 query を支える data structure・構成。source 内容、vector、index は別管理で、index は通常再構築可能にする。 |
| hybrid retrieval | vector と lexical、sparse、structured その他を組み合わせ融合する。vector は一候補 channel である。 |
| reranking | ANN 後の小候補へ精密 model・規則を適用する。候補段階で漏れた内容を戻せない。 |
| similarity threshold | 固定空間・task 内で候補を絞る parameter で、正しさ、信頼、認可、証拠十分性の閾値ではない。 |
| RAG | 検索、context 組立、生成 model の完全 pattern。ベクトル検索は一般的だが RAG の必要条件でも十分条件でもない。 |
出典と適用範囲
本項は企業検索、知識ベース及び AI RAG 案件におけるベクトル検索を扱う。query と候補対象を同一空間の数値 vector で表し、指定した距離又は類似度で近傍候補を探す検索方式である。embedding model、vector database、semantic search、近似最近傍探索、HNSW、hybrid 検索、reranking、文書チャンキング、知識ベース又は完全な RAG system の同義語ではない。これらはそれぞれ表現方法、製品分類、利用者能力、algorithm 分類、index 構造、組合せ戦略、後段処理、内容処理、管理集合又は完全な application である。近い vector は特定 model、input 処理、距離関数及び index 版での近傍関係だけを示し、内容の真実性、権威、許可、鮮度、十分性又は判断可能性を証明しない。model、集合、言語及び task をまたぐ共通の類似度閾値、次元、Top-K、index parameter 又は「最良の vector database」は存在しない。本項は embedding 学習、vector database 製品設計、全文・hybrid 検索、reranker、CPU/GPU kernel 最適化、DB 調整、privacy/security 制度又は製品設定を完全には定義しない。正式案は承認済み data と代表 task で権限ある案件責任者が確認する。
- Google Cloud text embedding:dense vector、semantic matching、normalised vector、task type、input token 上限、auto truncation 制御
- Microsoft Azure AI Search vector 関連性:exact KNN、HNSW ANN、共有 embedding 空間、cosine/dot product/Euclidean、score 変換
- Microsoft Azure AI Search vector filter:prefilter、postfilter、shard top-K、選択性が false negative・遅延・throughput へ与える影響
- Microsoft Azure AI Search quantisation:scalar/binary compression、oversampling、原 vector、rescoring による有損圧縮の緩和
- Amazon OpenSearch Service vector search:embedding similarity、exact・approximate k-NN、HNSW、大規模 semantic retrieval
- pgvector 公式文書:exact neighbour、HNSW、IVFFlat、distance operator、filter、iterative scan、multitenancy、quantisation、full-vector rerank
- Malkov・Yashunin HNSW 原著:多層 proximity graph、hierarchical navigation、候補接続、高 recall ANN
- Jégou、Douze、Schmid Product Quantization 原著:subspace quantisation、short code、近似距離、inverted file、十億規模 vector
- Johnson、Douze、Jégou Faiss/GPU 原著:exact、approximate、product-quantised similarity search と GPU k-selection
- Aumüller、Bernhardsson、Faithfull ANN-Benchmarks 原著:共通 data、parameter sweep、品質—性能評価
- NeurIPS 2021 十億規模 ANN challenge:billion-vector、filter、streaming track の throughput 制約下 recall
- Thakur ほか BEIR 原著:domain、query、corpus、task をまたぐ sparse、dense、late-interaction、rerank の zero-shot 汎化
- Morris、Kuleshov、Shmatikov、Rush text embedding inversion 原著:embedding から原文・個人情報が復元され得て匿名化ではない