跳到主要内容
自媒科技企业 AI · 项目开发与交付
中文ZH
项目询价
项目询价

企业 AI 项目 Wiki · 数据、知识与模型

文档切分

也常写作Document chunking · Chunking · Text chunking · Content chunking · 文档分块 · 文本切分 · 语义切分

定义

文档切分是把经过解析的源文档转换成一组带稳定身份和来源关系的可检索内容单元的过程。每个内容块应在目标任务下尽量保持一个可理解的主题、事实、规则、步骤或结构单元，并携带足以恢复其文档、版、位置、标题路径、适用范围和访问权的元数据。

文档切分把完整文档变成可检索单元，但不能切断原文责任

一份制度可能有几十页，搜索时却需要在很短时间内找到其中两三段。文档切分解决的正是这一步：让系统能定位局部内容，同时仍能回答这段话来自哪里、适用于谁、是否已经过期。

一份 120 页制度可以作为一个正式文档，却通常不是合适的单次检索结果。用户问某项审批例外时，系统需要找到相关条款、条件和说明，而不是把整份文件全部交给模型。文档切分把解析后的内容组织成更小的检索单元，使搜索能够定位到具体主题和位置。

内容块是源文档的派生表示，不是新的原件。块内文字、标题补充、表格转写、图片说明或模型生成的上下文，都必须能够回到原文版本和位置；若原文撤回、权限变化或解析错误，相关内容块也要同步处理。

切得越小并不一定越准。小块可能更容易匹配一个词，却丢失定义、否定、前置条件、表头或例外；大块保留更多上下文，却可能混入多个主题，降低排序精度并占用模型上下文。切分是在检索精度、语义完整、引用、成本和维护之间做经验证的工程选择。

切分前先确认原件、解析结果和阅读顺序可靠

切分不会修复一份已经解析错乱的文档。页眉混入正文、双栏顺序颠倒或扫描表格漏列，都会被切分流程继续放大，所以应先把输入质量单独验清。

原件身份

确认来源 ID、文件或记录 ID、版、发布和生效时间、所有者、状态、语言、许可和访问范围，避免对个人下载件或失效副本建立正式索引。

文本取得

区分原生文本、OCR、语音转写、图片说明和人工录入。字符可复制不等于文字正确；扫描、旋转、双栏、脚注和特殊字体都可能改变内容。

版面与阅读顺序

识别标题层级、段落、列表、表格、图、页眉页脚、批注、文本框和跨页关系。多栏 PDF 若按坐标错误串行，会把互不相干的句子拼在一起。

结构语义

保留章节、条款、问答、步骤、字段、代码块、表行列和附件关系。切分器只能利用上游识别出的结构，不能在错误解析后恢复原意。

噪声处理

页眉页脚、导航、版权重复语、目录页和扫描水印是否删除须可配置并留记录；误删反复出现的正式警告同样会损坏知识。

解析质量门

对空页、乱码、顺序异常、表格破坏、图片缺说明、附件缺失、语言识别错误和超限文档设置失败或人工复核，不让异常输入静默进入切分。

一个可用内容块不只有正文，还需要身份、位置和适用信息

把一段文字存进向量库并不等于得到一个可管理的内容块。企业场景还需要知道它属于哪份文件、处在什么位置、继承什么权限，以及原件变化后怎样准确撤回。

  1. 稳定块 ID

    使用可重建规则或受控标识区分内容块；重新处理时能够识别保留、新增、修改、移动和删除。

    块 ID 规则、旧新映射、变更清单

  2. 源文档引用

    连接来源 ID、文档版、快照或校验和，明确原件与解析版、清洗版、切分版的派生关系。

    来源链、版号、校验和

  3. 精确位置

    记录页、节、标题路径、段落、字符或元素范围、表格和附件 ID，使用户可打开相应位置并核对。

    定位器、原文锚点、回链测试

  4. 正文与结构

    区分原文内容、重复加入的祖先标题、表头、相邻上下文和机器生成说明，不能把补充文字伪装成原文。

    内容字段、结构字段、派生标记

  5. 适用时间与状态

    继承文档的发布、生效、失效、撤回和历史状态；同一条款跨版本相似也不能丢掉时间边界。

    有效区间、状态、替代关系

  6. 权限和范围

    携带租户、组织、角色、对象、地域、产品、密级和允许用途；检索前使用这些字段过滤。

    权限标签、策略映射、越权测试

  7. 处理版本

    记录解析器、切分器、规则或模型、tokenizer、参数、时间和异常修正，使结果可以重建和比较。

    处理清单、配置版、运行日志

固定长度、句段、结构、语义和父子切分各有适用条件

切分方式没有脱离内容的最佳答案。固定长度便于建立基线，结构切分更贴近制度和手册，父子切分适合兼顾精确召回与完整阅读；真正的选择应由问题和文档来验证。

策略适用方式与限制
不切分把一个文件或已预拆的小对象作为一个检索单元，适合短 FAQ、独立记录或本来就完整的条款；长文档会混合主题、放大成本，也可能失去页级引用能力。
固定字符或 token按最大长度形成近似均匀的块，简单、稳定、成本低，适合结构弱的文本和运行日志；可能切断句子、表格、代码和规则条件。
句子或段落以语言边界组合到目标长度，比硬截字符更自然；依赖正确分句，缩写、列表、中文标点、代码和 OCR 仍会造成误判。
标题与版面结构按章节、条款、列表、表格或幻灯片对象形成块，并在过大时递归拆分；适合手册、政策和复杂 PDF，但依赖版面解析和正确标题层级。
语义切分根据相邻句段的语义变化决定边界，可让每块主题更集中；模型、阈值、语言和内容分布会影响结果，成本更高且变化后不一定稳定。
递归切分依次尝试章节、段落、句子、词或字符等分隔符，直到满足上限；是实用回退方法，但分隔符顺序仍需按文档和语言验证。
父子或 Small-to-Big用小块做精确召回，再返回包含它的较大父块或相邻窗口作为上下文；改善完整性，但须处理多个子块映射到同一父块、去重和上下文预算。
层级摘要树把底层块聚类并逐层形成摘要，支持跨章节、总体和多跳问题；摘要是派生内容，增加生成成本、来源验证和错误传播风险。
上下文化或晚切分在嵌入前给块补充文档语境，或让长上下文嵌入先理解全文再汇聚块表示，缓解孤立片段缺背景；受模型上下文、成本、实现和评测结果限制。

先按文档类型识别不可拆的业务单元，再决定长度

合同条款、操作步骤和价格表的完整性边界并不相同。先找出哪些条件、例外、单位或上下步骤必须一起出现，再讨论字符数和 token 数，通常更接近真实业务。

制度、合同和标准

保留章节—条款—款项层级，条件、义务、例外、定义、交叉引用和附表不能孤立。当前与历史版分别索引，回答时按适用时间过滤。

操作手册和流程

一个任务、前置条件、步骤序列、警告、分支、预期结果和故障处理尽量保持完整；只命中中间一步时补回任务标题和相邻步骤。

FAQ 和知识卡

一个获准问题、回答、适用范围和完整来源通常可作为一个块；相近问法作为检索字段，不复制成多个互相漂移的正式答案。

报告和研究资料

按摘要、方法、结果、限制、图表和结论组织；图表结果不能离开指标、单位、样本、时间和限定条件。跨章节综合问题可能需要父子或层级检索。

网页和帮助中心

去除导航、推荐、页脚等模板噪声，保留页面标题、面包屑、锚点和更新状态；分页与动态内容须能还原同一主题。

邮件、工单和会话

按线程、问题、决定、处理和最终状态切分，保留说话人、时间和引用关系；历史个案不是现行规则，且常含个人与机密信息。

结构化记录

数据库行或 API 对象通常按实体、事件或交易检索，不应先转成长段文字再任意切分。若生成可检索说明，仍连接记录键、字段来源和查询时点。

块大小和重叠要由问题、内容密度、模型和检索链共同确定

常见的几百 token 只能当作试验起点，不能当成行业标准。块太小容易丢掉条件，块太大又会稀释主题；重叠虽然能补边界，也会带来重复结果、索引成本和引用混乱。

长度口径

说明使用字符、字节、词、句或哪一种 tokenizer 的 token。不同语言和模型的 token 比例不同，同一个“500”不能直接比较。

最小完整单元

先确定规则、步骤、表行、问答或代码函数是否可独立理解；长度上限用来处理过大单元，不应把业务完整性降为纯数字。

嵌入限制

块正文、标题和补充上下文的合计不能超过嵌入模型输入；截断须被发现并计数，不能把静默截断的向量视为完整内容。

生成上下文预算

块越大，可同时放入的不同证据越少。还要为用户问题、系统提示、历史会话、工具结果、引用和模型输出预留空间。

重叠目的

重叠用于保护恰好跨边界的语义连续，不是越多越好。重复内容会增加索引、存储和上下文成本，并让相邻重复块挤掉其他证据。

按边界重叠

优先重复必要标题、定义、表头、前置条件或相邻句，而不是机械复制固定百分比；敏感内容和撤回传播也要覆盖重复部分。

参数试验

用代表问题比较多个大小、重叠和策略组合，按内容类型和语言分段观察召回、精度、完整性、引用、延迟和成本，再冻结生产配置。

每个块要保留足够文档结构，也要避免把无关全文塞回来

读者看到“超过限额时需审批”，自然会追问是什么限额、谁审批、有没有例外。好的切分会保留回答这些问题所需的最小结构，而不是让片段孤零零出现，也不是把整份文件重新塞给模型。

祖先标题

把文档标题和必要的章节路径作为独立元数据，按需参与嵌入、关键词索引和展示；标明它们是补充结构，不在引用中伪装成块内原文。

定义和前置条件

局部条款依赖同章定义、适用对象或前置状态时，可连接定义块、重复最小必要内容或检索后展开父块，避免每个块复制整章。

否定、例外和注释

“不得”“除非”“仅适用于”和脚注常决定结论。切分测试要专门检查这些词与它们约束的内容是否保持在同一可用上下文。

交叉引用

识别“见第 4.2 条”“按附录 B”等引用，建立目标关系；只返回引用句而不取得目标内容时，应补检索或明确证据不完整。

相邻窗口

索引块保持精确，命中后可按块序号扩展前后块，但扩展仍要通过权限、版、状态和预算检查，不能跨文档或跨密级拼接。

父子关系

子块负责召回，父块负责完整阅读；保存 parentId、顺序和范围。多个命中子块属于同一父块时去重，防止同一内容重复占用上下文。

全局问题

“整份制度有哪些主要变化”不是局部块问题，可能需要文档摘要、章节级检索、变化结构或多步查询；扩大所有块并不能可靠解决。

表格、图片、代码和附件不能按普通段落粗暴切开

复杂内容的意义往往存在于关系中：数值依赖行列标题，图片依赖图注，代码依赖上下文，附件引用依赖目标文件。只按换行或长度切开，文字还在，业务含义却可能已经丢了。

表格

保留表名、列头、分组头、单位、脚注和行关系。大表可按业务行组拆分，但每个块重复必要表头并连接完整表；跨页续表不能被当成两个无关表。

图片与图表

保存图片 ID、标题、图例、坐标单位、附近解释和原始页。OCR 或模型说明属于派生内容，有生成方法和复核状态，不能替代原图。

演示文稿

一页不总等于一个主题。标题、要点、图、讲者备注和连续动画需要共同解释；模板页脚和重复品牌文字通常不参与语义检索。

代码与配置

优先按模块、类、函数、配置对象或语法树边界切分，保留文件路径、语言、符号、导入依赖和版。按字符截断可能产生不可解析或误导的代码片段。

表单和扫描件

字段名、填写值、复选状态、坐标和页间重复字段必须对应。识别置信度低、签章或手写影响结论时进入人工复核。

附件与嵌入对象

附件可能包含正文所需定义、清单或证据，应作为独立来源对象连接父文档；附件缺失时不能只索引“详见附件”并声称知识完整。

多语言内容

原文、正式翻译和机器翻译分别保留身份、语言、版和对齐关系。不同语言可以使用不同分句或长度配置，但必须回答同一适用事实。

来源链、权限和删除责任必须随每个派生块传播

切分会把一份原件变成许多派生记录，但不会改变原件的访问边界。权限、版本、有效期和删除指令必须跟着每个块走，否则一次普通检索就可能绕过原文控制。

来源链

按 W3C PROV 的实体、活动和主体关系连接原件、解析、清洗、翻译、切分、上下文化、嵌入、索引、检索和回答，能够定位哪一步改变了内容。

精确引用

页码在重排版后可能变化，字符位置在文本更新后也会失效。组合文档版、标题路径、元素 ID、文本引用和位置选择器，并验证锚点仍指向同一内容。

权限继承

块继承源文档和内容级权限，必要时取更严格范围。标题、摘要和向量同样可能泄密；不能只保护原件下载而开放检索结果。

多租户隔离

共享索引须在召回前使用受信身份与强制过滤，块 ID、父块、缓存、日志和引用不能跨租户碰撞或扩展。高风险项目可采用独立索引。

删除与撤回

来源删除、许可结束、权限收回或内容撤回时，定位并处理全部重复块、父子块、摘要、嵌入、索引、缓存和评测副本，记录未能控制的外部副本。

内容安全

文档中的提示、脚本和指令是数据，不是系统命令。解析和切分阶段保留风险标记，检索和 Agent 运行时限制工具权力，避免恶意片段驱动越权操作。

切分方案是可版本化的数据处理链，不是一次性脚本

同一份文件换一个解析器、切分规则或嵌入模型，最终进入检索系统的内容就会变化。把这些环节作为一条可重建、可比较的处理链记录下来，问题出现时才找得到是哪一次变化造成的。

  1. 1. 建立样本文档和真实问题

    按类型、长度、语言、版面、密级和风险选取代表文档，登记用户问题、相关原文、不可返回内容和预期引用。

  2. 2. 验证解析基线

    确认原件、文字、顺序、标题、表格、图片和附件；把无法可靠解析的类别隔离，而不是用切分参数掩盖。

  3. 3. 形成候选策略

    按内容类型配置结构优先边界、最大长度、最小长度、重叠、父子关系、表格与图片处理和异常回退，保留多个待比较方案。

  4. 4. 生成可审计块

    输出正文、结构、元数据、来源链、权限和处理版，检查空块、超限、重复、截断、乱码、失联块和覆盖缺口。

  5. 5. 连接检索链评测

    使用计划中的关键词、向量、混合检索和重排配置测试候选，因为切分不能脱离 tokenizer、嵌入、索引字段和召回数量单独定优。

  6. 6. 由业务和技术确认

    内容所有者核对语义与引用，用户核对问题，安全角色核对权限，技术团队核对成本、性能、重建和监控，再冻结组合版本。

  7. 7. 变化后增量或全量重建

    来源、解析器、切分规则、tokenizer、嵌入模型或权限方案变化时分析影响；同一索引不要静默混用无法比较的旧新块表示。

  8. 8. 监测并回归

    持续记录无结果、错块、截断、重复证据、引用失败和成本，修正后对受影响问题回归，并保留旧版结果以解释变化。

切分验收既看块本身，也看检索、回答、权限和运营结果

抽看几个块是否顺眼远远不够。切分的价值要通过真实问题来检验：该找到的证据能否找到，不该看到的内容是否被拦住，答案能否回到原文，以及更新后能否稳定重建。

结构覆盖

统计原文内容是否被完整映射，检查空块、遗漏页、重复率、超限和异常块；字符全覆盖仍不能证明表格、顺序和语义正确。

块内完整性

人工抽查每块能否识别主题、主体、动作、条件、否定、例外、单位和时间，是否需要父标题或相邻内容才能理解。

检索相关性

为代表问题标注相关块和不相关块，测 Recall@K、Precision@K、首个合格块排名和无答案问题；按文档类型、语言、问题类型和风险分段。

证据充分性

检查返回块是否共同包含回答所需全部事实、规则和条件，不只判断某个词是否命中；多跳问题单独标明需要的不同证据。

引用可核对

用户能从答案打开正确文档版和具体页节，引用文字与原件一致，表头、图例和上下文充分；锚点变化应被发现。

最终回答

在固定检索、重排、提示和模型条件下比较回答正确、相关、完整、基于来源、拒答和幻觉，避免把生成问题错误归因给切分。

权限与删除

测试本人、代理、跨部门、跨租户、撤权、撤回和缓存，确保块、标题、父上下文和引用均不泄漏；这是硬性门，不由平均召回率抵消。

运行成本

测块数、索引体积、嵌入和重建时间、检索延迟、重复上下文、模型 token 和人工复核量，在达到质量要求的方案中比较成本。

常见失败不是“块太大或太小”一句话能够解释

看到检索失败就调整块大小，往往会让另一些问题变差。先观察具体症状，再判断是解析、结构、权限、版本、去重还是上下文组装出了问题，修改才有明确落点。

检索到半条规则

条件在上一块、例外在下一块或定义在章首。修正可包括结构边界、必要标题、父子展开、相邻窗口或交叉引用检索，而不是只增加重叠。

表格成为散乱文本

行列关系和单位丢失后，相似搜索仍可能命中错误数值。应改进版面解析、表格对象模型和引用展示，无法可靠恢复时停止索引该表。

重复块挤占结果

过量重叠、模板页眉和多版本相同段落占满 Top-K。使用去模板、版本过滤、父块去重、多样性或重排，并保留需要的历史访问。

孤立代词和简称

“该产品”“上述额度”“其负责人”离开前文便无意义。可补标题和最小上下文、合并段落或使用上下文化表示，但补充内容须有派生标识。

权限在子块丢失

源文件受限而切分索引未带权限，或父块展开跨入更高密级。立即停止相关检索，撤回派生物，修复继承和回归全部身份场景。

更新后引用错位

页码、字符偏移或块序号变化却继续沿用旧锚点。定位必须绑定文档版并在重建时验证；需要时保存文本引用用于重新锚定。

评测只问容易问题

只测试标题直匹配会掩盖否定、例外、跨表、历史版、资料不足和多跳失败。扩充代表问题和反例，再判断是否改变切分。

用长上下文跳过治理

整份文档能放进模型不代表都应发送。长上下文仍有权限、位置偏差、噪声、成本、引用和撤回问题，且研究显示模型对长上下文不同位置的利用并不稳定。

采购审批制度的切分例子

以下例子只用于说明怎样形成切分规则和验证证据，不代表客户文件、真实审批制度、默认块大小、检索效果或技术选型。

样本文档

选取当前制度、一个历史版、授权表、操作手册和 FAQ，包含正文条款、跨页表格、脚注、附件引用和不同密级；原件版与权限先确认。

结构规则

制度按条款形成候选块，保留章标题；条件、门槛、例外和同一条款说明不拆开。授权表按适用组织和角色的行组切分，每块带表头、单位和有效期。

过大内容

长条款先按款项递归拆分并连接同一父条款，操作手册按任务和步骤组拆分；命中子块后在权限和预算内返回父条款或必要相邻步骤。

来源与权限

每块保存文档 ID、版本、页节、标题路径、有效期、所有者和访问标签。FAQ 答案连接制度条款，不因文字更短就取得更高权威。

测试问题

覆盖当前和历史门槛、某组织是否适用、例外条件、资料不足、职责冲突、附件缺失、撤回制度、无权用户和需要组合授权表与正文的多证据问题。

停止条件

表格行列无法恢复、否定或例外跨块丢失、来源位置不可打开、权限标签缺失、过期版进入当前检索或关键问题找不到充分证据时，不批准发布。

交接内容

移交样本文档与问题、解析和切分配置、块模式与 ID 规则、来源和权限映射、候选比较结果、固定组合版本、重建步骤、监控、已知空白和回归要求。

在企业 AI 与 RAG 中，切分决定检索单元，但不独自决定答案质量

RAG 答错时，切分最容易成为第一个被怀疑的环节，因为它直接决定系统看见哪些片段。但从原件到最终回答中间还有多层处理，只有把各层结果保留下来，才能避免靠反复调参数碰运气。

先找到问题发生在哪一层

一次错答并不能证明切分有问题。原件可能已经过期，表格可能解析错位，正确块也可能在过滤或重排时被丢掉，模型还可能忽略已经提供的证据。把原件、候选块、排序结果、最终上下文和回答串起来检查，才能把修改落在真正出错的环节。

查询与块粒度匹配

定义查询适合小块，流程问题需要完整步骤，汇总或多跳问题需要多个局部证据和上层结构。可按问题路由不同索引、父子层或工具。

检索与提供分开

用于计算相似度的小块不一定是最终交给模型的上下文。可召回子块、重排后展开父块或邻居，同时去重、过滤权限并控制 token 预算。

关键词与向量共同受影响

切分改变术语密度、精确短语、实体关系和嵌入含义，因此要在计划中的全文、向量或混合检索链中评测，不能仅查看向量相似度。

上下文化内容要可区分

模型生成的块说明、摘要或假设标题可能改善召回，也可能引入错误。将其与原文分字段保存、记录模型与提示版，并在引用和答案中只把原件作为事实依据。

长上下文不是免切分

即使模型输入上限容纳全文，选择相关证据仍能减少无关和无权内容、降低成本并改善引用。Lost in the Middle 研究也说明输入容量不等于各位置都能被稳定利用。

高级方法须与基线比较

语义切分、层级摘要、上下文化检索和 Late Chunking 都是可测试候选，不是默认升级。与简单结构或句段基线在同一数据、问题和组合版本下比较增益、成本、稳定性和风险。

变化必须触发回归

解析器、切分参数、嵌入模型、来源版、权限、检索和重排任何一项变化都可能改变召回。高影响问题、拒答、引用和越权测试随组合版本重新执行。

文档切分与相邻概念怎样区分

切分常与解析、索引、检索和上下文组装一起出现，但它们处理的是不同问题。把边界说清楚，有助于明确谁负责、测试哪一层，也能减少用一个参数替代整条链路治理的误区。

概念与文档切分的边界
文件拆分把一个文件变成多个文件，常用于传输、归档或人工组织；文档切分形成检索内容单元，可以不产生独立文件。
分页是版面或显示边界。一页可包含多个主题，一个表或条款也可能跨页；页码适合定位但通常不是唯一语义边界。
解析和 OCR从文件取得文字、结构、阅读顺序和版面对象，是切分的上游输入；解析错误无法靠后续切分自动修复。
分词或 tokenization把文本编码成词、子词或 token 供模型处理；切分决定哪些较大内容单元独立进入索引和检索。
摘要压缩和改写内容，可能形成上层检索表示；切分通常保留原文片段，摘要须标记为派生物并回到原件。
嵌入把文本或其他内容转换为向量表示。通常对块生成嵌入，但切分也服务全文检索、引用和上下文，不等于向量化。
索引把块及其字段组织成可查询结构；切分定义索引的内容单位，索引另处理字段、过滤、排序和存储。
检索与重排根据查询选择和排序内容块；切分影响候选质量，但召回、过滤、Top-K 和重排错误不是切分本身。
上下文组装把检索结果去重、扩展、排序并放入模型输入；可从小检索块展开父块，且须遵守权限、证据充分性和 token 预算。
知识库管理获准知识、结构、版本、权限、质量和维护；文档切分只是为其中部分非结构化内容生成检索表示的处理步骤。
RAG完整链路包含查询、检索、上下文和生成。文档切分主要发生在内容接入阶段，并通过检索单元影响运行时结果。

依据与适用边界

本文解释企业搜索、知识库和 AI RAG 项目中的文档切分：把已经取得并正确解析的文档内容，按可检索、可理解、可引用和可维护的边界形成一个个内容单元，同时保留原文身份、结构、位置、上下文、权限、版本和来源链。文档切分不等于文件拆分、分页、OCR、版面解析、分词或 tokenization、摘要、嵌入、向量化、索引、检索、重排、上下文组装或模型生成；这些是上游、下游或可组合步骤。不存在适用于所有文档、语言、问题、嵌入模型和检索方式的统一块大小、重叠比例或“最佳切分算法”。本文不完整定义文档管理、OCR 与版面识别、表格和图片理解、自然语言分句、嵌入模型、向量数据库、全文与混合检索、重排、RAG/Agent 完整架构、版权与隐私法律意见或具体云产品配置。正式方案须由项目角色依据内容、问题、权限、质量、成本和风险验证后确认。