RAG 文档上传前怎么清洗：目录、页眉、表格、重复段落和版本号

很多 RAG 项目回答不准，不是因为模型差，而是因为文档上传前没有清洗。目录、页眉页脚、页码、扫描识别错误、重复免责声明、表格错位、旧版本混在一起，都会影响切分和检索。知识库不是“把文件丢进去就完事”，而是先把资料整理成可检索、可追溯、可更新的结构。

本文是待复核草稿。知识库搭建可以看 RAG 知识库怎么搭，分块策略可以看 RAG 分块策略指南。

适合谁

适合准备上传公司制度、产品手册、客服 FAQ、合同模板、培训资料、课程讲义和项目文档的人。只要资料来源复杂，就需要先清洗。

也适合接知识库搭建项目的人。客户往往以为资料已经准备好了，但你打开文件后会发现版本混乱、格式不统一、扫描件不可读、旧内容没有标记。

不适合谁

不适合资料还没有版权或使用授权的人。清洗只是技术步骤，不能解决资料来源问题。

也不适合希望一次上传后永远不维护的人。知识库是活的，文档更新、版本变化和权限调整都需要持续管理。

先清掉噪音

目录、页眉页脚、重复页码、版权页、空白页、扫描水印和重复免责声明，会让 chunk 里充满无关内容。导入前应该尽量清理，至少要抽查切片结果。

如果文档是扫描件，要先做 OCR，并检查识别质量。错别字、断行和表格错位会影响检索，尤其是产品型号、金额、日期、条款编号这类信息。

保留结构

清洗不是把所有内容变成一整段纯文本。标题层级、章节、表格字段、列表编号和版本号都应该保留。结构越清楚，检索越容易命中正确片段。

表格资料可以转成 Markdown 表格，也可以拆成字段说明。不要让表格在导入后变成一堆没有列名的数字，否则模型很难理解。

处理版本

知识库里最危险的问题之一是旧版本和新版本同时存在。用户问制度时，如果旧制度和新制度都能被检索到，回答可能混乱。

建议给每份文档加版本号、生效时间、失效时间、负责人和适用范围。过期文档可以保留归档，但不应该默认参与问答。

准备测试问题

上传前就要准备测试问题。每份重要文档至少准备几个用户真实会问的问题，并标注正确答案来源。这样上传后才能验证是否真的检索到了正确片段。

测试问题不要只问标题词，也要问同义表达、缩写、口语说法和跨章节问题。这样更接近真实用户搜索。

常见错误

第一个错误是把 PDF 原样上传后直接上线。PDF 能打开，不代表解析质量好。

第二个错误是没有权限字段。不同部门、客户、角色能看到的资料不同，上传前就要标记。

第三个错误是没有文档负责人。知识库回答错了以后，没人知道该找谁更新原文。

交付检查

文档清洗项目交付时，建议不要只交“已上传文件列表”。更有价值的交付物包括文档盘点表、清洗前后对比、版本字段、权限字段、抽查 chunk 截图、测试问题和失败案例。客户看到这些材料，才知道知识库为什么比原来更稳定。

后续还可以继续拆长尾文章，比如“PDF 知识库怎么清洗”“RAG 表格识别错位怎么办”“企业制度知识库怎么做版本管理”“客服 FAQ 上传前怎么整理”。这些词听起来小，但搜索的人往往已经卡在具体环节，文章越具体越容易形成咨询入口。

风险提醒

文档清洗会接触原始资料，可能包含客户信息、员工信息、商业秘密和合同内容。处理前要确认授权和脱敏要求。

不要把未审核、过期或不确定来源的文档放入正式知识库。RAG 的回答质量上限，很大程度取决于资料质量。

具体步骤

第一步，盘点文档来源和授权。第二步，清理目录、页眉、重复页和扫描噪音。第三步，保留标题、表格和列表结构。第四步，标记版本、权限和负责人。第五步，上传后抽查 chunk。第六步，用测试问题验证召回效果。需要文档清洗表，可以从 工具导航 下载或联系人工协助整理。

免责声明

本文只用于 RAG 文档清洗学习，不构成数据合规或知识产权意见。正式导入客户资料前，应人工核对授权、脱敏和权限范围。