文档怎样转换、
清洗并切分

先固定处理流水线

转换时先保留结构

1. 保留标题层级、段落、列表和表格说明。
2. 扫描版 PDF 先做 OCR，再抽查数字、日期和专有名词。
3. 图片中的关键结论要转成文字说明，普通装饰图可以忽略。
4. 原文件只读保存，处理结果放入独立目录。

knowledge/
├── source/        # 原文件，只读保留
├── normalized/    # 转换后的统一文本
├── chunks/        # 可检索片段
└── manifest.csv   # 来源、版本、日期与权限

清洗不是把内容改写得更漂亮

清洗只删除噪声、修复明显转换错误并统一格式。不要用模型自由改写事实，否则后续引用已经不是原文证据。

1. 删除重复页眉、页脚和导航。
2. 合并被错误断开的句子。
3. 保留版本号、日期、单位和限制条件。
4. 遇到无法确认的乱码，标记待核对，不自行猜测。

一个片段只解决一个相对完整的问题

不要机械地每 500 个字切一刀。优先按标题和语义边界切分；片段太短会失去上下文，太长会让检索结果夹带大量无关内容。