收藏！5种RAG分块策略详解：小白程序员轻松入门大模型检索增强

本文详细介绍了RAG检索增强生成中的五种分块策略固定大小分块、语义分块、递归分块、基于文档结构的分块和基于大语言模型的分块。每种策略都有其优缺点如固定大小分块实现简单但可能切断语义语义分块保持流畅性但需调优阈值递归分块兼顾结构与大小但复杂度高基于文档结构分块适合结构化文本而基于LLM的分块语义准确性最高但计算成本高。选择合适的分块策略需考虑内容类型、嵌入模型能力、计算资源及检索精度要求。典型的RAG检索增强生成工作流程如下RAG Workflow私域知识文档可能很长我们常常第一步通常需要对文档进行“分块”chunking——即将大文档切分为更小、更易管理的片段。这一步至关重要因为它确保文本长度符合嵌入embedding模型的输入限制。以下是用于RAG的五种分块策略5种分块策略概览图下面我们逐一了解它们1.固定大小分块Fixed-size Chunking将文本按预设的字符数、单词数或token数量均匀切分。固定大小分块示意图由于直接切分可能会打断语义连贯性建议在相邻两个块之间保留一定的重叠部分上图中的蓝色区域。优点实现简单所有块大小一致便于批处理。缺点容易在句子或思想中间切断导致关键信息被分散到多个块中。2.语义分块Semantic Chunking根据有意义的单元如句子、段落或主题段落对文档进行切分。具体做法首先将文档划分为句子或段落然后为每个单元生成嵌入向量从第一个单元开始如果它与下一个单元的嵌入向量余弦相似度较高则将它们合并为一个块持续此过程直到相似度显著下降此时开启新块。语义分块输出示例优点保持语言的自然流畅性保留完整语义每个块信息更丰富提升检索准确性从而让LLM生成更连贯、相关的回答。缺点依赖一个相似度阈值来判断是否“显著下降”而该阈值可能因文档而异需调优。3.递归分块Recursive Chunking首先根据文档固有的分隔符如段落、章节进行初步切分然后对超过预设大小限制的块进一步递归切分直到所有块都满足大小要求。递归分块过程输出示例优点既尊重原始结构又控制块大小保留完整语义单元。缺点实现和计算复杂度略高。4.基于文档结构的分块Document Structure-based Chunking利用文档本身的结构如标题、章节、段落来定义分块边界使每个块对应一个逻辑完整的部分。基于结构的分块输出示例优点保持文档的逻辑完整性适合结构清晰的文档如技术手册、论文、法律文件。缺点假设文档具有清晰结构对非结构化文本如聊天记录、自由写作效果不佳块长度可能不均某些块可能超出模型token限制——可结合递归分块解决。5.基于大语言模型的分块LLM-based Chunking通过提示prompt让大语言模型LLM自动生成语义独立且有意义的文本块。LLM分块示意优点语义准确性最高因为LLM能理解上下文和深层含义超越简单规则或相似度计算。缺点计算成本最高受限于LLM自身的上下文窗口长度处理超长文档时需额外设计。总结每种分块策略都有其优势和权衡。在实践中我们发现语义分块在许多场景下表现良好但最终选择应基于内容类型结构化 vs 非结构化嵌入模型的能力计算资源限制对检索精度的要求如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取