文章目录一、为啥现在做AI基本离不开RAG大模型天生自带三大硬伤1.1 大模型的离谱操作谁踩谁崩溃1.2 RAG到底是个啥一句话讲透1.3 系统要用的知识分两类差别巨大1.3.1 静态共享知识全团队共用的固定素材1.3.2 动态个人记忆千人千面的专属信息1.4 RAG完整流水线分离线、在线两大段1.4.1 离线预处理提前备好素材查询不排队1.4.2 在线实时查询完整链路一步不省二、Embedding让电脑读懂文字“意思”的核心工具2.1 传统文字搜索有多笨只认字不认内涵2.2 向量是什么一串数字代表一段话2.3 Embedding模型靠对比学习练出来2.4 Dense稠密向量 vs BM25字面检索天生互补2.4.1 Dense稠密向量抓深层语义2.4.2 BM25倒排检索抓精准关键词三、Chunking文档切块九成RAG翻车都是切文档没做好3.1 为什么不能直接把整篇文档丢给模型三大死穴3.2 切块的两难困境切大切小都有坑3.3 四种主流切块方案按需选用3.3.1 固定长度滑动窗口性价比之王3.3.2 语义切块依托文档天然结构3.3.3 Parent-Child父子切块工业级最优解3.4 补充冷知识Lost in the Middle陷阱四、相似度计算怎么判断两段文字像不像4.1 余弦相似度行业通用标准答案4.2 另外两种度量简单对比五、HNSW向量索引百万向量秒搜的底层密码5.1 暴力全量检索为啥完全行不通5.2 HNSW两大核心灵感跳表可导航小世界图5.2.1 跳表分层高速通道5.2.2 NSW贪心导航图5.3 HNSW插入、检索完整流程5.3.1 写入建图步骤5.3.2 查询检索步骤5.4 三个核心可调参数六、完整检索链路从用户提问到输出答案全流程拆解6.1 Query Rewrite查询改写投入产出比最高的优化6.2 元数据过滤多租户场景第一道安全闸门6.3 多路召回单一路径都有短板多路协同才靠谱6.4 RRF倒数排名融合解决不同检索分数不能直接相加6.5 Rerank精排粗筛候选再做精准打分6.5.1 Bi-Encoder召回的天生缺陷6.5.2 Cross-Encoder精排模型优势七、落地核心总结少踩九成项目踩过的坑P.S. 目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了。一、为啥现在做AI基本离不开RAG大模型天生自带三大硬伤1.1 大模型的离谱操作谁踩谁崩溃有没有人跟我一样拿大模型问自家业务问题它能给你编一套完全不存在的流程逻辑顺得像真的落地直接翻车。上次我问内部老接口怎么写模型哐哐输出一堆十年前淘汰的旧语法合着它的知识就停在训练结束那天之后发生啥一概不知道。最气人的是它不会认怂不知道就硬编业内管这叫幻觉说白了就是AI版死要面子活受罪。企业内部文档、代码、报销规则这些私有内容网上根本没有它更是两眼一抹黑纯纯瞎扯。1.2 RAG到底是个啥一句话讲透RAG全称检索增强生成思路简单到离谱先查资料再答题。用户提问→捞相关外部资料→把资料塞进提问话术→大模型拿着素材写答案。别狭隘理解成只能搭知识库聊天记录、网页、PDF全都能当检索素材RAG只是一根吸管知识库只是装水的杯子。1.3 系统要用的知识分两类差别巨大1.3.1 静态共享知识全团队共用的固定素材飞书文档、代码仓库、考勤制度、群聊历史都算这类所有人看的内容一模一样更新频率低。比如查微服务鉴权流程答案大概率躺在仓库README里稳定好检索。1.3.2 动态个人记忆千人千面的专属信息这块很多人做RAG直接忽略体验直接打对折。同样一句“写接口”有人要Go有人要Java这是用户长期偏好文档里不会写用户说“还是卡”得记住上次反馈的页面问题不然根本读不懂指代。难点拉满要区分记忆归属、新旧偏好冲突怎么取舍、短期记忆自动过期工程坑巨多。1.4 RAG完整流水线分离线、在线两大段1.4.1 离线预处理提前备好素材查询不排队文档切块→文本转向量→写入向量数据库全部提前跑线上查询不用临时计算。1.4.2 在线实时查询完整链路一步不省完整流程查询改写→元数据过滤→多路召回→排名融合→精排→大模型生成答案。实话实说RAG好不好用根本不看大模型强不强检索捞错东西再顶尖的模型也是垃圾进垃圾出。二、Embedding让电脑读懂文字“意思”的核心工具2.1 传统文字搜索有多笨只认字不认内涵用SQL模糊匹配搜“编程语言”“技术栈是Go”这种完全相关的句子直接漏掉只抓字面关键词。好比去图书馆查资料管理员只会挨个核对书名汉字搜“编程”找不到标题带“Coding”的书死板到离谱。2.2 向量是什么一串数字代表一段话向量就是一组有序浮点数主流模型输出768、1024、1536维维度越多语义刻画越细。“爱吃川菜”转化成上千个数字组成的数组两段文字语义越接近两组数字在空间里距离越近。直接把语言理解问题转化成计算机能算的数学距离问题这就是Embedding的魔法。2.3 Embedding模型靠对比学习练出来训练逻辑特别好懂相似文本拉近无关文本推远循环亿万次模型自动吃透语义关联。训练素材来源搜索引擎点击日志、问答采纳记录、平行双语文本甚至大模型合成数据。短板很明显只在训练覆盖的领域好用通用模型碰医疗、金融专业术语直接拉胯英文模型处理中文效果暴跌。2.4 Dense稠密向量 vs BM25字面检索天生互补2.4.1 Dense稠密向量抓深层语义所有维度都有数值同义词、中英术语能精准匹配缺点是对编号、TraceID这类专有字符串不敏感。2.4.2 BM25倒排检索抓精准关键词只匹配字面词汇搜唯一编码一抓一个准但换个同义词就完全找不到两者搭配才能覆盖全部检索场景。段子插一句稠密向量是懂你言外之意的闺蜜BM25是认死理、精准找编号的前台少一个都不行。三、Chunking文档切块九成RAG翻车都是切文档没做好3.1 为什么不能直接把整篇文档丢给模型三大死穴第一Embedding模型有输入长度上限几万字文档直接超限根本处理不了。第二长文本语义稀释一篇文档几十个功能点向量变成所有知识点的平均值搜单个问题完全匹配不上。第三大模型上下文窗口有限塞整篇文档全是无关内容稀释有效信息还白白浪费token。3.2 切块的两难困境切大切小都有坑切太碎关键答案横跨两个块检索只能拿到一半回答残缺不全。切太大一个块塞三四个主题向量特征模糊检索精准度暴跌。类比一下目录只写到章节找不到小节细节只拆到单句丢失上下文逻辑切块就是找中间平衡点。3.3 四种主流切块方案按需选用3.3.1 固定长度滑动窗口性价比之王每500token一个块块之间预留重叠文本避免句子被拦腰切断实现简单、速度快新手首选。3.3.2 语义切块依托文档天然结构按Markdown标题、段落分隔每个块语义完整不会断裂但纯无结构文本没法用。3.3.3 Parent-Child父子切块工业级最优解拆两层小块子向量用来检索大块父文本完整保留上下文检索匹配子块返回完整父内容给大模型兼顾精准度和完整性。3.4 补充冷知识Lost in the Middle陷阱不是塞越多检索段落答案越好大模型对上下文中间内容关注度极低无关段落堆多了反而降低回答质量相关内容尽量放首尾。四、相似度计算怎么判断两段文字像不像4.1 余弦相似度行业通用标准答案核心逻辑对比向量方向值域[-1,1]数值越接近1语义越相似Embedding模型训练就是基于余弦优化别乱换度量方式。4.2 另外两种度量简单对比欧氏距离计算两点直线距离受向量长度干扰大极少单独使用。点积向量提前归一化后等价于余弦计算速度更快适合做过归一化的向量库。搞笑比喻余弦是看两个人走路方向一不一样欧氏是看两人站得近不近语义匹配优先看方向。五、HNSW向量索引百万向量秒搜的底层密码5.1 暴力全量检索为啥完全行不通逐条遍历所有向量计算相似度百万级数据查询延迟直接爆炸等同于数据库不建索引全表扫描完全扛不住线上流量。ANN近似检索牺牲一点点召回精度换取百倍速度提升生产环境全部用这套方案。5.2 HNSW两大核心灵感跳表可导航小世界图5.2.1 跳表分层高速通道多层结构上层节点少、跨度大相当于高速路快速锁定大致区域逐层下沉缩小搜索范围。5.2.2 NSW贪心导航图每层每个节点连接最近邻居检索时不断跳到离目标更近的节点不用全局排序也能精准定位。通俗段子HNSW就是给向量地图修了高速街道先高速定位片区再街道精准找人不用徒步走遍全城。5.3 HNSW插入、检索完整流程5.3.1 写入建图步骤1.随机分配节点所在层级层级越高节点越少2.顶层贪心搜索找到每层近邻3.双向建立邻居连接4.邻居数量超标自动剪枝。5.3.2 查询检索步骤从最高层入口节点开始贪心搜索逐层下钻到底层收集距离最近的K个向量返回。5.4 三个核心可调参数M每层最大邻居数ef_construction建图候选数量ef_search查询时候选数量仅ef_search支持线上动态调整精度速度自由切换。六、完整检索链路从用户提问到输出答案全流程拆解6.1 Query Rewrite查询改写投入产出比最高的优化用户提问大多模糊不清“那个接口又崩了”大模型根本猜不出指代先让LLM改写清晰查询消解指代、补充业务上下文检索效果直接提升一大截。6.2 元数据过滤多租户场景第一道安全闸门多企业共用向量库、多业务线文档混存时先按租户ID、业务分类过滤缩小检索范围避免拿到别家无关数据不做过滤检索全是无效结果。6.3 多路召回单一路径都有短板多路协同才靠谱可选召回路径稠密向量ANN检索、BM25关键词检索、图谱关联检索、SQL结构化查询、用户记忆检索、联网搜索等。语义搜意思、关键词搜编码、数据库查结构化数据分开检索各自输出候选列表。6.4 RRF倒数排名融合解决不同检索分数不能直接相加ANN余弦0.9和BM25得分8完全是两套评分标准没法直接叠加。RRF扔掉原始分数只靠排名计算总分。公式文档总分Σ 1/(k排名)k默认60平滑排名差距多路径排名靠前的文档总分更高实现简单、效果稳定。6.5 Rerank精排粗筛候选再做精准打分6.5.1 Bi-Encoder召回的天生缺陷Embedding属于双编码器问题和文档分开编码无法互看对方内容同主题文档很难区分细微差异比如VPN安装和VPN重置密码相似度拉不开差距。6.5.2 Cross-Encoder精排模型优势把问题文档拼接同时输入模型直接判断二者相关性能精准区分细微差异打分精准度碾压向量相似度。缺点是无法预计算速度慢只能对多路召回融合后的Top50候选做重排最后取Top5给到生成模型。趣味吐槽召回是海选捞几十个人精排是评委一对一面试筛出真正匹配需求的人选。七、落地核心总结少踩九成项目踩过的坑Chunking是地基切块策略不对后面检索、精排再强也救不回来固定滑动窗口是入门最优解。Embedding分稠密、稀疏两条路语义关键词双检索缺一不可相似度统一选用余弦。HNSW搞定海量向量检索速度参数按需平衡精度和延迟百万向量场景首选。Query Rewrite、元数据过滤属于低成本高收益优化上线优先做。完整链路标准模板查询改写→过滤→多路召回→RRF融合→Rerank精排→LLM生成缺任意一环效果大幅下滑。最后说句实在的很多人做RAG上来就死磕大模型参数完全本末倒置检索环节才是决定答案质量的核心。P.S. 目前国内还是很缺AI人才的希望更多人能真正加入到AI行业共同促进行业进步增强我国的AI竞争力。想要系统学习AI知识的朋友可以看看我精心打磨的教程 http://blog.csdn.net/jiangjunshow教程通俗易懂高中生都能看懂还有各种段子风趣幽默从深度学习基础原理到各领域实战应用都有讲解我22年的AI积累全在里面了。注意教程仅限真正想入门AI的朋友否则看看零散的博文就够了