很多小伙伴部署完 Ollama 本地大模型后面临一个痛点模型不懂你的私有文档容易凭空编造信息幻觉。RAG 检索增强生成是最优离线解决方案。本文基于 OllamaLangChainChromaDB 搭建纯本地知识库支持 PDF、TXT、Markdown附带完整可运行代码整理文档切分、检索失效、向量库报错、回答跑偏等高频问题解决方案。markdown[TOC](文章目录) # OllamaLangChain搭建本地RAG知识库解决AI幻觉实测踩坑全集 前言 上一篇分享了Ollama本地部署与远程访问方案不少读者留言本地模型能跑起来但无法读取自己的笔记、技术文档经常答非所问、编造不存在的内容。 这就是大模型经典的**幻觉问题**。 RAG检索增强生成可以让AI先检索私有文档片段再结合资料回答问题全程离线运行不需要上传文件到云端数据完全可控。 网上很多教程只有基础demo缺少工程化优化方案我把一周调试遇到的坑全部整理出来。 ## 一、方案整体架构 整套系统全部本地运行无外部接口依赖 1. Ollama运行对话大模型 嵌入Embedding模型 2. LangChain链路编排文档加载、文本分割、检索链路组装 3. ChromaDB轻量级本地向量数据库持久化存储向量 4. 支持文档PDF / Markdown / TXT ## 二、环境准备 ### 2.1 前置条件 1. 已经正常安装并启动Ollama参考上篇文章 2. 提前拉取模型 bash # 对话模型中文推荐 ollama pull qwen2.5:7b # 文本嵌入模型用于向量化文档 ollama pull nomic-embed-text2.2 Python 依赖安装bashpip install langchain langchain-ollama langchain-chroma chromadb pypdf三、最简可运行完整代码直接复制测试新建 rag_demo.pypython运行from langchain_ollama import ChatOllama, OllamaEmbeddings from langchain_chroma import Chroma from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.document_loaders import PyPDFLoader, TextLoader from langchain.chains import RetrievalQA # 1.初始化模型 llm ChatOllama( modelqwen2.5:7b, base_urlhttp://127.0.0.1:11434, temperature0.1 # 越低回答越严谨减少幻觉 ) embedding OllamaEmbeddings( modelnomic-embed-text, base_urlhttp://127.0.0.1:11434 ) # 2.加载文档示例PDF换成你的文件路径 loader PyPDFLoader(./test.pdf) documents loader.load() # 3.文本分割【RAG最关键参数】 text_splitter RecursiveCharacterTextSplitter( chunk_size800, chunk_overlap120, separators[\n\n, \n, 。, , ] ) split_docs text_splitter.split_documents(documents) # 4.构建本地向量库持久化保存 vector_db Chroma.from_documents( documentssplit_docs, embeddingembedding, persist_directory./chroma_db ) # 5.构建检索器 retriever vector_db.as_retriever(search_kwargs{k: 4}) # 6.组装问答链路 qa_chain RetrievalQA.from_chain_type( llmllm, chain_typestuff, retrieverretriever, return_source_documentsTrue ) # 发起提问 result qa_chain.invoke({query: 文档中的核心结论是什么}) print(result[result])运行方式python rag_demo.py首次运行会向量化文档后续启动直接读取向量库无需重复处理。四、90% 新手遇到的疑难问题核心干货问题 1检索到无关内容AI 回答跑偏原因chunk_size 设置过大单个片段包含多个无关主题重叠值 overlap 太小上下文被切割断裂 ✅优化方案通用场景 chunk_size 700~1000overlap 控制在 100~150问题 2更换 Embedding 模型向量库直接报错不同嵌入模型输出向量维度不一致 ❌错误操作直接切换模型复用旧 chroma_db 文件夹 ✅解决方案更换嵌入模型前删除chroma_db目录重建向量库问题 3文档存在但是检索不到相关片段排查顺序确认文档加载成功打印 documents 查看内容中文场景优先使用适配中文的嵌入模型降低检索 top_k不要一次性召回过多片段检查文档是否存在扫描版 PDF纯图片无法解析文字问题 4显存占用持续飙升多次问答后卡顿优化Ollama 开启模型加载限制不用的模型执行ollama stop不要一次性加载上千份文档构建向量库分批处理低配电脑降低 chunk 数量减少单次传入上下文长度问题 5AI 依旧编造文档不存在的信息提示词约束非常重要 默认链路没有强制限制建议自定义 Prompt 模板强制模型你只能使用提供的上下文信息回答问题如果上下文没有答案请直接说明无法找到相关资料禁止编造信息。五、进阶优化方向后续系列文章预告自定义 Prompt 模板进一步抑制幻觉增加 Reranker 重排序提升检索精准度开发简易 Web 界面浏览器访问知识库支持批量文件夹导入PDF/TXT/MD 混合加载六、新手避坑清单✅先单机调试成功再尝试局域网远程访问 Ollama 服务 ✅文档优先使用可复制文字的 PDF扫描件需要 OCR 预处理 ✅向量库定期备份大量文档重建耗时很长 ✅temperature 不要设置过高知识库问答建议 0~0.2大家搭建 RAG 时遇到过哪些问题检索不准、向量库报错、显存问题都可以留言我尽量回复后续持续更新本地 AI 应用实战系列。
)
