1. 项目背景与核心需求在传统RAG检索增强生成系统中我们通常只能处理纯文本内容。当遇到PDF、Word等包含图文混排的文档时系统往往只能提取文字部分导致图片中的关键信息丢失。这种局限性在实际业务场景中会带来诸多不便——比如医疗报告中的CT影像、产品说明书中的示意图、学术论文中的图表等重要视觉信息都无法被有效利用。最近在维护某汽车厂商的智能客服系统时我们就遇到了典型痛点用户询问如何更换雨刮器时传统RAG只能返回文字步骤而实际上说明书中的安装示意图才是最有价值的参考。这正是促使我们研发多模态RAG解决方案的直接动因。2. 技术架构设计2.1 整体工作流程我们的多模态RAG系统采用模块化设计主要包含以下处理环节文档解析层使用Unstructured等开源工具包支持PDF/Markdown/Word等格式的解析。对于PDF文件会同时提取文本内容和图片资源并建立内容关联索引。向量编码层文本嵌入采用bge-small-zh-v1.5模型图片嵌入使用CLIP-ViT-B-32视觉编码器通过共享向量空间实现图文联合检索知识存储层文本片段存入Milvus向量数据库图片资源存储到阿里云OSS建立统一的元数据关联索引生成推理层支持通义千问VL、Qwen-VL等多模态大模型实现图文内容的联合推理生成2.2 关键技术选型在模型选型上我们对比了多种多模态方案模型名称视觉理解能力中文支持推理速度商用授权Qwen-VL-Chat★★★★☆★★★★★★★★☆☆免费LLaVA-1.5★★★☆☆★★☆☆☆★★★★☆免费Gemini Pro★★★★☆★★★☆☆★★☆☆☆付费GPT-4V★★★★★★★★★☆★☆☆☆☆付费最终选择Qwen-VL系列作为核心模型主要考虑对中文场景的优化更充分支持本地化部署提供完整的API文档和技术支持3. 实现细节与核心代码3.1 文档解析模块使用PyMuPDF处理PDF文档的示例代码import fitz # PyMuPDF def extract_pdf_content(pdf_path): doc fitz.open(pdf_path) content { text: [], images: [] } for page in doc: # 提取文本 text page.get_text() content[text].append(text) # 提取图片 for img in page.get_images(): xref img[0] base_image doc.extract_image(xref) image_data base_image[image] content[images].append({ data: image_data, page: page.number, position: img[1:5] }) return content3.2 多模态索引构建from sentence_transformers import SentenceTransformer import clip import torch text_encoder SentenceTransformer(BAAI/bge-small-zh-v1.5) device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) def encode_content(content): # 文本编码 text_embeddings text_encoder.encode(content[text]) # 图片编码 image_embeddings [] for img in content[images]: image preprocess(Image.open(io.BytesIO(img[data]))).unsqueeze(0).to(device) with torch.no_grad(): image_features model.encode_image(image) image_embeddings.append(image_features.cpu().numpy()) return { text_embeddings: text_embeddings, image_embeddings: image_embeddings }4. 效果展示与优化技巧4.1 典型问答效果用户提问请展示发动机冷却系统的结构图并说明工作原理系统回复冷却系统主要由水泵、散热器、节温器等部件组成。工作原理如下水泵推动冷却液循环散热器通过风扇散热节温器调节循环路径详细说明略...4.2 性能优化经验图片预处理技巧对文档中的示意图优先采用矢量图格式照片类内容建议压缩到1024px宽度以内为每张图片添加alt-text描述Prompt工程要点当回答包含图片内容时请按以下格式回复  图片说明文字...缓存策略对高频访问图片启用CDN加速实现向量检索结果的LRU缓存对图文关联索引建立BloomFilter5. 常见问题排查5.1 图片无法显示现象回答中图片链接返回403错误排查步骤检查OSS存储桶的ACL设置是否为public-read验证CDN配置是否正确回源确认图片URL签名有效期如启用5.2 图文关联错误现象返回的图片与问题不相关解决方案检查向量检索的相似度阈值建议设置在0.75以上验证图文元数据关联是否准确调整多模态模型的temperature参数5.3 处理性能瓶颈优化方案对大型PDF采用分页并行处理图片编码使用FP16精度实现异步预处理流水线6. 进阶应用场景在医疗健康领域我们进一步扩展了该方案影像报告解读将CT/MRI图像与诊断文本关联支持请标注肿瘤位置等视觉问答药品说明书识别药片外观照片关联用药剂量图表医疗知识图谱构建症状-影像-诊断的多模态关系实现三维医学影像的检索实际测试显示在骨科病例分析场景中增加X光片的多模态信息后诊断建议的准确率从72%提升到了89%。