1、SSE技术- 定义 服务器向客户端推送数据的单向通信协议优势 - 保持长连接实时性好- 实现简单基于 HTTP- 自动重连机制- 适合文本数据的流式传输对应 Spring 组件SseEmittersend()实时向前端发数据complete()正常结束连接completeWithError()异常结束连接接口声明produces text/event-stream;charsetUTF-8告诉浏览器这是长连接流式接口保持连接不断开。代码整体流程先看大局前端请求 → API 层校验 → 创建 SSE 长连接 → 异步执行 AI 对话 → 初始化 Agent → 启动 AI 流式流 Flux → 订阅流 → 实时接收 AI 分块内容 → 实时推送给前端 → 流结束 → 保存对话历史 → 关闭 SSE 连接AI 流式流创建FluxNodeOutput stream agent.stream(request.getQuestion());agent.stream()ReactAgent 启动流式推理返回FluxNodeOutput 流。这个流里装的是AI 实时输出的碎片内容 工具调用事件 完成信号。流是「推送式」的AI 生成一块就往流里发一块不用等全部生成完。2、流订阅 subscribe 三回调stream.subscribe( output - { /* 1. 每收到一个流元素触发这里 → 实时推送 */ }, error - { /* 2. 流发生异常触发这里 → 报错处理 */ }, () - { /* 3. 流正常结束触发这里 → 完成收尾 */ } );一句话总结整个流式过程AI 逐字生成答案 → 扔进 Flux 流 → 订阅流实时接收碎片 → 通过 SSE 立即推送给前端打字机 → 全部生成完毕 → 保存历史 → 关闭连接3、总结SseEmitter负责服务器向前端实时推送数据维持长连接FluxNodeOutputAI 的实时流式输出流承载文字碎片和事件subscribe 三回调是流式核心onNext实时接收碎片 → 推送给前端打字机效果onError异常处理关闭连接onComplete结束推送保存对话历史全程异步非阻塞支持实时输出、工具调用、多轮对话。4、Milvus加载 Collections 时Milvus 会将所有索引文件和每个字段中的原始数据加载到内存中以便快速响应搜索和查询。索引文件为加速搜索 / 查询预构建的专用数据结构文件分向量索引和标量索引存储于对象存储加载时入内存Milvus。原始数据集合中各字段的原始实体数据向量字段存嵌入向量标量字段存元数据以.bin二进制文件存储加载时入内存。向量索引核心类型内存加载重点HNSW图索引支持高召回率适合百万级以上数据加载时加载全量图结构。IVF 系列IVF_FLAT/IVF_SQ8/IVF_PQ量化索引加载时加载聚类中心 量化后的向量数据。FLAT暴力索引无预构建结构加载时实际加载全量原始向量与原始数据重合。高频追问为什么 RAG/Agent 几乎都用 HNSW答多轮交互要求低延迟、高召回HNSW 在百万 / 千万向量仍能保持 ms 级检索比 IVF 更稳定。1、Milvus 是什么核心定位答云原生、开源向量数据库专为高维向量检索、相似度匹配设计。在 Agent 中核心作用1RAG 知识库检索2Agent 长期记忆存储与召回也可存MySQL3工具 / 文档 / 多轮对话向量匹配支持海量数据、低延迟、高召回、分布式扩展。2. Milvus 处理一条数据的完整流程答原始数据 → Embedding 模型 → 高维向量写入 MilvusCollection → Partition → Segment数据先落日志Pulsar/Kafka再写入段文件后台构建索引IndexQuery 时向量 → 索引检索 → TopK 相似结果返回4. RAG 全流程中 Milvus 处于哪一步答文档切分 → Embedding →Milvus 入库建索引用户问题 → Embedding →Milvus 召回 TopK召回片段 Prompt → LLM → 回答5. 向量检索不准、Agent 幻觉怎么优化高频实战题优化文档切分不要太长 / 太短更换更好 Embedding 模型调大 HNSW 的ef、IVF 的nprobe混合检索向量 标量过滤keyword 时间 / 用户 ID重排Rerank Model向量归一化、去重、清洗6、Milvus vs Elasticsearch为什么 RAG 不用 ESES关键词匹配词法不理解语义Milvus语义相似度适合自然语言、Agent 意图理解现代 RAGES 关键词 Milvus 向量 Rerank混合最强7、什么是向量数据库它与传统关系型数据库有什么区别- 向量数据库 专门用于存储和检索向量数据的数据库支持相似度搜索- 区别 - 传统数据库基于精确匹配和结构化查询- 向量数据库基于相似度匹配支持近似最近邻搜索- 应用场景传统数据库适合结构化数据向量数据库适合非结构化数据如文本、图像、音频5、prompt的评价1. 任务完成准确率最核心这是硬指标。给Agent同一个任务跑多次比如10次看它成功完成目标的比例。好Prompt在5次测试中至少4-5次能正确完成核心任务。坏Prompt经常中途卡住、忘记目标、输出无关内容或成功路径完全随机运气好才成功。2. 指令遵循度Agent需要严格遵循用户或系统设定的约束比如格式、步骤、禁止项。好Prompt100%按要求的JSON格式输出工具调用严格按“思考-行动-观察”循环执行不会越权操作如禁止删除时绝不删除。坏Prompt忽略输出格式要求自由发挥跳过必要步骤如安全审核违反禁止条款。3. 推理与规划质量Agent特有Agent需要展示其“思考过程”尤其是使用ReAct、CoT等模式时。关键看逻辑链是否清晰、正确。好Prompt推理步骤合理先分析问题再拆解步骤再选择工具能根据中间结果动态调整计划错误后能自我纠错如重试、换工具。坏Prompt逻辑跳跃、矛盾“今天周日但明天周一需要订会议室所以订周五的”遇到意外输出就崩溃不回溯或重复无效操作。4. 工具使用正确性Agent必须能准确理解工具的描述、参数要求并正确调用。好Prompt自动从上下文中提取正确参数参数类型、必填项都正确能处理工具的返回结果成功/失败/异常。坏Prompt编造参数名或值忘记必填参数调用不存在的工具无法解析工具的复杂输出。5. 稳定性与鲁棒性同样的输入应该产生稳定、一致的输出。对输入的小变化措辞、顺序、额外空格不敏感。好Prompt无论用户说“查天气”还是“What‘s the weather like in Beijing”都能稳定触发天气工具不会时好时坏。坏Prompt同样问题有时用工具、有时瞎猜用户多加一个礼貌用语“请帮我”就失败输出长度忽长忽短。6. 效率与成本控制Agent的每次思考和工具调用都产生延迟和费用LLM API成本。好Prompt用最少的推理步骤和最精简的输出来完成任务避免无意义的自我确认或重复调用合理规划批量操作。坏Prompt三步能完成的任务非要绕十个步骤每步输出长篇大论的内心独白反复调用同一个工具获取相同信息。5.1 实用的测试与评估方法1. 构建标准测试集VarySet挑选10-30个覆盖典型、边界、异常场景的任务。例如正常任务“帮我查一下明天上海到北京的机票”边界任务“我要最快的航班”需要推断“最快”的含义异常任务“搜索一个不存在的商品ID”对抗任务“删除那个文件”如果Agent没有删除权限应拒绝2. 自动评估指标可量化成功率测试集通过比例。精确匹配对于有标准答案的任务如数学计算。工具调用准确率实际调用 vs 预期调用的匹配度。步数效率完成任务的平均LLM调用次数或工具调用次数。成本平均每次任务的Token消耗。3. 人工评估定性思维链连贯性阅读Agent的推理过程判断是否符合常识和逻辑。可读性最终回答是否自然、有用。安全性是否拒绝有害指令或绕过安全限制。4. 使用LLM-as-Judge用另一个强大的LLM如GPT-4、Claude-3来给Agent的执行过程和结果打分并给出理由。需要设计详细的评分标准如1-5分并验证评判LLM的可靠性。