LangServe 完整入门介绍一、LangServe 是什么LangServe LangChain 官方服务化工具基于 FastAPI一键把 LCEL Runnable / Chain / Agent 暴露成标准 REST API一句话场景 你在 Notebook / Python 脚本写完 RAG、对话 Agent、代码链路本地能跑LangServe 负责把它变成线上接口可供 Streamlit 前端、其他后端、网页调用。技术定位 LangChain / LCEL → 写 AI 业务逻辑LangServe → 把 AI 逻辑对外提供 HTTP 服务LangSmith → 链路观测调试三者组成 LLMOps 基础三件套⚠️ 官方小提示新项目长远推荐LangGraph Platform但LangServe 仍然稳定可用学习、Demo、中小型项目首选。二、核心优势解决手动写 FastAPI 的痛点如果你不用 LangServe手动封装 Chain 接口需要自己处理 流式输出、输入输出校验、序列化、中间步骤返回、接口文档、异常处理…… 非常繁琐。LangServe 开箱自带能力自动生成全套接口invoke单次调用 /stream流式打字效果 /batch批量请求 /stream_log输出链路中间步骤RAG 检索过程可见自动推导输入、输出 Schema参数校验内置交互式 Playground 调试页面RemoteRunnable 客户端远程调用和本地 Chain 写法完全一致原生兼容 LangSmith 追踪请求自动上报 Trace底层基于 FastAPI异步、高性能三、自动生成哪些接口假设你挂载路径/qa自动创建plaintextPOST /qa/invoke # 普通同步调用 POST /qa/stream # 流式SSE输出聊天打字效果 POST /qa/batch # 批量多条输入 POST /qa/stream_log # 流式返回链路每一步中间数据调试RAG神器 GET /qa/playground # 网页调试面板 GET /docs # FastAPI Swagger文档四、最简完整实战代码1. 安装依赖bash运行pip install langserve[all] langchain langchain-openai uvicorn python-dotenv2. 服务端 server.py提供 APIpython运行import os from dotenv import load_dotenv from fastapi import FastAPI from langchain_openai import ChatOpenAI from langchain_core.prompts import ChatPromptTemplate from langchain_core.output_parsers import StrOutputParser from langserve import add_routes load_dotenv() # 1. 构建标准LCEL链路你本地调试好的Chain prompt ChatPromptTemplate.from_messages([ (system, 你是专业技术顾问简洁回答技术问题), (human, {question}) ]) llm ChatOpenAI(modelgpt-3.5-turbo, temperature0.6) chain prompt | llm | StrOutputParser() # 2. 创建FastAPI实例 app FastAPI( titleLLM问答服务, version1.0, descriptionLangServe 演示问答API ) # 核心一行代码挂载链路 add_routes( app, chain, path/qa # 访问根路径 ) if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)3. 启动服务bash运行python server.py访问地址文档http://127.0.0.1:8000/docs调试面板http://127.0.0.1:8000/qa/playground4. 客户端两种调用方式方式 ARemoteRunnable推荐和本地 Chain 代码无缝切换python运行from langserve import RemoteRunnable # 远程链写法和本地chain.invoke完全相同 remote_qa RemoteRunnable(http://127.0.0.1:8000/qa) # 普通调用 res remote_qa.invoke({question: 什么是LCEL}) print(res) # 流式输出 for chunk in remote_qa.stream({question: 解释RAG原理}): print(chunk, end)方式 B原生 HTTP POST前端 / 其他语言调用httpPOST http://127.0.0.1:8000/qa/invoke Content-Type: application/json { input: {question: LangServe有什么作用} }五、LangServe vs 手动写 FastAPI关键区别表格维度LangServe手写 FastAPI 封装 Chain开发速度一行add_routes极速需要定义 Pydantic、处理流式、序列化流式、stream_log原生支持大量代码手动实现客户端RemoteRunnable代码无缝迁移需要自己封装 HTTP 请求灵活性标准接口格式适合 AI 链路高度自由适合混合业务 AI适用场景RAG、Agent、纯 LLM 链路服务需要权限校验、复杂业务鉴权、混合数据库接口最佳实践 FastAPI 主项目 LangServe 挂载多条 Chain 通用业务接口自己写AI 链路交给 LangServe。六、和你学习栈串联LLMOps 完整链路Notebook开发、调试 Chain/RAG LangSmith 观测 Trace验证稳定后 → 使用LangServe封装为 API 服务Streamlit/Gradio 前端 → 通过 RemoteRunnable 调用后端服务上线uvicorn/gunicorn 部署搭配监控、限流完整流水线Jupyter调试 → LangServe发布API → 前端调用 → LangSmith线上观测七、常见踩坑点链路必须是标准 RunnableLCEL 管道旧式SequentialChain老链条兼容性差优先使用|管道写法。流式前端必须处理 SSE 协议普通 ajax 无法接收/streamRemoteRunnable 地址不要带上/invoke只写到路径前缀/qa如需身份认证在外层 FastAPI 增加中间件LangServe 本身不自带鉴权多 Chain 共存多次调用add_routes分配不同 path 即可python运行add_routes(app, qa_chain, path/qa) add_routes(app, translate_chain, path/translate)八、拓展方向进阶挂载 LangGraph Agent 为 API支持多轮智能体开启stream_log在前端展示 RAG 检索文档、工具调用全过程增加配置传递session_id 实现会话记忆容器 Docker 打包部署到服务器
