LangChain + 本地向量库的RAG系统 文本向量化并写入 Chroma 向量数据库效率优化分享 1、场景RAG检索运行效果2、场景RAG检索搭建开发流程图3、RAG工程落地之文本向量化并写入 Chroma 向量数据库效率优化分享from langchain_chroma import Chromavectorstore Chroma.from_texts(textstexts,metadatasmetadatas,embeddingembedding_function,persist_directoryCHROMA_DIR)向量数据库构建成功后会在本地新建一个chroma.sqlite3数据库文件数据存储在里面的embedding_fulltext_search_content中第一次入库时整体批量入库方法一次插入全部4000条矢量数据耗时9分32秒并且数据量越大越慢且容易爆内存全部失败采用第二种分批入库方法分批次入库方法BATCH_SIZE取10004000条分四次入库共耗时7分39秒效率稍有提高但不会爆内存入库稳定。第三次入库采用GPU运行方式入库分批次入库方法BATCH_SIZE取10004000条分四次入库共耗时4分39秒效率提升一倍不会爆内存入库稳定。4、三种入库方式对比方法描述评价方法一一次性批量入库Chroma.from\_texts()一次插入全部 4000 条❌ 不推荐内存爆炸风险大方法二分批次入库CPUBATCH\_SIZE1000分 4 次入库耗时 7分39秒✅ 稳定但速度一般方法三分批次 GPU 入库同上配置但用GPU 跑 embedding耗时 4分39秒✅ 速度翻倍推荐学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

相关新闻

最新新闻

WorkshopDL:免费跨平台Steam创意工坊下载器的完整指南

WorkshopDL:免费跨平台Steam创意工坊下载器的完整指南

WorkshopDL:免费跨平台Steam创意工坊下载器的完整指南 【免费下载链接】WorkshopDL WorkshopDL - The Best Steam Workshop Downloader 项目地址: https://gitcode.com/gh_mirrors/wo/WorkshopDL 你是否在GOG、Epic Games或其他平台购买了游戏,却…

2026/7/31 1:06:52
5分钟搞定Android Studio汉化:告别英文困扰,拥抱中文开发环境

5分钟搞定Android Studio汉化:告别英文困扰,拥抱中文开发环境

5分钟搞定Android Studio汉化:告别英文困扰,拥抱中文开发环境 【免费下载链接】AndroidStudioChineseLanguagePack AndroidStudio中文插件(官方修改版本) 项目地址: https://gitcode.com/gh_mirrors/an/AndroidStudioChineseLanguagePack …

2026/7/31 1:06:52
终极GTA5防崩溃指南:YimMenu完整使用教程与安全防护方案

终极GTA5防崩溃指南:YimMenu完整使用教程与安全防护方案

终极GTA5防崩溃指南:YimMenu完整使用教程与安全防护方案 【免费下载链接】YimMenu YimMenu, a GTA V menu protecting against a wide ranges of the public crashes and improving the overall experience. 项目地址: https://gitcode.com/GitHub_Trending/yi/Yi…

2026/7/31 1:06:52
DeepSeek    LeetCode 3977. 有限电量到达目标节点的最少时间 Python3实现

DeepSeek LeetCode 3977. 有限电量到达目标节点的最少时间 Python3实现

python import heapq from typing import Listclass Solution:def minTimeMaxPower(self, n: int, edges: List[List[int]], power: int, cost: List[int], source: int, target: int) -> List[int]:# 建图graph [[] for _ in range(n)]for u, v, t in edges:graph[u].appe…

2026/7/31 1:06:52
DeepSeek    LeetCode 3977. 有限电量到达目标节点的最少时间 Java实现

DeepSeek LeetCode 3977. 有限电量到达目标节点的最少时间 Java实现

java import java.util.*;class Solution {public long[] minTimeMaxPower(int n, int[][] edges, int power, int[] cost, int source, int target) {// 建图List<int[]>[] graph new List[n];for (int i 0; i < n; i) {graph[i] new ArrayList<>();}for (i…

2026/7/31 1:06:52
连锁家政门店社区流量派单源码开发技术公司

连锁家政门店社区流量派单源码开发技术公司

连锁家政门店社区流量派单源码开发技术公司 连锁家政门店的核心经营优势&#xff0c;在于多社区点位覆盖、全域流量聚合、师傅资源共享调配&#xff0c;区别于单店家政仅服务单一小区、流量固定、人员紧缺的运营模式。连锁家政依托多门店布局&#xff0c;汇聚周边多个社区的居…

2026/7/31 1:01:52

月新闻