文章目录尝试了网上很多方法最终只剩下载源码用cmake编译。试了好久才踩完所有的坑1安装vs_BuildTools2022版对应cuda12.4切记2重新运行cuda安装程序3安装GIT4安装编译环境5下载源码6编译源码7测试安装尝试了网上很多方法最终只剩下载源码用cmake编译。试了好久才踩完所有的坑1安装vs_BuildTools2022版对应cuda12.4切记①下载地址https://aka.ms/vs/17/release/vs_Community.exe②安装界面选择工作负载在“工作负载”选项卡中必须勾选“使用 C 的桌面开发”。③勾选单个组件重要切换到“单个组件”选项卡搜索并勾选 C CMake tools for Windows。这是确保 CMake 能正常找到 Visual Studio 编译器的重要组件。2重新运行cuda安装程序①直接运行 CUDA 12.4 的安装包选择“自定义 (Custom)”安装然后在组件列表里确保勾选“Visual Studio Integration”。安装程序检测到 VS 2022 后就会自动完成集成。完成后记得重启电脑。②如果找不到“Visual Studio Integration”选项直接把cuda安装目录中的C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4\extras\visual_studio_integration\MSBuildExtensions 文件夹下4个文件复制到 C:\Program Files\Microsoft Visual Studio\2022\Community\MSBuild\Microsoft\VC\v170\BuildCustomizations 路径下。重新打开 Visual Studio 2022集成即完成。③重启电脑3安装GIT下载地址https://git-scm.com/download/win安装好后命令行里进行最低速度和最长下载时间配置gitconfig--globalhttp.lowSpeedLimit0gitconfig--globalhttp.lowSpeedTime9999994安装编译环境# setuptools已安装特定版本这里无需再安装pipinstallcmake ninja wheel-ihttps://pypi.tuna.tsinghua.edu.cn/simple5下载源码①利用GIT克隆完整安装包和第三方依赖库若能一次成功不管②③④gitclone --recurse-submodules https://github.com/abetlen/llama-cpp-python.git E:\Project\AIVoice\llama-ccp-python# 国内镜像稍微快一点gitclone --recurse-submodules https://gitclone.com/github.com/abetlen/llama-cpp-python.git E:\Project\AIVoice\llama-ccp-python②若上述第三方库llama.cpp git失败则手动删除主文件目录下的~\llama-ccp-python\vendor\llama.ccp文件夹从以下网址手动下载子模块https://github.com/ggerganov/llama.cpp 。③下载后解压到~ \llama-ccp-python\vendor\ 目录下确保解压后的文件夹路径为~\llama-ccp-python\vendor\llama.cpp。④最后删除子模块配置避免 Git 后续干扰在 ~ \llama-ccp-python 目录下编辑 .gitmodules 文件将 llama.cpp 的条目注释掉或删除。6编译源码在anaconda虚拟环境下输入以下命令编译过程中也需要联网setCMAKE_ARGS-DGGML_CUDAon-DCUDAToolkit_ROOTC:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v12.4-DCMAKE_CUDA_COMPILERC:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v12.4/bin/nvcc.exesetFORCE_CMAKE1pipinstall-eE:\Project\AIVoice\llama-ccp-python7测试安装在anaconda虚拟环境中输入 python在pothon编译环境中依次输入以下命令importllama_cppprint(llama_cpp.llama_supports_gpu_offload()返回信息如下终于成功安装了