让微调模型在本地跑起来GGUF 模型的落地实践之前对收件人信息提取任务微调了一个模型基座模型为 Qwen3-0.6B。目前该模型在提取任务上的准确率已达到 98.5%并且仍有优化空间。GGUF 格式的模型可以在 Ollama 中本地运行。若需配置 Chat Template 以达到更佳效果这里不过多展开。下载并安装 llama.cppCPU 用户下载llama-b9551-bin-win-cpu-x64版本GPU 用户请下载对应的 CUDA 版本下载地址llama.cpp Releases也可以通过git或包管理器安装下载较慢的话可从我网盘里下载通过网盘分享的文件链接: https://pan.baidu.com/s/1gXwHWanVMYX66lJH0zoyxQ?pwdnw74 提取码: nw74 复制这段内容后打开百度网盘手机App操作更方便哦2、下载解压后将模型复制到同级目录下请将模型路径替换为你的实际路径然后在终端中执行以下命令.\llama-server.exe-m模型路径\qwen3-addr-extract-q8.gguf-c4096--host0.0.0.0--port8080参数释义部分含义.\llama-server.exe执行当前目录下的llama-server.exe程序.\是 PowerShell 表示当前目录的写法-m--model的简写指定模型文件路径D:\workSpace\dev\aiDev\sft\qwen3-addr-extract-q8.gguf你的微调模型文件完整路径-c 4096--ctx-size上下文长度为 4096 Token模型一次能处理的最大文本长度--host 0.0.0.0监听所有网络接口允许局域网其他设备访问若写127.0.0.1则仅本机可访问--port 8080HTTP 服务端口常用补充参数参数作用-n 512限制最大生成 token 数-t 8使用 8 个 CPU 线程-np 4支持 4 个并发请求-ngl 99加载 99 层到 GPU需 CUDA 版本--api-key xxx设置 API 鉴权密钥示例如.\llama-server.exe-m模型路径\qwen3-addr-extract-q8.gguf-c4096-n512-t8-np4--host0.0.0.0 --port8080服务启动curlhttp://localhost:8080/health# 返回 {status:ok}说明服务已成功启动浏览器中访问服务在浏览器中访问http://localhost:8080即可看到如下界面。你可以在其中输入文本并调用模型进行推理。在这里插入图片描述​