Qwen3.6-35B-A3B 无审查模型本地部署3 步完成下载、启动与调参【免费下载链接】Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive项目地址: https://ai.gitcode.com/hf_mirrors/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-AggressiveQwen3.6-35B-A3B-Uncensored 是 HauhauCS 对 Qwen3.6 35B 参数 MoE 模型做的无审查变体仓库提供 11 种 GGUF 量化文件和视觉投影文件可直接在 llama.cpp、LM Studio 等客户端里运行。下面按部署步骤和参数推荐两条主线带你从零把模型跑起来。项目速览项目内容参数规模总计 35B单次前向激活约 3BMoE即只激活部分专家网络专家路由256 个专家每个 token 路由 8 个注意力结构线性注意力 全 softmax 注意力按 3:1 混合上下文262K 原生支持模态文本、图像、视频原生多模态文件与许可11 个量化 GGUF 1 个 mmproj 视觉文件Apache-2.0仓库里的权重文件都是 GGUF 格式即 llama.cpp 系列客户端可直接加载的量化模型格式mmproj 文件是配合主模型使用、处理图像输入的视觉投影文件需要视觉能力时别漏下载。 获取与部署第 1 步下载模型文件用 git clone 可以一次性拿到全部量化版本和视觉文件省去逐个挑选git clone https://gitcode.com/hf_mirrors/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive各量化文件从 11GB 到 44GB 不等克隆完成后如果磁盘紧张只保留自己要用的一两个版本即可。第 2 步环境准备准备一个 GGUF 兼容的运行时二选一源码安装 llama.cpp或图形界面客户端 LM Studio。装好后用一条命令确认命令行可用llama-cli --version能正常打印版本号说明运行环境已经就绪。第 3 步首次启动以均衡档 Q4_K_P 为例下面这条命令同时启用了视觉投影和 128K 上下文llama-cli -m Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_P.gguf \ --mmproj mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf \ --jinja -c 131072 -ngl 99其中--jinja让 llama.cpp 按官方规则处理对话模板-c 131072指定上下文长度-ngl 99把尽可能多的层放到 GPU。用 LM Studio 的话直接在界面里选中对应的 .gguf 主文件再附加 mmproj 文件即可。⚙️ 核心配置与调参一张表看懂场景参数推荐以下四组参数来自 Qwen 官方团队的建议可直接照抄到客户端的采样设置里场景参数推荐值说明思考模式·通用temperature / top_p / top_k / min_p / presence_penalty1.0 / 0.95 / 20 / 0 / 1.5默认配置适配多数对话思考模式·编码/精确任务同上0.6 / 0.95 / 20 / 0 / 0低温让输出更收敛稳定非思考模式·通用同上0.7 / 0.8 / 20 / 0 / 1.5跳过推理直接作答响应快非思考模式·复杂推理同上1.0 / 1.0 / 40 / 0 / 2.0top_k 放宽扩大候选范围另外有一条硬性要求上下文至少保留 128K。低于这个值模型会放弃深度推理、直接给结论。性能与质量的权衡取舍的关键是内存余量参考三档追质量选 Q8_K_P44GB接近全精度适合评测和重要任务均衡选 Q4_K_P23GBK_P 是按模型逐项分析、选择性保留关键权重的自定义量化文件只比基础量化大 5%~15%质量却接近高一两档内存紧张退到 Q2_K_P15GB或 IQ2_M11GB速度优先质量有损失但日常可用。 进阶与排错加载时内存不足现象加载模型时进程被系统杀掉或机器卡死。原因量化档位与可用内存不匹配Q4_K_P 除了 23GB 权重还要再留上下文开销。解决换 Q2_K_P 或 IQ2_M 等低量化版本关闭其他占内存的程序并适当调小上下文长度。LM Studio 里量化列显示问号现象K_P 版本在 LM Studio 的量化一栏显示为。原因客户端不认识这种自定义量化标签。解决这只是界面展示问题模型能正常加载和推理不需要任何处理。模型不思考直接回答现象模型跳过推理过程直接输出结论回答深度明显下降。原因上下文设置过短或未加--jinja导致对话模板解析错误。解决用-c 131072把上下文恢复到 128K并确保 llama.cpp 启动时带上--jinja。按上面的流程走下来你已经能在本地跑通这套无审查多模态模型先按内存定量化档位再用参数表按场景调采样。下一步可以尝试用 mmproj 输入图像和视频内容或者把模型接入 API 服务做应用集成记得上下文保持 128K 以上。【免费下载链接】Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive项目地址: https://ai.gitcode.com/hf_mirrors/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考