Gemma 4 26B A4B QAT对齐4位量化革命性精度保持技术深度解析【免费下载链接】gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-alignedGemma 4 26B A4B QAT对齐4位量化是一项革命性的AI模型优化技术它通过QAT量化感知训练晶格对齐4位转换从权重中恢复Google原始QAT尺度而非从最小/最大统计数据重新推导实现了在大幅减小模型体积的同时保持极高的精度。为什么需要特殊的转换方法传统的量化方法存在严重的精度损失问题。标准的mlx_lm convert -q量化和llama.cpp的Q4_0量化都会重新推导尺度导致约60-74%的MoE/MLP块重新对齐到错误的网格上。这是因为qat-q4_0-unquantized检查点存储的权重已经对齐到对称int4晶格代码∈[-8,7]每32个输入维度元素一个尺度而这些尺度是在QAT期间学习的无法从权重的最小/最大统计数据中恢复只有26-38%的块接触到极端代码。相比之下Gemma 4 26B A4B的QAT对齐4位量化转换直接从对齐的权重中恢复每个32块的网格步长通过absmax/k的k扫描最小二乘优化并将其作为标准MLX仿射参数scale s, bias -8·s输出。MoE路由器router.proj保持在bf16格式约20 MB因为top-8-of-128专家选择是最敏感的部分llama.cpp的MoE GGUF也从不量化ffn_gate_inp。与bf16 QAT参考模型26B A4B的精度对比在权重空间中与原始检查点的相对RMSE均方根误差方面默认的mlx_lm convert -q仿射gs64为7.0-8.6%而这种QAT对齐转换仅为0.18-0.23%达到了bf16存储噪声水平。在教师强制logits方面1600 token的混合英文/中文/代码文本的KL散度bf16 ‖ 量化结果如下默认mlx_lm convert -qgs64平均KL为0.277top-1一致性为82.7%MLX仿射gs32平均KL为0.353top-1一致性为80.1%QAT对齐转换平均KL为0.090top-1一致性为90.3%对照组bf16 匹配的随机噪声σ0.185%无量化平均KL为0.151top-1一致性为87.7%噪声控制实验表明这种转换处于128专家稀疏MoE架构的内在灵敏度下限剩余的KL完全由±1-ulp bf16舍入噪声通过离散路由翻转放大引起而非量化误差。快速开始使用指南安装依赖首先需要安装mlx-lm库pip install mlx-lm基本使用代码from mlx_lm import load, generate model, tokenizer load(mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned) prompt tokenizer.apply_chat_template( [{role: user, content: Explain quantization-aware training in two sentences.}], add_generation_promptTrue, ) print(generate(model, tokenizer, promptprompt, max_tokens256))如何重现转换过程转换脚本包含在项目的conversion/目录下qat_q4_recover.py晶格尺度恢复量化器recover_grid_step每32块k扫描残差容差0.075以吸收code × scale乘积的bf16舍入然后进行最小二乘拟合convert_aligned.py生成此仓库格式的端到端转换器针对qat-q4_0-unquantized检查点运行使用--quantize-router也可以量化路由器要重现转换首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned然后运行转换脚本即可。注意事项和限制文本专用mlx-lm Gemma 4实现放弃了视觉塔Google也没有对其进行QAT量化。与GGUF Q4_0的4.5比特/权重相比此模型约为5.0比特/权重MLX的仿射格式每个组存储一个偏差这里始终为-8·scale。虽然冗余但当前内核需要。使用bf16尺度无法字节精确恢复bf16检查点Google原始QAT尺度是fp32此转换达到约90%的字节精确性其余为±1 ulp——处于KL控制量化的bf16噪声水平而非之上。许可证和归属Gemma根据https://ai.google.dev/gemma/docs/gemma_4_license的条款提供Gemma 4为Apache 2.0。这是Google DeepMind的gemma-4-26B-A4B-it-qat-q4_0-unquantized的量化衍生品模型和QAT管道的所有功劳归于Google。转换使用mlx-lm以及包含的尺度恢复量化器执行。【免费下载链接】gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-26B-A4B-it-qat-q4_0-mlx-aligned创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考