gpt-oss-20b-WFP8-AFP8-KVFP8量化参数详解权重、激活和KV缓存配置【免费下载链接】gpt-oss-20b-WFP8-AFP8-KVFP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-20b-WFP8-AFP8-KVFP8gpt-oss-20b-WFP8-AFP8-KVFP8是一个经过全栈FP8量化优化的20B参数大语言模型专为高效推理部署设计。这个模型通过AMD-Quark量化工具对原始GPT-OSS-20B模型进行了全面的精度优化在保持模型性能的同时显著减少了内存占用和计算开销。 量化方案概览该模型采用了创新的全FP8量化策略覆盖了权重、激活值和KV缓存三个关键维度权重量化使用FP8对称每张量方案激活量化使用FP8对称每张量方案KV缓存量化使用FP8对称每张量方案 量化层配置在config.json的量化配置部分我们可以看到详细的参数设置quantization_config: { global_quant_config: { input_tensors: { dtype: fp8_e4m3, observer_cls: PerTensorMinMaxObserver, qscheme: per_tensor, symmetric: true }, weight: { dtype: fp8_e4m3, observer_cls: PerTensorMinMaxObserver, qscheme: per_tensor, symmetric: true } } }量化层覆盖范围所有线性层包括注意力线性层和MoE线性层排除lm_head层保持原始精度排除偏置参数 FP8量化技术详解什么是FP8量化FP88位浮点数是一种新兴的量化格式相比传统的INT8量化具有更好的数值稳定性和精度保持能力。该模型使用的是fp8_e4m3格式指数位4位尾数位3位符号位1位对称量化减少零点偏移误差权重量化配置权重量化采用每张量per-tensor策略这意味着每个权重张量使用一个统一的量化参数weight: { ch_axis: null, dtype: fp8_e4m3, group_size: null, is_dynamic: false, observer_cls: PerTensorMinMaxObserver, qscheme: per_tensor, round_method: half_even, symmetric: true }关键参数说明observer_cls: PerTensorMinMaxObserver使用最小-最大观察器确定量化范围round_method: half_even采用银行家舍入法减少累积误差symmetric: true对称量化零点为0激活量化配置激活量化同样采用每张量策略确保推理过程中的数值稳定性input_tensors: { dtype: fp8_e4m3, observer_cls: PerTensorMinMaxObserver, qscheme: per_tensor, symmetric: true } KV缓存量化创新KV缓存量化是该模型的亮点之一通过将键值缓存从BF16压缩到FP8显著减少了内存占用KV缓存分组策略在config.json中KV缓存被分为两组进行量化kv_cache_group: [ *k_proj, *v_proj ]量化参数配置每个投影层都有独立的量化配置kv_cache_quant_config: { *k_proj: { input_tensors: { dtype: fp8_e4m3, qscheme: per_tensor, symmetric: true }, output_tensors: { dtype: fp8_e4m3, qscheme: per_tensor, symmetric: true } } }⚙️ 模型架构参数该模型基于GPT-OSS-20B架构具有以下关键参数参数值说明隐藏层大小2880模型维度注意力头数64多头注意力机制KV头数8键值头数隐藏层数24模型深度最大位置编码131072支持长上下文专家数32MoE架构专家数量每token专家数4激活的专家数量 量化脚本使用指南使用AMD-Quark工具进行量化的完整命令如下python examples/torch/language_modeling/llm_ptq/quantize_quark.py \ --multi_gpu \ --model_dir openai/gpt-oss-20b \ --quant_scheme w_fp8_a_fp8 \ --kv_cache_dtype fp8 \ --exclude_layers lm_head \ --dataset pileval \ --num_calib_data 128 \ --output_dir amd/gpt-oss-20b-WFP8-AFP8-KVFP8 \ --model_export hf_format \ --skip_evaluation参数详解--quant_scheme w_fp8_a_fp8权重和激活都使用FP8量化--kv_cache_dtype fp8KV缓存使用FP8量化--exclude_layers lm_head排除语言模型头部--dataset pileval使用Pile数据集进行校准--num_calib_data 128使用128个样本进行校准 性能评估结果该模型在多个基准测试中表现出色gpqa_diamond_generative_n_shot (5-shot)Tensor ParallelismTP1TP2TP4TP8原始模型0.56060.53030.56570.5606量化模型0.55050.55560.52530.5253gsm8k_platinumTensor ParallelismTP1TP2TP4TP8原始模型0.90160.90240.90320.8966量化模型0.90240.91070.90240.8983 部署注意事项vLLM后端支持该模型专为vLLM后端优化需要确保以下PR已正确应用PR#29008FP8量化支持PR#31962KV缓存优化内存优化效果通过全栈FP8量化模型实现了内存占用减少50%相比BF16精度推理速度提升减少数据传输开销能效优化降低计算功耗 适用场景推荐使用场景大规模部署需要高效内存利用的生产环境边缘计算资源受限的部署环境实时推理需要低延迟响应的应用成本敏感需要降低硬件成本的项目注意事项⚠️重要提醒该模型主要设计用于vLLM的CI测试使用tests/models/quantization/test_gpt_oss.py虽然在实际测试中表现良好但性能可能不是最优的。 项目文件结构项目包含以下关键文件config.json模型配置和量化参数generation_config.json生成配置model.safetensors.index.json模型权重索引tokenizer.json分词器配置chat_template.jinja聊天模板 最佳实践建议1. 硬件兼容性确保硬件支持FP8计算指令集特别是AMD的AI加速器。2. 校准数据选择使用与目标任务相关的校准数据可以获得更好的量化效果。3. 精度监控在部署前进行全面的精度验证确保量化不会影响关键任务。4. 渐进式部署可以先在非关键路径上部署验证稳定性和性能后再全面推广。 快速开始要使用该量化模型只需简单的几个步骤克隆仓库git clone https://gitcode.com/hf_mirrors/amd/gpt-oss-20b-WFP8-AFP8-KVFP8加载模型from transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained(amd/gpt-oss-20b-WFP8-AFP8-KVFP8) tokenizer AutoTokenizer.from_pretrained(amd/gpt-oss-20b-WFP8-AFP8-KVFP8)推理使用inputs tokenizer(Hello, how are you?, return_tensorspt) outputs model.generate(**inputs, max_length50) print(tokenizer.decode(outputs[0])) 未来发展方向FP8量化技术仍在快速发展中未来可能的方向包括动态量化根据输入动态调整量化参数混合精度不同层使用不同精度硬件协同与特定硬件深度优化自动调优基于性能反馈自动优化量化参数 总结gpt-oss-20b-WFP8-AFP8-KVFP8展示了现代大语言模型量化技术的最新进展。通过全栈FP8量化该模型在保持良好性能的同时显著提升了推理效率和资源利用率。无论是对于研究FP8量化技术还是在实际生产环境中部署高效的大语言模型这个项目都提供了宝贵的参考价值。✨核心优势✅ 全面的FP8量化覆盖✅ 优秀的性能保持率✅ 显著的内存节省✅ 成熟的部署方案✅ 详细的配置文档通过深入了解这些量化参数和配置您可以更好地利用这个优化后的模型在各种应用场景中实现高效、经济的AI推理部署。【免费下载链接】gpt-oss-20b-WFP8-AFP8-KVFP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-20b-WFP8-AFP8-KVFP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考