文章核心总结与翻译一、主要内容该研究针对大型语言模型（LLMs）部署在资源受限边缘设备时面临的模型规模大、计算成本高的问题，提出了一种新型连续层剪枝框架（CLP）。层剪枝通过直接移除冗余层降低计算开销，但现有方法多孤立评估单个层的重要性，忽略层间依赖关系，易破坏信息流动并导致性能下降。CLP框架包含两大核心组件：1）可微分凹门控算法，通过基于梯度的优化自动识别最优连续层剪枝片段，以原始模型与剪枝模型输出的KL散度为优化目标；2）截断端点微调策略，仅对剪枝片段相邻的两层进行全参数微调，高效修复剪枝造成的结构断裂。实验覆盖LLaMA2、LLaMA3、Qwen等多个架构（7B-70B参数规模），在20%-30%剪枝率下，CLP的性能保留率显著优于13种主流剪枝方法。例如，LLaMA3-70B在20%剪枝率下性能保留率达95.34%，超出基线4.29%-30.52%。此外，CLP可与量化技术无缝结合，在仅轻微损失性能的前提下实现极致压缩，为边缘设备部署LLMs提供了实用技术路径。二、创新点提出可微分凹门控算法：通过构建连续可微分的软掩码，基于梯度下降自动定位对模型性能影响最小的连续层，避免传统方法孤立评估单个层的局限性。设计截断端点微调策略：不同于LoRA等参数高效微调方法，仅针对剪枝片段相邻的关键层进行全参数微调，以极低计算成本修复信息流动断裂，兼顾性能恢复效果与效率。强通用性与兼容性：在多种模型架构、参数规模及基准数据集上均表现优异，且可与GPTQ等量化技术协同使用，实现两阶段深度压缩。
