文章核心总结与创新点主要内容CALAMITA是意大利计算语言学协会牵头的大型协作基准项目，聚焦意大利语大语言模型（LLM）的综合能力评估。项目联合80余名来自学术界、工业界和公共部门的参与者，设计了涵盖8大能力类别（常识推理、事实知识、语言知识、形式推理、公平性与偏见、代码生成、机器翻译、摘要生成）的22项挑战及95个子任务，构建了意大利语迄今最全面的LLM评估基准。通过在莱昂纳多超级计算机上对4个开源LLM（LLAMA3.1-8B、LLAMA3.1-70B、ANITA-8B、MINERVA-7B）的测试，揭示了模型在不同能力维度的优劣，并建立了集中化的评估流程，支持异质数据集和多指标评估。项目采用滚动基准机制，支持持续集成新任务和新模型，为意大利语LLM评估提供了可持续的社区驱动框架。创新点方法学创新：摒弃单纯的排行榜竞争，以方法学为核心，通过“分布式任务设计+集中化评估执行”的协作模式，平衡了评估的多样性与一致性。原生数据集构建：坚持使用意大利语原生数据集，避免机器翻译带来的偏差，精准捕捉意大利语的语言特性和文化背景。多维能力覆盖：突破传统NLP任务局限，涵盖语言、推理、公平性等多维度能力，尤其关注意大利语特有的形态句法特征（如性数一致、关系从句）。动态基准框架：设计滚动式任务提交与评估机制，支持持续更新，解决了静态基准易饱和的问题。跨领域协作