手把手教你使用EleutherAI开源的lm-evaluation-harness工具对AI大模型进行标准化评测。从环境搭建到参数详解涵盖MMLU、GSM8K、HellaSwag等6大核心Benchmark适合想系统评估模型能力的开发者和测试同学。一、它到底是个啥大家好今天咱们聊一个听起来很唬人、用起来其实特简单的工具——lm-evaluation-harness。先别被名字吓到我用人话给你翻译一下**一句话概括**它就是一个「AI模型的考试系统」。你给它一个模型它出卷子、让模型作答、然后给你打分。就这么简单。打个比方你就明白了 - 你想知道一个学生的数学水平 → 给他一张数学卷子 → 批改 → 出分数你想知道一个AI模型牛不牛 → 给它一套benchmark题 → 自动评分 → 出报告这个工具是 EleutherAI 开源的GitHub 上 7k star是业界评估大模型最常用的工具。OpenAI、Meta、阿里、腾讯的模型论文里那些 MMLU 多少分、GSM8K 多少分基本都用它跑的。**注意**它只会「考」不会「教」。考完了告诉你哪里不行但怎么改是你的事。它不负责训练和修复。二、为啥要用它你可能想我自己写个 prompt 问模型几个问题不就行了当然可以但有两个问题 -不标准你自己出的题别人也出一套题两家结果没法比。就像一个人考北京卷、一个人考全国卷分数线怎么对齐不靠谱你以为它在回答其实它在胡扯。没有标准化评分你根本不知道它到底会不会。harness 帮你解决了这俩问题 -200 套标准考题学术界认可你的分和别人的分能直接比自动化评分不用人工批改跑完直接出成绩单一行命令搞定从模型加载到结果输出全自动支持各种模型HuggingFace 本地模型、OpenAI API、vLLM、GGUF 量化模型……三、能考哪些科目harness 内置了 200 个 benchmark覆盖知识、推理、代码、安全等方方面面。下面是你最常用的 6 个核心科目考试科目考什么题量****啥时候用MMLU57个学科通识数理化生医法史…14k题评估模型知识面广度必考科目 GSM8K小学数学应用题加减乘除推理1.3k题看模型数学推理能力 HellaSwag给一个场景选最合理的后续10k题常识推理测是不是正常人 ARC-Challenge科学选择题物理化学生物1.2k题测逻辑判断能力 TruthfulQA事实性问答专门怼幻觉817题模型会不会一本正经胡说八道 IFEval指令遵循按要求格式输出541题能不能严格按你的要求干活**中文场景重点关注**C-Eval中国52学科、CMMLU中文综合知识评测中文模型必备。如果你想看完整列表跑这个命令D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval --tasks list四、怎么用—— 手把手实战别光看动起来。下面我带你从安装到跑出第一个结果。4.1 一条命令跑通这是我们本机的环境已经装好了 - Python: D:\python39\venv: D:\pyenvs\lmeval\harness: 0.4.9.1模型你需要自己准备HF下载 or API最基础的命令长这样 D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval --model hf --model_args pretrained模型名或路径,dtypefloat32 --tasks mmlu --num_fewshot 0 --limit 10 --batch_size 1 --device cpu --output_path D:esults别被这么多参数吓到一个一个拆给你看 **参数****必填?**大白话解释--model是模型怎么加载hf本地HF模型, openai-completions调API --model_args是pretrained模型名, dtypefloat16/float32 --tasks是考哪些科目逗号分隔如 mmlu,gsm8k --num_fewshot否给模型看几个例题再考0直接考, 5看5个例题 --batch_size否一次批几道题CPU建议1GPU用auto --limit否先跑几题试试水正式跑删掉 --output_path否成绩单存哪必须放D盘 --log_samples否记下每道题的答题过程分析用4.2 支持的模型类型harness 对接了市面上几乎所有主流模型–model 值适合什么要不要GPUhf本地HuggingFace模型最常用建议有 openai-completions调GPT-4/GPT-3.5 API不用 anthropic调Claude API不用 vllmvLLM引擎高性能推理必须 ggufllama.cpp量化模型CPU可跑不用 sglangSGLang推理引擎必须4.3 四个实战场景场景一用一个小模型在CPU上快速验证5分钟搞定D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval --model hf --model_args pretrainedQwen/Qwen2.5-0.5B,dtypefloat32 --tasks mmlu --num_fewshot 0 --limit 10 --batch_size 1 --device cpu --output_path D:\lmeval_results场景二GPU上正式跑多科目评测D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval --model hf --model_args pretrained/你的模型路径,dtypefloat16 --tasks mmlu,gsm8k,hellaswag,arc_challenge --num_fewshot 5 --batch_size auto --device cuda:0 --output_path D:\lmeval_results --log_samples场景三调 API 评测不用下载模型最快D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval --model openai-completions --model_args modelgpt-4o --tasks gsm8k --num_fewshot 5 --limit 50场景四评测中文模型D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval --model hf --model_args pretrainedQwen/Qwen2.5-7B,dtypefloat16 --tasks ceval-valid,cmmlu --num_fewshot 5 --batch_size auto五、考完了怎么看成绩单跑完之后output_path 下面会生成一个 JSON 文件。别慌你只需要看这几个字段**重点提醒**MMLU 这类多选题一定要看acc_norm而不是 accacc_norm 会消除选项长度偏差这才是真正公平的分数。论文里所有对比都用 acc_norm。典型的输出 JSON 长这样{results:{mmlu:{acc,none:0.623,acc_norm,none:0.645,acc_stderr,none:0.012},gsm8k:{exact_match,strict-match:0.351,exact_match_stderr,strict-match:0.013}}}谁需要看指标名什么意思所有人acc_norm归一化准确率这是论文引用的标准分数。越高越好满分1.0 数学题专用exact_match精确匹配率。数学题不能「差不多对」必须完全对 分类任务f1F1分数不太常用一般不用管 所有人stderr标准误差越小说明分数越稳定。0.01以内基本可信六、过来人的经验之谈踩过的坑和最佳实践拿走直接用6.1 新手三步走先验证环境用 --limit 10 跑一个微缩测试确认没报错找个轻量模型练手Qwen2.5-0.5B 或 SmolLMCPU 也能跑跑一两个科目熟悉流程先 mmlu gsm8k别贪多6.2 常见翻车现场你做了什么结果该怎么做CPU跑7B模型等了一小时还没出结果CPU只测1B的小模型大模型必须GPU 忘记 --limit全量跑MMLU跑了大半天先 --limit 10 验证确认无误再放开 只看 acc 不看 acc_norm分数比别人论文低一截MMLU类任务必须看 acc_norm 不同任务改 fewshot分数没法跟人比全用5-shot保持一致 跨 benchmark 比分数GSM8K 0.5 vs MMLU 0.6谁好不同benchmark分数独立解读不比大小6.3 高效工作流日常开发中我这么用 -开发调参阶段–limit 0.1跑10%快速验证对比实验基座 vs 微调同样参数跑全套正式报告跑 6 项核心MMLU GSM8K HellaSwag ARC TruthfulQA IFEval6.4 跟测试工作怎么结合作为测试工程师你可以这么玩 -工具选型想用AI辅助写测试用例先拿 harness 测几个候选模型挑知识面最广的Prompt调优同一个模型 不同prompt → 跑 benchmark 看分 → 量化验证prompt效果微调验证用测试领域数据微调后跑 harness 确认能力变化方向七、总结最后帮你画个重点 - Harness 考官只管考不管教一条命令起步model tasks limit, 三个参数就能跑看 acc_norm不是 acc先 --limit 10确认没问题再全量跑CPU 别跑大模型那是自虐本机速查D:\pyenvs\lmeval\Scripts\python.exe -m lm_eval帮助命令–help |任务列表–tasks list参考链接- GitHub: EleutherAI/lm-evaluation-harnessOpen LLM Leaderboard: HuggingFaceC-Eval: cevalbenchmark.com有任何问题随时来问。实践出真知打开终端跑一个 --limit 10 比看十遍文档都管用。原文发布于 CESTC 内部 WIKI2026-06-09查看原文