模型 · 测评
模型效果怎么评测示例/演示
「这个模型好不好」不评测就是空谈。这篇给一套轻量可执行的评测方法，小团队也能用。
评测的三层
| 层级 | 方法 | 成本 | 可信度 |
|---|---|---|---|
| 主观试用 | 几个典型任务试跑 | 低 | 低（样本偏差大） |
| 自建评测集 | 30–100 条标注用例 | 中 | 中高 |
| 人工盲评 | 输出混排打分 | 高 | 高 |
自建评测集是性价比最高的中间路线——一次投入，长期复用。
搭评测集的五步
- 取真实任务：从实际业务里抽 30–100 条代表性输入，别自己编
- 定义评分标准：能用脚本判定的用脚本（格式、字段完整性、关键词命中）
- 难判的用打分卡：1–5 分，明确每分的标准（减少主观漂移）
- 固定测试条件：同一提示词、同一参数、同一时间跑完所有模型
- 记录成本：每次评测同时记录 token 消耗，算「每单位效果的成本」
对比时的注意事项
- 同一提示词对不同模型的适配度不同，必要时分别微调后对比（并记录改了什么）
- 单次结果有随机性，关键用例跑 3 次取平均
- 关注最差情况而不只是平均分：生产环境的投诉来自那条最差的回答
上线后的持续监控
- 保留线上抽样（每周抽 50 条人工过一遍）
- 模型版本升级后重跑评测集，确认没有退化
- 把评测集当资产维护，新增业务场景就补用例
结论：30–100 条真实用例 + 明确评分标准，就能做出可信的选型决策。本站模型库可按场景与单价筛选对照。