模型评估与指标

模型评估是判断 AI 系统是否真正可用的过程。没有评估，模型演示再惊艳也不能说明它能在真实环境中稳定工作。

为什么不能只看一个分数

假设一个疾病筛查模型准确率 95%，听起来很好。但如果某种疾病在人群中只有 1% 患病率，一个永远预测“没病”的模型也能有 99% 准确率，却毫无价值。

所以评估要结合任务目标，不能只看表面分数。

分类任务常见指标

指标	含义	适合关注
准确率	预测正确比例	类别比较均衡时
精确率	预测为正的样本里有多少真正确	误报成本高时
召回率	真正为正的样本里找回多少	漏报成本高时
F1	精确率和召回率的平衡	两者都重要时

垃圾邮件识别可能更关注精确率，疾病筛查可能更关注召回率。

生成任务怎么评估

大语言模型的生成结果更难评估。摘要、问答、写作、代码都没有唯一标准答案。

常见方法包括：

• 人工评分：准确性、完整性、可读性；
• 自动指标：BLEU、ROUGE、相似度等；
• 事实一致性检查；
• 任务成功率；
• 用户反馈和 A/B 测试。

自动指标只能辅助，不能完全替代人工评估。

测试集要怎么设计

好的测试集应该覆盖：

1. 常见正常样例；
2. 边界样例；
3. 容易混淆的样例；
4. 真实线上样例；
5. 高风险样例。

如果测试集太干净，模型上线后会遇到大量没见过的问题。

离线评估和线上评估

离线评估在固定数据集上测试，适合快速比较模型。线上评估观察真实用户行为，例如点击率、完成率、投诉率、人工接管率。

两者都需要。离线分数高不代表线上一定好，因为真实用户输入更混乱。

常见评估错误

• 测试集泄漏到训练数据；
• 只挑好看的样例展示；
• 不记录失败案例；
• 指标和业务目标不一致；
• 模型版本变化后不重新评估。

小结

模型评估的核心是证明模型在真实任务中可靠。选择指标时先看业务目标，再看错误成本。真正成熟的 AI 项目，评估体系和模型本身一样重要。