模型评估指标包括准确率、召回率、精确率、F1、AUC等，但上线评审真正关心的不是指标名，而是这些数字能否解释业务风险。一个模型准确率很高，仍可能漏掉最关键的异常；一个模型召回率很高，也可能制造大量误报，拖垮人工复核流程。
面向算法团队、AI应用负责人和业务评审人员，本文用“误报成本、漏报成本、阈值选择、排序能力”四个角度解释常见指标。指标不是模型的成绩单，而是业务决策的风险语言。
先看混淆矩阵，再谈单个指标
多数分类指标都来自混淆矩阵。真实为正且预测为正，是真正例；真实为负却预测为正，是误报；真实为正却预测为负，是漏报；真实为负且预测为负，是真负例。
业务讨论应先问：误报和漏报哪个代价更高。风险告警里漏掉真实风险可能造成损失，营销触达里误报太多可能浪费预算并打扰用户，质检审核里两类错误可能都需要人工复核。
如果不先明确错误成本，准确率、召回率、F1和AUC就只是数字。它们会让模型看起来“有分数”，却不能告诉团队是否应该上线、灰度、回滚或继续补样本。
准确率直观，但最容易被样本不均衡误导
准确率表示所有样本中预测正确的比例。它适合类别分布相对均衡、每类错误代价接近的场景，比如某些标准分类、简单质检或内部辅助判断。
它的问题在类别不均衡时非常明显。假设异常样本只占1%，模型把所有样本都判为正常，也可能得到接近99%的准确率，但它完全没有发现异常。对风控、安全、故障检测、医疗筛查这类少数样本更关键的场景，准确率不能单独作为上线依据。
使用准确率时，建议同时展示类别分布、混淆矩阵和分组表现。否则高准确率可能只是“多数类预测得很好”，并不代表模型解决了业务问题。
召回率回答漏掉多少，精确率回答打扰多少
召回率关注真实目标样本里有多少被模型找出来。它适合漏报成本高的场景，例如安全告警、故障预警、风险识别和质量缺陷发现。召回率低，意味着关键对象被漏掉。
精确率关注模型预测为目标的样本里有多少是真的。它适合误报成本高的场景，例如人工审核、销售线索筛选、营销触达和推荐候选过滤。精确率低，意味着后续流程要处理大量无效结果。
两者通常存在张力。降低阈值可能提高召回率，但会增加误报；提高阈值可能提高精确率，但会漏掉更多目标。上线评审不要问“召回率和精确率哪个更好”，而要问业务能承受多少漏报、多少误报。
F1适合做平衡指标，但会隐藏业务偏好
F1是精确率和召回率的调和平均，适合在漏报和误报都重要时做综合比较。它比单看准确率更能反映模型对目标类的识别质量，也适合在不同版本之间做离线对比。
但F1不是万能指标。它默认精确率和召回率同等重要，而真实业务常常不是这样。安全场景可能宁愿多报也不能漏报；高价值销售线索场景可能宁愿少推荐也要保证命中质量。此时可以使用加权F指标，或者直接把召回率、精确率和处理成本分开展示。
如果一个模型F1略高，但需要大幅增加人工处理量，或者漏掉的样本集中在高价值用户上，就不能仅凭F1选择上线版本。
AUC看排序能力，上线仍要回到阈值
AUC常用于二分类模型，衡量模型对正负样本的整体区分能力。它不依赖某一个固定阈值，因此适合比较模型排序能力：分数越靠前的样本，是否越可能是真正目标。
AUC高说明模型有较好的区分潜力，但不代表上线效果一定好。上线系统最终还是要选择阈值、设置告警等级、决定进入人工复核还是自动处理。若业务只关注高分段样本，整体AUC不错也可能掩盖关键区间表现不足。
因此AUC最好和PR曲线、分数分布、阈值表、Top N命中率或业务分层一起看。对于正样本极少的任务，PR相关指标有时比ROC-AUC更能反映实际效果。
把指标翻译成上线条件
指标进入上线评审时，可以按以下方式组织，而不是只列一组分数。
| 指标 | 主要回答 | 适合关注的场景 | 评审时要补充 |
| 准确率 | 整体预测对了多少 | 类别均衡、错误成本接近 | 类别分布、混淆矩阵 |
| 召回率 | 目标样本漏掉多少 | 风险、安全、故障、缺陷 | 漏报样例、漏报成本 |
| 精确率 | 命中样本有多少真实有效 | 人工复核、营销触达、候选筛选 | 误报样例、处理能力 |
| F1 | 精确率和召回率的折中 | 离线版本比较、综合平衡 | 是否符合业务权重 |
| AUC | 排序区分能力如何 | 评分排序、阈值待定场景 | 阈值、分数分布、关键区间 |
表格后的结论应明确：哪个指标是主指标，哪些是护栏指标，哪些只用于诊断。比如风控模型可以把召回率作为主指标，把精确率作为人工负载护栏，把AUC用于版本比较，把准确率降级为背景信息。
评估指标要和样例、阈值、版本一起保存
真正有用的评估报告不只保存指标，还要保存评估集版本、阈值设置、混淆矩阵、典型误报、典型漏报、模型版本和上线配置。这样当线上效果变化时，团队才能判断是数据漂移、阈值不合适、模型退化还是业务规则变化。
如果后续涉及大模型或AI应用平台化建设，可以把指标、评估样例、人工复核和发布状态纳入统一记录。可继续阅读 AI基础设施 分类中的模型评估方法、模型部署流程和大模型应用开发内容，把离线分数转成可运维的生产证据。
常见问题
准确率高是否说明模型可以上线？
不能直接说明。准确率只表示整体样本里预测正确的比例，它对样本分布非常敏感。如果负样本占绝大多数，模型即使几乎不识别正样本，也可能得到很高准确率。上线前至少要补充混淆矩阵、召回率、精确率、关键业务样例和误判成本。对于异常检测、风险识别、安全告警这类少数类重要的任务，准确率只能作为背景指标，不能作为主上线条件。
F1比召回率和精确率更适合做唯一指标吗？
F1适合综合比较，但不适合作为所有场景的唯一指标。它默认召回率和精确率同等重要，而业务场景通常有明确偏好：漏报可能造成安全风险，误报可能增加人工成本或影响用户体验。如果团队只看F1，可能忽略某一类错误已经超过业务承受范围。更好的做法是设定主指标和护栏指标，例如召回率必须达到某个水平，同时精确率不能低到让复核队列失控。
AUC高但线上反馈差，通常是什么原因？
常见原因有三类。第一，AUC反映整体排序能力，但上线只使用某个阈值或某个高分区间，关键区间表现可能不理想。第二，离线评估集和真实线上流量分布不同，导致模型在新样本上退化。第三，线上系统还受到特征延迟、数据缺失、规则拦截、人工流程和用户行为变化影响。排查时应把AUC、阈值表、线上分数分布、误报漏报样例和服务日志一起看，不能只回到离线指标反复调参。
原创声明：本文为 Alauda 原创技术内容，非商业转载须注明出处：https://www.alauda.cn/blog/1135/。
文中图示和文章内容未经许可不得用于商业转载、培训课件、营销材料或二次分发。
