图 1：本文封面，点明主题「效果评估：如何判断大模型应用做得好不好」。
一个做内容的团队给选题工具接上了大模型，自动生成选题分析。上线两周，例会上负责人问：「效果怎么样？」全场沉默几秒，有人答：「看着还行。」——这就是大多数团队的真实状态：应用上线了，评估没上线。
没有评估，所有优化都是盲改
「看着还行」回答不了任何后续问题：换个更贵的模型值不值？改提示词有没有变好？要不要花钱微调？没有一把尺子，这些决策全靠拍脑袋，改完也没法证明改动有效。评估不是锦上添花，它是优化的前置条件——先能量化现状，才谈得上改进。
评估什么：四个维度
把「好不好」拆开，通常看四个维度：准确性（事实对不对、答没答到点上）、流畅性（语言是否自然通顺）、相关性（输出跟输入意图贴不贴）、安全性（有没有泄露、越界内容）。不同业务权重不同：客服问答把准确性排第一，文案生成更看重流畅性和相关性。
维度定了，还需要具体指标。入门资料里常见的分法是按任务类型给指标：生成质量用困惑度（Perplexity）、BLEU、ROUGE 这类自动指标，适合有参考答案的翻译、摘要类任务；交互体验看响应时间、回答准确率；文本生成还要看主题相关性和多样性。这些指标年纪都不小，但在有标准答案的场景里仍然好用。
怎么评：三种方法各有位置
图 2：评估维度、评估方法与优化决策阶梯总览。
第一种，人工评审。攒几十上百条真实输入，定好打分规则，让人逐条评。慢，但它是唯一能量化「看起来舒服不舒服」的手段，也是校验其他方法是否靠谱的基准。
第二种，公开基准。想知道模型本身的底子，可以看公开测试。以 MMLU 为例，它是 2020 年提出的多任务理解测试，覆盖初等数学、历史、计算机、法律等 57 个任务；论文显示当时多数模型接近随机水平，最大的 GPT-3 也只比随机高近 20 个百分点。基准反映通用能力，但它测的不是你的业务，只能做选型参考。
第三种，同题 A/B 对比。这是业务侧最实用的一招：同一批题目，让两个配置（比如微调版和原版）各答一遍，摆在一起逐条比。一份微调实战记录就是这么做的——对比发现微调版输出结构明显更稳、风格更统一，但内容质量未必压过原版。作者由此得出一个值得记住的结论：模型决定下限，数据质量决定上限。
优化顺序：先便宜的来
评估定位了短板，才轮到优化。阶梯从便宜到昂贵大致是：改提示词、接检索增强（RAG）、最后才是微调。这个顺序不是经验玄学，而是反馈循环速度的差别——提示词改完立刻能重测，微调则要备数据、跑训练、再评估。
什么时候才轮到微调？实战给出的判据很朴素：需要输出格式高度稳定（比如严格 JSON）、需要模型学会特定风格或专门任务、想缩短提示词省 token（但注意不一定更便宜，微调模型调用单价更高）。在动手之前，先用提示词工程和函数调用把上限探一探。
官方口径的两点更新
OpenAI 官方的模型优化指南（2026-09-08 访问）把流程写得很直白：先写 evals 建立基线，再迭代提示词，必要时微调，每轮改动都用贴近真实输入的测试数据重跑评估——评估、提示、微调构成一个持续转动的飞轮。
同一页面还有一条时效信息：OpenAI 正在收缩微调平台，已不再向新用户开放，现有用户在未来几个月内仍可创建训练任务，已微调模型在基座模型弃用前保持可调用。页面当前列出的监督微调适用模型为 gpt-4.1 系列。也就是说，「先评估、后优化、微调兜底」不仅是方法论，也逐渐成了平台引导的方向。
上手建议
别想一步到位。先攒 50 到 100 条有代表性的真实样本当评估集，写上明确的打分规则——比如「事实错误一票否决」；每次改动提示词、模型或数据后重跑一遍，把每轮分数记下来。有了这个最小闭环，你就已经超过了所有还在说「看着还行」的团队。
你的团队现在在用什么方式判断 AI 应用的效果——人工抽查、自动指标，还是也停在「看着还行」？欢迎聊聊你的评估实践。
参考资料
- Model optimization（OpenAI 官方指南：优化流程为「先写 evals 建基线 → 迭代提示词 → 必要时微调 → 用代表性测试数据重跑评估」的飞轮；页面声明微调平台正收缩、不再向新用户开放、现有用户未来几个月可继续创建训练任务、已微调模型在基座弃用前可用；当前监督微调适用 gpt-4.1 系列，DPO 同系列，RFT 面向 o4-mini） — https://platform.openai.com/docs/guides/fine-tuning
- Measuring Massive Multitask Understanding（MMLU 原始论文摘要：覆盖初等数学、美国历史、计算机科学、法律等 57 个任务的多任务准确率测试；当时多数模型接近随机水平，最大 GPT-3 平均仅比随机高近 20 个百分点） — https://arxiv.org/abs/2009.03300