Agent Evaluation
从成功定义、数据集和统计比较，到 RAG、工具、多轮任务、模型裁判、生产闭环及 Ragas、Promptfoo、τ-bench 源码解读。
怎样判断一个 Agent 做得好：从回答正确到任务真正完成
通过退款任务理解评测对象、判定依据、硬约束、质量指标和分层定位，建立可以复核的成功定义。
评测数据集怎样建立：从业务问题到可信的测试案例
建立包含环境、约束和判定依据的评测样本，解释标注、切分、合成、泄漏与版本血缘。
评测指标怎样计算：准确率、召回率与平均分背后的问题
用混淆矩阵和具体数字解释分类指标、聚合方式、拒答覆盖率及失败分母，避免平均分误导。
新版本真的更好吗：随机性、重复实验与统计比较
从配对结果和 Bootstrap 理解版本比较，解释随机性、置信区间、重复尝试和持续成功。
怎样评测 Prompt 和模型回答：从格式检查到语义正确
从工单分类与字段提取解释格式、事实和语义评测，建立对照样本、扰动检查与可追溯的 Prompt 回归。
怎样评测 RAG：找到证据、用对证据与回答完整是三回事
手算检索排序指标并拆解证据支持、答案正确、完整性和引用，定位 RAG 各层的失败。
怎样评测 Tool Calling：从选对工具到执行正确
区分工具实现、协议适配与模型决策，逐层检查工具必要性、参数、权限、执行和结果使用。
怎样评测完整 Agent：多轮对话、执行轨迹与业务结果
以多轮售后任务解释轨迹约束、状态不变量、上下文记忆、用户模拟与多 Agent 结果核验。
Agent 出错以后还能完成任务吗：故障注入与安全评测
通过可重复的故障和攻击案例检查恢复、幂等、取消及权限边界，同时保留正常请求的可用性。
LLM-as-Judge 怎样工作：把主观要求变成可复核的评分
解释模型裁判的评分机制、标准设计、输入输出契约和错误边界，让语义评分能够人工复核。