标签: Evaluation
该标签下的全部文章 "Evaluation".
读懂 τ-bench：怎样评测一个真正完成业务任务的 Agent
从固定版本的任务、模拟器、环境重放和奖励计算理解 τ-bench，并实现一个独立的微型业务评测环境。
读懂 Promptfoo：怎样把案例、模型和断言组织成回归实验
沿固定版本的执行与断言链理解 Promptfoo，使用离线 Provider 演示回归矩阵并解释真实模型接入边界。
读懂 Ragas：一个评测指标怎样变成可执行的评分过程
沿着固定版本的 Faithfulness 调用链理解事实拆分、证据判断、分数聚合和 NaN，再接入中文售后案例。
多模态 Agent 怎样评测：文档、图片与实时语音
从凭证识别到实时语音，解释感知、推理、证据定位、生成质量和交互时序的分层评测。
生产中的评测系统怎样设计：从离线回归到线上反馈
构建数据集、执行器、评分器与实验记录的闭环，解释发布门禁、在线抽样、Shadow、A/B 与平台选择。
怎样知道 Judge 值得信任：人工标注、偏差与校准
用人工对照与成本矩阵校准模型裁判，区分评分、通过阈值和概率，控制偏差及版本漂移。
LLM-as-Judge 怎样工作：把主观要求变成可复核的评分
解释模型裁判的评分机制、标准设计、输入输出契约和错误边界，让语义评分能够人工复核。
Agent 出错以后还能完成任务吗：故障注入与安全评测
通过可重复的故障和攻击案例检查恢复、幂等、取消及权限边界，同时保留正常请求的可用性。
怎样评测完整 Agent：多轮对话、执行轨迹与业务结果
以多轮售后任务解释轨迹约束、状态不变量、上下文记忆、用户模拟与多 Agent 结果核验。
怎样评测 Tool Calling：从选对工具到执行正确
区分工具实现、协议适配与模型决策，逐层检查工具必要性、参数、权限、执行和结果使用。