Agent Evaluation
从成功定义、数据集和统计比较,到 RAG、工具、多轮任务、模型裁判、生产闭环及 Ragas、Promptfoo、τ-bench 源码解读。
怎样知道 Judge 值得信任:人工标注、偏差与校准
用人工对照与成本矩阵校准模型裁判,区分评分、通过阈值和概率,控制偏差及版本漂移。
生产中的评测系统怎样设计:从离线回归到线上反馈
构建数据集、执行器、评分器与实验记录的闭环,解释发布门禁、在线抽样、Shadow、A/B 与平台选择。
多模态 Agent 怎样评测:文档、图片与实时语音
从凭证识别到实时语音,解释感知、推理、证据定位、生成质量和交互时序的分层评测。
读懂 Ragas:一个评测指标怎样变成可执行的评分过程
沿着固定版本的 Faithfulness 调用链理解事实拆分、证据判断、分数聚合和 NaN,再接入中文售后案例。
读懂 Promptfoo:怎样把案例、模型和断言组织成回归实验
沿固定版本的执行与断言链理解 Promptfoo,使用离线 Provider 演示回归矩阵并解释真实模型接入边界。
读懂 τ-bench:怎样评测一个真正完成业务任务的 Agent
从固定版本的任务、模拟器、环境重放和奖励计算理解 τ-bench,并实现一个独立的微型业务评测环境。