标签: Agent
该标签下的全部文章 "Agent".
怎样评测 RAG：找到证据、用对证据与回答完整是三回事
手算检索排序指标并拆解证据支持、答案正确、完整性和引用，定位 RAG 各层的失败。
怎样评测 Prompt 和模型回答：从格式检查到语义正确
从工单分类与字段提取解释格式、事实和语义评测，建立对照样本、扰动检查与可追溯的 Prompt 回归。
新版本真的更好吗：随机性、重复实验与统计比较
从配对结果和 Bootstrap 理解版本比较，解释随机性、置信区间、重复尝试和持续成功。
评测指标怎样计算：准确率、召回率与平均分背后的问题
用混淆矩阵和具体数字解释分类指标、聚合方式、拒答覆盖率及失败分母，避免平均分误导。
评测数据集怎样建立：从业务问题到可信的测试案例
建立包含环境、约束和判定依据的评测样本，解释标注、切分、合成、泄漏与版本血缘。
怎样判断一个 Agent 做得好：从回答正确到任务真正完成
通过退款任务理解评测对象、判定依据、硬约束、质量指标和分层定位，建立可以复核的成功定义。